フロリダ大学、テキサス工科大学などの研究チームは、Apple Vision ProなどVR/MRデバイスのアバタービューから視線の推定をリモートで抽出し、メッセージ、パスワードなど、さまざまな入力シナリオで機密性の高いキーストローク情報を盗む攻撃「GAZEploit」を発見し、その研究論文を発表した。

この攻撃により、メッセージやパスワードなどの機密情報を盗むことが可能になるとされている。

「GAZEploit」は、アバターの画像から目の生体認証情報を推測し、目の動きや視線方向を分析することで、どのキーが押されたかを特定するためのアルゴリズムを開発した。視線によるタイピングで入力されたテキストを再構築できる、新しい攻撃だ。

この攻撃は、リモートで実行可能で、アバターを利用したビデオ通話やゲームプレイビデオをリモートでデータ保存して分析することにより、視線情報を用いて入力されたキーを推測する。「GAZEploit」の攻撃は、漏洩した視線情報を悪用してリモートでキーストロークの推論を実行するものであり、この分野で初めての既知の攻撃なのだという。

「GAZEploit」攻撃は、ペルソナの記録から目のアスペクト比と視線推定の2つの生体認証を抽出。機会学習を使用して、タイピングセッションを、ビデオの視聴やゲームのプレイなどの他のVR関連アクティビティと区別する。次に、仮想キーボード上の視線推定方向をマッピングして、潜在的なキーストロークを決定する。

調査では、タイピングセッションの識別にリカレント ニューラル ネットワーク（RNN）を構築し、クロスエントロピーを損失関数として使用。トレーニング中に重みを更新するためにAdam Optimizerを使用した。

参加者30人から視線入力データセットを収集し、RNNのパフォーマンスを評価。30人のうち18人の参加者のデータをトレーニングに使用し、残りを検証に使用すると、98.1%、90.5%、97.2% という高い精度、再現率を達成した。

さらに、視線の安定性を計算し、サッカード（ユーザーが視線をあるオブジェクトから別のオブジェクトに素早く移動する期間）から注視を分類するためのしきい値を設定するアルゴリズムを開発した。タイピングセッション内でのキーストロークの識別における精度と再現率はそれぞれ85.9%と96.8%の評価だった。

個々のキー入力中に視線を特定のキーに正確にマッピングするには、仮想空間内の仮想キーボードの位置を正確に特定することが不可欠だ。眼球運動の統計を利用して、キーボードの位置を正確に推定することができるのだという。デモ攻撃では、上位5文字の予測精度が100%を達成したとのこと。

30人の参加者を対象に、2回のデータ収集を実施。評価の結果、「GAZEploit」は、メッセージ入力、パスワード入力、メールアドレス/URL入力、パスコード入力の4つの入力シナリオで効果的であることが証明されたとしている。

これはApple Vision Proなどのデバイスが対象となっており、Appleはこの脆弱性を認識し、2024年7月にセキュリティパッチを提供している。これにより、仮想キーボードがアクティブな際にアバターのシェアを停止する措置が取られている。

「GAZEploit」についてはこちら

研究論文についてはこちら

Top Image : © フロリダ 大学