Googleとミネソタ大学らの研究チームは、MR空間で遠隔オブジェクトを操作できる新技術「Reality Proxy」を発表した。

複合現実（MR）において、現実世界の物体が遠い場所にあったり、狭い空間や遮蔽された空間に配置されていたりすると、選択や操作が難しいという問題がある。

研究チームは対象物を抽象的に表現し、シームレスに切り替えることを提案。「Reality Proxy」は、AIを使用して「Proxy」に対応する物理オブジェクトのセマンティック属性と階層的な空間関係を強化し、MRにおけるこれまで面倒だった新しいインタラクションを、新しいジェスチャーやメニューシステムを必要とせずに可能にする。

Proxyとは、操作可能なオブジェクトであり、実際のオブジェクトを選択することと機能的に同等なのだという。ユーザーの視線範囲内にある現実世界のオブジェクトのProxyを作成し、ユーザーの手元に配置して簡単に選択できるようにする。

ユーザーが選択を確定すると、ユーザーの視線範囲内にある現実世界のオブジェクトを自動的に検出し、それらをユーザーの手元に抽象化して再現することでユーザーは使い慣れた通常のジェスチャーで遠くの物体を簡単に選択、操作ができるのだという。

「Reality Proxy」で本棚の本から情報を取得する場合、ユーザーが書籍を見つめ、ピンチ操作を行う。すると、システムが近くの書籍のProxyを生成し、手の届く範囲に配置する。

ピンチ＆ホールドや両手ズームといった使い慣れたジェスチャーを用いて、属性によるフィルタリングやグループ化などのインタラクションが可能。複数選択、セマンティックグループ化、空間ズームなども直感的なジェスチャーを使用して操作可能だ。また、複数のドローンを制御することもできる。

研究論文についてはこちら

研究論文はこちら（PDF）

Top Image : © Xiaoan Liu