REXR（レクサー）：カメラ1台の映像だけから自分の3Dアバターを再現

概要

「REXR（レクサー）」とは、カメラ一台のみの映像からユーザーのフォトリアルな3Dアバターを生成できる技術。ユーザーの表情や動作を入力映像と同程度の精細さで、どの方向からでも再現することができる。従来、リアルな3Dアバターを生成するには複数台のカメラや特殊なセンサーを使用し人体をキャプチャーする必要があったが、大規模な設備が必要となるため、メタバースやMR（複合現実）では代わりにアバターとして既存のCGキャラクターが多用されていた。しかし「REXR」は、たった1台のカメラで人体のリアルな3Dキャプチャーが可能。細やかな表情や動作が表現できることから、ユーザー同士のメタバースでの深い相互理解を促す技術として期待されている。

20220314-01

20220314-02a

なぜできるのか？

カメラ1台のみで再現

カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現する、「REXR（レクサー：Realistic and EXpressive 3D avataR）技術」を開発。カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢と顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも精細に再現する。

複数のAIモジュールで構成

REXR技術は複数のAIモジュールから構成されており、まず、カメラの前で一回転した映像からフルボディのモデルを構築。次に、カメラの前で本人が動くと、顔の表情と身体の姿勢が推定され、モデルが更新される。刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができる。

細やかな表情・機微の伝達

REXR技術を用いると、本人が表出する細やかな表情（微表情: micro-expressions）や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため、心の機微や微妙な感情変化をこれらの非言語情報から読み取ることが可能となる。仮想空間における多人数のオンライン遠隔ミーティングやビジネス交渉など、相互理解の深化が図れる遠隔コミュニケーションの実現が期待される。