Googleが3Dビデオチャット「Project Starline」を発表―通話相手をリアルタイムで3Dモデル化

Googleが開発中の新技術「Project Starline」に関する論文を発表した。

「Project Starline」は、昨年5月に開催したオンラインイベント「Google I/O 2021」にて発表された、対面式テレプレゼンス・システム。ユーザーを3Dモデル化し、大型ディスプレイに映し出すことで、通話相手が目の前にいるかのように会話をすることができる。VR／AR上でのコミュニケーションシステムとは異なり、Project Starlineはヘッドセットやゴーグルなどを使わず、平面のディスプレイ上でリアルなコミュニケーションをとることを目的としている。

undefined

Project Starlineは、自動立体視ディスプレイ、高解像度3Dキャプチャシステム、レンダリングシステム、トラッキングシステム、ビデオの圧縮とネットワーク伝送システムで構成されている。

自動立体視ディスプレイには、トラッキングカメラと赤外線ライト、赤外線プロジェクター、ステレオカメラ、カラーカメラ、スピーカー、マイクを搭載。ディスプレイに複数のセンサーとカメラを設置することで、4つの視点からカラー画像を、3つの視点から深度マップをキャプチャーすることが可能になった。これにより、動いても顔のトラッキングを正確に行うため、実際に左右の目から見ているような状態で通話相手が映し出されるという。さらに、目の動きも追跡するため、ユーザー間のアイコンタクトも自然に行うことができるそうだ。