ボリュメトリックビデオ技術：空間を3Dデータ化し即時に3D映像を生成できる技術

概要

ボリュメトリックビデオ技術とは、人物・位置・動きなどの空間全体を3次元データ化し、撮影とほぼ同時に3D映像を生成できる技術。コンピュータ内のバーチャル空間で、360度全方位での映像生成ができ、CG合成も可能。従来のような複雑なカメラワークの検討・編集は不要で、撮影後約3秒で3D映像を生成。地中から地上を見上げるなど、現実ではありえない縦横無尽なカメラアングルで映像表現ができる。ボリュメトリックビデオ技術は、VR/AR等と組み合わせて3D空間での視聴体験の提供も可能で、芸術・スポーツ・エンタメ・教育などの領域で新たな価値創出が期待される。

ボリュメトリック

実現事例実現プロジェクト

Canon × ばってん少女隊『OiSa Volumetric Video ver.』

『OiSa Volumetric Video ver.』は、最先端ジャパニーズ・ポップカルチャーを世界にアピールするというコンセプトのもと、キヤノン株式会社の“ボリュメトリックビデオ技術”とばってん少女隊「OiSa」をコラボレーションして製作された。コロナ禍において旅行などの移動が制限される中、オンラインでの新しい体験が求められており、ボリュメトリック技術を活用することで、デジタルの世界で表現する新しいジャパニーズ・ポップカルチャーの可能性に挑戦。『OiSa Volumetric Video ver.』は複数の自由視点映像を同時に生成し、映像を切り替えることでダイナミックな動きとバーチャル体験を実現した。

なぜできるのか？

映像生成を高速で実現する専用スタジオ

キヤノンは2020年7月に、3Dデータコンテンツの映像撮影から編集までをワンストップで実施できる「ボリュメトリックビデオスタジオ川崎」を開設。撮影エリアは360度グリーンバックで、100台を超える4Kカメラを設置している。独自のボリュメトリックビデオ技術により、スタジオ撮影後約3秒で3Dデータを生成する。カメラアングルは後から編集可能で、背景や物体の合成・加工・エフェクト追加も自在に行うことができる。

自由視点映像生成技術を応用した3D空間データの生成

ラグビーなどスポーツの映像配信でこれまでキヤノンが行ってきた、選手目線・同じシーンを別アングルから見せるなどの自由視点映像の技術を応用。自由視点映像は、複数の高解像度カメラをネットワークでつないで同時撮影し3D空間データを構築、3D空間上で仮想カメラを動かし、任意の角度からみた映像を生成する技術。ボリュメトリック技術はそれを応用し、撮影映像から空間全体を3Dデータ化している。

膨大なデータ処理を瞬時に行う画像処理技術

大容量のデータ・複雑な処理を多数のコンピュータで分割して行う並列分散画像処理などを用い、高精度な映像データを高速で処理する画像処理アルゴリズムを開発。日本IBMとの芸術・芸能分野での協業においては、並列計算専用サーバと広帯域ストレージなどの技術サポートを受け、より高速で安定したボリュメトリック映像の制作・配信に取り組んでいる。