No. 215 視点を自由自在に動かせる画像の生成技術

NeRF

「NeRF」(Neural Radiance Fields)は、さまざまな角度から撮影した複数の写真から、自由視点画像を生成する技術。深層学習によって生成された画像を通じて、好きな視点から対象物を見ることができる。画像の自動生成では、光の反射具合や透けて見える景色の映り具合といった情報を再現することは難しいとされていたが、「NeRF」を用いれば、そういった複雑な情報を持つ高精細な画像を単純な情報から作り出すことができる。将来的には、仮想世界と現実世界の複合技術(MR;Mixed Reality)の分野などへの応用が期待されている。

視点を自由に切り替えている様子。
「NeRF」は、画像解析分野において世界トップレベルの国際会議「European Conference on Computer Vision (ECCV) 2020」に採択された。

なぜできるのか?

単純な情報から複雑な三次元情報を予測する

視点位置と視線方向の情報だけで、空間形状や、視点による光の反射・屈折の変化を高い精度で予測し、表現できる。

三次元表現を可能にする「深層学習」

ニューラルネットワーク(*1)を使うことで、三次元の空間における位置と視野角の情報から、各点に物体が在る度合いと色の分布(Radiance Fields)の情報を精度よく取り出せるようになる。こうして取り出された情報を、ボリュームレンダリング(*2)を使って二次元の画像に変換することで、三次元表現を行う。

(*1) 「ニューラルネットワーク」: 脳にある神経細胞のつながり構造を模したしくみ(数理モデル)。特に、中間のつながり構造が多層になったニューラルネットワークを「ディープニューラルネットワーク」と呼ぶ。ディープニューラルネットワークによる機械学習(=「深層学習」)は、物事の特徴を見抜く能力に長けるといわれる。

(*2) 「ボリュームレンダリング」: 輝度と透明度を利用することで、三次元的な広がりのあるデータを二次元画像でも立体的に見えるようにする方法。

相性のいい分野

エンターテインメント
スポーツ試合や音楽ライブの「自由視点鑑賞」
インテリア
我が家の家具選びを支援する、「家具仮想配置ツール」

知財情報

主な知財ホルダー:Ben M., Pratul P.S., Matthew T., Jonathan T.B., Ravi R., and Ren N.

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

知財ハンター

小髙 充弘 Mitsuhiro Odaka
Media Artist / Konel Inc.

1991年生、神戸出身。学士(医学,理学)。広義の「感染」に関するメディアアート制作を行う。病原体、行動、モラル等が、複雑に跨ぎ合うつながり構造の上を拡散・極性化する現象に関心がある。その関心の下で、データによる予測可能性を超えた逸脱的な意味付けの内部に人間が人間たる規定要因を探したり、疎外された逸脱主体と他との交流の回復がありうるのか探ったりしている。


知財ライティング: 佐藤拓海