NeRF：視点を自由自在に動かせる画像の生成技術

概要

「NeRF」(Neural Radiance Fields)は、さまざまな角度から撮影した複数の写真から、自由視点画像を生成する技術。深層学習によって生成された画像を通じて、好きな視点から対象物を見ることができる。画像の自動生成では、光の反射具合や透けて見える景色の映り具合といった情報を再現することは難しいとされていたが、「NeRF」を用いれば、そういった複雑な情報を持つ高精細な画像を単純な情報から作り出すことができる。将来的には、仮想世界と現実世界の複合技術（MR；Mixed Reality）の分野などへの応用が期待されている。

妄想プロジェクト妄想プロジェクト

気分に合わせて部屋の情景が切り替わる「Switch Room」

自由視点の立体映像が手軽に、スピーディに生成できるようになった未来では、世界各国の街並みから大自然の風景までを完全再現した360°映像空間をパッケージとして個人所有できるようになるかもしれない。自室のソファでくつろぎながら、ARゴーグルデバイスを装着して画面を切り替えるだけで一瞬にして深海の世界に没入することが可能となる。異なる複数の空間をMIXさせて音楽と同期させるなど、リラクゼーションやエンターテインメントの新しい表現が可能となるだろう。

妄想家都淳朗

妄想家：都淳朗

妄想画家： YAMADA YUH

妄想画家 YAMADA YUH

なぜできるのか？

単純な情報から複雑な三次元情報を予測する

視点位置と視線方向の情報だけで、空間形状や、視点による光の反射・屈折の変化を高い精度で予測し、表現できる。

三次元表現を可能にする「深層学習」

ニューラルネットワーク(*1)を使うことで、三次元の空間における位置と視野角の情報から、各点に物体が在る度合いと色の分布（Radiance Fields）の情報を精度よく取り出せるようになる。こうして取り出された情報を、ボリュームレンダリング(*2)を使って二次元の画像に変換することで、三次元表現を行う。

(*1) 「ニューラルネットワーク」：　脳にある神経細胞のつながり構造を模したしくみ（数理モデル）。特に、中間のつながり構造が多層になったニューラルネットワークを「ディープニューラルネットワーク」と呼ぶ。ディープニューラルネットワークによる機械学習（＝「深層学習」）は、物事の特徴を見抜く能力に長けるといわれる。

(*2) 「ボリュームレンダリング」：　輝度と透明度を利用することで、三次元的な広がりのあるデータを二次元画像でも立体的に見えるようにする方法。