背景に合わせた照明を生成して違和感を払拭

「Total Relighting」は、画像の合成時に前景となる人物の照明を、合成する背景写真に合わせて自動で調整。従来、撮影した人物を異なる背景に合成する場合、被写体の照明が合成先の背景の照明環境と異なるため不自然さが生じてしまうが、背景に合わせて被写体の照明を再設定できるため、違和感のない合成コンテンツを作ることが可能となる。

機械学習を利用して被写体を再照明

「Total Relighting」は3つのモジュール構成で合成写真が再照明される。1つ目のモジュールで画像から前景の被写体人物とアルファマットを推定し、2つ目のモジュールで被写体表面の形状とアルベド（物体表面の入射光と反射光の割合）を解析しピクセルごとの照明や反射の状況をモデル化。3つ目のモジュールで再照明の結果とアルファマット、新しい背景の3つを合成し、合成先の新しい背景での人物の照明を調整する。

スマートフォンやPCへの実装に期待

実写画像を用いた実験では、「Total Relighting」が既存の再照明技術に比べ被写体表面下の光の散乱や鏡面反射などをよりリアルに表現できることを実証。今後は、静止画だけでなく動画のリアルタイムでの処理を目指すとともに、スペックが低いコンピュータや最新のスマートフォンでも使用できるよう開発を進めていく。