米Google Researchと米カリフォルニア大学バークレー校の研究チームは、自然言語の記述からデジタル3Dオブジェクトを生成する「Zero-Shot Text-Guided Object Generation with Dream Fields」を開発した。3Dの学習データを必要とせず、自然言語のみをコマンドとして使用し、言語によって形状や色、スタイルといった属性を柔軟に制御できる。

3Dオブジェクトの生成にあたっては、両研究チームが2020年に開発した「NeRF」（Neural Radiance Fields）と呼ばれる技術を応用。これは3Dオブジェクトをさまざまな角度から撮影した写真を機械学習を用いて処理し、新たな視点からの画像を合成する技術で、複数視点の3次元の点の座標と視線の方向から各座標の色（RGB）と物体の密度（不透明度）を予測計算し、3次元空間での物体の形状の画像を出力するというもの。

また、機械学習の手法には、「Zero-shot leaning」と呼ばれる技術を利用。本技術は、既知の知識を組み合わせることで機械がこれまで学習したことのないものを推論して予測する機械学習の手法で、本技術により、AIが学習していない自然言語を入力してもそれに近似した3Dオブジェクトを出力することが可能となる。

研究文献はこちら

公式サイトはこちら

「NeRF」サイト

Top Image : © Ajay Jain, Ben Mildenhall, Jonathan T. Barron, Pieter Abbeel, Ben Poole