自然言語処理モデルを活用したAIチャットボットChatGPTを開発するOpenAIは、入力された画像やテキストから3Dモデルを自動生成する生成AI「Shap-E」を発表した。オープンソースで開発されており、無料で使用できる。

テキストからの生成のほか、画像のみから3Dモデルを生成できる「Image to 3D」モードも搭載されている。

なお、同社では「Shap-E」デモサイトを公開中。3Dモデルは、プロンプト入力後数十秒ほどで出力され、生成された3DモデルはglTF（GL Transmission Format）形式でダウンロード可能。また、3Dモデルはオプションをクリックすることで「Seed（シード値）」「Guidance scale（ガイダンススケール）」「Number of inference steps（ステップ数）」の3つのパラメーターを変更できる。

同社では、これまで色のついた点を集めて3Dモデルを生成する「Point-E」を開発し、オープンソースとして提供してきた。「Shap-E」では、多様な角度から撮影した写真から3Dモデルを生成するNeRF（Neural Radiance Fields）を導入し、より柔軟な表現が可能という。

しかし、「Shap-E」の場合、「Point-E」とは異なり適切なポリゴン数の設定や複数の属性の割り当てが難しく、より高い演算性能が求められる可能性があるとのこと。OpenAIによれば、学習用のデータが少ないことが原因であり、より大きなデータセットを使って学習することで性能を向上させられるとしている。

「Shap-E」デモサイト

「Shap-E」GitHub 特設サイト

「NeRF」知財記事

「AIでテキストから3D画像を自動生成する手法を米カリフォルニア大学とGoogle Researchらが開発」（ニュース記事）

「米Meta、テキストから動画を生成できるAI「Make-A-Video」を発表」（ニュース記事）

Top Image : © OpenAI