カーネギーメロン大学のコンピュータ科学者チームが、入力されたテキスト指示に基づいてレゴブロックのデザインを生成する、初のAIモデル「LegoGPT」を開発した。同モデルは、単に奇抜なデザインを生み出す一般的なAIジェネレーターとは異なり、生成されるレゴ構造物が物理法則に則って実際に組み立て可能であることを重視するもの。

https://avalovelace1.github.io/LegoGPT/assets/legogpt-v2.mp4

研究チームの報告によると、LegoGPTは98.8％という高い確率で物理的に安定したデザインを生成することに成功したという。

LegoGPT開発の基盤となっているのが、研究チームが同時にリリースした大規模なレゴ構造物データセット「StableText2Lego」。4万7000件を超えるレゴ構造物と、対応する2万8000種類以上のユニークな3Dオブジェクトが含まれているという。

「StableText2Lego」には、各レゴ構造物に物理的な安定性を示す「安定性スコア」と、その構造物を説明するテキストが紐づけられている。

研究チームは、まず既存の3Dモデルデータベースから3Dメッシュデータを取得し20×20×20のグリッドにボクセル化した後、「legolization」と名付けたプロセスを経てレゴブロックのレイアウトに変換。さらに、多様な構造バリエーションを生み出すために、全体の形状を維持しつつブロックの配置をランダム化し、その過程で物理的に不安定なデザインは除外するという緻密な作業を行った。

https://avalovelace1.github.io/LegoGPT/assets/legogpt-v2.mp4

また、既存のレゴ作品用ファイル形式の課題点を克服するため、各レゴブロックを「高さ×幅（x座標,y座標,z座標）」という独自の形式で表現する手法を考案。これにより、デザインを表現するために必要な情報量を大幅に削減しつつ、3Dモデルに不可欠なブロックの寸法情報を保持することに成功している。

さらに、デザインを生成する過程で物理的な安定性を検証する仕組みを組み込み、最終的に生成されるレゴ構造物の安定性を確実なものにした。加えて、生成された形状に詳細なテクスチャを適用したり、個々のブロックに均一な色を割り当てたりする機能も備えており、よりリアリティのあるデザイン生成が可能になる。

StableText2LegoデータセットとLegoGPTのコードおよびモデルはGitHubで無料公開中。ただし、LegoGPTの基盤となっている特定のモデルへのアクセスや、安定性解析機能の利用には、別途ライセンスやアクセストークンが必要となる。

論文はこちら（1）（2）

Top Image : © Carnegie Mellon University