撮影した人物の映像を映像内で3DCGのキャラクターに置き換えた映像で出力でき、実写シーンをCGのモーションデータに自動で置き換えて合成出力するAIツール「Wonder Studio」が、誰でもアクセス可能になった。

AIを用いた制作ツールなどを手がける米スタートアップ企業のWonder Dynamicsが開発し、2023年3月にリリース。これまでクローズドベータ版として限定的に提供していたが、登録を行えば誰でも利用できるようになった。

無料の試用プランでは人物と置き換えられるのはサンプルとして用意された3DCGキャラクターのみ、書き出しは動画のみなどの制限がある。有料プランはLITE版（月額29ドル）とPRO版（月額149ドル）の2種。

「Wonder Studio」は、1台のカメラで撮影した人の演技を自動的に検出。そのパフォーマンスを選択したCGキャラクターに転送し、撮影した人物の動きを3Dキャラクターに置き換えた映像を書き出すことができ、自動的に実写シーンに合成する。演技やシーンに合わせ、照明（光の当たり方）も自動で生成する。

身体や顔の動きは、システムが追跡してCGキャラクターに反映するため、モーションキャプチャー機材や、複雑な3Dソフトなどが不要。人と背景を分けるアルファマスクの機能も実装している。

複数のキャラクターの割り当ても可能。人と置き換えたCGキャラクターを実写シーンで共演させることもできる。

現時点では、デフォルトキャラクターとしてエイリアンやロボット、ブタなどの3Dアクターを提供。有料プランでは、オリジナル3Dキャラクターのアップロードが可能だ。

Wonder Dynamicsは、映画「レディ・プレイヤー１」の主演俳優を務めたタイ・シェリダン氏と、VFX（Visual Effects：視覚効果）専門家で映画監督のニコラ・トドロヴィッチ氏が共同で設立。同社は、インディーズ映画の制作者などが、超大作レベルのVFXをわずかな予算で制作できることを目指し、ツール開発を行っている。

VFXは、実際に撮影した映像をもとに、コンピューターで加工・合成する技術。映画などの制作現場で用いられているが、何度も同じ工程を繰り返す作業があり、膨大な時間と費用がかかる。そこで同社は、VFXの作業を自動化する「Wonder Studio」を開発。VFX作業の80～90%の自動化を図ったという。

現在、無料プランのほかLITE版（月額29ドル）とPRO版（月額149ドル）があり、LITE版は1月あたり、最大1080pの解像度の動画を合計150秒処理することができる。PRO版は1月あたり、最大4Kの解像度の動画を合計510秒処理することができる。

「Wonder Studio」は現在、商用利用の制限などはかけていない。第三者の著作権などを侵害しないよう、良識的な利用を求めている。今後のさらなる展開が期待される。

「Wonder Studio」公式サイト
「Wonder Studio」のスタートガイド

Top Image : © Wonder Dynamics