株式会社polygrosは、2023年11月15日〜17日に幕張メッセで開催された、先端的なテクノロジーにフォーカスした国際イベント「INTER BEE IGNITION×DCEXPO」にて、リアルタイムに動きChatGPTと会話が可能なバーチャルヒューマン「polyHUMAN」と、自分の表情や動きをCGに反映させて操作できるシステムのデモ体験を展示した。

このデモでは、polygrosがVR開発で培ったリアルタイム処理技術と独自の制作ワークフローを使用し、従来のプリレンダリング手法（事前にレンダリングに時間をかけて数分の動画を数日かけて制作する手法）に代わり、バーチャルヒューマンをVtuberのようにリアルタイムで動かすことを可能にした​​。

この技術により、TikTokのような短尺動画の大量制作や、リアルなバーチャルヒューマンを使ったゲーム配信が実現可能となる​​。polygrosはUnityのゲーム開発ノウハウを応用し、低コストかつ短納期でバーチャルヒューマンを制作できる体制を整えている​​。

展示されたシステムには、二つの主要な要素が含まれている。一つ目は、ChatGPTと連携したリアルタイムバーチャルヒューマンxChatGPT会話システムで、これにより完全無人でバーチャルヒューマンとの会話が可能となる。音声で話しかけて音声で返してもらうことが可能で、会話は音声やテキスト同士での会話、タッチパネルなどで用意したボタンを介して行える​​。QRコードによる入力で情報のやり取りも可能。

二つ目は、リアルタイムバーチャルヒューマンxフェイスキャプチャシステムで、iPhoneのフェイスキャプチャとUltraleap 3Diのハンドキャプチャを組み合わせ、人間の顔と上半身の動きをバーチャルヒューマンCGに反映させることができる​​。別途、全身モーションキャプチャ機材と組み合わせ、全身を動かすことも可能。

polygrosはこのシステムを受託やライセンスとして企業向けに提供する予定で、他社システムとの連携や協業の相談も受け付けている。

プレスリリースはこちら

Top Image : © 株式会社 polygros