大阪・関西万博のシグネチャーパビリオン「null²（ヌルヌル）」で使用されたアバター技術「Instant Skinned Gaussian Avatars」を、開発元である筑波大学の研究チームがオープンソースとしてGitHubで公開した。

「Instant Skinned Gaussian Avatars」は筑波大学の研究チームによるもので、論文「Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications」にて発表されている。

「null²（ヌルヌル）」は、落合陽一氏がプロデュースしたシグネチャーパビリオン。訪れた人々の身体をデジタル化し、パビリオンの中では有機的に変形し自律的に動作する身体と対話するといったデジタルの身体による合わせ鏡の未知の体験ができる。アバター技術「Instant Skinned Gaussian Avatars」はこの「null²」で活用されており、今回オープンソースとしてGitHubで公開された。

「Instant Skinned Gaussian Avatars」は、スマートフォンのアプリ「Scaniverse」で全身をスキャンするだけで簡単に3Dアバターを生成できる技術だ。スキャンからアバター生成まですべてブラウザ内で実行することができ、全体のプロセスはわずか約5分、アバター自体は約30秒で生成することができる。

このシステムでは、3Dを再現する技術「Gaussian Splatting」を採用している。「Gaussian Splatting」でアニメーション化する手法は、これまで数多く提案されてきたが、多くの場合、カメラアレイ、前処理の時間がかかる、またはハイエンドGPUが必要だった。中には、「Gaussian Splatting」をメッシュベースの表現に変換する方法もあるが、この方法は視覚的な忠実さが犠牲になっていた。

研究チームが開発したシステムでは、スプラット単位の並列処理を活用することで、基盤となるスキニングされたメッシュをリアルタイムで追跡しながら、高い視覚的忠実度を維持し、効率的にアニメーション化することを可能にしている。また、アバター形式は「Gaussian-VRM」を使用し、JavaScriptとThree.jsを用いており、特別なソフトは不要だ。

これにより、3Dアバターに瞬時に変換できるため、ソーシャルメディアやメタバースアプリケーションとのシームレスな統合に最適なのだという。GitHub上の実装もWebブラウザ対応で、一般ユーザーが試せる仕様になっている。

アバター技術「Instant Skinned Gaussian Avatars」についてはこちら

論文「Instant Skinned Gaussian Avatars for Web, Mobile and VR Applications」はこちら

GitHubはこちら

大阪・関西万博シグネチャーパビリオン「null²（ヌルヌル）」についてはこちら

Top Image : © 筑波 大学