Googleは、2022年6月20日に開催されたAR/VRにおけるコンピュータービジョンのワークショップ「CV4ARVR」にて、モーションキャプチャ技術「BlazePose GHUM Holistic」を発表した。「BlazePose GHUM Holistic」は、機械学習によりカメラ映像からリアルタイムで人の形状と姿勢の3次元情報を取得する技術。さらに体の姿勢だけでなく、手や指など関節の動きまで取得できるという。

「BlazePose GHUM Holistic」はカメラの映像を通じて体の「ランドマーク（部位の位置）」を33点取得し、後に手の領域を撮影画像から切り出して、片手あたり21のランドマークの詳細な位置を三次元位置で取得する。実験によると、体のランドマーク位置は誤差5cm以下、手のランドマーク位置は誤差2cmの精度で取得できたという。

この機能はスマートフォンやノートPCなどのモバイル端末上でもリアルタイムで動作する。画像上の2次元座標ではなく3次元座標が得られるため、取得した姿勢により、アバターの操作やフィットネスやスポーツの動作追跡、姿勢補正、ARやVRの3Dエフェクト付加、ジェスチャー検出など、様々な応用が可能となる。将来的には顔の表情のキャプチャにも対応することを計画しているとのことだ。

また、「BlazePose GHUM Holistic」は、デバイス上でリアルタイムに動作させることを考えて、軽量なパイプラインで設計されている。最近のスマートフォンでは15fps程度で動作し、実験によれば、2017年に発売したGoogleのスマートフォン「Pixel 2 XL」では18fpsで動作したとのことだ。

カメラ以外のセンサーを必要とせず、モバイル端末単体で動作する技術により、これまで多数のカメラやセンサを利用した高価なシステムでしか実現できなかったモーションキャプチャを、消費者が利用できるようになることが期待されている。

ニュース原文はこちら

Top Image : ©︎ Google