No.403

2021.08.30

指先の向きや手の重なりまで3D認識する技術

3D姿勢推定技術

PFN

概要

「3D姿勢推定技術」とは、身体の動きや指先の向き、手の重なりなど、身体の細部まで総合的に3D認識する技術。撮影した動画の人物の動きをとらえ、リアルタイムで3Dコンピューターグラフィックス(CG)の姿勢推定モデルを構築する。従来技術では課題となっていた、指先の向きや両手が重なる場面などでの誤検出を削減し、スマートフォン等で撮影した動画でも全身の細部の動きを追跡・分析できる。3D姿勢推定技術を基に、リアルタイムでアバター動画を生成し手話と音声でコミュニケーションを取る取組みも行われており、今後は遠隔医療や職人仕事の技術伝承、ロボット開発など、幅広い分野での活用が期待される。

なぜできるのか?

独自の深層学習技術

複雑かつ柔軟なニューラルネットワークを構築できるPreferred Networks独自の深層学習技術(ディープラーニング)が、高精度な3D姿勢推定モデルを構築。3Dモデル構築にあたっては、3DCGによる人体シミュレーションで、学習のための3Dデータを大量に作成。作成した3Dデータをスーパーコンピュータで深層学習させ、高精度なモデル構築を実現した。

深層学習を支える独自の計算基盤

複雑な計算処理を可能とする、スーパーコンピュータ(複数のコンピュータを組み合わせて1つのシステム化した計算機クラスタ)を独自に構築。深層学習に必要な多量かつ複雑な計算を、効率的かつ高速で行う。スーパーコンピュータ内のプロセッサ(処理・指示装置)も自社開発を行い、計算速度の高速化を追求している。

相性のいい産業分野

メディア・コミュニケーション

発話内容をアバターが手話で変換する、対話ツールの開発

医療・福祉

患者の3D姿勢モデルを活用した遠隔診療・遠隔リハビリ治療の提供

教育・人材

伝統工芸や職人仕事など伝承が難しい技術・技能継承としての教材活用

アート・エンターテインメント

3D姿勢推定モデルを活用したアバターアニメ・映像の制作

製造業・メーカー

シチュエーション・動作別の3Dモデルを活用した製品・サービスの開発

ロボティクス

3D姿勢推定モデルを活用した人と同等な動きをするリアルなロボットの開発

この知財の情報・出典

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

Top Image : © 株式会社 Preferred Networks

広告