No.460

2021.10.22

顔の細部の動きをリアルアバターが忠実に再現

Real-time 3D Neural Facial Animation

9-Figure8-1

概要

「Real-time 3D Neural Facial Animation」とは、顔の動きを3Dアバターで忠実かつリアルタイムに再現するシステム。2眼のWebカメラを使い、マーカーレス技術(リアルタイムで処理する拡張現実の技術のひとつ)によって、まぶたや視線、シワ、歯、舌などの細部の動きまでリアルに再現しアバターを同じ表情に動かし忠実に模倣する。バーチャル空間のコミュニケーションにおけるユーザーの人物像のリアルな再現や、映像表現への応用が期待されている。

undefined

undefined

なぜできるのか?

2眼のWebカメラで表情を忠実に再現

2眼のWebカメラを用いて撮影した表情をアバターに即時反映。まぶた、視線、唇の形、シワ、歯、舌などの細部の動きも忠実にトラッキングし再現する。撮影入力画像の顔の動きに応じて3Dアバターを同じ表情にリアルに動かしアニメーション化する。

拡張現実のマーカーレス技術で細部の動きまでリアルに追従

マーカーレス技術と言われる拡張現実の技術を用いて、画像情報の中から認識対象となる画像を選別し取り出し、リアルタイム処理にてトラッキング対象物として認識し、追従処理。顔の動きを忠実に再現する。

高い再現性を持ち高品質な精度を維持

表情表現の再現度が高く、またアバターの照明は後から変更できるため、高い実用性を持つ。多様な照明条件下の撮影にも対応し、さらに撮影画像が眼鏡をかけていても高い精度を維持しながら再現でき、アバターに忠実に反映できる。

相性のいい産業分野

IT・通信

ビデオ会議などで使用できる自分自身の分身アバターとして表情を忠実に再現

メディア・コミュニケーション

メタバース上の自分のバーチャルアバターとして表情豊かな分身がパフォーマンス

アート・エンターテインメント

有名人の表情を忠実に再現したアバターが、動くバーチャルヒューマンとして活躍

旅行・観光

表情データを組み込んだ自然な表情の人工知能が観光スポット案内

教育・人材

自分自身の分身として、人材となったアバターが自分の代わりにバーチャル労働

この知財の情報・出典

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

Top images:© Facebook