No.358
2021.06.29
自然な吹き替え版映像を作るAIエンジン
TrueSync（トゥルーシンク）
概要
TrueSync（トゥルーシンク）とは、人物の顔を別人に置き換えるディープフェイクの技術を応用し、映画俳優の吹き替え版の声と顔をシンクロさせることを目的に作られたAIエンジン。俳優の顔と頭に、吹き替え役の唇の動きを合成させた3Dモデルを生成することで、俳優が違和感なく様々な言語を話しているように見せることができる。これまでは俳優の唇の動きと音声が合わず映像自体のクオリティを下げてしまうケースがあったが、このAIエンジンを取り入れることでオリジナルに忠実な映像を多言語で楽しむことができるようになる。
なぜできるのか？
俳優と吹き替え役の動きを一元化した3Dモデルの生成
TrueSyncは、俳優の表情や顔の動きと、同じセリフを他言語で話す吹き替え役の表情と顔の動きをデジタルでキャプチャーし、俳優の顔と頭、吹き替え役の唇の動きをひとつに合成した3Dモデルに変換している。それを俳優の顔に重ねることで、吹き替え版の声と顔をシンクロさせることができる。
AIを用いたディープフェイク技術による自動修正
AIが俳優の声や顔などを学習し、その俳優の特徴を理解すると、異なる言語に合うように俳優の動きを自動で修正することができる。これによって、吹き替え版の違和感を減らし、再撮影のコストを削減することが可能となる。
相性のいい産業分野
- メディア・コミュニケーション
没入感の大きい吹き替え版映画の制作
- アート・エンターテインメント
多言語に翻訳した能や狂言、歌舞伎を海外に発信する文化支援
- 生活・文化
識字率の低い開発途上国で映画に触れる機会を届けるプロジェクト
- 旅行・観光
海外からの観光客に向けた、多言語対応可能な「AI観光ガイド」
- 教育・人材
言語による表情や口の動きの違いを比較学習する教材
この知財の情報・出典
この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。