No. 290 古い写真の顔を動かすディープラーニング技術

Deep Nostalgia(ディープノスタルジア)

Deep Nostalgia(ディープノスタルジア)とは、古い写真の顔をディープラーニング技術によってリアルな動画に生成するサービス。アカウントを作成してサーバーへログインし、動かしたい顔の写真をアップロードすれば誰でも手軽に利用が可能。状態の悪いモノクロ写真をシャープなカラー写真に変換するサービスと顔認証技術を応用しており、まばたきや表情の揺らぎなど、極めてリアルな動きをつくり出すことができる。先祖や故人、絵画や彫刻などの顔も動かすことができ、時世を超えた新たなコミュニケーションとデータベースへの応用が期待される。

妄想プロジェクト

身体のクセまで再現した「バーチャル・クローン」

Deep Nostalgiaのディープラーニング技術を、表情のみならず体全体を対象にすることができれば、クラウド空間にその人の佇まいや動きのクセまでを再現したバーチャル・クローンを生成することができるだろう。音声までを合成させれば、リアルタイムの投影とも2Dの平面表現とも異なる、リアルなクローン・アバターがデジタル上で再現できる。テレワークやプレゼンテーションなどビジネスの場はもちろん、故人をデータ上に記憶させたり、指名手配犯をより立体的に報道したりなど、あらゆる方面での実装が期待できるだろう。


妄想家: 荻野靖洋

なぜできるのか?

機械学習と写真変換技術

アップロードされた顔はAIと機械学習により、目線を変えたりまばたきをしたり、顔の向きを動かしたりと、記念写真を撮る直前のような動きをする。古いモノクロ写真をシャープなカラー写真に変換する技術を応用しており、解像度の低い過去の写真からでもリアリティある精緻な顔の動きをつくり出すことができる。

複数のドライバーモーション

動かしたい写真の顔をサーバーにアップし、あらかじめ用意されている複数の動きの「ドライバー」からひとつを選ぶと、そのドライバーと同じ動きをする。動画は数秒で、選択されたドライバーの動きをトレースして動き、最後は写真の顔に戻る。

イスラエルの顔認識技術を採用

イスラエルの企業、D-IDの「Live Portrait」という顔認識技術を採用。Live Portraitでは音声も追加でき、静止画からあたかも本人が話しているような動画を作成できる。

相性のいい分野

教育・人材
世界の偉人たちの姿や表情がリアルに伝わる「動く教科書」
メディア・コミュニケーション
愛する人の所作や雰囲気ごとパッケージする動く記念写真
アート・エンターテインメント
額縁の中の人物の表情が変わる「動く肖像画美術館」
セキュリティ
指名手配犯の顔の特徴を効果的に伝えるポスター

知財情報

主な知財ホルダー:MyHeritage,D-ID

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

知財ハンター

松岡 真吾 Shingo Matsuoka
副編集長 / 知財図鑑

1991年岐阜県岐阜市生まれ。東京多摩地域のカルチャーを扱う紙媒体の編集と映像制作、企業や行政・大学等のWEB/グラフィックコンテンツの企画ディレクターを経て知財図鑑に加入。映像を中心としたアートや印刷物、ローカルな街、飲酒にまつわる文化と技術に興味がある。


知財ライティング: 松岡真吾