PSGAN：顔から顔へ化粧だけ移動させる技術

概要

「PSGAN」(*1)は、ある人の顔の画像から化粧情報だけを別の顔へ移動させる手法「Makeup Transfer」の中でも特に、ポーズや表情の違いからの影響を受けにくくすることに世界で初めて成功した革新的な手法。今までの手法におけるポーズ・表情に対する結果のブレ（感度）を大きく改善し、部分的な化粧や陰影のコントロールさえも可能にする。将来的には、美化アプリの機能を拡げたり、別の画像生成手法に適用されたりするなど、幅広い応用が期待されている。

(*1) PSGAN = Pose and Expression Robust Spatial-Aware Generative Adversarial Network

本手法はコンピュータビジョンにおける世界三大国際会議の一つであるConference on Computer Vision and Pattern Recognition 2020(CVPR 2020)において採択され大きな注目を浴びた。

なにがすごいのか？

表情やポーズが大きく変化する画像同士でも、良好で高品質な化粧の移動を実現する深層学習モデル
画像だけでなく動画にも対応し、顔の向きに変化があっても適用可能
今までの手法の精度を大きく上回る、斬新なフレームワーク

なぜ生まれたのか？

近年の自撮り画像の美化アプリ普及に伴い、高品質な結果の得られる「Makeup Transfer」手法が求められている。

今までの手法は、
１）顔の正面写真について、位置のズレや過剰なフィットを解決する機能がない
２）3次元的な情報を捨ててしまう
といった問題により、画像同士でのポーズや表情の違いといったノイズの影響を受けやすかった。加えて、化粧の濃さを変えたり、リップグロスやアイシャドウを別々に移動させたりすることも難しく、実用の範囲は限られていた。

これらの問題を解決すべく、北京航空航天大学の大学院生Jiang氏らは、画風を変える手法にヒントを得て、ポーズや表情に対しても結果が左右されにくい本手法を提案するに至った。

なぜできるのか？

化粧の動かすための「斬新なフレームワーク」

フレームワーク（モジュールという機能単位をまとめた枠組みのこと）を2つの画像（元の画像と参照先の画像）に使うことで化粧を移動させる。詳しくは以下の3つの手順を踏む。

1. MDNet (Makeup Distill Network)を使って、参照画像の化粧を2つの情報（行列）に分ける。
2. ポーズや表情が大きく異なる可能性があるため、AMM (Attentive Makeup Morphing)を使って元画像と参照画像をピクセル単位で対応づける。
（これによって位置のズレが解消され、参照画像が滑らかに元画像へと変わるようになり、部分的に化粧を動かしたり濃さを調整したりできるようになる。）
3. MANet (Makeup Apply Network)を使って、さきほど分けていた行列の情報を元画像へ移す。

独自データセットから主張される「精度の飛躍的向上」

著者らは、ポーズの違う画像間で化粧を移動させる時に精度が向上することを示している。精度の評価には自作した独自のデータセットを使っている。このデータセットは顔正面画像のみの従来のデータセットとは一線を画し、様々な表情・ポーズ・背景の画像を含んでいる。

相性のいい産業分野

生活・文化: メイクする時間的余裕のない早朝からのオンラインミーティングでも、出来合いのメイクを借りることでカメラON
アート・エンターテインメント: 好みの芸能人のメイクを顔にまとったバーチャル仮面舞踏会の開催
その日の気分によって、以前自撮りした自分のお気に入りのメイクを手軽に再現