PSGAN
「PSGAN」(*1)は、ある人の顔の画像から化粧情報だけを別の顔へ移動させる手法「Makeup Transfer」の中でも特に、ポーズや表情の違いからの影響を受けにくくすることに世界で初めて成功した革新的な手法。今までの手法におけるポーズ・表情に対する結果のブレ（感度）を大きく改善し、部分的な化粧や陰影のコントロールさえも可能にする。将来的には、美化アプリの機能を拡げたり、別の画像生成手法に適用されたりするなど、幅広い応用が期待されている。
(*1) PSGAN = Pose and Expression Robust Spatial-Aware Generative Adversarial Network
なにがすごいのか？
- 表情やポーズが大きく変化する画像同士でも、良好で高品質な化粧の移動を実現する深層学習モデル
- 画像だけでなく動画にも対応し、顔の向きに変化があっても適用可能
- 今までの手法の精度を大きく上回る、斬新なフレームワーク
なぜ生まれたのか？
近年の自撮り画像の美化アプリ普及に伴い、高品質な結果の得られる「Makeup Transfer」手法が求められている。
今までの手法は、
１）顔の正面写真について、位置のズレや過剰なフィットを解決する機能がない
２）3次元的な情報を捨ててしまう
といった問題により、画像同士でのポーズや表情の違いといったノイズの影響を受けやすかった。加えて、化粧の濃さを変えたり、リップグロスやアイシャドウを別々に移動させたりすることも難しく、実用の範囲は限られていた。
これらの問題を解決すべく、北京航空航天大学の大学院生Jiang氏らは、画風を変える手法にヒントを得て、ポーズや表情に対しても結果が左右されにくい本手法を提案するに至った。
本手法はコンピュータビジョンにおける世界三大国際会議の一つであるConference on Computer Vision and Pattern Recognition 2020(CVPR 2020)において採択され大きな注目を浴びた。
