No.098

2020.09.18

バーチャルなアバターを介したフィジカルなコミュニケーション

デジタルカメン e2-MaskZ

e2maskZ

概要

デジタルカメン e2-MaskZは、装着者の表情を画面に表示されるアバターの表情にリアルタイムで反映する、薄型フルフェイスマスク・ディスプレイ。アバターが表示されたディスプレイを、仮面として物理的に着用することで、新しい対面コミュニケーションの形を生み出す。加えて、コロナ禍におけるフェイスシールドのような役割も備え、飛沫感染予防にも繋がる。将来的には、筋萎縮性側索硬化症(ALS)患者の多様な表情の生成、小児患者の歯科治療時における不安軽減、面接官の顔を制御したリラックス空間の面接環境、接客業における感情労働の軽減など、様々な応用が想定されている。

装着者の喜び・怒り・悲しみといった表情、まばたき、口の動きを認識し、画面上のアバターに反映する。 (”Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays”)

なぜできるのか?

表情認識を可能にする設計

デジタルカメン e2-MaskZは、前面に薄型有機ELディスプレイ、裏面に表情認識を行う光反射型センサーアレイが組み込まれている。裏面の光反射型センサーアレイは、40個の特徴点で装着者の表情(主に眉毛、頬、目、口)をミリ単位で測定する。

機械学習による分類

異なる表情に応じたセンサー・皮膚間距離を教師データとするサポートベクターマシンを用いて、10種類の表情に分類する。加えて、母音発音時の口の動きも分類する。

相性のいい産業分野

医療・福祉

社交不安障害自助グループにおけるアサーション・トレーニング支援や、小児患者治療時における不安軽減

生活・文化

デジタルカメン婚活パーティー

メディア・コミュニケーション

飲食店など、対面での接客業における感情労働の軽減

教育・人材

面接官の顔を制御したリラックス空間の面接環境

この知財の情報・出典