No. 098 バーチャルなアバターを介したフィジカルなコミュニケーション

デジタルカメン e2-MaskZ

本知財は、装着者の表情を画面に表示されるアバターの表情にリアルタイムで反映する、薄型フルフェイスマスク・ディスプレイ。アバターが表示されたディスプレイを、仮面として物理的に着用することで、新しい対面コミュニケーションの形を生み出す。加えて、コロナ禍におけるフェイスシールドのような役割も備え、飛沫感染予防にも繋がる。将来的には、筋萎縮性側索硬化症(ALS)患者の多様な表情の生成、小児患者の歯科治療時における不安軽減、面接官の顔を制御したリラックス空間の面接環境、接客業における感情労働の軽減など、様々な応用が想定されている。

装着者の喜び・怒り・悲しみといった表情、まばたき、口の動きを認識し、画面上のアバターに反映する。
(”Digital Full-Face Mask Display with Expression Recognition using Embedded Photo Reflective Sensor Arrays”)

なぜできるのか?

表情認識を可能にする設計

本知財は、前面に薄型有機ELディスプレイ、裏面に表情認識を行う光反射型センサーアレイが組み込まれている。裏面の光反射型センサーアレイは、40個の特徴点で装着者の表情(主に眉毛、頬、目、口)をミリ単位で測定する。

機械学習による分類

異なる表情に応じたセンサー・皮膚間距離を教師データとするサポートベクターマシンを用いて、10種類の表情に分類する。加えて、母音発音時の口の動きも分類する。

相性のいい分野

ヘルスケア
社交不安障害自助グループにおけるアサーション・トレーニング支援
ヘルスケア
小児患者の歯科治療時における不安軽減
恋愛
デジタルカメン婚活パーティー
ビジネス
面接官の顔を制御したリラックス空間の面接環境
サービス
飲食店など、対面での接客業における感情労働の軽減

知財情報

主な知財ホルダー:公立はこだて未来大学 平田&竹川研究室、徳田雄嵩、慶応義塾大学 杉本研究室・杉浦研究室、UCL Interaction Centre

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

知財ハンター

小髙 充弘 Mitsuhiro Odaka
Media Artist / Konel Inc.

1991年生、神戸出身。学士(医学,理学)。広義の「感染」に関するメディアアート制作を行う。病原体、行動、モラル等が、複雑に跨ぎ合うつながり構造の上を拡散・極性化する現象に関心がある。その関心の下で、データによる予測可能性を超えた逸脱的な意味付けの内部に人間が人間たる規定要因を探したり、疎外された逸脱主体と他との交流の回復がありうるのか探ったりしている。