顔の画像認識と骨伝導イヤホンによる咀嚼体験

アイデアのはじまりは、夜中にスナックを食べてしまうときに「お腹は空いていないけれど口さみしい」という気持ちを感じ、それならば“食べた感じ”になれるものがないかと考えたことから生まれた。Webカメラに向かって口の中に何も入れずに咀嚼する動作をすると、画像認識技術によって顎の動きを検出し、その動きに合わせて骨伝導イヤホンからサクサクという咀嚼音と振動がフィードバックされるという仕組みだ。映像やアロマディフューザーを連動させることで、まるで本当にスナックを食べているような擬似的な咀嚼体験を得ることができる。

健康面や精神面への効果の期待

咀嚼することは、集中力を高めたり、ストレスを軽減したりするなど、健康面や精神面にさまざまな良い影響があるとされており、認知機能の維持にもつながる可能性があると期待されている。Phantom Snackでも同様の咀嚼効果が得られるか、今後も研究を進め、大学の研究室などと連携しながら開発を続けていく予定だ。

VRと組み合わせた咀嚼体験

VRと組み合わせれば、バーチャル空間で食べるエンターテインメントをヘルシーに構築することが可能と期待されている。既存のVRゴーグルは口を隠さないため、画像認識にも適している。モグモグする動きをコントローラーとして活用すれば、美顔体操にもなるフィットネスゲームなど、さまざまな利用シーンが考えられる。日本人の咀嚼回数は時代とともに減少しているとされており、人々の咀嚼機会の回復と健康増進に貢献できる可能性が期待されている。

モグモグという動きの検出の工夫と試行錯誤

口を閉じたまま顎を動かすモグモグという動きの検出には、初期の計算原理は比較的シンプルにできたが、画像認識で得た顔の特徴点を計算可能な形に加工するコーディングには前例がほとんどなく、大変な開発だった。目処が立ったところで精度向上のため、ルールベースから機械学習を用いたシステムに移行。さらに、さまざまな人種の顔や顎の動きに対応させる必要があり、データサンプルとして電通グループ内の多くの人々に協力を依頼。また、心地よい体験にするため、音響やモーショングラフィックスにも特に力が入れられた。広告クリエイティブ制作で実績のあるプロフェッショナルによる協力で、エンターテインメントとしても完成度の高い体験に仕上がった。