なぜできるのか？

指先の電極を口元に近づけて筋電位信号を取得し、言葉を認識する手装着型のデバイス

近年、音声認識技術はスマートフォン、スマートスピーカー、ロボット、AR/VRなど多様な場面で利用されているが、音声入力には、周囲に発話内容が聞こえてしまうプライバシー上の懸念や、騒音環境で認識精度が低下する課題がある。また、声を出すことが難しい状況や、公共空間・医療現場・作業現場など、発話そのものが適さない場面も存在する。こうした課題に対し、発声を伴わずに口周辺の筋活動などから言葉を認識する「サイレント音声認識（SSR）」が注目されている。一方で従来のSSR技術では、顔や口元にセンサーを常時装着する必要がある場合が多く、装着負担、見た目の違和感、日常利用における心理的ハードル、信号取得の安定性などが課題となっていた。今回開発された手装着型ウェアラブルデバイスは、顔や口元にセンサーを常時貼り付けるのではなく、必要なときだけ指先の電極を口元に近づけて筋電位信号を取得する「オンデマンド型」の方式を提案。これにより、装着性・プライバシー性・日常利用のしやすさを高めることを目指した。

言葉を発しようとする際にわずかに動く口周辺の筋肉から単語を識別

発声しなくても、言葉を発しようとする際には口周辺の筋肉がわずかに活動する。このデバイスはその筋電位信号を計測し、機械学習によって単語を識別する。デバイスには、指の曲げ伸ばしや装着時の変形に追従するため液体金属配線を用い、口元に接触する電極には透明な柔軟FPC電極を採用。全体を柔らかいエラストマー材料で封止することで、手指の自然な動きを妨げにくく、安定して信号を取得できる構造を実現した。

平均97.2±1.3%の認識精度を達成し、単語レベルの情報を高精度に識別

深層学習モデルで解析した結果、平均97.2±1.3%の認識精度を達成し、発声を伴わない口周辺の筋活動から単語レベルの情報を高精度に識別できることを示した。さらに応用可能性を示すため、無発声コマンドによるドローンのリアルタイム制御を実証。騒音環境や、声を出しにくいプライバシー性の高い環境においても、音声に代わる直感的な操作インターフェースとして利用できる可能性を示している。