慶應大学、筑波大学、公立はこだて未来大学の研究グループは2024年10月11日、音漏れを活用し、手の動きでだけイヤホンを操作できる新技術「EarHover」を開発したと発表した。耳につけるイヤホン型のウェアラブルデバイス（ヒアラブルデバイス）を用いた技術で、ヒアラブル特有の音漏れ現象と機械学習を組み合わせて構築。耳元付近の空中でスワイプや手指の開閉などを行うことで、デバイスに触れずに操作できる。

空中ジェスチャーによる操作はこれまでも研究が進められてきた。耳への押し込み・ノイズといったタッチに伴う不快感の解消に加え、手が汚れていても使用でき、調理や医療現場などで清潔に使える手法として、デバイスへの導入が期待されている。しかし従来、カメラや赤外線センサーを用いる手法がほとんどで、実装コストやデザインの複雑化が課題となっていた。

研究グループらは、ヒアラブルデバイスの音漏れ現象がセンシングに活用できることに着目。標準的なヒアラブルデバイスに搭載されている、内蔵スピーカーと収音マイクを用いた新たな手法を構築した。

「EarHover」では、内蔵スピーカーから人間には聞こえない超音波信号を発信し、耳の外部に漏れて空中ジェスチャーに反射した信号を収音マイクで測定。測定した信号を、周波数情報の時間変化を可視化するスペクトログラム画像に変換し、機械学習を用いてジェスチャーの検出と分類を行う。

測定には、異なる速度・角度・形状のジェスチャーの反射によって生じるドップラー効果を用いている。ドップラー効果は、音を発する物体を通り過ぎる・音を発する物体に近づくなどで、音の周波数が変化する現象。例えば、救急車のサイレン音の変化がそれにあたる。

研究では、インイヤーとオープンイヤーの2種類のプロトタイプデバイスを開発。予備実験を経て、27種類のジェスチャー候補から7種類を選定し、検出・分類性能を評価した（実験参加者：13名）。

実験にあたっては、深層学習を用いた推定モデルを作成。結果、空中ジェスチャーではないその他の動作を誤認識する確率を1.8%に抑制し、約80%の精度でジェスチャーの種類を認識したという。

研究グループは今後、騒音の大きい環境などでの精度検証を行いながら、認識システムの改良や市販デバイスのみでの実装を目指す方針。併せて、安全に利用するためのガイドラインの制定を進めるという。

研究成果は、人と計算機の相互作用を研究するヒューマン・コンピュータ・インタラクション（HCI）分野の国際会議「UIST '24: The ACM Symposium on User Interface Software and Technology」に採択され、Best Paper Awardの受賞が決定している。

ニュースリリースはこちら（1）（2）

Top Image : © Keio University