NEDOが進める「人工知能活用による革新的リモート技術開発プロジェクト」において、国立研究開発法人産業技術総合研究所（産総研）、国立大学法人東北大学、国立大学法人筑波大学、株式会社Adansonsは、2024年3月に発表した極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせた、双方向リモート触覚伝達システムを開発した。また、これを基盤とした実用例としてAR技能教育システム、心拍数共有アプリ、その性能を向上する技術を開発した。

双方向リモート触覚伝達システムは、触覚デバイスと触覚信号編集技術を組み合わせることで、幅広い周波数帯域の触覚信号を体験できるため、指先で触れる操作や握手などの触覚情報を手首で計測し、相手側に伝えられるシステムだ。

ものづくりの分野では、少子高齢化に伴い、職人の高度な技能の記録や伝承、自動化が求められているが、繊細な技能動作に関わる体感の違いを比較し、分かりやすく教示することが大きな課題だった｡特に、工具でものを削る、擦るといった動作により発生する繊細な触覚は、従来の方法で忠実に再現することは、ハードウェアの応答限界のために困難だった｡また、インターネットを活用して離れた人と交流する機会が増加する一方、視覚と聴覚のみによる交流では、対面と比較してコミュニケーションが難しく、孤独感を訴える人もいた。

これらの課題を解決するためにこのシステムの開発に取り組んだとのこと。双方向リモート触覚伝達システムの開発にあたり各者の役割は以下となっている。

東北大学は、リアルな触覚を再現するAR技能教育システムを開発。作業者が手で感じる振動体感を、手先から手首に伝わる振動波形を手首に装着した腕輪型デバイスで計測し、触覚の知覚量に基づく信号処理技術を用いて、作業者が感じる触覚の知覚量を数値化し、ARシステムを介して空間に投影することで、作業体感の可視化に成功した｡

記録した触覚は、デバイスに内蔵されたバイブレーターを用いて、振動体感を忠実に再生できる｡開発した触覚知覚量に基づく触覚信号の強調技術を用いて、記録する作業者と体験者間における手指からの振動の伝わりやすさの個人差を補正し、バイブレーターが提示する体感量を忠実に制御することが可能になった｡

これにより、世界で初めて、個人の触覚の伝わりやすさの違いを補正しながら、振動体感を共有可能なAR技能教育システムを実現した｡

筑波大学は、これまでに開発した疑似心拍振動により、従来の覚醒の度合いを示す感情の表現に加え、「快―不快」の感情の表現が可能であることを実験により確認した。また、この疑似心拍振動を介してカメラやウェアラブルデバイスから計測した表情や心拍数などの生体信号を伝達することで、相手の存在感が強まることを実験により確認した。

これらの実験の成果を基に、手軽に二者間で振動を介して心拍数を共有できるiPhoneおよびApple Watchユーザー向けの心拍数共有アプリを一般公開した。ビデオゲームで対戦している際の二者間や、競技中のアスリートからコーチまたは視聴者など、さまざまな場面で相手の心拍数の変化に触れる体験を提供する。

産総研では、独自に開発した極薄ハプティックMEMSデバイスによる振動刺激性能を向上させるために、実際の皮膚の物性や触感を模倣するために作成された人工モデルである皮膚ファントムと非接触式の計測装置を組み合わせ、皮膚内部に生じる歪み分布を可視化・数値化する評価システムを構築。これにより、振動がどのように伝達しているかを定量的、かつ正確に把握することを可能とした。

本評価システムでは、高速度カメラを用いた非接触式の測定法を採用しており、任意の振動波形について皮膚内を伝播する歪を可視化できる点が大きな特徴だ。また、この評価技術を活用し、デバイスの貼付構造や皮膚と振動板の接触界面を最適化することで、振動知覚能を向上させられることを筑波大学との共同研究で実証した。

Adansonsは、独自の信号分離／特徴抽出技術「参照系AI」を活用し、触覚信号などのノイズが多く複雑な信号から、人間の意図どおりに伝えたい信号を抽出するための「体感ネゴシエーション」インターフェイスを開発。従来、ノイズが多い環境や、信号が複雑に混合されている場合、既存手法では人間の狙い通りにノイズを分離することは難しく、非常に複雑な処理が必要だった。

参照系AIは、人間の意図や現象の特性、特徴量に基づいて信号を分解することが可能だ。今回、触覚領域において、LLMや映像解析AIと組み合わせることで、より簡単に人間の意図がAIに伝えられるようになった。さらに、AI側からも信号の意味や種別を判定し、信号分解方法や抽出する目的信号を提案する「ネゴシエーション」機構を開発したことで、AIと人間が双方向に意思決定しながら、簡単に複雑な信号を分解、抽出できるようになった。

この技術により、リアルタイムでの動画の動きや信号の特徴に応じた音源分離や信号生成、高ノイズ下での特定信号モニタリングなどが容易になる。また、人間とAIの対話による意思決定プロセスにより、これまでのように無作為にAIが選別した結果を受動的に受け入れるだけの体験から、AI自体を人間が制御し、安全な処理を行うという体験が可能となる。

今後、産総研、東北大学、Adansons、筑波大学は、本事業の成果を活用し、ものづくりで利用する技能体感教育システムの開発や、心拍数共有アプリのさらなる性能向上、および、汎用（はんよう）信号処理ソフトウェアの提供を進めていく。これにより、これまで世代を超えて伝承が困難であった触覚を手軽に記録して共有できる社会の実現を目指す｡

プレスリリースはこちら

Top Image : © NEDO