News
2024.04.12
知財ニュース
NTT、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発
日本電信電話株式会社（NTT）が、四肢等肢体が不自由である重度身体障がい者の、メタバースを通じた豊かなコミュニケーションやつながりの実現に向けて、残存しているわずかな筋の動作をメタバースへの操作命令につなげる入力インタフェースを開発した。
これにより、重度身体障がい者が脳信号入力や視線入力に加えて表面筋電信号入力を自分の意思を伝えるための身体拡張技術として利用できるようになる。本技術を利用したアバター操作やゲーム操作は、2023年11月14日（火）～11月17日（金）に開催された「NTTR&Dフォーラム2023 IOWN ACCERALATION」にて展示された。
24時間介護の必要な重度身体障がい者は、自宅や施設など限られた空間の中で過ごすことが多く、外部との交流や社会参画を望んでも、コミュニケーションやICT機器操作が壁となり、極めて困難なのが現状だ。そこで、重度身体障がい者が自分の意思を伝えるための技術（AAC：Augmentative and Alternative Communication technologies）の研究開発が世界中で取り組まれている。特に筋肉の萎縮をきたす疾患と共生する重度身体障がい者は、身体運動が大きく制限されるため、脳波センサ（EEG：ElectroEncephaloGraphy sensor）などの計測波形に基づく脳信号入力や視線入力が主な技術対象となっている。
同社は、障がいのある人だけでなく、サポートする人も含めた人間中心設計の視点で課題を解決していくProject Humanityの一環として、重度身体障がい者が豊かにコミュニケーションや社会とのつながりをもてる技術創出を目標として研究を行っている。今回、重度身体障がい者のメタバースへの身体拡張に向けて、検討事例が少ないものの、身体動作との関係の深い筋電センサ（sEMG：surface ElectroMyoGraphy sensor※筋線維が収縮活動するときに発生する活動電位）に着目した。そして、メタバースへの非言語表現やICT機器操作を拡張する新たな身体拡張技術として、残存しているわずかな筋の動作をメタバースへの操作命令につなげる筋電センサ（sEMG）を活かした入力インタフェースを開発した。
筋がわずかでも動けば、sEMGセンサによりsEMGを計測できる。実際、あるALS共生者が、わずかに動かせる身体部位の身体位置情報とその部位の動作に寄与するsEMGを計測した結果を見ると、数mmの身体部位の動きに対してsEMGが観測された。ただし、障がいの個人差の影響のため、利用可能な身体部位は個々の身体状況に応じて設定することになる。
次にある身体部位を意図して動かそうとするときに、別の身体部位の筋も反応している場合がある。実際に、指示された身体部位をALS共生者が動作させている区間において、別の身体部位の筋が反応している様子が観測さた。意図した身体部位の筋を抽出する技術として、安静時のような筋の脱力された状態をsEMGの基準値に設定するキャリブレーションと、筋収縮の動作判定に使用される閾値の設定を身体部位ごとに設定することがポイントとなる。本技術を活かしたALS共生者によるDJパフォーマンスのステージでは、曲が流れた直後の安静状態を基準値となるように設定し、実際のDJパフォーマンス時の力みの状態に合わせて閾値を設定した。
また、EMGセンサにより計測された連続的なsEMGからメタバースへの操作命令に変換する上で考慮すべきポイントは、筋疲労だ。重度身体障がい者は、筋力および筋持久力が衰えるため、身体部位の動作を節約しながらメタバースへの意図した操作命令を実現することが必要だ。そこで、筋を長時間収縮し続けることや筋収縮に強弱をつけることによる操作命令を避け、その代わりに、各身体部位の筋収縮の動作判定に応じて各操作命令が決定する方針にした。さらに各操作命令に対応するアバター動作が一定時間反映されるようにし、同じ操作命令を繰り返した場合、反映されるアバター動作時間が延長されるようにした。例えば、指の伸展動作に応じてメタバース空間上のアバターが手を挙げる場合、伸展したことを検知する技術と、伸展に応じて上がったアバターの手は一定時間上がり続けることが考えられる。
一見、リアリティが失われ、効果的ではないと思われるが、本技術を実体験したALS共生者は、自分が意図した通りにアバターが動作していることで自分自身の身体動作を通じてアバターを動作できていると実感。過去のAAC技術の評価は操作速度と動作に対するリアリティのある反応に重点を置かれることが多い中で、動作を節約するという考え方は新たな設計思想になりうるとしている。
NTTはDentsu Lab Tokyo（以下「DLT」）と連携し、本技術と、DLTの視線入力とアバター表現を組み合わせたメタバースでのDJパフォーマンスを実現するシステムを構築した。このシステムを用いることで、ALS共生者は、視線入力でこのようにアバターを動かしたいという意思（動きの種類）を読み取り、実際のアバターの動きに反映が可能となる。さらにDJでもあるWITH ALS代表の武藤将胤氏が東京から遠隔でオーストリア(リンツ)で開催されたArs Electronica Festival 2023のステージでDJパフォーマンスを披露した。
他にもsEMGを活用したゲーム操作を実装。アバター向け操作命令の代わりにゲーム向け操作命令に変換させることで、ゲーム内キャラクターの操作を実現した。多様な機器が開発される中、わずかな動きでゲーム操作を実現できる表面筋電センサは、今後様々な分野での活用が期待できる。特に、eSportsを通じたICT機器の操作性の向上や人とのつながりは将来の社会参画につながる大事な要素になるとしている。
Top Image : © 日本電信電話 株式会社