カメラとLEDライトで触覚を検知

本センサーの内部には、視野角160度の魚眼レンズ付きカメラと、内部を照らすリング状の3色のLEDライト（赤・青・緑）を内蔵。本親指型センサーが何かに触れ義指の内部形状が変形すると、内部の光の模様もそれに伴い歪められて変化する。この模様の変化を内蔵カメラが捉え、1秒間に複数回記録する。

深層学習ネットワークによる解析

記録された光の模様の変化は深層学習ネットワークに伝送され、模様の変化を基に、どこに接触しているか、力が加わった位置や方向、力の強さが算出される。学習したモデルは、送られてきたデータからセンサー内部のカラーパターンの変化を検出、センシングした面全体に力関係の分布マップを継続的に提供する。

高精度な触覚を実現

精度実験の結果、空間分解能は0.4mm、力の大きさの精度は0.03～2N程度、力の方向の精度は5度を持つことが判明。接触面積が異なる多数の接触も同時に測定できた。