加工不要で位置検出を行う物体認識アルゴリズム

マーカーやテープなどの加工を一切せず、カメラ画像のみから剣先位置を検出できる独自アルゴリズムを開発。アルゴリズムは、物体の位置と種類を検出する深層学習AIモデルの「YOLO v3」をベースに開発、システム構築を行った。フェンシングの剣先は4Kカメラでは数ピクセルほどの幅で高速で変化するが、その検出を可能とした。

3Dで安定的に剣先位置を推定する画像検出システム

試合場（ピスト）の全体に、24台の4Kカメラを配置。全領域をカバーし、様々な角度から安定的に画像解析を行う。複数カメラがとらえた剣先の角度や剣のガード部分の位置・角度など2D情報は、システムで3D情報に変換されるため、3D空間で剣先位置の推定ができる。

剣先の動きを3Dでビジュアル化するAR技術

ライゾマティクスが手掛けてきた、人の動きをとらえAR合成を用いてビジュアル化する技術を深化。剣の形状などを含む剣先の3D情報を、3Dで人の姿勢を推定するアルゴリズムを組み込んだシステムと掛け合わせ、剣先の動きに合わせたAR表現を可能としている。剣先の軌跡に加え、相手を突いた瞬間などもビジュアル化ができる。