No.347

2021.06.18

AR技術を用いてフェンシングの剣先の軌跡を可視化

Fencing tracking and visualization system

ライゾマティクス Fencing Visualized Project

概要

Fencing tracking and visualization systemとは、人間の視覚では追いきれないフェンシングの剣先を検出・リアルタイムでAR合成し、軌跡をビジュアル化するシステム。フェンシングのメダリストである太田雄貴氏(元日本フェンシング協会会長)、Dentsu Lab Tokyoとライゾマティクスで進めているFencing Visualized Projectの基幹技術。スピードが速く、観戦していても何が起こっているか理解が難しいと言われてきたフェンシングの攻防や選手の狙いを、ビジュアルで観ることができる。テクノロジーの活用でスポーツ観戦の可能性が拡がることを示す実例となり、他スポーツはもちろん、エンタメ業界など広範囲での活用が期待される。

なぜできるのか?

加工不要で位置検出を行う物体認識アルゴリズム

マーカーやテープなどの加工を一切せず、カメラ画像のみから剣先位置を検出できる独自アルゴリズムを開発。アルゴリズムは、物体の位置と種類を検出する深層学習AIモデルの「YOLO v3」をベースに開発、システム構築を行った。フェンシングの剣先は4Kカメラでは数ピクセルほどの幅で高速で変化するが、その検出を可能とした。

3Dで安定的に剣先位置を推定する画像検出システム

試合場(ピスト)の全体に、24台の4Kカメラを配置。全領域をカバーし、様々な角度から安定的に画像解析を行う。複数カメラがとらえた剣先の角度や剣のガード部分の位置・角度など2D情報は、システムで3D情報に変換されるため、3D空間で剣先位置の推定ができる。

剣先の動きを3Dでビジュアル化するAR技術

ライゾマティクスが手掛けてきた、人の動きをとらえAR合成を用いてビジュアル化する技術を深化。剣の形状などを含む剣先の3D情報を、3Dで人の姿勢を推定するアルゴリズムを組み込んだシステムと掛け合わせ、剣先の動きに合わせたAR表現を可能としている。剣先の軌跡に加え、相手を突いた瞬間などもビジュアル化ができる。

相性のいい産業分野

スポーツ

体操など繊細な技術を競うスポーツや、格闘技、球技などスポーツ全般への活用

アート・エンターテインメント

映画のアクションシーンやダンスなどのモーションを可視化することによる再現性の向上

教育・人材

スポーツや芝居、職人仕事など、特殊な動きが必要な技術習得のための研修教材

メディア・コミュニケーション

手話動作の伝達・理解促進や、コミュニケーションへの活用

AI

ペットの動きや仕草を解析することで動物の意思表示を明確にするAI

この知財の情報・出典

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

特許出願公開番号:特開2021-071953

Top Image : © Rhizomatiks