Pickup
2021.09.15
インタビュー | 真鍋 大度×花井 裕也
絶え間ないクリエイティブの実験で飛躍する、新時代のスポーツ体験
Rhizomatiks（ライゾマティクス）
「東京2020オリンピック競技大会」、日本勢が過去最多のメダル獲得ラッシュとなった本大会で、史上初の金メダルに輝いた「フェンシング男子エペ団体」での活躍は記憶にも新しい。コロナ禍で無観客となった会場では、選手の素早い剣先の動きをトレースし、ポイントが決まると小気味の良いエフェクトが選手の体から弾け飛ぶといった先端技術を駆使したヴィジュアル表現が使われていた。太田雄貴・日本フェンシング協会前会長が思いを込めて長年力を入れてきた「フェンシング競技のビジュアル化」が体現された瞬間だ。このシステムを開発したのが、インタラクティブアートとエンターテイメントの領域を横断し、見たことのない鮮やかな表現で世界を魅了するアーティスト／プログラマーの真鍋大度氏と花井裕也氏だ。その開発の背景と、テクノロジーの進化が競技をアップデートする可能性、未来へのチャレンジについて聞いた。
数年先のテクノロジーの進化を見据えた長期的プロジェクト
—今回使用された「Fencing tracking and visualization system」は、マーカーレスの画像認識で剣先を検出・リアルタイムでAR表現を合成し、軌跡をビジュアル化するシステムです。本番での運用の手応えはいかがだったでしょうか？
真鍋
まず一つの目標として、実際にオリンピックの試合でこのシステムを使ってもらうことをゴールとしていたのでそこは嬉しく思っています。無観客のため実際に会場で見てもらうことができなかったり、諸事情によってTVでARの映像を放送できなかったのは残念ですが、太田前会長が積極的に発信してくれたことでSNSで話題になったりもしたので、今回のプロジェクトの発表ができて良かったかなと思っています。
─フェンシングという競技との最初の出会いはいつ頃だったのでしょうか？
真鍋
2013年に「テクノロジーでスポーツにイノベーションを起こす」というテーマでDentsu Lab Tokyoと太田さんが立ち上げたプロジェクトとして、ライゾマティクスに具体的な相談をいただきました。フェンシングの試合は動きが早くて正確に剣先が検出できないという課題があったのですが、当時からモーションキャプチャーだったり、マーカー無しでも「OpenCV」を使ったトラッキングをして可視化していた実績があり、それを応用するとスマートに解決できるのではと提案しました。最初はモーションキャプチャ用のスーツを着て剣先にマーカーを付けて実現したのが最初です。
─長期的な期間で開発を行う中で、特に気を付けたり意識した点はどういったところでしょうか？
真鍋
当初はマーカーを着けたエキシビジョンマッチだったので、技術面よりもいかにビジュアルをかっこよく見せるかがポイントでした。マーカーを用いたAR合成はそれまで何度もやっていたこともあり技術的にはそこまで大変ではなかったです。その中で「もし選手側にマーカーを一切着けずに剣先がトラックできたら、本番の試合でも活用できるのでそれを目指してほしい」と太田さんから提案がありました。当時、顔の表情や特徴点のトラッキングがリアルタイムにできてきて、機械学習技術の進化には楽観的な展望を持っていたこともあり、1〜2年では難しいかもしれないけれど、2020年を目指すプロジェクトとしては最終的にうまく表現できるのではと思っていました。実際にその仕組みを構築するには大掛かりなセットになってきたので、そこからのシステム実装については花井が担当して、私はプロジェクトのクリエイティブとテクニカルのディレクションを行っていました。
─ 数年先の技術のアップデートを見越した長期プロジェクトになっていたということですね。こちらのサイトにも詳しい技術の解説や開発経緯がありますが、2台のLiDARと24台の4Kカメラで画像検出をして、物体認識用の深層学習アルゴリズム「YOLO v3」をベースに剣先位置を高精度に特定するところまでたどり着きました。
花井
最終的にカメラ台数は24台に落ち着いたのですが、これは当初から見積もって設定した数でした。最初にディープラーニングで開発を始めたときは1台のカメラでテストをしましたが、その際に剣先が相手選手の体の死角になる回数が頻発することがわかって、両サイドから捉えるカメラが必要だと感じました。次に解像度の問題で、4Kだと5mくらいのエリアしかカバーできないため、ピストと呼ばれる競技場（※編集部注：競技により14メートル・18メートルとなる）の領域をすべてカバーするための台数、その表裏、さらに補強するために上下の視点を含めることを計算して24台となりました。
─実際の試合での導入にはかなり細かい精度が求められたと思います。システム開発にあたって一番苦労したのはどういったところでしょうか？
花井
一番大変だったのはやはり、素早く動いて、さらに軌跡が不規則に変化する小さな剣先をリアルタイムに画像認識技術で検出するところでした。2017年の時点で剣先がなんとなく見つかるような段階になり、そこから実際の試合に運用できるところまで精度を上げていきました。
また、当初から2Dの画像だけではなく、最終的に3Dにしないと精度が出せないだろうと感じていました。例えば、ある瞬間の剣先を収めたカメラの画像が複数台にまたがった場合、軌跡を途切れずにつなぐためにはそれぞれのカメラの画像を3D上のポイントとして補完しないといけません。そこで選手の位置を大雑把に取るという目的でLiDARを使っていて、姿勢推定で剣を含めた選手の体の動きをキャプチャし、3D化することでより高精度で堅牢なシステムになりました。
─サイト内には「100万枚のCGで深層学習させた」という記述がありますが、これはどういう手法で行ったのでしょうか？
花井
2019年に大規模なデータセットを作ることになり、実写で4Kカメラ8台をマルチアングルで撮影し、20万枚のアノテーションを人海戦術で作っていきました。また、これとは別に選手の体を元に3Dスキャンとモーションキャプチャーのデータも取らせていただき、スタジオで骨格のデータを入れて、完全にCGで動くフェンシングの選手を作りました。その状態でUnreal Engineを用いて背景や剣の色・種類を変えながら大量にレンダリングをして、データ・オーグメンテーションをかけたので100万枚以上になったという感じです。
─システム開発が終わったのはどのくらいの段階だったのでしょうか？
花井
2019年12月に「JAL Presents 高円宮杯 World Cup」というテストイベント（※本番とほぼ同じ条件で試合を行うもの）がありまして、オリンピック会場となる幕張メッセで本番さながらの検証を行いました。この段階で検出システムとしてはほぼ完成しまして、そこから教師データのアップデートなどはしましたが、今回のオリンピックでも現場での大きな修正などはありませんでした。
試合展開を損なわず、魅力的にするためのヴィジュアル表現
─実に8年ほどに渡った開発の成果だったのですね。次に検出した剣先の軌跡をARでビジュアライズする点に関しては、どのような意識を持って取り組まれたのでしょうか？
花井
基本的な見せ方や手法は、これまで真鍋がアートやエンターテインメントの分野でやってきた表現を踏襲して繋いでいくイメージでしたので、実際の試合にどう見せるかといったところでは技術的に大きなハードルはありませんでした。
真鍋
今回意識したところは、通常のカメラや観客席の視点からは見られない軌跡を映像で見せることです。お客さんにフェンシングをどう魅力的に見せるかといった仕掛けや、見たことがない視点で試合を観戦できるかということを大事にしてきました。剣さばきやガードの軌跡などはこういったシステムが入らないと見ることができないので、そこは工夫をしています。もう一つ、選手にとっても試合が終わった後に自分の剣先の動きを振り返って、技術向上などのトレーニングに使えるといった部分もありました。
─動いている剣先にリアルタイムでAR合成を行う際、実際の試合の臨場感とのバランスをどのように調整したのでしょうか？
真鍋
試合の生の映像をいかに忠実に見せるかということに集中しようと思ったらARは必要ないと思うのですが、そのAR映像表現によってフェンシングの魅力が伝わったり、試合が面白くなるのであればそれを採用するということで、表現とのトレードオフがありますよね。アーティストのショーでも顔のアップを見たい人もいれば演出を見たい人もいるので、いい塩梅でそこを調整していくことが演出の仕事だと思います。ARが邪魔になってしまうと元も子もないので、そのバランスを取りながら表現しています。特に今回は、太田さんの「可視化」への強い思いがあり、最初に映像演出をお見せしたときにかなり感動してくださって、「この表現を多くの人に見ていただきたい」という原体験がプロジェクト全体を引っ張ってきたところがありました。
特許技術の応用可能性とアップデートの展望
─今回開発したシステムを元に、この先こんな活用をしてみたい、といった発展のイメージはお持ちでしょうか？
花井
例えば、フルーレという競技だと「優先権」という仕組みがあるのですが、これは判断が難しくて、お客さんや競技をやってる人でもなかなかわからないのではと思います。「今どちらが優先権を持っているか」をリアルタイムでARで表現できたらとてもわかりやすくなるのではと思うので、機械学習の精度が高まればそこも解決できるかもしれません。今回のシステムに関して言えば、フェンシングに特化したアルゴリズム開発なのですが、「棒状の細いもの」を正確に拾うことができる技術は唯一無二だと思いますので、解像度が低いカメラには映らないような小さいものや細かいものを見つけるという分野で、他の競技にも展開できるのではないかと思います。
真鍋
今回の特許は「棒状のものを検出する」仕組みなので、近いスポーツだと剣道などになるのかなと思うのですが、フェンシングの早くてしなる剣先の検出はかなり難易度の高いタスクだったと思います。ボールのトラッキングなどであればそこまで大変ではないので、もっと平易なトラッキング方法を用います。また、これは意匠やデザインの問題になってきますが、ビジュアライゼーションという観点では、現状スポーツ全ぱんで取り入れられているものは説明的な物が多いため、取得したデータを用いて映像表現に昇華してより魅力的にすることもできると思います。映像表現は視聴するデバイスにも依りますし、3Dデバイスでの鑑賞やインスタレーションに発展させるなど、プレイバックの方法としてはこれからも進化の余地が大きいと思っています。今回は「実践の試合でどう見せるか」にフォーカスしたプロジェクトでしたが、競技をどのように魅力的に見せるかというのはまだまだ試していきたいと思っています。
クリエイターが特許出願する意義とその可能性
─今回、このシステム自体を特許出願されていることも特徴的に感じます。クリエイターが自前で開発したシステムをライセンス化することの意義や目的についてお聞かせ下さい。
真鍋
どちらかといえばライゾマティクスは、エンジニアがそれぞれGitHubでソースを公開したり、オープンソースコミュニティに貢献してきた側面がありました。今回のプロジェクトに関しては、公式にオリンピックで使われることも想定していましたので、守るべき部分は守っていく方がいいのではと、顧問弁理士の若林裕介先生に相談した経緯があります。技術自体の独自性も独創性も高く、特許が取れる可能性があるということで、開発当初からそういうお話をしていました。
若林
私も真鍋さんからこのお話を聞いてものすごい技術だと思ったので、なるべく広く一般的な技術になるよう「棒形状の器具の位置を検出する技術」として出願しました。フェンシングの競技だけに限らず、スティックを使う競技やゲームなどでも使えることを想定して記載しています。特許を出願することによって、誰かが応用してくれるという可能性が開かれることになりますので、真鍋さんたちのような開発者が思ってもなかったような使い方も含めて、世の中に広く活用されていくことを期待しています。
─これまで真鍋さんが関わられたプロジェクトにはPerfumeの「global site project」など、オープンソースやライセンスフリーといったテーマを扱うものがありました。そうしたプロジェクトからの影響などもありますでしょうか？
真鍋
若林さんにお願いするまでは、なんでもオープンにすればいいと思っていたのですが、今はプロジェクトごとにオープンにするところと権利化するところを分けて、戦略的に考えていきたいなと考えています。それと並行して、これまでのようなオープンソースコミュニティへの公開も続けていきたいですね。
業界全体としては、10年前と比べられないくらいマーケットもクリエーターの人数も大きくなっていて、例えばTouchDesignerやNotchなど、当時オープンソースで公開されていたようなものが商用のツールキットになっていたりします。openFrameworksのようなコミュニティだと、ただオープンにしてコーダーが貢献するだけでは回っていかないという状況もあると言われていて、そういった業界の変化の影響は受けているかなと思います。特にインタラクティブアートは元々アートとして始まり、今は完全に商用コンテンツとして大きな価値があるものになっているので、市場の変化も大きいと思います。
未来に先駆けて実装される、先端分野のテクノロジー
─最近では、真鍋さんのブレイン・マシン・インターフェースやライゾマティクスとしてのNFTへの取り組みも印象的です。お二人が今もっとも興味のあるテクノロジーについて教えて下さい。
真鍋
今、京都大学のiCeMS（高等研究院 物質－細胞統合システム拠点）というところと共同プロジェクトをやっていくのですが、アートの分野で言えばバイオアートでしょうか。現実的には様々なハードルが高くて難しさがありますが、自分自身がアーティストとして興味があるのは、iPS細胞を使って作品を作ってみたり、自然と人工物との境目に着目した様な作品ですね。現状は医療で使われているものをアートの分野に応用してみたり、最先端の研究がアートに与えるインスピレーションは素直にすごく大きいと思っています。個人的にNeuralinkなどは、アメリカに行って脳にマシンを埋め込んでもらえたらぜひやってみたいなと思っています。そういった埋め込み技術なども、数年すれば一般の人に向けたものになるでしょうし、神経細胞を培養して生物にコンピューティングさせるということも、作品に応用できることが多いと思っています。
最近だと東京大学の高橋宏知研究室の協力を得て、外部からの電気刺激に対応する分散培養細胞の神経活動データが持つ時空間的パターンを解析、変換し音と光のデータを生成したインスタレーションを発表しました。このあたりはビジネス展開などは一切考えずに、ピュアなアート活動としてやっています。自分としては顔に電気信号を流していた2008年の頃と変わらず、ビジネスとは離れたところで実験的なことをやっていきたいです。
─大学の研究成果を社会実装する活動にも積極的に力を入れてらっしゃるように感じます。
真鍋
僕は研究機関とアーティストはすごくいい関係になれると思っていまして、ヨーロッパだとすごく当たり前に行われていて進んでいるなと思います。僕自身もCERN（欧州原子核研究機構）とコラボレーションして作品を作ったりとか、SETI（地球外生命体探査）のプロジェクトをしたこともあるのですが、日本ではまだそういう試みが少ないと感じています。サイエンティストとアーティストがタッグを組んでプロジェクトをやることが増えるといいですよね。社会実装という意味では、新たにフロウプラトウという会社を立ち上げて商業施設やサービスに展開する様なことをやっています。この辺はアートとは共存するのは難しいので二つのベクトルで考えています。
─「知財図鑑」も様々な分野の研究成果が社会に実装されることを目指して活動しているところもあるので、その思いに大いに共感します。花井さんはいかがでしょうか？
花井
元々、僕は問題解決思考の強いエンジニアで、コンピュータービジョン関連などを主に取り扱ってきました。その分野では2016年頃にディープラーニングで盛り上がりましたが、ユースケースの提案がまだ足りていないではと思っています。去年、コロナの影響があったことで、「Messaging Mask」というささやき声をマスクに可視化するを開発しました。使ってる技術はGoogleのAPIで音声認識したものLEDで表現する簡単なものでしたが、例えばそれを100台、1,000台と増やしていくことで、ビジュアライゼーションの部分で面白いことができるのではと思っています。大量のささやき内容のデータを活用して、クラスタリングして可視化するとまた違う表現が生まれると思います。今やっていることには何かしら機械学習の技術とは切り離せない事が多いのですが、その領域を広く横断して使っていきたいなと思っています。
─それを実現させるために組んでみたい業種やパートナーなどはありますか？
花井
やはり我々は開発が主でサービス運用のリソースや経験はあまりないので、そういった運用のできる事業者と組んでみたいなと思っています。フェンシングの技術でも開発は担当しましたが、このシステムをライセンス化してスケールさせていくような人たちと組めると、もっと可能性が広がって機能していくのではと思います。
─お二人のお話を伺っていると、フェンシングのシステム開発において積極的に新しい技術を取り込んで表現するだけでなく、それを特許化してライセンス活用していくなど、新しいクリエイターのあり方を模索する先駆者だなと感じます。オープン化することへの意識も高いと思いますので、ぜひたくさんのトライから多くの人を巻き込んだイノベーションを起こしていかれることを期待しています。本日はどうもありがとうございました。
Text：荒井 亮
