AR（拡張現実）技術 by Niantic：現実世界とデジタル世界をつなぎ拡張する技術

概要

Niantic（ナイアンティック）の「AR（拡張現実）技術」とは、デジタル情報・コンテンツなどをデバイス上の画像や映像などの現実世界に融合させて表示し、画面に見える世界を拡張する技術。地図・モバイルの知見や技術をベースに開発を行い、世界規模で共有できるARプラットフォームを構築している。NianticのAR技術は、単に情報やデジタルコンテンツを重ねただけの視覚的なARではなく、人の活動と共にARを変化させ、生活の一部をデジタルと共存させることに重点を置いている。今後さらに開発が進めば、建物や交通標識など見たもの全てから、個人にカスタマイズされたデジタル情報をARから受け取れるような、生活に溶け込んだ技術になると期待される。

実現事例実現プロジェクト

Pokémon GO

「Pokémon（ポケモン）GO」とは、NianticのAR技術と位置情報技術を用い、現実世界そのものを舞台にしたアプリゲーム。任天堂のゲームソフト「ポケットモンスター」（略してポケモン）のコンセプトをベースに、Nianticが任天堂や株式会社ポケモンなどから支援を受けて開発し、2016年から発売を開始している。世界中でプレイされておりダウンロード数は10億回を超える（2021年9月時点）。Pokémon GOでは、現実世界と連動したアプリ上の「フィールドマップ」に現れた野生のポケモンを、スマートフォンの画面操作で捕まえる。フィールドマップは、ユーザーの現在地の天気・場所・時刻などと連動して変化し、例えば現実世界で雨が降るとゲーム内でも雨が降る。訪問地や歩行距離に応じて出現するポケモンが変化したり、観光地や歴史スポットなどでゲームの道具が受取れるといったインセンティブ機能を持たせ、現実世界での行動を促す仕組みとしている。また、他ユーザーと仮想世界の「ジム」でポケモンを戦わせたり、ユーザー同士でポケモンを交換するなどの交流機能もある。リアルとデジタルを融合させた期間限定イベントなども開催しており、2019年3月に横浜市で開催された「Pokémon GO Fest 2019 Yokohama」には、７日間で15万人が参加した。

ポケモンG

なぜできるのか？

地図や位置情報に関する知見と技術

2010年にGoogle内で設立されたNiantic（当時はNiantic Labs）には、Google Earth・Google Maps・ストリートビューなどを手がけてきた技術者や研究者が在籍。3Dマップ技術や位置情報、それに関連する地形・衛星画像・統計など多様な情報を活用する地理空間情報技術などを保有していた。その知見と技術が、現実世界とつながりを重視したAR技術開発のベースとなっている。

人を起点にした現実世界の3Dモデル

現実世界とデジタルとを馴染ませ融合させるために、精密な3Dモデルを構築。人から見た視点で場所や風景の動き・ライブを3次元でデータ化し、立体的なコンピュータグラフィックスを形成した。構築した3Dモデルで機械学習などを行ってコンピュータの処理速度を高め、デバイスのカメラや人が動く中でも、ずれの少ないデジタル合成・表示を可能としている。

現実世界の関係性を考慮したコンピュータビジョン

ARのデジタルオブジェクトと、現実世界の物体との関係性を考慮できるコンピュータビジョン（脳を模したコンピュータのデータネットワークを用いて画像等のデータを解析・把握する技術）を開発。コンピュータビジョンのアルゴリズムに「テーブル」や「椅子」など現実にある物体を学習させ、場所の構成などの把握ができるようにしている。それにより、デジタルオブジェクトが、現実世界の物体の前で停止したり、後ろを通ったり、上に乗ったりすることを可能にした。

同時体験・共有が可能なネットワーク技術

複数人で同時に同じAR空間を体験できるようにするため、低遅延 AR ネットワーク技術を独自開発。全員が同じ空間を見ている感覚を持つにはARの表示タイミングを合わせる必要があり、動作遅延が大きな課題だったが、それを解消した。さらにiOSやAndroidなどOSが異なっても同じ体験が可能なクロスプラットフォームを構築し、広くAR空間の共有を可能にしている。