No.800

2023.08.02

デジタルと物理的世界を融合する空間コンピューター

Apple Vision Pro

Apple_VisionPro

概要

「Apple Vision Pro」とは、デジタルコンテンツと物理的世界をシームレスにつなぐ空間コンピューター。ヘッドマウントデバイスを用いて、周囲の環境とのつながりを残しながら、空間にデジタルコンテンツを表示し、目・手・声で操作する。Appleがこれまで培ってきたデバイス関連の技術に加え、4Kを超える高解像度のディスプレイシステムや独自設計のチップ、世界初となる空間オペレーションシステムなどの開発により実現している。ディスプレイ枠を超えたワークスペースの拡張や、アプリ・オンラインツールなどとも連携可能なため、ゲームや映像などのエンタメ領域に留まらず、ビジネスや医療、アカデミアなどで日常的に用いる、新たなデバイスとしての活用が期待されている。

VP_1

VP_tu

VP_4

VP_2

VP_3

VP_5

なにがすごいのか?

  • デジタルコンテンツと物理的な空間がシームレスに融合

  • 空間上のコンテンツを目・手・声で直感的に操作可能

  • 4Kを超える高解像度のディスプレイ

  • 人の接近でディスプレイ表示を変え物理的世界とつなぐ

  • ワークスペースとしてもエンタメ空間としても活用可能

なぜできるのか?

超高解像度のディスプレイシステム

切手サイズの2つのディスプレイには、4Kよりも多い2,300万ピクセルを詰め込んでいる。マイクロOLED(マイクロ有機EL)の技術を用いて、高解像度と広色域、鮮明な色彩を実現。レンズは独自設計の3枚構成で、どこに視線を向けてもディスプレイがあるような感覚を生み出している。また視力矯正が必要な人向けに、追加オプションとして専用の矯正レンズ「オプティカルインサート」を提供。それにより、ディスプレイのパフォーマンスとトラッキング精度の向上が図れる。

周囲の状況を捉えるカメラとセンサー

一対の高解像度カメラが周囲の状況を捉え、1秒間に10億以上のピクセルをディスプレイに送信する。ディスプレイを通して物理的世界をクリアに表示することに加え、正確なハンドトラッキングやヘッドトラッキングも可能にしている。また、フロントカメラ・センサーと、レーザー光の発射を利用し「距離」を読み取るLiDARスキャナーを連携させて、周囲の3Dマップを作成。空間へのデジタルコンテンツの正確な表示を実現している。

世界初の空間オペレーションシステム「visionOS」

空間での操作を可能にする入力操作システム「visionOS」を開発。ユーザーの目・手・声でコンテンツを操作できる、世界初のオペレーションシステムを構築している。空間上のデジタルコンテンツに合わせ、視線を動かして画面操作したり、指を動かして項目選択したり、手首を上下左右に動かしてスクロールができるほか、声による文字入力などもできる。またSiriも搭載し、音声でのコンテンツ操作も可能にしている。

人が近づくと視界を変化させる「EyeSight」

周囲に人が近づくと検知して、ユーザーがそれを認識できるようディスプレイ表示を変える「EyeSight」機能を搭載。ユーザーは、デバイスを付けたままでも周囲を見渡すことができる。その際、デバイス表面にはユーザーの両目を表示し、相手も目を見て話せる仕様にしており、物理的世界とのつながりを重視している。また反対に、ユーザーがコンテンツなどに没入している際は、何に集中しているかを可視化して周囲に知らせる機能も備えている。

視線入力を可能にするアイトラッキングシステム

LEDと赤外線カメラによる、高性能なアイトラッキングシステムを搭載。ユーザーの両目に、目視できない不可視光を照射し、その反応に基づいて入力操作を行っている。それにより、項目に目を動かすことによる直感的な入力を実現している。

空間に合わせて音を届けるオーディオシステム

2つのドライバーを搭載したオーディオポッドを両耳の横に配置。モノの素材も含めて部屋の音響特性を分析し、また周囲の音も聞き取りながら、空間に適用した音を届ける。iPhoneと連携して、ユーザーの頭と耳の形に合わせパーソナライズした空間オーディオも提供。没入感のある音体験を実現する。

3D写真・映像撮影が可能な3Dカメラ

Apple初となる3Dカメラを搭載。デバイス上部のボタンを押すことで、即時に写真・映像撮影できる。撮影した写真などはライブラリに保存され、デバイスを介して空間への投影が可能。180度を超えたパノラマ表示もできる。

新規と既存のアプリ・機能との連携

visionOSは、専用のApp Storeで提供されるアプリケーション・コンテンツのほか、互換性のあるiPadやiPhoneのアプリなども使用可能。WebブラウザはSafariで、iCloudを使えば、コンテンツはiPhone、iPad、Macと自動的に同期される。またMac Virtual Displayを使えば、ワイヤレスで「Apple Vision Pro」とMacの接続が可能。空間をMacのディスプレイとして活用できる。

独自設計のデュアルチップの搭載

高解像度のディスプレイやvisionOSの制御、12個のカメラ、5つのセンサー、6個のマイクなど、デバイスの各機能を最適化を図るため、独自設計のデュアルチップ構造を採用。Macなどに既に搭載している自社設計チップ「M2」に加え、主にリアルタイム処理を実行するチップ「R1」を開発して搭載した。「R1」は、瞬きより8倍高速な12ミリ秒の速度で、センサーなどが捉えた情報をディスプレイに送ることができる。それにより、高度なコンピュータービジョンアルゴリズムを実行しながら、高精度でリアルタイムなグラフィックの提供を実現している。

相性のいい産業分野

IT・通信
  • 空間表示に適したワークツールやコンテンツの開発

  • スマートフォンに代わる通信デバイスとして展開

教育・人材

指導者と新人を空間でつなぎ現場・補足情報をリアルタイムで画面共有しながらOJT

医療・福祉

目の操作で手術中の患者の生態情報や状況確認できるツールの開発

アート・エンターテインメント

リアルとバーチャルを行き来する空間アートやゲームの開発

ロボティクス

現場ロボットの視界を共有しジェスチャーで遠隔操作する仕組みの開発

官公庁・自治体

事故現場などの状況を記録し捜査員に共有するツールとして活用

この知財の情報・出典

この知財は様々な特許や要素技術が関連しています。
詳細な情報をお求めの場合は、お問い合わせください。

Top Image : © Apple Inc.