目次
- はじめに
- Apple Vision Pro とは
- Apple Vision Pro の特徴
- Apple Vision Pro は 空間コンピューティング
- Apple Vision Pro の OS
- vision OS の UI操作
- Apple Vision Pro の 特徴2
- Apple Vision Pro の 特徴3
- パートナーシップ
- Apple Vision Pro のデザイン
- Apple Vision Pro のバッテリ
- Apple Vision Pro に搭載しているテクノロジー
- Apple Vision Pro の開発について
- Apple Vision Pro の 開発ツールについて
- Apple Vision Pro 開発キットの提供について
- Unity Editor 開発のサポート
- Apple Vision Pro の 新しいストア
- Apple Vision Pro のプライバシーとセキュリティ
- Apple Vision Proの価格
- Apple Vision Pro の 発売日
- Apple Vision Pro Developer Labs
- Apple Vision Pro の公式サイト
- Apple Vision Pro の 紹介動画 （YouTube）
- まとめ
はじめに
ARスタートアップのOnePlanetにXRエンジニアとして所属し、様々なAR開発を手がける徳山より、2023年6月6日の早朝にApple WWDC23 で 発表された Apple Vision Pro についての内容を紹介していきます。
WWDCで発表されたスライドをもとに、主要なトピックスを網羅的にピックアップしてまとめた内容となっています。
Apple Vision Pro とは
Vision Pro は新しい種類のコンピュータ。
現実の世界とデジタルの世界をシームレスに融合。
拡張現実（AR）を実現します。
Apple Vision Pro の特徴
直感的に操作
目、手、声を使って操作することができます。
無限の空間がディスプレイに
目の前にある無限の空間に様々なアプリケーションを配置することができます。
Eye Sight
目は感情の指標と考えられます。そのため目を映し出す技術が備わってます。この技術ををEyeSightと言います。
没入中は周りが見えないように表示されます。
目の前に人が入るとVision Proが相手に対して自分の目が見えるようにします。
Apple Vision Pro は 空間コンピューティング
Apple Vision Pro の OS
Vision OS
空間上にアイコンが表示されるUI。
まさに現実世界の空間がApple Vision Pro のOSに変わります。
UIの影もテーブルに反映されます。まさに現実のデジタルが調和しているように見えます。
実際の部屋より広く見せる
Digital Crownを回すことで調整できます。
vision OS の UI操作
視線
アイコンに視線を合わせるだけで選択状態になります。
指の操作
スクロールや決定は指で操作。
音声入力
音声で検索したり、Siriと対話もできます。
Apple Vision Pro の 特徴2
Mac、iPhone、iPadでは標準のアプリケーションがApple Vision Proにも用意されています。今までのApple 製品と同じように同期されます。
Safariブラウザのタブも空間上で一気に見れます。
空間コンピューティングならではの3Dモデルが目の前に配置することもできます。
複数のアプリを同時に起動して、同時の使用することも可能です。
Magic Trackpad や Magic KeyboardといったBluetooth 機器も使用することができます。
Macとワイヤレスで接続することで目の前にスクリーンが表示されます。（拡大すると4Kポータブルディスプレイにも）
Apple Vision Pro の 特徴3
3Dカメラと空間オーディオの記録
3Dカメラと空間オーディオを使って、その空間を記録していつでも再生することができます。
ARと空間オーディオ
ダイナミックな映像による映画の体験から3Dの恐竜が現実世界に出てくるような体験も可能にします。
パートナーシップ
ウォルト・ディズニー・カンパニー
ウォルト・ディズニー・カンパニーは、Appleとパートナーシップを結び、Disney+をApple Vision Pro のリリースと共に使用することができるようになります。
ディズニーの世界に入り込むことが可能になります。
Apple Vision Pro のデザイン
パフォーマンスとモビリティ、ウェアアラビリティを目標を達成するため最も先進的で最も軽い素材を採用。
前面は1枚のガラスでできており、光学面になるまで表面を研磨。これにより、EyeSightのほか、カメラやセンサーも透過されることで機能が十分に発揮します。
空間を再現する写真やビデオを撮影するボタン。
ホームビューを呼び出すダイヤル。Digital Crown。
Apple Vision Pro のバッテリ
外付けの高性能バッテリを使用することで最大2時間使用することが可能。
Apple Vision Pro に搭載しているテクノロジー
Display
マイクロLED Apple シリコンバックプレーン
iPhone のピクセル1個分のスペースに64ピクセルを詰め込みながら、幅は7.5ミクロン。2枚のパネルを合成すると2,300万ピクセル。
片目あたりのピクセルは4kテレビを超えます。
空間オーディオ
現実の世界と融合することを目指し、全く新しい空間オーディオシステムを開発。統合型のデュラルドライバオーディオポッドがパーソナライズされたサウンドを届けます。
オーディオレイトレーシングという技法を使い、周囲の空間と特徴と素材を分析することで、現実の世界に空間サウンドを適合させます。
高解像度ビデオ、トラッキング、LiDAR
プロセッサ / Apple M2
高性能をほぼ無音で動作するプロセッサ。
プロセッサ / Apple R1
Apple Vision Proで搭載される新しいチップ R1。
リアルタイムセンサーの課題解決のために特別に設計されたチップ。
12個のカメラ、5つのセンサーと6つのマイクからの入力を処理します。
通常のデバイスでよくある映像の遅延問題を、このR1チップではほとんどなくし、12ミリ秒以内にディスプレイに映像データを送ります。（12ミリ秒は瞬きの8倍の速さです。）
R1チップは人間が目で感じる事象を再現するために開発された特別なチップで空間コンピューティングのApple Vision Proにとって、必須なチップでもあります。
Eye Sight
レンチキュラーレンズを持つ、湾曲した特殊なOLEDを使用することで、装着している目を違和感なく投影しています。
自分そっくりのアバターを実現
Apple Vision ProによるFaceTimeでは、本物そっくりの自分の姿を映し出します。これは機械学習を使った斬新なソリューションによる実現しています。
センサーを自分自身を登録します。この際、ニューラルネットワークを使い、エンコードとデコード処理が行われます。
この処理を経て、自分自身のアバターが作成されます。
vision OS のテクノロジー
vision OSは、macOS、iOS、iPadOSの技術イノベーションを基盤にCORE OSとなり、CORE OSに上に Apple Vision Proに必要なシステムを搭載する構成になります。
REAL-TIME SUBSYSTEM
新しいリアルタイム実行エンジン。
FOVEATED RENDERER
Apple Vision Proを装着している人の視線の正確な位置に最高品質のイメージを毎フレーム単位で投影する動的なレンダリングパイプライン。
MULTI-APP 3D ENGINE
複数のアプリを同時実行するためのエンジン。
SPATIAL FRAMEWORKS
Apple Vision Pro のアプリケーション開発を既存のフレームフレームワークで使用できるようにした拡張フレームワーク。
Discover visionOS
まったく新しいプラットフォーム。使い慣れたフレームワークとツール。Apple Vision Pro の まったく新しいアプリケーションやゲームの世界をデザインについて説明しています。
Learn about visionOS
クラス最高のフレームワークとツールを備えたvisionOSは、素晴らしい空間体験を創造するための完璧なプラットフォームです。アプリやゲームの開発、メディア体験の構築、SharePlayを使ったつながりとコラボレーションの瞬間のデザイン、ビジネス向けのアプリの作成、visionOSをサポートするためのウェブサイトの更新など、役立つセッションと情報が掲載されています。visionOS向けの開発、空間体験のデザイン、テストとツールについて学べる46のセッションを用意しています。
Apple Vision Pro の開発について
一部の開発者がApple Vision Proのアプリケーションを開発。その一部を紹介。
Complete HeartXが開発した心臓の鼓動や解体図などを再現するアプリケーション。
Jigspaceが開発したF1のデザインコンセプトを検討するためのアプリケーション。
PTCのStagesを使った新しい製造ラインの稼働による検討などを行うアプリケーション。
新しい空間インターフェイスによるDJアプリケーション。
Sky Guideは専用のプラネタリムを開発。
マイクロソフトのアプリケーション
Excel、Word、Teamsといったマイクロソフトのアプリにも対応。
ビデオ会議アプリケーション
上記のアプリがApple Vision Proのアバターを使用して参加することもできるようになります。
Apple Vision Pro の 開発ツールについて
XCode、Swift、RealityKit、ARKitを使って、Apple Vision Proのアプリケーションの開発は可能です。
3Dコンテンツ制作ツール Reality Composer Pro
既存のアプリにも対応
iOSやiPadOSで使用できるフレームワークはvisionOSにも含まれているため、既存のiOSやiPadOSで動作しているアプリケーションがApple Vision Proでも動作します。
Apple Vision Pro 開発キットの提供について
Road to VR によると、開発者は6月末までにvisionOS SDKとReality ComposerとXcodeのアップデート版が利用でき、Apple Vision Pro での開発をサポートを行う予定とのこと。。また、開発者がApple Vision Pro上の空間アプリケーションのベストプラクティス支援するための新しいヒューマンインターフェースガイドラインも提供される予定。
さらに、Appleは、開発者がApple Vision Proを通して自分のアプリがどのように見えるかを確認できるエミュレータであるVision Pro Simulatorを利用できるようにすると述べています。
開発者は、準備が整い次第、Appleの開発者向けウェブサイトで詳細を確認することができます。発売が近づくにつれ、AppleはVision Proを店頭で試用できるようにするとしています。
Apple to Open Locations for Devs to Test Vision Pro This Summer, SDK This Month
Unity Editor 開発のサポート
Apple Vision ProはUnity Editorで開発することができます。
Unity ベータプログラムの参加方法
ARやVRのコンテンツを作っている方、既存のコンテンツの Apple Vision Proに移植などの興味がある開発者に対して、Unityはベータプログラムの応募を開始しています。詳細は以下のリンク先ペーにてご確認ください。
Apple Vision Pro の 新しいストア
Apple Vision Pro向けの新しいストアも用意されています。
Apple Vision Pro のプライバシーとセキュリティ
Apple Vision Proを装着するとOptic IDが機能します。Optic IDは一卵性の双子も識別するテクノロジー。虹彩を利用しVision Pro ロックを解除します。
Optic IDは暗号化されてます。Face IDと同様、Secure Enclaveプロセッサ
だけがアクセスできます。
Optic IDはApple Pay、Apple Storeでの購入、パスワードの自動入力もシームレスに連携します。
Apple Vision Proの価格
Apple Vision Proの価格は3,499ドル（約53万円）〜になります。
Apple Vision Pro の 発売日
2024年初めにアメリカのApple Webサイトと直営店のApple Storeで発売。
2024年末に他の国でも発売を予定。
Apple Vision Pro Developer Labs
Road to VR によると、Apple Vision Proの発売に先立ち、開発者がApple Vision Proアプリケーションの構築を開始する時間が必要であることから、開発者がApple Vision Proのアプリケーションをテストする機会をできるだけ早く提供するしたいと考えてます。Appleは「Apple Vision Pro Developer Labs」を、今年の夏から、ロンドン、ミュンヘン、上海、シンガポール、東京、クパチーノに開設を予定しているようです。
また、Appleによると、開発者はApple Vision Proでアプリケーションをテストによるリクエストを行うことできます。テストとフィードバックはAppleがリモートで行うとのこと。
Apple Vision Pro の公式サイト
Apple Vision Pro を AR体験。
以下のサイトにアクセスして下部までスクロールすると体験できます。（一部のiOSデバイスのみ対応。）https://t.co/m4yQT0PpBX #wwdc23 pic.twitter.com/HCNP0bKmFN— Sadao Tokuyama (@tokufxug) June 6, 2023
Apple Vision Pro の 紹介動画 （YouTube）
Apple Vision Proの紹介動画です。
まとめ
以上、WWDC23のプレゼン内容を網羅的にまとめてみました。
本メディア「ARマーケティングラボ」を運営する株式会社OnePlanetでは、ARグラス および 空間コンピューティングデバイスを活用した開発ついて豊富な実績を有しています。ご興味がございましたら、お気軽に相談ください。
引き続き、Vision Pro に関する最新情報を発信していきますので、宜しくお願いいたします！
