Android XR × Google Gemini で未来のAI x XR体験

本記事は、ARスタートアップのOnePlanetにXRエンジニアとして所属し、様々なAR開発を手がける徳山より、2024年12月に発表された Android XR についての概要をまとめた内容となっています。（この記事は、Android XR Advent Calendar 2024 の13日目です。）

「Android XR（アンドロイド XR）」とは

Android XR は、ヘッドセットやメガネ向け（ARグラス）に対応した AI搭載の最新OS（オペレーティングシステム）です。

Android XR は様々なデバイスに対応したOS

Android XRはヘッドセット型とメガネ型に対応しており、Google AI の Geminiが標準搭載されたXR体験用のOSです。

Snapdragon spaces の Android XR サポート

Snapdragon spacesで作成したアプリをスムーズにAndroid XR対応できるようサポートされています。また、Snapdragonを搭載したSamsung、SONY、XREAL、LYNKなどの企業だけでなく、より多くのパートナー企業へと拡げていく予定です。

イマーシブシアター

動画リストから選択すると…

完全没入の動画視聴が体験できます。

無限のワークスペース

現実の空間がワークスペースとなります。スプレッドシートやスライドなどの作業が可能です。

リビングルームから世界を探検

空間上でGoogle Mapを開き、Immersive viewをタップすると…

タップした付近の上空に移動。吹き出しをタップすると…

イマーシブによるストリートビューに切り替わり、タップした場所付近を吹き出し表示されます。

トーク中にリアルタイムで相手が話している音声をリアルタイムに翻訳され、ARグラス上にテキスト表示されます。

Gemini for Android XR

Geminiは、あなたの日常をサポートするAIアシスタント。スタイリッシュなARグラスに搭載され、周囲の世界を理解し、必要な時に自然に会話で役立つ情報を提供します。先ほど紹介したARナビ、翻訳など、スマホを取り出すことなく便利に活用できます。

※ ARグラス機能は将来、リリースされる予定です。

Android XR用ヘッドセット Samsung（サムソン）製「Project Moohan」

現在（2024年12月13日）、Samsung（サムスン）からSnapdragon® XR2+ Gen 2プラットフォームが搭載されたAndroid XR用ヘッドセットのリリースが発表されました。

https://news.samsung.com/global/unlock-the-infinite-possibilities-of-xr-with-galaxy-ai

Android XRヘッドセットで体験する次世代のリアル

XR技術がもたらす革新により、現実の境界が広がり、体験価値が一変しています。Android XRヘッドセットは、これからのリアル体験を支える重要なデバイスです。

ユーザー体験を最優先に

ユーザー体験を常に最優先にして、これを実現するため、Galaxy AIをはじめとする最先端技術を駆使し、Android XRヘッドセットが提供する自然で直感的なインタラクションを実現しました。Galaxyエコシステムに支えられたこのテクノロジーは、日常生活を一変させる力を持っています。

オープンコラボレーションによるAndroid XRプラットフォームの開発

GoogleやQualcommなどの業界リーダーとオープンコラボレーションを行い、新しいAndroid XRプラットフォームを開発。このプラットフォームは、GalaxyエコシステムやGoogleアプリ、さらにはサードパーティ開発者とのパートナーシップを通じて、豊かなコンテンツ体験を提供します。

Android XRヘッドセット「Project Moohan」の特徴

Android XRヘッドセットは、ジェスチャーやコントローラーに加え、音声と自然な会話によるインタラクションを実現します。Gemini技術を活用し、会話型のユーザーインターフェース（UI）と周囲の状況を理解する能力を備えています。これにより、個々のユーザーに合わせたパーソナライズされた体験を提供します。

Project Moohanは、最初のAndroid XRヘッドセットは、これらの革新的な体験を実現します。このヘッドセットは無限の空間での没入感を提供し、最先端のディスプレイやパススルー機能、自然なマルチモーダル入力を備えています。これにより、Googleマップで世界を探索したり、YouTubeでスポーツを観戦したり、Geminiと共に旅行計画を立てたりすることができます。

軽量で快適なデザイン

Project Moohanは、軽量でエルゴノミクスに基づいたデザインを採用しており、長時間使用しても快適さを提供します。これにより、ユーザーはいつでも快適にXR体験を楽しむことができます。

デザイン＆装着感：Apple Vision ProとMeta Quest Proの融合？

Samsung XRヘッドセットは、Apple Vision Proに似たスタイリッシュなデザインながら、Meta Quest Proからインスパイアされた調整ダイヤル付きのバックストラップが特徴的です。Apple Vision Proが目の周辺に重量を集中させるのに対し、Samsung の Project Moohanは額に重量を分散させることで、より快適な装着感を実現しているとのことです。

操作性：直感的なインターフェース＆物理ボタン

右側ストラップには、物理ボタンとタッチパッドが搭載されており、音量調整や各種設定を直感的に操作できます。特に、ボタン一つでレンズ間距離を自動調整できる機能は画期的です。また、USB-Cケーブルによる外部バッテリー接続にも対応し、長時間の使用も安心です。

Android XR：マルチタスク＆Playストアアプリ対応

Android XRは、マルチタスクに特化したOSであり、複数のアプリウィンドウを自由に配置・サイズ変更できます。操作はスワイプやピンチなどのジェスチャーを用い、Apple Vision Pro と同様の操作感を提供します。アプリ一覧の呼び出しも、Apple Vision Pro と同じくハンドジェスチャーによる操作が可能です。 Apple Vision Pro と Android XR の大きな違いは「選択方法」にあります。Apple Vision Pro では視線による選択を採用していますが、本デバイスではハンドポインタを使用します。視線での選択であれば、手を上げることなく操作できますが、ハンドポインタの場合、選択するアイコンやボタンによっては、手をある程度上げる必要があります。 また、この体験を見る限り、手のオクリュージョンが機能していないことがわかります。なお、Android XR では Play ストアの豊富なアプリを利用できるほか、Android XR 専用のアプリストアも登場予定です。

Google Gemini AI：XR体験を革新する高度な連携

Gemini AIとの統合です。Geminiは、ユーザーが見ているものに関する質問に答えたり、視界内のものを丸で囲むだけで検索できる「Circle to Search」機能などを搭載。音声操作にも対応し、アプリ起動やGoogleマップのナビゲーションもハンズフリーで行えます。

Android XRの開発環境について

Android XRは、Android Jetpack XR、Unity、OpenXR、WebXRによる開発をサポートしています。これらのフレームワークを駆使することで、最先端のXR体験を提供するアプリケーションをスムーズに開発できます。

Android XR、アプリからのパススルーカメラへのアクセスについて

Googleは、Android XRがアプリにパススルーカメラビューへのアクセスを許可することを正式に発表しました。

現在、MetaのQuest 3やApple Vision Proなどのヘッドセットでは、カメラを通して現実世界を表示できますが、システムソフトウェアのみがカメラの生データにアクセス可能です。サードパーティー開発者は背景としてパススルー機能を利用できるものの、システムが処理したデータ（手や体の骨格座標、家具の境界ボックス付き3Dメッシュ、オブジェクト追跡データなど）のみが提供されます。そのため、独自のコンピュータビジョンモデルを動作させることができず、拡張現実の機能に制約があります。

例外として、visionOS 2ではAppleがVision Proのパススルーカメラへの生データアクセスを、企業向けの内部アプリに限り許可しています。ただし、Appleからの特別なライセンスが必要で、ビジネスシーンでの使用に限定されます。

外向きカメラ（リアカメラ）

デバイスの外側を向いているカメラで、現実世界の映像を取得するために使用されます。このカメラのストリームにアクセスするには、Camera ID 0 をリクエストします。

内向きカメラ（自撮りカメラ）

ユーザーの顔や表情をキャプチャするカメラで、Camera ID 1 をリクエストすることでアクセスできます。通常、アバタービデオストリームがこのカメラを通して生成されます。このストリームは、ユーザーの頭や手、目、顔の動きを追跡して生成されるものです。

情報元：https://www.uploadvr.com/android-xr-will-give-developers-passthrough-access/

Android Jetpack XR

ほとんどのAndroidアプリは、追加の開発作業なしでAndroid XRとそのまま互換性があります。Android XRは、デバイスとのインタラクションやライフサイクル管理を自動的に処理するため、開発者はアプリの機能や革新に集中できます。この仕組みにより、XR対応アプリの開発が簡素化され、次世代技術を効率よく活用できるようになります。KotlinやComposeのような最新のツールだけでなく、JavaやViewsのような旧世代のツールを使用して、没入感のあるXRエクスペリエンスを構築できます。

https://developer.android.com/develop/xr/jetpack-xr-sdk

Unity

Unityのコンテンツ制作機能をフル活用し、他のプラットフォームからAndroid XRへのアプリ移行を簡単に行いましょう。パフォーマンス最適化ツール、大規模なアセットストア、そして強力なコミュニティによって、スムーズな開発が保証されます。

AR Foundation

オクルージョンや永続的なアンカー機能を簡単かつコスト効率よく実装。

XR Interaction Toolkit

自然な手のポーズやジェスチャーによる直感的なインタラクション。

XR Hands

サムズアップや指差しなどのカスタムジェスチャーを追加可能。

高度なグラフィック機能

フォビエイテッドレンダリングやURP Spacewarpで高品質なビジュアルとスムーズな動作を実現。

視線追跡によるフォビエイテッドレンダリング

レンダリングフォーカスを動的に調整し、GPUパフォーマンスを最適化。

Composition Layers

テキストや輪郭をより鮮明にし、レンダリングアーティファクトを軽減。

URP Spacewarp

レンダリング負荷を軽減し、高品質なグラフィックとパフォーマンスを実現。

https://developer.android.com/develop/xr/unity

https://discussions.unity.com/t/unity-support-for-android-xr-let-s-get-started/1566527

OpenXR

Android XRは、OpenXR 1.1仕様と選定されたベンダー拡張をサポートしており、OpenXRで作成されたアプリをサポートします。OpenXRは、さまざまなXRデバイスで共通のAPIセットを使用して、没入型およびインタラクティブな体験を作成できるオープン標準です。

トラッカブル機能

• 平面検出：環境内の平面を識別・追跡し、仮想オブジェクトを現実世界と関連付けて配置します。
• アンカー：現実のオブジェクトや場所に仮想参照点を固定し、ユーザーが動いても仮想コンテンツが正確に配置され、向きが維持されるようにします。

レイキャスティング

仮想のレイとシーン内のオブジェクトとの交差点を計算する技術で、仮想要素の選択や操作を可能にします。

アンカーの永続性

複数のセッションにわたってアンカーを保存・復元し、仮想コンテンツが環境内で一貫して配置されることを確保します。

オブジェクトトラッキング

マウス、キーボード、その他の実世界のオブジェクトを追跡する能力。

深度テクスチャ

カメラとシーン内のオブジェクトとの距離に関する情報を提供し、リアルな遮蔽やインタラクション効果を実現します。

パススルー

実世界のカメラ映像と仮想コンテンツを組み合わせ、物理世界とデジタル世界をシームレスに融合させたMixed Reality体験を提供します。

フェイストラッキング

ユーザーの顔の特徴を追跡し、リアルで表情豊かなアバターや仮想キャラクターを作成可能にします。

アイトラッキング

ユーザーの目の位置と向きを追跡し、アバターの目のポーズをよりリアルにします。

ハンドトラッキング

ユーザーの手の位置と動きを追跡し、より自然なインタラクションを実現します。

ライト推定

ユーザーの現実世界の照明条件に合わせて、照明モデルを調整します。

サポートされている入力デバイス

Android XRは、以下の入力デバイスをサポートしています。

• 手のインタラクション：ピンチ、スワイプ、指差しなど、特定の手のジェスチャーを認識し、仮想オブジェクトとインタラクションを可能にします。
• アイゲイズインタラクション：ユーザーの目の動きを追跡し、視線で仮想オブジェクトとインタラクションを行えます。
• 6DoFモーションコントローラー：コントローラーの位置と動きを追跡し、ボタン操作やホバーイベントをトリガーします。
• マウスインタラクション：マウスを使って3D空間内のオブジェクトとインタラクションします。

パフォーマンス機能

Android XRは、以下のパフォーマンス関連機能をサポートしています。

• アイトラッキングによるフォベーション：アプリが目の焦点位置でのみ高解像度のコンテンツをレンダリングする機能。
• スペースワープ：速度ベクトルと深度テクスチャ情報を使用して補間フレームを生成し、ユーザーの没入感を高めます。
• パフォーマンスメトリクス：XRデバイス、コンポジタ、XRアプリケーションのランタイムパフォーマンスメトリクスを提供します（CPUフレームタイム、GPUフレームタイム、GPU利用率など）。

https://developer.android.com/develop/xr/openxr

WebXR

Chrome on Android XRでのWebXRサポート

Chromeは、Android XR上でWebXRをサポートしています。WebXRは、W3Cによって標準化されたオープンな技術で、対応するブラウザに高性能なXR APIを提供します。もしWeb向けに開発している場合、既存のサイトに3Dモデルを追加したり、新しい没入型体験を構築したりできます。

WebXRのサポート機能（Chrome on Android XR）

以下のWebXR機能が、Android XRのChromeブラウザでサポートされています。

• Device API
• AR Module
• Gamepads Module
• Hit Test Module
• Hand Input
• Anchors
• Depth Sensing
• Light Estimation

WebXRフレームワーク

• three.jsとbabylon.js：3Dシーンの完全なコントロールやカスタム、複雑なインタラクションを作成したい場合に最適です。
• A-Frameとmodel-viewer：素早いプロトタイピングやHTMLライクな構文を使って3Dシーンを定義する場合に便利です。

https://developer.android.com/develop/xr/develop-with-webxr

Android XR開発の詳細情報はこちら

Android XR開発に関する最新情報や技術的なノウハウは、以下のリンクからご覧いただけます。

Android XR開発に関する技術ブログ – 株式会社OnePlanet

ぜひご覧いただき、Android XRプロジェクトの開発にお役立てください。

Android XR Developer Bootcamp Interest

2025年初頭に、Android XR開発者向けブートキャンプが開催されます。

この2日間のイベントでは、以下の内容を体験することができます。

• ガイド付きの技術セッション
• Android XRチームとの協力を通じた新規アプリの開発や既存アプリの改良
• プレリリース版のヘッドセットハードウェアへのアクセス

開催場所と開催月は以下。

• アメリカ合衆国 – カリフォルニア州ロサンゼルス（2025年2月）
• イギリス – ロンドン（2025年3月）
• 韓国 – ソウル（2025年4月）
• アメリカ合衆国 – カリフォルニア州マウンテンビュー（2025年5月）

https://docs.google.com/forms/d/e/1FAIpQLSc3rVOPjq-jGKnnXhL0dxkB0LJTBtGQBi2B5eTQvOcQ7lUNrg/viewform

Google、Android XR開発でMagic Leap社から100人以上の人材を採用

Googleが、Android XRの開発を加速させるため、空間コンピューティングデバイスを開発するMagic Leap社から100人以上の従業員を契約社員として採用し、Android XR の開発を支援しているとのこと。この情報によると、ソフトウェア、ハードウェア、デザインといった多岐にわたる分野の人材が含まれているとのことです。https://www.theinformation.com/articles/google-contracts-employees-from-magic-leap

HTCとGoogle、Android XRに関する戦略的提携を発表

HTCとGoogleは、XR分野における提携を発表した。この契約により、GoogleはHTCに2億5000万米ドルを支払い、HTCのXRチームの一部メンバーがGoogleに移籍する。また、GoogleはHTCのXR関連の知的財産（IP）について非独占的ライセンスを取得する。契約は通常のクロージング条件を満たした上で、2025年第1四半期に完了する見込みだ。

HTCの狙い：XR事業の強化と効率化

HTCはこの契約により、XRエコシステムの発展に向けた事業戦略を加速させる。主力のVIVE XR製品群の開発とサポートは継続しつつ、プラットフォームへの集中と運営の効率化を図ることで、財務の柔軟性を高める方針だ。

Googleの狙い：Android XRプラットフォームの拡大

Googleにとって、本契約はAndroid XRプラットフォームの強化を意味する。Googleは昨年12月に戦略的パートナーとともに「Android XRプラットフォーム」を発表しており、今回の提携によりその開発をさらに加速させる。HTC VIVEの優秀なエンジニアリングチームが加わることで、ヘッドセットやスマートグラスを含むXRエコシステムの発展を推進する。

この取引は、HTCの持つ豊富なXR技術とGoogleのプラットフォーム戦略が融合し、XR市場のさらなる成長を促す重要な一歩となる。

未来体験を先取り！Android XR × Google Gemini で広がる可能性

Android XR は、AI、AR、XR技術の粋を集めた、まさに次世代のオペレーティングシステムです。ヘッドセットやARグラスを通して、現実世界とデジタル世界をシームレスに融合させる革新的な体験を提供します。

没入感と利便性を両立した未来体験

完全没入型の「イマーシブシアター」は、まるでその場にいるかのような臨場感あふれる映像体験を実現します。「無限のワークスペース」は、現実空間とデジタル作業環境を融合させ、仕事や学習の可能性を無限に広げます。「リビングルームから世界を探検」機能は、Google Mapsと連携し、自宅にいながら世界中を旅するような体験を可能にします。

AIアシスタント「Gemini」が日常をサポート

AIアシスタント「Gemini for Android XR」は、自然な会話を通じてユーザーをサポートし、周囲の環境や物体を認識して的確な情報を提供することで、現実世界とバーチャル世界を繋ぐ架け橋となります。「Circle to Search」は、直感的な操作で必要な情報を瞬時に検索できる、革新的な情報アクセス手段です。ARナビゲーションは、現実の風景に道案内を重ね合わせることで、迷うことなく目的地にたどり着けるようサポートし、リアルタイム翻訳機能は、言語の壁をなくし、グローバルなコミュニケーションを促進します。

ハードウェアと開発環境も充実

Samsungとの協業による「Project Moohan」ヘッドセットは、軽量でエルゴノミクスに基づいた快適な装着感に加え、ジェスチャー、音声、自然な会話による直感的な操作性を実現。高性能ディスプレイとパススルー機能が、物理空間と仮想空間の融合をさらに高めます。

また、GoogleはHTCと戦略的提携を発表しており、HTCのXRチームの一部メンバーがGoogleに移籍し、Android XRプラットフォームの開発が加速されることが期待されます。

開発者向けには、「Android Jetpack XR」、Unity、OpenXR、WebXRなどの強力な開発ツールが提供され、最先端のXRアプリケーション開発を支援。GoogleがMagic Leapから100名以上のエンジニアを迎えたことからもわかるように、その開発は加速しており、今後のXRコンテンツの充実に大きく貢献することが期待されます。

Android XRが切り拓く未来

つまり、Android XRは、ユーザーにはよりインタラクティブで直感的な未来の体験をもたらし、開発者にはXRの可能性を最大限に引き出すための強力なプラットフォームを提供するのです。日常生活、ビジネス、エンターテイメントなど、あらゆる分野に革新をもたらす可能性を秘めたAndroid XRは、まさに未来の技術を先取りする存在と言えるでしょう。今後の展開から目が離せません。

Apple Vision Pro について

Apple Vision Proについての詳細は、こちらをご覧ください。

Apple Vision Proとは｜主な機能、できること、価格やスペック、開発方法など解説

AR に関するお問い合わせ

本メディア「ARマーケティングラボ（https://ar-marketing.jp/）」を運営する株式会社OnePlanetでは、ARに特化したスタートアップとしてARグラスを活用したアプリケーション開発について豊富な実績を有しています。その実績の一部を紹介します。

哀れなるものたち

日本初となるApple Vision Proを使ったイベントをウォルト・ディズニー・ジャパン様と渋谷のPARCOで手がけており、他では体験できない感動レベルの空間体験が話題を集めました。これ以外の実績についてはこちらをご覧ください。

プレスリリース：https://prtimes.jp/main/html/rd/p/000000055.000049853.html

Vision Brew Journey

アサヒビール様と株式会社OnePlanetが共同で開発したApple Vision Pro専用アプリ「Vision Brew Journey」 このアプリは、“ひとり家飲み”に新たな価値を提案します。AR・VR・空間オーディオ技術を活用して、自宅で「ひとり家飲みエンタメ」を実現します。

私が開発に携わった、アサヒビール株式会社のApple Vision Pro専用アプリ「Vision Brew Journey」

このアプリは、“ひとり家飲み”に新たな価値を提案します。AR・VR・空間オーディオ技術を活用して、自宅で「ひとり家飲みエンタメ」を実現します。https://t.co/ptoa79yHDC #applevisionpro pic.twitter.com/uLeFjciQVS

— Sadao Tokuyama (@tokufxug) January 20, 2025

アサヒビール様 プレスリリース：https://www.asahibeer.co.jp/news/2025/0120.html

株式会社OnePlanet プレスリリース：https://prtimes.jp/main/html/rd/p/000000058.000049853.html

企画から開発までAR関連サービスをワンストップで提供していますので、ご興味がございましたらお気軽に相談ください。