iPhone16の空間収録で撮影してApple Vision Proで体験する空間ビデオと空間写真の紹介 -

iPhone16の空間収録では、空間写真と空間ビデオを撮影でき、Apple Vision Proで写真や動画を3Dで表示することができます。今回は、空間写真と空間ビデオについて紹介します。

空間写真について
空間ビデオについて
空間ビデオを使ったアプリ開発について
iPhoneで空間ビデオを視聴する方法（iPhone15Pro、iPhone15ProMax、iPhone16シリーズ）
- 空間ビデオの視聴を可能にした ZapBoxとSpatial Video について
参考記事
まとめ
アップルのARグラス「Apple Vision Pro （アップルビジョンプロ）」何ができる？
AR に関するお問い合わせ

空間写真について

空間写真は、従来の写真とは異なり、奥行き感のある映像として保存されます。撮影した空間写真をApple Vision Proで見ると、立体感のある写真として楽しむことができます。

これまでは、空間写真を撮影するにはApple Vision Proが必要でしたが、iPhone16シリーズでも空間写真の撮影が可能になりました。

iPhone16以前のデバイスでは空間写真を撮影することはできませんが、過去に撮影した写真がある場合、Apple Vision Proの最新OSであるvisionOS 2の新機能を使って、二次元の写真を空間写真に変換できます。（iPhoneで撮影した写真に限らず、すべての画像に対して有効です。）

また、Apple Vision Pro の最新OSであるvisionOS 2にインストールしているSafariではWebブラウザ上で空間写真を表示することができます。

空間ビデオについて

空間ビデオも、空間写真と同様に奥行き感のある映像として保存できます。撮影した空間ビデオは、Apple Vision Proで立体感のある動画として楽しむことができます。

これまでは、空間ビデオを撮影するには、iPhone 15 Pro、iPhone 15 Pro Max、またはApple Vision Proのいずれかが必要でしたが、iPhone16シリーズでも空間ビデオの撮影が可能になりました。

3D立体映像「空間ビデオ」とは

iPhone 15 Pro、iPhone 15 Pro Max、iPhone16シリーズから3D立体映像の空間ビデオを撮影する機能が追加されます。

奥行き感のある3D立体映像による空間ビデオは、Apple Vision Pro を装着して、視聴できます。（ビデオ映像の背景やオブジェクトなどは奥行きのある立体映像として表示します。）

iPhone 15 Pro では、超広角カメラと広角カメラの両方を搭載することで、空間ビデオの撮影を可能にしている。

OnePlanetへ相談するお役立ち資料請求

MV-HEVCとは

MV-HEVCはApple Vision Pro の空間ビデオの形式です。詳細はApple WWDC23 のセッション動画で説明されています。

https://developer.apple.com/videos/play/wwdc2023/10071/?time=408

空間ビデオを撮影する方法

iPhone 15 Pro 、iPhone 15 Pro Max、iPhone16シリーズにおいてカメラアプリに空間ビデオを撮影する機能があります。ここでは、iPhone 15 Pro 、iPhone 15 Pro Maxによる設定から撮影方法について説明します。

空間ビデオ撮影の設定方法

設定のカメラ→フォーマット→Apple Vision Pro 用の空間ビデオをチェックします。

空間ビデオの撮影方法

Apple Vision Pro 用の空間ビデオを撮影する手順。

カメラ起動→
ビデオ選択→
Apple Vision Proアイコンタップ→
iPhoneを横向きにする→
撮影ボタンタップ。 pic.twitter.com/xXaUPHF5KJ

— Sadao Tokuyama (@tokufxug) November 12, 2023

カメラを起動してビデオを選択します。Apple Vision Pro のアイコンをタップすると「iPhoneを横向きにしてください、」のメッセージが表示されます。iPhoneを横向きにすると空間ビデオの撮影が可能になります。あとはいつものビデオ撮影と同じように撮影を行えば空間ビデオが作成されます。（撮影した空間ビデオを写真アプリで確認すると空間というアイコンとラベルが表示されます。）

空間ビデオ撮影の注意点

カメラアプリのビデオのみ空間ビデオ撮影可
ズームインとズームアウト撮影不可
横向き撮影のみ対応
1080p HD/30FPSのみ対応
一定の明るさと傾きなくの撮影推奨

Apple Vision Pro で空間ビデオを視聴する方法

iPhone 15 Pro で大阪周辺を空間ビデオで撮影して、Apple Vision Pro シミュレーターで動画再生。空間ビデオの動画は空間上に配置することができます。 pic.twitter.com/Caw9P0q13u

— Sadao Tokuyama (@tokufxug) November 13, 2023

写真アプリを起動します。タブからSpatialを選択すると撮影した空間ビデオをウィンドウに表示します。撮影した空間ビデオを選択したタップします。空間ビデオが開き再生されます。右上にある拡張ボタンをタップして、Expand Anywayをタップすると空間ビデオが大きく表示されます。（※こちらは開発中のvisionOSシミュレーターで動作しているため、製品版では仕様が変更される可能性があります。）

Apple Vision Pro で空間ビデオをストリーミング再生する方法

Apple Vision ProやiPhone16シリーズやiPhone 15 Proなどで撮影した空間ビデオやステレオスコピックのビデオをストリーミング再生する方法があります。

SpatialGenについて

SpatialGenは、動画のストリーミング機能を提供しているサービスです。特に空間ビデオに注力しています。

主に以下の機能が備わってます。

空間ビデオと3Dビデオのサポート

2Dおよび3Dビデオの両方をサポートしています。ステレオスコピックのビデオをMV-HEVC 空間ビデオ形式にエンコードするためのカスタムツールも提供しています。

ビデオのストリーミングサービス

左右の映像によるステレオスコピックビデオのCDNでHLSストリーミングを行うサービスです。

ステレオスコピック動画を空間ビデオに変換するサービス

Apple Vision Proの空間ビデオを簡単に作成してくれる「Halocline 」とはの記事を投稿。手元の動画ファイルを空間ビデオ（MV-HEVC）に変換するサービス。iPhone 15 Proの空間ビデオ撮影機能に頼らず作成できます。https://t.co/XKmpU9FtYr #applevisionpro #visionpro #visionos #oneplanetxr pic.twitter.com/CtrUhYTMVg

— Sadao Tokuyama (@tokufxug) November 6, 2023

左右または上下の2つの映像（以下のような）によるステレオスコピックの動画を空間ビデオに変換するサービス。

動画ファイルを空間ビデオに変換するサービス

https://twitter.com/zacharyhandshoe/status/1719762864229982294

MP4形式の動画を空間ビデオに変換するサービス。

エンコーディングとパッケージング

HLSビデオストリームの作成がスムーズに行えます。エンコーディングとパッケージングは自動で処理され、追加の設定は不要です。

8Kおよび4Kビデオのサポート

8Kや4Kの高解像度ビデオをスムーズに処理できます。プラットフォームは高品質なビデオにも対応しており、特別な制限はありません。

ストリーミングの変換

ビデオを新しいフォーマットに簡単に変換したり、変換機能付きのストリームを作成したりできます。

空間ビデオのストリーミング準備

ビデオファイルの用意

ストリーミングする空間ビデオ（MV-HEVC）ファイルまたは、ステレオスコピックのビデオファイルが必要です。形式はMOVまたはMP4であれば問題ありません。

アカウントの登録

空間ビデオのストリーミングは、Hobbiyistプラン（0ドル）もサポートしています。現時点でアカウントが未登録の場合、Hobbiyistプラン（0ドル）でアカウントを登録してください。

OnePlanetへ相談するお役立ち資料請求

空間ビデオのストリーミングの設定

ビデオファイルのアップロード

SpatialGenのサイトにアクセスしてダッシュボードに移動します。

ダッシュボードの左上にあるダッシュボードボタンをクリックします。

タイトルの入力、3D Videoの選択。Video Link にはストリーミング再生したいビデオファイルを選択します。

File Formatは、Apple Vision Pro や iPhone16シリーズやiPhone 15 Proなどで撮影した空間ビデオ（MV-HEVC）であれば、Spatialを選択します。

ステレオスコピックのビデオの場合、Stereoscopicを選択します。（左右に分かれたステレオスコピックであれば、Left/Right、上下に分かれたステレオスコピックであれば、Top/Bottomを選択します。）PerspectiveはRegularのままで問題ありません。（180°動画または 360°動画の場合は、該当するものを選択してください。）

全て入力できればUploadボタンをクリックすると、ダッシュボードボタンをクリックして遷移した画面に戻り、アップロードした動画が一覧に表示されます。

空間ビデオのストリーミング作成

先ほどアップロードしたビデオをクリックすると、ConvertまたはStreamボタンを表示されます。ここでStreamボタンをクリックします。

ストリーミング作成画面に遷移します。Stream FormatはSpatial（MV-HEVC）を選択します。

Bitrate Ladderの変更は任意です。

入力が完了したタイミングでCreateボタンをクリックすると、Jobs画面に遷移します。

ストリーミングの生成に少し時間がかかります。生成処理の状態は右上で確認できます。

生成が完了するとストリーミングのURLが発行されます。

空間ビデオのストリーミングの視聴方法

空間ビデオのストリーミングを視聴する方法は、Apple Vision Pro に提供しているSpatialGen Spatial Streamingというアプリまたは、Safariで視聴することができます。

SpatialGen Spatial Streaming による視聴方法

アプリを起動してStreamボタンをタップします。

Streamの設定画面に遷移します。下の赤枠はテキスト入力欄です。ここに発行されたストリーミングのURLを入力します。

Regular、180°、 360°はアップロードした形式に従って選択してください。

Streamボタンをタップします。

アップロードして生成された空間ビデオがストリーミング再生されます。

Safari による視聴方法

Safariを起動してURLに発行されたストリーミングのURLを入力してEnterをタップ。

アップロードして生成された空間ビデオがストリーミング再生されます。

Apple Vision Proの写真アプリでの視聴と比較すると、以下の点で違いがあるようです。

Immersiveによる視聴ができない。
SpatialGen Spatial Streamingの方が立体感が増す。

写真アプリで空間ビデオを視聴する際、Immersive機能を使うことでウィンドウ枠がなくなり、原寸表示で動画が再生されますが、SpatialGen Spatial Streamingではこの機能を利用できません。また、SpatialGen Spatial Streamingで空間ビデオを再生すると、Apple Vision Proの写真アプリよりも遠近感が強調され、少し不自然に感じることがあるかもしれません。

空間ビデオを使ったアプリ開発について

こちらの記事で紹介しています。https://1planet.co.jp/tech-blog/applevisionpro-spatialvideo-mvhevc-play

iPhoneで空間ビデオを視聴する方法（iPhone15Pro、iPhone15ProMax、iPhone16シリーズ）

iPhone 15 Pro、iPhone 15 Pro Max、iPhone16シリーズで撮影した空間ビデオを視聴する際、基本、Apple Vision Proが必要になります。しかし、Apple Vision Pro をお持ちでない方でもiPhoneに装着する安価なキットを使用することで視聴することができます。そのキットの名前はZapBoxと言います。

空間ビデオの視聴を可能にした ZapBoxとSpatial Video について

ロンドンにあるZappar社のスマートフォン用複合現実感ヘッドセット「ZapBox」とZapbox Spatial TV という iOSアプリを使用することで空間ビデオの視聴が可能になります。ZapboxはZapbox Spatial TVは、iOS 17.0以降のiPhoneをサポートしています。（iPhone SE (第2世代)でも動作している模様です。）ZapBoxは金額は99.99ドル（約15,000円）です。

ZapBoxはBluetoothのコントローラーが標準で2つ付属しています。別途、単4電池は計4本必要です。また、Bluetoothコントローラーは技適マークがないため、日本で使用する場合は、技適未取得機器を用いた実験等の特例制度の申請が必要です。