AR Kit 4の使い方

ポケモンGO以降、消費者にも身近な存在になったARは、現在アプリや消費者向けサービスなどあらゆるシーンで見かけるようになりました。Apple社は「AR Kit」というiOSとiPadOSで使えるAR機能を開発しており、現在はAR Kit 4がリリースされています。

今回は、進化したアップル社のARKit4でできること具体的な使い方をご紹介します。

AR Kitとは

AR KitはApple社が開発したiOS対応のARプラットフォームで、AR kitを使ってAR体験やARアプリを作ることができます。AR KitではiOSに搭載されたモーションセンサーとカメラが空間やオブジェクトに関する情報を外界から取得し、その情報を元に高精度なAR体験をユーザーに提供します。VR体験のように多数の大きなデバイスを使う必要がなく、iPhoneやiPadのカメラを使ってARコンテンツを構築できるため、非常に手軽にAR体験をすることができます。

AR Kit3では、「People Occlusion」という機能が搭載されるようになりました。これは人とARオブジェクトを重ねると、それぞの物体の前後関係を判断し、オブジェクトで人の一部が隠れるようになりました。これにより、ARでよりリアルな位置関係を体験することができるようになりました。

AR Kitはリリース後にアップデートを重ねてきましたが、開発者会議WWDC2020にて、iOSとiPadOSのAR機能の新バージョン「AR Kit 4」を発表し、注目を集めました。

AR Kit 4でできること

AR Kit 4でできること

AR Kit4にはさまざまな機能がありますが、ここでは主要なものを紹介します。それぞれ解説していきます。

AR Kit 4の機能
  • 平面検出
  • 周囲の明るさを検出可能
  • 3次元情報の検出
  • モーションキャプチャ
  • 自分の位置情報を検出
  • AR空間を複数人でシェア
  • 現実世界のスケールを検出可能
  • Depth APIで3D物体のマップ上への配置が可能
  • Location Anchorsで様々なオブジェクトを配置
  • フェイス・トラッキングが最大3人まで同時対応可能

平面検出

ARKitでは平面を認識して、その上にARオブジェクトを配置することができます。また、複数の平面の検出もできるため、高さによる平面の位置の違いを認識し、階段などの段差などにも対応しています。

最近ではアップデートにより壁などの垂直面や円形のテーブルなど特殊な形状の平面も問題なく認識することが可能です。

周囲の明るさを検出可能

AR Kitの明るさを検出する機能は、カメラによって全体の明るさを数値で検出することができるようになっています。ARを動かす際、明るさの情報は重要で、AR体験をよりリアルなものにするために必要です。

当初は、光源の位置などを検出できなかったため、太陽の方向に合わせてオブジェクに影を生成するようなことはできませんでした。しかし、その後アップデートの結果、光沢や光の反射など環境光をARに反映する機能がより向上しています。

3次元情報の検出

ARでは、カメラの画像を分析して顔や物体から現実の空間の座標を取得し、3D空間に情報を検出します。検出して取り込んだ映像は凹凸などを推定します。ARではこのような情報処理が必須です。

モーションキャプチャ

ARは人やものの動きを正確に認識しなければなりません。AR Kitでは、特殊なデバイスを使うことなく、iPhoneやiPadでモーションキャプチャを利用することができます。iPhoneなどに搭載されたカメラを向けるだけで、人の関節などを認識し体の位置と動きを細かくキャプチャすることができます。

ただし、スマホのカメラをセンサーでは限界もあり、指先の細かい動きまでは捉えられません。今後の技術の向上に期待したいところです。

自分の位置情報を検出

ARにとって位置情報はとても重要な要素です。AR空間として表示される映像には、現実空間にオブジェクを正しく反映させるために必要不可欠です。

AR Kitでは、自分がどこにいるのか、端末のカメラがどの方向を向いているのかなどを検知し、現実空間に正しくオブジェクトを反映させます。

AR空間を複数人でシェア

AR Kitでは、一つのAR空間を複数人で共有して、遊んだり作業することができます。この機能は多くのゲームアプリなどに備わっている要素で、AR空間をよりソーシャルなものにします。

リリース当初のAR Kitではこの機能はなく、アプリを起動していても複数人で共有はできませんでした。アップデートによってAR空間のシェア機能が実装されたことにより、現在で歯AR体験の構築作業をスピーディーに行うこともできます。

現実世界のスケールを検出可能

AR Kitでは、実物の距離や長さ、大きさを測定することが可能です。ARアプリなどではよくある機能で、実際に物理的に測定できないものを測ることができるため、大変便利です。例えば、家具などを実際の大きさで表示し、商品が自分の部屋のスペースに収まるかを確認することができます。

Depth APIで3D物体のマップ上への配置が可能

まずは「Depth API」について解説しましょう。多くのARデバイスでは通常、複数の深度センサーを使って深度マップを作成して情報を得ていますが、Depth APIではスマホのセンサーのみで深度マップを生成することができます。

この機能は、デジタルオブジェクトを現実世界の物体の前後左右など正確な位置に表示することに優れており、オブジェクトを実際にその場にあるかのように感じさせるような臨場感のある表現を可能にします。LiDARスキャナに搭載されたこの認識機能によって、周囲の情報をピクセル単位で収集することができます。LiDAR搭載端末のみ実行が可能なので注意しましょう。

周囲の情報をピクセル単位で収集した後は、取り込んだ情報を3Dメッシュデータと統合します。この過程により、実際の物との重なりを正確に表すなど、より現実に馴染むバーチャルオブジェクトを生成が可能になりました。LiDARスキャナを搭載する新型iPad Proの11インチ、12.9インチモデルが対象なので、この機能を使いたい場合は購入の必要があります。

Location Anchorsで様々なオブジェクトを配置

Location Anchorsは、街中や名所のそばなど、特定の場所にARオブジェクトを配置できる機能です。Location Anchorsを使用すると、緯度、経度、高度などの位置情報を指定してAR作品を自由に配置することができます。現実空間にリアルなARオブジェクトが配置されるため、ユーザーはカメラのレンズを通して実物を見ているようなリアルな感覚を体験することができ、バーチャルオブジェクトの周りを歩いたり、様々な角度から眺めて楽しむことができます。

ただし、この機能はまだ機種や使用できる場所が限られています。AR kit4では、iPhone XS、iPhone XS Max、iPhone XR以降の機種に対応しており、特定の都市でのみ利用できます。有名なスポットや観光地に行った際に活躍しそうです。

フェイス・トラッキングが最大3人まで同時対応可能

フェイストラッキング機能は、新しいiPhone SEはもちろんのこと、A12 Bionicチップ以降を搭載したすべてのデバイスのフロントカメラで利用できるようになりました。これにより、多くのユーザーがフロントカメラを用いたAR体験を楽むことができるようになりました。また、Depthカメラでは同時に最大3人の顔をトラッキングすることが可能になりました。

ARKitの使い方

スマホの中の3Dモデル

ここからは、初心者向けにAR Kitの簡単な使い方を紹介します。どれも簡単な操作だけでよく、専門的な知識は必要ありません。

環境の設定

Welcome to Xcode

初めに、iPhoneとMacをケーブルで接続してお互いを認識させます。

次に、Xcodeを起動しましょう。XcodeはApple製品のアプリケーションを開発するツールです。

Xcodeを起動したら、「Create a new Xcode project」を選択し、「Augument Reality App」→「Next」と選択していきます。

次に、「Chose options for your new project」とプロジェクトのオプションを設定する画面が表示されるので、それぞれ入力していきます。「Product Name」、「Organization Name」、「Organization Identifer」はそれぞれ任意の名前で問題ありません。

入力が終わったら、「Next」→「Create」を選択していきます。

次の表示画面「General」欄の「Signing」→「Team」が 「None」の場合は、「Add an acount」を選択します。また、Apple IDとPassWordを求められるので入力し、「Next」を選択しましょう。

最後に左上にある「▶(Build)」マークを押すと、iPhoneでアプリが起動し、目の前に飛行機が出現するはずです。

ARのテンプレートプロジェクトをつくる

ARのテンプレートプロジェクト

Xcodeを開いた状態で、新規プロジェクトを作成して見ましょう。すると、選択画面に移ります。ここで、「Augmented Reality App」を選択してプロジェクトを作成します。

これでARのテンプレートプロジェクトが完成しました。iPhoneやiPadで起動すると、カメラがオンになり、デモ版の宇宙船オブジェクトが出現します。このように、驚くほど簡単にARプロジェクトが作れてしまうのです。

フリー素材を使って自由にオブジェクトを変えてみる

ただ、このままだとデフォルトのオブジェクトが表示されただけなので、素材を変えて見ましょう。

ARで使う素材はフリーで配布されているものも多く存在します。例えば、Free3Dというサイトで配布されているフリー素材の中から好きなものを選び、ダウンロードしてみてください。ダウンロードした素材はXcodeのプロジェクトにインポートして、「.scn」に変換すれば準備完了です。

ちなみに、「.scn」への変換はXcodeメニューの「Editor」から 「Convert to SceneKit scene file format (.scn)」で変換することができます。

インポートしたらオブジェクトが画面に映し出されます。デフオルトの状態だとオブジェクトは傾いていることが多いので、配置を調整しましょう。具体的にはキャプチャの右に表示されているPosition、Eulerの値を変更すると、傾きなどを調整することができます。

さまざまな応用が可能

これだけでも十分に楽しめるARですが、このままの設定だとオブジェクトは空中に浮いており、現実感があまりありません。これまでの設定が終わったら、その後は水平面を感知させて実際にオブジェクトが本当に存在するようにすることもできます。

また、タップしたらオブジェクトが反応して動くようにしたり、画面上でオブジェクトをドラッグすると指の動きに合わせて動かしたりすることもできます。ARは使い方もまだまだ発展途上ですが、比較的簡単なソースコードで新たな体験を作り出すことができます。AR Kitの入門編が完了したら、ぜひ詳しいソースコードなどを調べ、学んでみてください。

AR Coreとの違い

AR Kitと同じくARのフレームワークとして知られているのが、GoogleのAR Coreです。AR KitとAR Coreでどちらが優れているということはなく、同じような機能を有しています。

ただし、物理空間の認識速度はAR kitがやや早く、特に人の顔に関しては目や口の開き具合を細かく認識できるなど、独自の強みも持っています。また、AR KitはiOS端末だけしか使えないというところもポイントです。一方、AR Coreでは、Android端末とiOS端末の両方で利用することができるため、AndroidユーザーであればAR Coreが選択肢となるでしょう。

まとめ

2017年のリリース依頼、AR Kitは何回もアップデートがなされ、技術者や専門家だけでなく、多くのユーザーに利用できるように工夫が施されてきました。また、「Reality Composer」では、Unityなどのアプリが不要で、iOS端末上でARデモを動かすことができるようになりました。スマホ1台でARを作ることができるAR Kitは、今後ますます人々の間に広がっていきそうです。

「ARマーケティングラボ」を運営するOnePlanetでは、ARを活用したブランディングなどお力添えできます。ARのビジネス活用を検討していましたら、お気軽にご相談ください。