空間地図は Magic Leap のエコシステムの重要な部分で、Magic Leap によりデジタルコンテンツと実際の物理的環境とのやりとりが可能になります。デバイスセンサーは継続的に環境をスキャンし、その情報を処理し、それを使用して(空間地図と呼ばれる)エリアの三次元表現を作成します。最終的にはマッピングされた環境になり、アプリによってユーザーの視界にあるデジタルメディアを、あたかもユーザーの目の前にあるかのように表示できるようになります。空間地図には、選択内容に応じて、次の 3 つの異なる詳細レベルを含めることができます。
World Features
World Features は、周囲の世界の 3D 表現(「点群」とも呼ばれる)であり、空間地図の基本的な構成要素として機能します。World Features のポイントは、コンテンツを配置および保持するための参考として使用できます(後で同じ場所で、そのコンテンツに戻ることができます)。World Features の詳細は、下の「 World Features の詳細」セクションを参照してください。
World Models
World Models を使用すると、高密度メッシュデータやプレーンなどの詳細情報をお客様の空間地図に追加できます。その結果、周囲の世界をより正確に表現する空間地図が得られ、デジタルコンテンツがより自然な方法で環境に対応できるようになります。World Models の詳細については、以下の「World Models の詳細」セクションを参照してください。
World Understanding
World Understanding は、Magic Leap のデバイスが椅子やポスターを認識し、空間地図にそれらのオブジェクトに関するデータを含める機能など、環境内のいくつかのタイプまたはクラスのオブジェクトを認識できるようにします。アプリケーションは(お客様の許可を得て)空間地図内のオブジェクトデータにアクセスし、それをさまざまな方法で使用することができます。例えば、デジタルコンテンツを周囲の世界にさらにシームレスに適合させることができます。World Understanding の詳細については、以下の「 World Understanding の詳細」セクションを参照してください。
World Featuresの詳細
World Features は、周囲の世界の 3D 表現(「点群」とも呼ばれる)であり、空間地図の基本的な構成要素として機能します。World Features のポイントは、コンテンツを配置および保持するための参考として使用できます(後で同じ場所で、そのコンテンツに戻ることができます)。
World Featuresが機能する仕組み
コンピュータビジョンのアルゴリズムは、Magic Leap のデバイスの周辺カメラから収集した画像を使用して、これらの画像から特徴を抽出します。これらの新しい特徴は、以前に保存された特徴と比較されて結合され、お客様の身の回りを表す特徴のセットが作成されます。World Features の最終セットは、最も基本的なレベルの空間地図です。周辺カメラ画像から World Features を抽出する処理は、Magic Leap のデバイスでローカル上に実行されます。World FeaturesをPersonal Worldに保存するか、Shared World に提供する場合は、結果として得られた World Features の空間地図のみが Magic Leap のクラウドに送信されます。
My Surroundingsにいる人々はどうなるのか?
空間地図は、環境内の固定された部分の情報のみを反映します。デバイスが空間をマッピングしている間に誰かが部屋を通り抜けると、その人は空間地図から除外されます。デバイスが空間を空間マッピングしている間に誰かが部屋に座っている場合、その人は作成される空間地図に含まれることがありますが、空間地図はその個人を識別することができるほど詳細なレベルに対応するように設計されていません。
お客様の選択肢
Magic Leap は、World Features データ用に3種類のストレージオプションを提供しています。World Features を On Device または Personal World に保存するか、Shared World に提供するかを選択できます。
- World Features を On Device に保存することを選択した場合でも、World Features はユーザーが利用でき、ユーザーのアプリケーションでも使用できます。ただし、デバイスに保存できる空間地図の容量には制限があります。
- World Features をクラウド(Personal World か Shared World への提供のどちらか)に保存すると、一部のアプリケーションで必要なマッピング時間が短縮され、より多くの空間地図を保存できるようになります。
- Shared World を使用すると、他の Shared World ユーザーが事前にマッピングしている場合、デバイスは入力した新しいエリアを空間的にマッピングする必要がなくなります。さらに、ユーザーの World Features を Shared World に提供すると、ユーザーと他のユーザーの両方が同じ World Features を利用できるようになるため、共有および他のマルチユーザーの操作性が向上し、同じ物理的な場所でデジタルコンテンツを表示できるようになります。
World Features の保存場所の選択は、設定でいつでも変更できます。ただし、World Features を Shared World に提供した後で設定を変更した場合、通常は集合空間地図にすでに提供している World Features は削除されません。これは、World Features を Shared World に提供すると、それらは結合された Shared World 空間地図の一部となり、特定のデバイスやアカウントに直接紐づけられないためです。Shared World のユーザーが使用できる集合空間地図に含めたくないエリアがある場合は、そのエリアを入力する前に設定を変更することをお勧めします。
また、アプリがデバイス上で動作している間は、バックグラウンドでもWorld Features を含む周囲の空間地図にアクセスできることにご留意ください。アプリがこの情報を必要とするのは、お客様の環境内で表示し、お客様の環境とやり取りを行うためです。
World Modelsの詳細
World Models を使用すると、高密度メッシュデータやプレーンなどの詳細情報をお客様の空間地図に追加できます。その結果、周囲の世界をより正確に表現する空間地図が得られ、デジタルコンテンツがより自然な方法で環境に対応できるようになります。
World Modelsが機能する仕組み
World Models は、空間地図にのコンポーネントを追加します。
高密度メッシュデータ。高密度メッシュデータは、目に見える壁や(家具などの)周囲のオブジェクトの構造に近い三角形のジオメトリです。
平面。高密度メッシュデータから、大きな平坦な表面または平面を得ることができます。これは、コンテンツを配置するための壁、床、および最適な表面を識別するのに役立ちます。高密度のメッシュデータと平面により、環境に合わせた閉鎖と衝突も可能になります。
My Surroundingsにいる人々はどうなるのか?
空間地図は、環境内の固定された部分の情報のみを反映します。デバイスが空間をマッピングしている間に誰かが部屋を通り抜けると、その人は空間地図から除外されます。デバイスが空間を空間マッピングしている間に誰かが部屋に座っている場合、その人は作成される空間地図に含まれることがありますが、空間地図はその個人を識別することができるほど詳細なレベルに対応するように設計されていません。
On Deviceのストレージ
World Models は、デバイス上でローカルで処理および保存されるように設計されています。
また、アプリがデバイス上で動作している間は、バックグラウンドでも World Models を含む周囲の空間地図にアクセスできることにご留意ください。アプリがこの情報を必要とするのは、お客様の環境内で表示し、お客様の環境とやり取りを行うためです。
World Understandingの詳細
World Understanding は、Magic Leap のデバイスが椅子やポスターを認識し、空間地図にそれらのオブジェクトに関するデータを含める機能など、環境内のいくつかのタイプまたはクラスのオブジェクトを認識できるようにします。アプリケーションは(お客様の許可を得て)空間地図内のオブジェクトデータにアクセスし、それをさまざまな方法で使用することができます。例えば、デジタルコンテンツを周囲の世界にさらにシームレスに適合させることができます。
Magic Leap は、今後のリリースで、検出するためのオブジェクトの新しいクラスを改善し、開発し続けます。新しいオブジェクトクラスの詳細については、各 Lumin OS リリースのリリースノートを参照してください。
ただし、World Understanding には、Shared World を使用したクラウド処理が必要です。空間地図をデバイスのみに保存する場合、または Personal World に World Features を保存する場合は現在使用できません。
World Understandingが機能する仕組み
World Understanding の利用を選択すると、Magic Leapデバイスはカメラのカラー画像と深度センサー画像を World Understanding のクラウドサービスに送信します。World Understanding のサービスは、ユーザーの空間にある物体を識別するために、コンピュータビジョンのアルゴリズムを実行します。オブジェクトが識別されると、World Understanding のサービスによって、オブジェクトに関する一意のラベルやその他のデータが生成され、(Personal World であろうと Shared World への提供であろうと)空間地図に配置されます。
Magic Leap は、World Understanding のサービスによって収集されたカラー画像と深度センサー画像を一定期間保持し、Magic Leap のコンピュータビジョンモデルを学習させて、この機能のパフォーマンスを向上させていきます。
My Surroundingsにいる人々はどうなるのか?
Magic Leap は、物体を識別するコンピュータビジョンのアルゴリズムを実行する前に、顔や裸体を含む画像をぼかすよう設計されたコンピュータビジョンのアルゴリズムとデータ損失防止アルゴリズムを使用して、デバイスのカラー画像を編集します。さらに、World Understanding のデータキャプチャが行われると、デバイスのステータスインジケータの LED ランプがオレンジ色になり、カラーイメージが Magic Leap に送信されていることを環境内のユーザーに知らせます。
お客様の選択肢
ただし、World Understanding には、Shared World を使用したクラウド処理が必要です。空間地図をデバイスのみに保存する場合、または Personal World に World Features を保存する場合は現在使用できません。World Features を Shared World に提供すると選択した場合、World Understanding を有効にするかどうかを決定できます。World Understanding を有効にすると、Shared World に提供する他のユーザーは、提供した空間地図のオブジェクトデータにアクセスでき、他のユーザーが提供した空間地図のオブジェクトデータにアクセスできる場合があります。
World Understanding を有効にするかどうかの選択は、設定でいつでも変更できます。 ただし、World Understanding を有効にして空間地図を Shared World に提供することにして、後で設定を変更することにした場合、通常は集合空間地図にすでに提供した World Understanding のオブジェクトデータは削除されません。これは、オブジェクトデータをShared World に提供すると、それらは結合された Shared World の空間地図の一部となり、特定のデバイスやアカウントに直接紐づけられないためです。Shared World のユーザーが使用できる集合空間地図に含めたくないエリアがある場合は、そのエリアを入力する前に設定を変更することをお勧めします。
サードパーティのアプリでは、空間地図に含まれているオブジェクトデータにアクセスするにはユーザーの許可が必要です。サードパーティのアプリがオブジェクトデータに初めてアクセスしようとしたときに、ユーザーは、そのアプリのオブジェクトデータへのアクセスを許可するよう求められます。空間地図を Shared World に提供する場合は、World Understanding が無効になっていても、他のユーザーが提供した空間地図上にオブジェクトデータが存在する可能性があるため、この許可が要求される場合があります。サードパーティのアプリに付与した許可を変更したい場合は、設定からいつでも変更できます。