[No.31] Meta(Facebook)はメタバースを構成する基礎技術の開発を加速、AR・VR技術を飛躍的に進化させリアルとバーチャル空間を融合する

Facebookは開発者会議Connect 2021で、メタバース(Metaverse)構想を明らかにした。

メタバースとはインターネットに構築される３D空間で、次世代ソーシャルネットワークはここに構築される。
​
​メタバースは現実空間と仮想空間が融合したもので、ここで人々が交流しビジネスが営まれる。(下の写真、メタバースに構築されたオフィス)

メタバースを構成する技術

メタバースを構築する基礎技術はAR(拡張現実)とVR(仮想現実)で、これらを融合しMR(複合現実)を生成する。
​これらがメタバース研究所「Facebook Reality Labs」で開発されている。

​現在のAR・VRを飛躍的に進化させ、リアルとバーチャルを融合したMR空間を生成する。
Metaはメタバースをモバイルの次のプラットフォームと位置付け、AppleやGoogleに依存しないインターネットを生成する。(下の写真、現実空間に仮想オブジェクトを融合したMR空間。)

メタバースを生み出す技術：Presence Platform

Metaが開発しているメタバースは、リアル社会とバーチャル社会を滑らかに融合するもので、これを生み出す技術は「Presence Platform」と呼ばれる。

このプラットフォームは、コンピュータビジョンとAIが核となり、仮想オブジェクトを現実空間に組み込むためのモジュールから構成される。具体的には、MR(Mixed Reality)、オブジェクトのインタラクション、ボイスのインタラクションを生成する機能を提供する。MRとは、上述の通り、複合現実で、現実空間と仮想空間を融合し、メタバースの中心機能となる。

Presence Platformは三つのSDK(Software Development Kit)から構成される：

• Insight SDK：現実空間に仮想オブジェクトを組み込みMRを生成する技術
• Interaction SDK：手で仮想オブジェクトを操作する技術
• Voice SDK：会話を理解する機能で言葉で仮想オブジェクトを操作する技術

SDKとはソフトウェア開発キットでエンジニアはこれらの機能を使ってメタバースを開発する。

MR空間を生成する技術：Insight SDK

Insight SDKはメタバースの中心技術で、高品質なMR空間を生成する。Insight SDKは「Passthrough」と「Spatial Anchors」の二つの機能から成る。

Passthrough機能
​
PassthroughはVRヘッドセットを介してMR空間を生成する技術で、現実空間に仮想オブジェクトを描写する。

​下の写真はOculus Quest 2を介してピアノのレッスンを受けている様子。
​ピアノの鍵盤に円形の仮想オブジェクトを表示し、これを指で叩くと音楽を演奏できる。Oculus Quest 2はカメラを搭載しており、前方のイメージを白黒で見ることができる。
​Oculus Quest 2はVRだけでなく、MRグラスとしての機能がある。

Spatial Anchors機能

Spatial Anchorsはハンドセットで現実空間をマッピングする機能。

​下の写真はOculusのハンドセットを置かれた家具に沿って動かし、部屋の中をマッピングしている様子。

​システムは現実空間の構造を理解して、それに応じて仮想オブジェクトを表示するために使われる。

Scene Understanding機能

Scene Understandingはユーザ空間を理解する機能で、空間の位置関係やその意味などを理解する。

この中のScene Modelを使って部屋の中にMR空間を生成する。下の写真は部屋の空間に仮想オブジェクト(暖炉や窓の外の景色)を挿入しMR空間を生成したもの。

​このようにPassthrough、Spatial Anchors、Scene Understandingを使って、複雑で、かつ、物理空間の意味を理解したメタバースを開発できる。

手の動きを表現する技術：Interaction SDK

Interaction SDKは手やハンドセットの動きを仮想空間の中で表現するために使われる。
​手で仮想オブジェクトを掴んだり、触ったり、ポイントするなどの動作を司る。

​下の写真は、手で仮想のコーヒーマグの取ってを掴んでいる様子。
​Interaction SDKは、コンピュータビジョン使い、AIが手の動きをトラックし、オブジェクトとのインタラクションを把握する。

話し言葉を理解する技術：Voice SDK

Voice SDKは自然言語解析の機能で、話し言葉により、ハンズフリーのオペレーションができる。

これをゲームに適用すると、音声でプレーするゲームを開発できる。
Voice SDKは、音声でのナビゲーションの他に、音声での検索や、音声でのQ&A機能を提供する。

​下の写真は、仮想のキャラクター「Oppy」の名前を呼ぶと、言葉の意味を理解して近づいてくる。

次世代VRヘッドセット：Project Cambria

Metaは次世代のVRヘッドセットを開発している。このプロジェクトは「Project Cambria」と呼ばれ、ハイエンドのVRヘッドセットとなる。
​Project Cambriaは、Social Presence機能やカラーのPassthrough機能を備えている。
​
​現在、Metaは消費者向けにVRヘッドセットOculus Quest 2を販売しているが、Project Cambriaはこの後継モデルではなく、ハイエンドの製品ラインとなる。

モバイル向けAR：Spark AR

「Spark AR」はモバイル向けのAR開発環境で、既に多くのコンテンツが開発されている。

​これはMobile ARと呼ばれ、スマホのアプリに組み込んで利用する。例えば、顔に特殊効果を挿入する際にSpark ARが使われる。

​下の写真は、Spark ARで顔に特殊メイクを施し、妖怪に変身する事例。Metaは、このSpark ARを拡張し、メタバース向けに高度なARを開発している。

ARグラス：Project Aria

MetaはARグラス「Project Aria」を開発している(下の写真右側)。
​これは、グラスにカメラとディスプレイを搭載した構造で、目の前の現実空間に仮想オブジェクトをインポーズする。

​ARグラスはDigital Assistantとなり、AIが周囲のオブジェクトの種別や意味を理解する(下の写真左側、ソファーやテーブルを認識する)。

​更に、AIは利用者の意図を把握して、次の行動をアシストする。利用者が電灯に視線を向けると、スイッチががオンになるなどの機能がある。

ARグラスへの入力：Electromyography

ARグラスにデータを入力する方法が課題になるが、MetaはElectromyography(筋電図)という技法を開発している。

​これは筋肉で発生する微弱な電場をAIで解析することで、その意図を推定するもの。
手首にデバイスを装着しElectromyographyを計測する。

​​指でアルファベットを書くと、このデバイスがテキストに変換する(下の写真、テキストメッセージを入力している様子)。

コンセプトの段階

Metaはメタバースの概要を始めて公開したが、これらはまだ製品ではなく、コンセプトの段階である。

​今回の発表はProof of Conceptを示し、メタバースが完成した時の製品イメージを提示することを目的とした。

​これによると、AR・VR・MR技術が大きく進化し、メタバースは現実空間と仮想空間が滑らかに融合した社会であることが分かった。

​一方、メタバースはより深い個人データを使うことも分かり、個人情報の保護がより厳しく求められる。