[No.32] NVIDIAは企業向けメタバースを開発、リアルなAIアバターが人間に代わり顧客に応対する

2021年11月12日 2023年6月15日

gdep

今週、NVIDIAは開発者会議「NVIDIA GTC 2021」で、メタバースの最新技術を公表した。

NVIDIAはメタバースの開発環境を「Omniverse」という名称で製品化しており、企業はこのプラットフォームで３D仮想空間を生成し、ソリューションを構築する。
基調講演で、人間のデジタルツインであるアバターの新技術が公開された。

高度な言語モデルを組み込んだAIアバターが人間と会話するデモが実演された。(下の写真、CEOであるJensen Huangのフィギュア「Toy Jensen」が身振りを交えて人間と対話する。)

Omniverseとは

NVIDIAは、３D仮想空間を開発するプラットフォームを「Omniverse」として提供している。
企業は、Omniverseで３D仮想空間を生成し、ここで様々なシミュレーションを実行し、製造プロセスを最適化する。

Omniverseは、既に多くの企業で導入されている。
自動車メーカーBMWは、Omniverseで製造工場のデジタルツインを生成し、生産工程を最適化している。(下の写真、BMWは製造施設の高精度なコピーを３D仮想空間に生成し、ここで生産工程をシミュレーションし、効率などを検証した。)

人間のデジタルツイン

開発者会議では、Omniverseで人間のデジタルツインを生成する技法と応用事例が紹介された。

この技法は「Omniverse Avatar」と呼ばれ、高度なAIを統合したデジタルヒューマンとなる。
AIアバターは視覚を備えており、相手を見ながら人間と会話する。また、相手の話し言葉を理解し、AIアシスタントとして人間に助言する。

AIアバターは３Dフィギュアとして生成され、レイトレーシング(Ray Tracing)を使って作画され、本物の人形が動いているように見える。

顧客サービスアバター：Project Tokkio

AIアバターが人間に代わり顧客に応対する。

このプロジェクトは「Project Tokkio」と呼ばれ、AIアバターは顧客をビジュアルに認識し、対話を通して顧客をサポートする。その一つが上述の「Toy Jensen」で、３Dフィギュア形状のAIアバターが、身振りや手ぶりを交えて、顧客と対話する。

また、AIアバターが、レストランのキオスクで店員に代わり、顧客の注文を取る。
AIアバターが顧客と会話しながら、料理の内容を説明し、好みを聞き、最適なメニューを推奨する(下の写真)。

AIアバターは高度な会話能力を備えているが、この背後では世界最大規模の言語モデル「Megatron 530B」が稼働している。

自動運転車のアシスタント：Drive Concierge

クルマが自動運転車となると、AIアバター「Drive Concierge」が運転のアシスタントとなる。

AIアバターは、クルマのディスプレイに表示され、ドライバーとのインターフェイスとなる(下の写真)。

AIアバターがドライバーとの対話を通して、目的地と到着時間を理解し、時間通りに到着するために、最適な運転モードを選択する。

ビデオ会議のアシスタント：Project Maxine

NVIDIAは、コラボレーション空間を生成するための開発環境「Project Maxine」を提供している。

企業はこのプラットフォームを使って、遠隔勤務のためのビデオ会議空間(仮想オフィスなど)を構築する。開発者会議では、これを拡張した機能が紹介された。

AIアバターをビデオ会議に組み込むもので、発言者の言葉をリアルタイムに翻訳する。(下の写真、英語で発言した内容がフランス語に翻訳される。フランス語で発声するだけでなく、口の動きもフランス語となる。)

また、発言内容はテキストに変換して表示される。

AIアバターを支える技術

AIアバターであるOmniverse Avatarは、多種類のAI技法を組み合わせて生成される。
主なAI技法は次の通り：

Riva：対話型の言語モデル。音声認識機能で発言者の言葉を理解する。また、テキストを音声に変換する機能で、自然なボイスを生成する。
Megatron 530B：大規模な自然言語モデル。人間のように、言葉を理解し、また、言葉を生成する機能を持つ。文章を完結する機能や、質問に答える機能がある。更に、文章を要約したり、他の言語に翻訳する機能がある。
Merlin：深層学習に基づく推奨エンジン。
Metropolis：コンピュータビジョンでビデオの解析など利用する。

メタバースの標準プラットフォーム

NVIDIAは、メタバース開発のためのプラットフォーム「Omniverse」を提供しており、企業はこの環境で３D仮想空間を生成する。
メタバース開発のために、多くのエンジニアやクリエーターが異なるツールを使ってアプリケーションを開発する。

Omniverseは、異なるツールを連携し、共同開発のプラットフォームとなる(下のグラフィックス)。

いま、世界各国でメタバースの開発が進んでいるが、これらは独自手法で構築され、固有のメタバースが数多く生成されている。

NVIDIAは、Omniverseをオープンなメタバース開発環境と位置付け、業界標準となるプラットフォームを目指している。