[No.69]NVIDIAはリアルなデジタルヒューマンを生成するクラウドを公開、メタバースでアバターが人間に代わりアシスタントとして活躍する
gdepNVIDIAは、コンピュータグラフィックス学会「SIGGRAPH 2022」で、メタバースに関連する技術を発表した。
公開された技術は、アバター技術、メタバース開発技術、AIグラフィック技術で、これらが３D仮想社会を生み出すプラットフォームとなる。
SIGGRAPHはメタバースとの関連が深く、ここで３DグラフィックスやAIグラフィックスの最新技術が発表された。
アバターを開発するクラウド
NVIDIAはメタバース関連技術の中で、アバターの開発を重点的に進め、最新モデル「Avatar Cloud Engine (ACE)」を発表した。
ACEとはクラウドベースのAIモデルで、実物と見分けのつかない高精度なアバターやデジタルヒューマンを開発するための基盤となる。企業はACEを使い、リアルなアバターを生成し、メタバースにおいて人間に代わるアシスタントとして利用する。
アバターはゲームや映画の中のキャラクターとして使われるだけでなく、銀行のテラーやホテルのレセプショニストとして活躍する。
アバターの機能
アバターは外観が人間そっくりであることに加え、高度な言語能力を備え、言葉でインタラクティブに応対する(上の写真)。人間が話しかけると、アバターはそれに返答し、両者間で会話が進む。アバターが話すときは、口がそれに同期して動き、顔の表情が変わる。
また、英語だけでなく、日本語やフランス語(下の写真)など、多言語で会話できる。
更に、アバターは会話のシチュエーションを理解し、それに応じた受け答えをする。
アバターを生成する仕組み
NVIDIAはアバター生成の基礎技術として「Audio2Face」を開発した。
これはオーディオを入力すると、ニューラルネットワークが３Dのアニメーションを生成する仕組みとなる(下のグラフィックス)。入力された言葉に従って、それを喋る３Dアバターが生成される。
アバターはリアルタイムで生成されるため、人間と対話するモデルで使うことができる。
感情の表現
SIGGRAPHではその最新モデルとして、感情を表現できるアバターが公開された。
これは「Audio2Emotion」と呼ばれ、入力されるオーディオの感情を読み取り、ニューラルネットワークはそれに合わせたアバターを生成する。
例えば、入力オーディオが「自分がどこにいるのか分からない！」という怒りを込めた言葉であると、AIは怒っている表情のアバターを生成する(下の写真、ビデオへのリンク)。
アバターの利用方法
生成されるアバターは３D仮想社会で人間に代わり様々なタスクをこなす。
NVIDIAはそのリファレンスモデルとして「Toy Jensen」を公開した。これはCEOであるJensen Huangをモデルにしたフィギュアで、難しい質問に回答する大学の先生として機能する(下の写真)。
また、アバターはレストランのモニターで、顧客と対話しながらメニューを紹介する。
更に、アバターは自動運転車に搭載され、コンシェルジュとして、ドライバーと対話しながら道案内をする。
AIで構成されるアバター
ACEで生成されるアバターは、高精度な３Dレンダリングに加え、人間と自然な会話ができるよう、多彩なAIが組み込まれている。人間が話す言葉を理解し、アバターはそれに対する返答をリアルタイムで生成し、会話を続ける。
また、AIはアバターの顔の表情や手の動きなど、アニメーションを生成する。
具体的には、ACEが提供するAI機能は次の通り：
- Riva：会話のためのAI
- Metropolis：ビデオ解析のAI
- Merlin：推奨エンジン
- NeMo Megatron：大規模言語モデル
- Omniverse：メタバースの開発環境
メタバース開発でリード
多くの企業がメタバースを開発しているが、高精度な３D仮想社会を生成する技法が、ビジネス成功のカギとなる。
NVIDIAはこの開発環境を「Omniverse」として提供しており、メタバース開発で業界標準のツールとして認識されている。
メタバースでは、利用者のデジタルツインであるアバターを介して交流が進み、如何に精巧なモデルを生成できるか、各社が競い合って技術開発を進めている。
NVIDIAはアバター開発でも業界をリードしており、人間と見分けのつかない、精巧で知的なデジタルツインを生み出している。
