[No.50] NVIDIAは２D写真をAIで繋げ３Dモデルを高速で生成する技法を開発、メタバースやアバターの生成に適用

NVIDIAは開発者会議「GTC 2022」をオンラインで開催した。

分科会でAI研究の最新成果として、３Dモデルを高速で生成する技法を発表した。

これは「Instant NeRF」と呼ばれ、カメラで撮影した複数の写真をAIで繋げ、３D世界を構築する技法である。

オブジェクトや人の３Dモデルを簡単に生成できるため、メタバースを構築する基礎技術として期待されている。

3Dモデルを生成する技術

撮影した写真を張り合わせ、被写体の３Dモデルを生成する技術は数多く存在し、ビジネスなどで利用されている。

一般に、３Dモデルを生成するためには、奥行きを計測できるカメラ「Depth Camera」を使い、被写体を撮影し、それを立体的に張り合わせ、３Dモデルを生成する。

また、自動運転車はLidarを使って道路や市街地の３Dモデルを作成し、この３Dマップに従って安全に走行する。

NeRFという技法

これに対し、Neural Radiance Fields(NeRF)は、カメラで撮影した写真をAIで繋ぎ合わせ、３Dモデルを生成する。

２D写真をAIで３Dに再構築するため、簡単に立体モデルを生成でき、それを柔軟に操作できる。

具体的には、カメラで被写体を異なる位置から撮影し(下の写真)、撮影された写真をニューラルネットワークに入力し、被写体を３Dで描写する(先頭の写真)。

３Dモデルが完成すると、被写体の周囲を自由に移動でき、異なるアングルから見ることができる。

NVIDIAは高速でNeRFを生成する技術「Instant NeRF」を開発し、そのビデオを公開している。(ビデオへのリンク)。

NeRFのコンセプト

NeRFを使うとオブジェクトを簡単に３D化することができる。

例えば、レゴで組み立てたブルドーザーを異なるアングルから撮影し、それをNeRFで処理すると、その３Dモデルが生成される(下の写真)。

スマホカメラで写真を撮ると２DイメージがJPEGに圧縮されるように、複数の写真をNeRFで圧縮すると、３Dモデルが生成される。NeRFは「３Dカメラ」の基礎技術と位置付けられる。

NeRFの利用方法

NeRFの利用法は様々であるが、メタバースの基礎技術として注目されている。

NVIDIAはオブジェクトや人のデジタルツインを生成し、メタバースでそれをシミュレーションする手法を取る。

その際に、オブジェクトの３DモデルをNeRFで生成する。

また人のデジタルツインとなるアバターをNeRFで生成する。(下の写真、Instant NeRFで生成された制御室、３Dモデルの解像度は高く、また、ケーブルの陰になっている部分も正確に描写されている。)

NeRFの仕組み

NeRFは異なるアングルから撮影した写真を入力とし、それらを色と形状に変換するニューラルネットワークとなる(下のグラフィックス)。

実際には、写真を撮影した位置(Position、(x, y, z))と視線(View Angle、(θ, Φ))を入力し、ニューラルネットワークは色(RGB)と密度(Density、σ)を出力する。

ニューラルネットワークを複数の写真で教育し、完成したNeRFに見る方向を入力すると、そのイメージを出力する。

つまり、オブジェクトを周囲から見渡せるようになる。

Instant NeRF

NVIDIAはNeRFの高速版である「Instant NeRF」を開発した。入力するデータを前処理することで、従来のNeRFに比べ1,000倍高速で処理できる。

例えば、オブジェクトを撮影した写真40枚程度でニューラルネットワークを教育すると、その処理時間は数秒程度となる。

また、完成したInstant NeRFで３Dイメージを生成するにはミリセカンドで実行できる。

ほぼリアルタイムで３Ｄモデルを生成できるようになり、応用分野が大きく広がると期待される。(下の写真、レゴのブルドーザーの写真でInstant NeRFを教育し３Dモデルを生成。)

３Dモデルの普及

NVIDIAによると、75年前にポラロイドカメラ(Polaroid Camera)が開発され、３Dモデルを瞬時に２Dの写真に変換することに成功した。

Instant NeRFは逆のプロセスで、２Dの写真から瞬時に３Dモデルを生成する。

ポラロイドカメラが写真が普及する礎を築いたように、NeRFにより３Dモデルが普及すると期待されている。