[No.51] Waymoは自動運転車のカメラで撮影したイメージをAIで繋ぎ合わせサンフランシスコのデジタルツインを生成
gdepWaymoはサンフランシスコ市街地の３DモデルをAIで生成した。
Waymoはサンフランシスコで自動運転車の試験走行を展開しており、クルマのカメラで撮影した写真をAIで繋ぎ合わせ、市街地の３Dマップを生成した。
Google Street Viewを立体化した形状で、サンフランシスコのデジタルツインとなる。
この中を自由自在に移動でき、自動運転車やロボットの開発において、アルゴリズムのシミュレーションで使われる。
写真を繋げ３Dモデルを生成
このAIは「Block-NeRF (Neural Radiance Fields)」と呼ばれ、自動運転車で撮影した写真を繋ぎ合わせ、３Dマップを生成する機能を持つ。
上の写真は「グレース大聖堂(Grace Cathedral)」の前を走行しているところで、クルマの車窓から見るように風景が流れていく。
ビデオ撮影した景色とは異なり、Block-NeRFで生成したモデルは、カメラのアングルを変えるなど、画像を自由に編集できる。(ビデオへのリンク。)
３Dモデルの機能
Waymoはサンフランシスコのアラモ地区(Alamo Square、下の写真左側)で撮影した写真280万枚をBlock-NeRFで繋ぎ合わせて３Ｄモデル(下の写真右側)を生成した。
生成されたモデルは、視点を変えて360度の方向から見ることができる。
また、３Dモデルは一塊のデータではなく、撮影されたオブジェクトを自由に編集できる。
具体的には、道路や歩道にクルマや歩行者が写っているが、Block-NeRFでこれらを消し去ることができる(下の写真右側、クルマや歩行者写っていない)。
また、モデルの環境を設定することもでき、晴れの日の午後などのイメージを生成できる。
NeRFとは
NeRFとは、カメラで撮影した写真をAIで繋ぎ合わせ、３Dモデルを生成する手法を指す。
この技法はUC BerkeleyとGoogle Researchのチームが開発した(下の写真、ドラムセットの３Dモデルを生成)。
オブジェクトを周囲から撮影し、その写真をNeRFで繋ぎ合わせて３Ｄモデルを生成する。
簡単に立体モデルを生成でき、それを柔軟に操作できるため、この技法が注目されている。
Block-NeRFとは
NeRFは身の回りのもの(ドラムセットなど)や人物など、比較的小さな形状のオブジェクトが対象となる。
これに対し、Block-NeRFは市街地のように、大規模な３Ｄモデルを構築できることが特徴となる。
Block-NeRFは複数のNeRFを組み合わせて最終モデルを生成する。
実際には、市街地を区画し、それぞれの区画でNeRFで３Dモデルを生成する。
各区画で生成した３Ｄモデルを結合し、市街地全体の３Dモデルを生成する手順となる(下の写真左側、オレンジ色のドットが各区画で使われたNeRFを示す)。
NeRFは形状(Visibility)と色彩(Color)で構成され、これを機見合わせ３Dマップを生成する。
街中の景観が変わると、その部分のNeRFだけを再教育し、３Dマップを更新する(下の写真右側、上段の景観が下段に変わったケース)。市街地全体のアルゴリズムを再教育する必要はなく、効率的にモデルをアップデートできる。
Block-NeRFの利用方法
生成された３Ｄモデルは自動運転車やロボットの開発で使われる。
自動運転車はLidarやカメラで撮影したイメージから、現在地をピンポイントで特定する。
これはLocalizationと呼ばれる処理で、このプロセスをBlock-NeRFで生成した３Ｄマップで実行する。
また、自動運転車の運行を検証するため、シミュレーション環境を制作するために使われる。
サンフランシスコのデジタルツインを生成し、ここで自動運転車を走行させ安全性を検証する。
メタバースへの応用
Block-NeRFで生成したモデルは、道路の走行だけでなく、上空を飛行することもできる。
例えば、世界一曲がりくねった坂道「ロンバード・ストリート(Lombard Street)」の上を飛行することもできる。(ビデオへのリンク。)
Waymoはコメントしていないが、都市のデジタルツインを生成し、これをメタバースの仮想社会として利用することもできる。
Waymoの走行試験
Waymoはサンフランシスコで試験走行を進めている(下の写真)。
住民が被験者となり、Waymoに搭乗し、安全性の検証が行われている。
先月からは、Waymoはセーフティドライバーが搭乗しない無人車両で試験走行を開始した。
このケースではWaymo社員が被験者となり、無人車両に搭乗し、安全性の確認が続いている。
Waymoはサンフランシスコで6か月間、試験走行を実行してきたが、無人車両での試験走行が商用化に向けた最後のステップとなる。
