[No.72]ハイパーリアルなアバター、AIがセレブの完璧なデジタルツインを生成、DeepFakesがメタバースを支える
gdep米国の人気テレビ番組でセレブ三人がオペラを歌唱するシーンが放送され社会が騒然とした(下の写真)。これは”フェイクビデオ”で、オペラ歌手三人が歌うシーンをテレビカメラで撮影し、顔の部分だけをリアルタイムでセレブのものに置き換えた。
完璧な偽物で、究極のDeepFakesが生まれ、テレビで全米に放送された。
実際にこの番組を見ていたが、完成度の高さに衝撃を受けた。
リアリティ番組
これは「アメリカズ・ゴット・タレント(America’s Got Talent)」と呼ばれる番組で、様々なジャンルのパフォーマーの公開オーディションを放送するもので、アメリカ版「スター誕生」という位置づけになる。
今週、三人のオペラ歌手がステージでアリア「誰も寝てはならぬ(Nessun dorma)」を歌い(上の写真下段)、それを三台のカメラで撮影し、合成した映像を大型モニターに映し出す(上の写真上段)構成となっていた。
顔をスワップ
映し出される映像は三人のオペラ歌手の顔をセレブの顔にスワップしたもので、審査員のサイモン・コーウェル(Simon Cowell、下の写真右端)、ホーウィー・マンデル(Howie Mandel、左端)、及び、司会者のテリー・クルーズ(Terry Crews、中央)がオペラを熱唱するシーンが生成された。
DeepFakesの出来栄えは完璧で、本人が歌っているように映し出されたが、審査員たちは席に座っており、フェイクであることが分かる仕組みになっていた。
DeepFakes技術
この技術を開発したのはロンドンに拠点を置く新興企業Metaphysicで、高品質なコンテンツを生成するAIを開発している。
特に、AIでアバターを生成する技術に着目しており、超リアルなデジタルツインを生成する。
生成されるハイパーリアルなアバターは、３D仮想社会で使われ、メタバースを支える基礎技術を担っている。
偽のトム・クルーズ
Metaphysicは、これに先立ち、映画俳優トム・クルーズ(Tom Cruise)のハイパーリアルなDeepFakesを生成し、全米を驚かせた。
ショートビデオとしてTikTokなどに掲載され、完璧な偽物のトム・クルーズを生み出した(下の写真)。
実際に、ショートビデオを観ると、完璧なフェイクで、偽物であると聞かされて驚いた。
これらのビデオはTikTokの「deeptomcruise」のサイトに掲載されている(リンク)。
シンセティック・メディア
AIが生成するアバターは「Synthetic Media」と呼ばれ、誰でも簡単に動画や音声を生成でき、プロ並みのコンテンツを生成できる。
人間と見分けのつかないデジタル・ヒューマンが生まれており、エンターテイメントやプロモショーンで使われている。
ニューヨークに拠点を置く新興企業SynthesiaはAIアバターを開発し、人間に代わりアバターがプレゼンテータとなり、商品を説明する。異なる種類のアバターが揃っており、企業はブランドイメージに沿ったアバターと言葉のアクセントを選ぶことができる(下の写真)。
シンセティック・ボイス
また、AIでボイスを生成する技術「Synthetic Voice」の開発が進み、品質が人間レベルに到達した。
合成音声は自然で感情豊かなボイスとなり、人間の喋りと区別がつかなくなった。
シアトルに拠点を置くAI新興企業WellSaid Labsは、AIによる音声合成技術を開発している(下の写真)。
WellSaid Labsが開発する音声合成技術は「Voice Avatars」と呼ばれ、テキストを入力すると、それを人間のように滑らかなボイスに変換する。
人間の３Dフィギュア
ハイパーリアルなアバターと音声が生成されているが、次のゴールはAIで人間の３Dフィギュア全体を生成することにある。
例えば、トム・クルーズのフェイクビデオをすべてAIで生成する技術がAI研究開発の一番ホットなテーマとなっている。
上述のDeepTomCruiseが完璧なのは訳があり、トム・クルーズのそっくり俳優が演じたビデオを使っているからである。
そっくりさんの顔の部分だけを本物の顔にスワップしている。そっくり俳優がトム・クルーズのように振る舞い、声も本人と見分けがつかない。そっくり俳優が演じる部分をAIで生成することが次の目標で、大学や企業で研究開発が進んでいる。
