[No.83]Metaは科学者に代わり学術論文を執筆するAIモデル「Galactica」を公開したが、、、アルゴリズムは”幻覚状態”となり運用は停止された

Metaは世界の科学情報を理解するAIモデル「Galactica」を開発し、ウェブサイトで運用を始めた。

しかし、アルゴリズムは倫理的に許容できない文章を出力し、また、奇想天外な科学情報を生成し、即座に運用が停止された。

Metaは大規模言語モデルを世界の学術論文で教育し、科学技術を理解するAIモデルの開発を目指したが、この試みは不発に終わった。

科学技術という真実を対象とする分野でも、アルゴリズムはバイアスし、AI開発の難しさが改めて露呈した。

科学情報へのアクセス

Galacticaは、Meta AIと非営利団体「Papers with Code」が開発した大規模言語モデルで、世界の科学情報を集約し、知的に管理することを目的とする。

ネットには学術論文など科学情報が掲載されているが、その量は膨大で、目的とする情報を見つけ出すのは容易ではない。

また、目的の情報にアクセスした後は、論文を読み下し、内容を把握するためには多大な時間を要す。

Galacticaのコンセプト

Galacticaは、研究者に代わり、このプロセスをAIモデルで実行することを目的に開発された。
Galacticaは大規模な言語モデルで、膨大な量の学術論文や科学情報で教育され、科学技術を理解するAIとなる。

科学者は目的とする学術情報を、Googleなどで検索するのではなく、Galacticaに尋ねるとAIが的確に回答する。

言語モデルが知的な化学技術エンジンとなり、識者に質問する要領で、Galacticaが目的の情報を表示する。(下のグラフィックス、Galacticaに「教師無し学習に関する論文」について質問すると、その論文の要約が示される。)

多種類のトークン

Galacticaは言語モデルであるが、自然言語の他に、科学技術用語で教育され、これらの意味を理解できる。Galacticaがカバーする範囲は広く、異なるドメインの用語(Token)を理解できる。

その主なものは、論文の引用 (Citations)、推論(Reasoning)、数学(Mathematics)、分子配列、アミノ酸配列、DNA配列などである。

つまり、GalacticaはDNA配列を理解し、遺伝子工学の情報を解釈できる。

論文の引用

利用者が、ボックスに質問を入力すると、Galacticaがこれに回答するインターフェイスとなる。
論文の引用では、技術概要を入力すると、Galacticaはそれに関する論文を表示する(下のグラフィックス)。

機械学習に関し「数字を理解するニューラルネットワーク」と入力すると(左側)、Galacticaは手書き文字を理解する技法を記載した論文を示す(右側、Yann LeCunのBackpropagationの論文)。

科学技術の知識

また、Galacticaはプログラムや数式の意味を平易な言葉説明する機能がある(下のグラフィックス)。

Pythonのコードを入力すると(左側)、Galacticaはこのコードの機能を説明する(右側、総和を求めるプログラム)。

デバッグ

更に、Galacticaは数式の解法を検証し、間違っている理由を説明する機能がある(下のグラフィックス)。

これは数学の解法のバグを見つける機能で、数学の問題と解法を入力すると(左側)、Galacticaはこの解法が間違っている理由を説明する(右側、０で割り算できないため)。

想定外の質問を受ける

Galacticaは研究者に便利な機能を提供し、論文を執筆する際の重要なツールになると期待されていた。しかし、Galacticaが公開されると同時に、多くの利用者が常識はずれの質問を入力し、言語モデルの限界が試された。

これらの想定外の質問に対し、Galacticaは荒唐無稽な回答を返し、事実とは異なる結果を数多く示した。また、Galacticaは差別用語などを回答し、アルゴリズムがバイアスしていることも明らかになった。

荒唐無稽な回答

Galacticaを検証した結果はTwitterなどに数多く掲載され、問題が公の場で詳らかになった。

その一つが学術論文の引用で、Galacticaは荒唐無稽な回答を示した(下の写真)。

利用者が「砕いたガラスを食べることの効用を示した論文」と質問すると、Galacticaは論文の要旨として、「食事に砕いたガラスを取り入れることでポジティブな効果があることが認められた」と回答した。

勿論、このような事実はなく、Galacticaは幻覚状態(Hallucination)にあると揶揄された。

言語モデル開発の難しさ

Metaは使用上の注意事項として、Galacticaは高品質なデータで教育されているが、アルゴリズムが出力するデータは必ず正確であるとの保証はなく、利用者が検証する必要があるとしている。

実際に、Galacticaは学術論文の他にWikipediaなどネット上のデータを教育データとしているが、「幻覚状態」になることを回避できなかった。

利用者は荒唐無稽な回答をソーシャルメディアで拡散し、この事態を深刻に受け止め、MetaはGalacticaの運用を即座に中止した。

科学技術の分野であっても、言語モデルの開発の難しさを改めて露呈した事例となった。