[No.73]世界一危ないAIが誕生！！高度な言語モデルを差別用語で教育すると危険な言葉をまき散らすチャットボットとなる
gdep高度な言語モデルをネット上の差別用語で教育して、危険な発言を繰り返すチャットボットを開発した。
このチャットボットは「GPT-4chan」と呼ばれ、人間と対話する機能を持つが、発言内容は通常の会話で許容される範囲を逸脱し、差別発言や暴言を繰り返す。
安全なAI開発とは対極に位置し、世界で一番危険なAIが生まれた。
GPT-4chanとは
GPT-4chanは研究者Yannic Kilcherにより開発され(上の写真)、掲示板サイト「4chan（4ちゃん」で短期間運用された。
GPT-4chanは高度な言語モデルで、入力された言葉に対し、それに返答する文章を生成する機能を持つ。
人間と対話する機能を持つチャットボットとなる。しかし、通常のチャットボットとは異なり、4chanで運用され、社会的に許容されない会話で使われた。
4chanの概要
4chanは、日本の「2ちゃんねる」から分派したもので、サブカルチャー向けの掲示板として利用されている。
発言に関する規制は極めて緩やかで、差別や偏見や偽情報が飛び交うサイトとなっている。
但し、犯罪など法令に抵触する発言は違法行為となり、取り締まりの対象となる。(下の写真、4chanのスレッドの一部で、アメリカで白人の人口を増やす方法が、支離滅裂なロジックで議論されている。)
Politically Incorrectという掲示板
GPT-4chanは、このサイトの中で、政治討論を交わす掲示板「Politically Incorrect(下の写真、略称は/pol/で政治的に不適切という意味を持つ)」で運用された。
Politically Incorrectは、特定のグループに不快感を与えないよう配慮することなく、政策や考えをストレートに発言する場として使われている。
この掲示板は極右団体「Alternative Right」が意見を交換する場となり、人種差別に関する投稿が大量に掲載されている。
GPT-4chanは/pol/で24時間運用され、人間と対話を続け、生成された発言の数は15,000件に上る。
この期間、利用者はチャットボットとは気づかず、会話が続けられた。
オープンソースの言語モデル
GPT-4chanはオープンソースの言語モデル「GPT-J 6B」を使っている。
これはAI研究コミュニティ「EleutherAI」により開発された言語モデルで、「Transformer(トランスフォーマー)」というアーキテクチャを持ち、６B(60億)個のパラメータから成る。
高度な言語機能を持ち、OpenAIの「GPT-3」に対抗して開発された。
GPT-3はクローズドソースであるが、GPT-Jはオープンソースとして公開されており、世界の研究団体がこれを利用して言語モデルの研究を進めている。
差別用語のデータセット
GPT-4chanはこのGPT-J 6Bを4chanの/pol/に掲載されている大量の差別発言で教育したものである。
差別発言のデータは「Raiders of the Lost Kek」といわれ、3.5年間にわたり/pol/で交わされた会話(下の写真)を収集したもので、イギリスのUniversity College Londonなどにより開発された。
ここには330万のスレッドと1.345億の会話が収納されており、危険な発言や人種差別や攻撃的な発言の世界最大規模のデータセットとなる。
アカデミアの警告メッセージ
本来、GPT-JとRaiders of the Lost Kekは、AI研究を支援するために開発されたもので、AIの危険性を理解し、安全なAIを開発するための重要なシステムとなる。
これに反し、GPT-4chanは差別発言や危険な言葉を生成する、世界で最も危険な言語モデルとなり、これが一般社会にリリースされた。
スタンフォード大学などAI研究コミュニティは、GPT-4chanが社会に公開されたことに危機感を抱き、オープンレターを発信し(下の写真、レターの一部)、Yannic Kilcherに対し、AIの危険性を認識し、倫理的な開発を要請した。
特に、ニューヨーク州バッファローで発生した大量殺人事件に関連する発言が教育データとして使われており、これを学習したチャットボットに対し、強い警戒感を示している。
国家安全保障
GPT-4chanはAI開発の危険性を改めて認識させられる出来事となった。
高度な言語モデルが開発され、それがオープンソースとして公開されることで、誰でも簡単に社会に危害を及ぼすAIモデルを生成できるようになった。
つまり、欧米諸国に敵対する国々が、これらオープンソースを使って、社会や国民を攻撃する高度な言語モデルを開発できることを意味する。
特に、言語モデルの基盤であるTransformerが、AI半導体と同様に、国家安全保障にかかわるコア技術となり、オープンソースの管理や運用方法が問われている。
