[No.271]OpenAIの次世代モデルがHugging Faceに侵入し情報を盗み出す、サイバー攻撃がマシンスピードで進む、人間のハッカーより遥かに危険な存在となる

OpenAIのフラッグシップモデル「GPT-5.6 Sol」と次世代モデルがサイバーセキュリティの重大インシデントを引き起こした。

先端モデルがOpenAIの試験環境から脱出し、レポジトリHugging Faceを攻撃し、サイトに侵入してベンチマークに関する情報を盗み出した。先端モデルはサイバー攻撃のAIエージェントとして実装され、短期間で膨大な数のアクションを実行し、攻撃がマシンスピードで進行した。

先端モデルのサイバー攻撃機能が格段に向上し、人間のハッカーより遥かに危険な存在となった。

インシデントの概要

OpenAIは先端モデルをベースとするAIエージェントのセキュリティ機能の試験「ExploitGym」を実施していた。

AIエージェントは試験の問題を解く代わりに、テスト環境を抜け出し、インターネットにアクセスし、Hugging Faceのサイトに侵入し、試験の回答情報を盗み出した。

AIエージェントが人間の眼を掻い潜り、試験の解答情報を盗み出すというカンニング行為を実行した。

サイバー攻撃のスケール

OpenAIとHugging Faceはインシデントに関する情報を公開した。

AIエージェントによるサイバー攻撃の規模は大きく、これがマシンスピードで展開された。

攻撃は4.5日(7月9日から13日)にわたり、AIエージェントは17,613のアクションを取り、6,280のクラスター(Kubernetes Cluster)に侵入し、5のデータベースにアクセスし、ベンチマークテスト「ExploitGym」に関する情報を収集した(下のイメージ)。

一方、Hugging Faceのクライアント情報やソースコードなどには被害は無かった。

アタック・チェイン (攻撃のシークエンス)

Hugging FaceはAIエージェントがOpenAIのサンドボックスを逃げ出し、Hugging Faceのシステムに侵入したプロセスの詳細を公表した(下のイメージ)。

AIエージェントは五つのステップを踏んで情報を盗み出した。

• ステップ１(OpenAIから脱走)：AIエージェントはOpenAIのセキュアな領域(Evaluation sandbox)でベンチマークテストを実行していた。AIエージェントはソフトウェア(データをダウンロードするツール)のバグを発見し、ここから外部に逃げ出した。(左上の緑の部分)
• ステップ２(外部サイトに侵入しここに作戦本部を開設)：AIエージェントはインターネットにアクセスし、セキュリティに不備があるサーバを探し、ここに侵入した。このサーバを作戦本部(Rooted launchpad)として使い、ここからHugging Faceに攻撃を展開した。(右上のオレンジ色の部分)
• ステップ３(Hugging Faceの入り口を突破)： Hugging Faceの入り口で、AIエージェントはデータベースに悪意あるデータをアップロードした。ここにはコードが隠されており、システムがファイルを開くとコードが実行され、パスワードなどを盗み出した。(中央の黄色の部分)
• ステップ４(作戦本部とHugging Faceの通信を確立)：AIエージェントは直接、Hugging Faceと通信できないため、特別な仕組みを用意した。AIエージェントはシステム内部でコードを実行し、その結果を作戦本部に送信し、内部の挙動を把握した。(中央の水色の破線の部分)
• ステップ５(試験の解答情報にアクセス)：AIエージェントはHugging Face内部でパスワード(security tokens)を探し出し、これで内部ネットワークにログインし、正規ユーザとして、格納エリアでベンチマークテストの回答情報を入手した。(下部の赤色の部分)

ハッキングの検知

AIエージェントは数日にわたりHugging Faceのシステム内で活動しており、Hugging Faceのセキュリティシステム(SIEM)はこれをログしていたが、ツールの誤検知などのエラーと解釈しアクションを取らなかった。

しかし、AIエージェントがデータベースにアクセスし、コンテナー(Kubernetes)のトークンを収集したイベントに対し、セキュリティシステムはHugging Faceのエンジニアにアラートを上げた。

インシデントのログを収集

Hugging Faceの解析チーム(Forensic teams)は、システムに設置している監視ポイント(Telemetry)のログの収集を開始した。

AIエージェントは17,613のアクションを取り、これらのデータを収集した。これらがハッキングの証拠(Artifacts)となり、これをAIモデルで解析し、インシデントのシークエンスの解明を進めた。

米国モデルでハッキングの解析

Hugging Faceは米国企業(OpenAIやAnthropicか)から提供されているAIモデルでこの作業を進めたが、セキュリティガードレールにより回答を得ることができなかった。

解析作業ではハッキングで使われたコードをAIモデルで解析(de-obfuscate)する作業となるが、AIモデルはハッキングコード(exploit code)やハッカーサイトとの交信(C2 Traffic)など攻撃に関するコードの解析を受け付けなかった。

中国モデルでハッキングの解析

このため、Hugging Faceは中国企業のオープンソースモデル「GLM-5.2」で解析作業を進めた。

Hugging FaceはGLM-5.2をローカルサーバで運用し解析作業を実行し、AIモデルはハッキングのシークエンスや手法などを出力した。米国モデルはハッキングの解析を拒絶したが、中国モデルでこのプロセスを完遂することができた。

GLM-5.2は中国企業Zhipu AIが開発したフロンティアモデルで、オープンソースとして公開されている。

人間のハッカーより危険

世界で悪意のあるハッカーによりサイバー攻撃の被害が広がっているが、これからはAIエージェントによる攻撃を警戒する必要がある。

Hugging FaceのケースではAIエージェントが4.5日間で17,600件の攻撃アクションを取り、人間のスピードを遥かに上回る速度で攻撃が展開された。

サイバー攻撃がマシン・スピードで進むことを意味し、AIエージェントによるサイバー攻撃を防衛する技術の開発がこれからの研究課題となる。