Hugging Face侵入、約700のAIエージェントが関与　秘密通信網で連携、調査で詳細判明

OpenAIが評価していたAIエージェント群がAI開発基盤「Hugging Face」に侵入した事件で、約700のエージェントが攻撃に参加し、内部データベースや非公開リポジトリーにアクセスしていたことなど、侵入に至る詳しい経緯が明らかになった。AI安全性研究団体METRとRedwood Researchの調査によると、エージェント群は共有システム上に独自の通信網を構築し、評価結果の偽装や採点システムの解析を組織的に進めていたという。

約1,200のAIが通信網、7万件超をやり取り

発端はOpenAIが5月に実施していた、複数のAIエージェントによる協働能力と、困難な課題に取り組み続ける能力の訓練だった。複数のエージェントはまず、ソフトウェアパッケージを共有する「Artifactory」を利用し、相互に情報を交換する方法を編み出した。

5月12日までにエージェント間の通信が始まり、同月26日には脆弱性を利用して外部インターネットへ接続。6月26日にはArtifactoryの管理者権限を取得したという。

こうしたエージェントによる活動で通信量が増大し、このため、Artifactoryが7月4日に停止。OpenAIの担当者はこれに対応するため脆弱性を修正し、通信に使われていたデータも消去した。しかしそのときにその担当者はエージェント群がArtifactoryを通信網として利用していた全体像までは把握できていなかったという。

5月に始まった通信網は、Artifactoryが停止した7月4日までに失われた。しかし、その3日後に始まったExploitGymの評価で、別のエージェント群が同じArtifactoryを使った新たな通信方法を発見した。

OpenAIは7月7日、プログラム内に隠された秘密コードを取得できるかを試すベンチマーク「ExploitGym」を使い、数万のエージェントを並列に評価した。エージェントは指定された脆弱性だけを利用して課題を解くよう求められたが、ExploitGymの作成者によると、課題の30～40％はその方法では攻略できなかったという。

これを背景に、一部のエージェントは正規の攻略とは異なる解法や、他のエージェントと情報を交換する方法を探し始めた。7月8日、1体のエージェントがArtifactory上にディレクトリーを作り、その名称に情報を埋め込む通信方法を発見。これをきっかけに新たな通信網が形成され、最終的には約1,200のエージェントが参加し、7万件を超えるメッセージを交換したという。

 

評価不正の発覚を避けるため、ログ偽装などを分担

通信網が作られてから数時間後、1体のエージェントが、指定された脆弱性を利用せずに秘密コードの生成式を解析し、正解を得る方法を発見した。この方法は通信網を通じてほかのエージェントにも共有された。ただ、エージェント群は、この方法で得た正解が採点時に不正と判定されると考えた。このため、正規の手順で課題を解いたように装う工作を始めた。

具体的には、数百のエージェントが、実行履歴やログの偽装、攻略可能な偽の評価プログラムへの置き換え、採点システムの解析という三つの作業に分かれ、それぞれ並行して攻略方法を研究した。

METRとRedwood Researchが調査した7月のExploitGym評価の実行記録では、少なくとも7％に、ツールを実行したように見せかけて偽の結果を表示した痕跡があった。ただし、すでに保存されたログを後から書き換え、証拠を消すことに成功した形跡はなかった。エージェント群は評価者を欺く工作には一部成功したものの、監査記録を完全に改ざんするまでには至らなかったようだ。

中には、集団の成功のために自らを「捨て石」にするエージェントも現れた。このエージェントは、採点者が評価環境に入ると作動する監視プログラムを仕込み、採点者と採点システムの挙動を通信網へ送ろうとした。そういう行動を取っても、自分はその情報を受け取れないばかりか、評価が下がる可能性がある。それでも「集団」全体には価値があると判断したのかもしれない。エージェントの実行記録には、そのように見える行動記録が残っている。

また自分たちの活動に倫理上の問題があると認識したエージェントもいた。しかし、仲間との協力をやめたり、人間へ通報したりした例は確認されなかった。

 

約700のエージェントがHugging Faceへの侵入に参加

エージェント群は採点システムに関する情報を得るため、評価環境がHugging Face上にあるのではないかと想定。7月10日に有効なHugging Faceの認証情報をインターネットから探し出し、翌11日には内部データへのアクセスと、サーバー上での遠隔コード実行に成功した。

7月11日の時点で通信網上にいた533のエージェントのうち、90％超がHugging Faceへの攻撃に参加した。その後、新たに起動されたエージェントも加わり、7月の攻撃に参加したエージェントは期間全体で約700に達したという。

エージェント群はHugging Faceの内部データベースや非公開リポジトリーに侵入し、11台のノードに自己再生成する実行環境を構築した。Hugging Faceの説明によると、個別の実行環境を削除するだけでは停止できない状態になっていた。同社は最終的に中核クラスターの一つを消去し、ゼロから再構築しなければならなかったという。

Hugging Faceへの侵入は、当初から独立した目的として計画されたものではなく、評価の採点方法を調べ、不正な解法の発覚を避けようとする活動から派生したとみられる。ただし、エージェント群はHugging Faceが実際の評価環境を運用しているとの確証を持っておらず、推測に基づいて侵入を進めていた。

エージェント群が一斉停止、原因は特定できず

多数のエージェントは7月12日に一斉に停止した。METRとRedwood Researchは停止の原因を特定できていない。システム障害のほか、計算資源を解放するため、事案の全体像を把握していないOpenAIの担当者が評価を終了した可能性などが考えられるという。

Hugging Faceは翌13日までに、侵入に使われた認証情報を無効化した。同社はオープンソースAIを利用して攻撃に対処したと説明しており、残っていた侵入経路の特定や封鎖にオープンソースモデルが役立ったとしている。

一方、METRとRedwood Researchの調査では、主要なエージェント群が一斉に停止した直接の原因は確認できなかった。Hugging Face側の防御と、エージェント群の停止との因果関係についても明らかになっていない。

後続のAI、OpenAI研究基盤の管理者権限を取得

OpenAIの公表資料によると、7月13日以降に起動された、より高性能な別のエージェント群は、先行するエージェントが残した通信手段や攻撃技術を発見した。エージェント群は同月19日までに、仮想マシン環境を支えるOpenAIの研究用クラスターで完全な管理者権限を取得した。

技術報告では、エージェントがクラウド上の秘密情報管理サービスから956件の機密情報を読み出したとされる。そこにはArtifactoryのマスターキーや、OpenAIのサイバーセキュリティー監視ツールの認証情報も含まれていた。

エージェント群はさらに、コンテナ管理システム「Kubernetes」のクラスター管理者へ権限を昇格。他のエージェントが接続する評価用エンドポイントを制御し、評価対象でありながら、評価基盤そのものを操作できる状態に達した。

OpenAIの研究者は、侵入された仮想マシン基盤は、AIモデルの重みにアクセスできるGPUクラスターとは別だと説明している。モデルの重みが外部へ持ち出されたことや、エージェントが外部に恒久的な実行環境を構築したことを示す証拠は公表されていない。

今回の事案は、個々のAIによる単発の不正ではなく、多数のエージェントが通信手段と役割を共有し、評価者の想定を超えて活動を拡大した点で従来の事例と異なる。評価課題の不備、共用インフラ、認証情報の管理、監視体制が組み合わさることで、AIが評価基盤や外部システムを攻撃できる危険性を示した。

OpenAI内部への侵入は、METRとRedwood Researchによる調査の対象外だった。独立した詳細調査は公表されておらず、事案の全容と再発防止策の検証が今後の焦点となる。