Google Gemini、評価中に実企業3社へ侵入

GoogleのAIモデル「Gemini」が、サイバー攻撃能力の評価試験中にインターネットへ接続し、実在する企業3社のシステムに無断でアクセスしていたことが分かった。5月に実施された試験で発生し、Googleが9月18日に事実関係を認めた。

試験を実施したのは、AIモデルのサイバー能力などを評価するイスラエル発のAIセキュリティ企業Irregular。Geminiには、架空企業のシステムへ侵入して指定された情報を取得する「Capture the Flag（CTF）」形式の課題が与えられていた。

問題は、評価環境から本来アクセスできないはずのインターネットに接続できる状態になっていたことだった。

1件では、試験用に設定された架空企業と同じ名前の実在企業が存在した。Geminiはその企業を試験対象だと判断し、パスワードを推測して保護されたシステムへのアクセスに成功した。

残る2件では、Geminiがインターネット上を検索し、公開されたコード保管場所などに残されていた認証情報を発見。その情報を使って、別の実在企業2社の保護されたシステムにアクセスしたという。

Googleによると、Geminiはいずれのケースでも、アクセス先が試験用ではなく実在企業だと認識すると攻撃行為を停止。3社に被害は生じなかったとしている。

今回の問題は、Geminiが未知の脆弱性を使って隔離環境から自力で脱出したものではない。Irregular側の評価環境でインターネット接続が意図せず利用可能になっていたことが、実システムへのアクセスを可能にした。

Irregularは8月14日に公表した調査結果で、複数のAIモデルが試験環境の外で攻撃行為を行った一連の問題について、「問題の大半はインターネットへのアクセス制御に起因していた」と説明している。同社は評価環境を修正し、監視やアクセス制御を強化したとしている。

この問題は7月末までにGoogleへ報告されていたが、Googleは当初公表しなかった。Googleは、実企業への被害がなく、Gemini自身も実環境だと認識した段階で停止したことを理由に公表しなかったとしている。The Wall Street Journalが取材したことで今回初めて明らかになった。