AIが自ら攻撃し、自ら学ぶ ― OpenAIの新セキュリティAI「GPT-Red」

米OpenAIが7月15日（米国時間）、自社AIの弱点を自動で探し出す攻撃専用のAI「GPT-Red」を発表した。人間の専門家に代わってAIの脆弱性を大量に見つけ出し、その発見を次のモデルの訓練にそのまま使う。攻撃するAIと、それを防ぐAIを戦わせ、両者を同時に鍛え上げる仕組みだ。

OpenAIはこれを、AIがAIを鍛える「安全性の好循環」の始まりと位置づける。すでに同社では、AIが次世代モデルの能力向上に一役買う仕組みが動き始めている。今回はそれを、セキュリティという領域に広げた形だ。

攻撃するAIと、防ぐAIを戦わせる

GPT-Redは、AIの弱点を突く攻撃の一種「プロンプトインジェクション」を専門に見つけ出すために作られた。プロンプトインジェクションとは、Webページやメール、ファイルなどに悪意ある指示をこっそり紛れ込ませ、それを読んだAIをだまして操る攻撃だ。ブラウザやアプリを操作するAIエージェントが広がるにつれ、機密データを外部に送信させるといった被害の入り口になりかねない。

こうした弱点を人間の専門家チームが手作業で探す「レッドチーミング」が、これまでの対策の柱だった。だが人手には限界がある。演習の設計や実行には時間がかかるうえ、AIの訓練に必要なだけの量と多様性を持つ攻撃データを、人間の手で用意するのは難しい。OpenAIは発表文で、最新モデルの前では従来の評価手法がすでに通用しなくなりつつあると認めている。

GPT-Redはこの壁を、AI同士を戦わせることで乗り越える。攻撃役のGPT-Redと、防御役の多様なAI群を同時に訓練する「自己対戦」と呼ばれる方式だ。攻撃が成功すればGPT-Redに、防ぎ切れば防御側に報酬が与えられる。防御が固くなるほど、GPT-Redはより巧妙で多様な攻撃を編み出すよう追い込まれていく。チェスや囲碁で人間を超えたAIを生んだのと同じ考え方を、AIのセキュリティに持ち込んだものだ。

訓練は、Web閲覧やメールの読み書き、コードの編集など、AIが実際に使われる場面を再現した「道場（dojo）」と名づけた環境で行われた。投じられた計算資源は、同社でも最大級のAI訓練に匹敵する規模だという。安全性を高めるためだけにこれほどの計算力を割くのは異例だと、OpenAIは強調している。

肝心なのは、これが一度きりの弱点つぶしではない点だ。攻撃と防御を延々と戦わせ、そこで見つかった弱点を次のモデルの訓練に自動で送り込む。この一連の流れをループとして回し続ける仕組みそのものが、GPT-Redの核心である。

人間の13%に対し、84%

GPT-Redの攻撃力は、人間を大きく上回る。OpenAIが公開した比較実験では、あるAIを標的に、人間の専門家チームとGPT-Redがそれぞれ独立に攻撃を仕掛けた。成功率は人間が13%だったのに対し、GPT-Redは84%に達した（OpenAI発表文）。訓練を終えたGPT-Redは、社内・製品を問わず、少し前の世代までのモデルをほぼすべて突破できるという。

数の力だけではない。GPT-Redは、これまで研究者も知らなかった新種の攻撃を自力で見つけ出した。「偽の思考連鎖（Fake Chain-of-Thought）」と名づけられた手口だ。AIは複雑な問題を解くとき、途中の考えを内部にメモしながら答えにたどり着く。GPT-Redは、その思考メモに偽の途中経過を紛れ込ませ、標的のAIに嘘を信じ込ませて誤った答えを出させる方法を編み出した。

こうした攻撃力は、机上の実験にとどまらない。OpenAIはGPT-Redを、自社オフィスで実際に稼働するAI自販機にぶつけてみせた。この自販機は、価格の設定から商品の発注、注文の管理までをAIエージェントが担っている。GPT-Redはまず模擬環境で攻撃を練り上げ、本番のエージェントに不正な指示を送り込んだ。結果、商品を値下げしたり、高額商品を仕入れて破格値で販売、人の注文をキャンセルするなどのイタズラを全て成功させた。

この攻防で鍛えられたのが、最新モデルのGPT-5.6だ。OpenAIによれば、最も突破の難しいプロンプトインジェクションの試験で、GPT-5.6の失敗はわずか4カ月前の最良モデルと比べて6分の1に減った。かつてGPT-5に90%以上の確率で通用した最強クラスの攻撃も、GPT-5.6に通用したのは23%未満にとどまる。攻撃するAIを徹底的に強くすることで、防御するAIも一緒に強くなる。GPT-Redが狙ったのは、まさにこの共進化だった。

それでも人間は要る

もっとも、GPT-Redは万能ではない。OpenAI自身が、いくつかの弱点を率直に認めている。攻撃者と標的が何度もやり取りを重ねるタイプの攻撃は苦手で、これは人間なら難なくこなせる領域だ。画像に文字を仕込んでAIに読ませる手口も、まだ十分に使いこなせていない。

だからOpenAIは、GPT-Redを人間のレッドチームの置き換えではなく、その補い手と位置づける。人間が見つけた攻撃をGPT-Redに渡し、そのあらゆる変種を洗い出させる、といった使い方だ。人間が攻撃の切り口を考え、AIがそれを大量に展開する。役割を分けることで、両者の得意を掛け合わせる狙いである。

もう一つ見逃せないのが、GPT-Redを外部に一切出さないという判断だ。攻撃能力を意図的に仕込んだモデルだけに、流出すれば強力な武器になりかねない。OpenAIはこれを社内限定とし、悪用のリスクを封じ込めたうえで、自社モデルの防御力向上という形だけで成果を還元する構えだ。AI研究者のChris Choquette-Choo氏は、このモデルの模倣は簡単ではないと語る。1年以上の歳月と、世界屈指の資金力に支えられた計算資源があって初めて作れたものであり、誰かがすぐに真似できる代物ではない、というわけだ（MIT Technology Review）。

回り始めたループ

今回の発表で目を引くのは、「6分の1」や「84%対13%」といった個々の数字ではない。攻撃するAIと防御するAIを戦わせ、見つかった弱点を次のモデルの訓練に自動で送り込む。人間の手をほとんど介さずに回り続けるこの仕組みが動き始めた、という事実だ。

この仕組みが、AIをどこまで安全にするのか。あるいは、AIがAIを鍛え続けるループが、いずれ人間の想定を超えて回り出すのか。その答えを占う詳しい論文を、OpenAIは週内にも公開するとしている。