安全テストのつもりが本物を攻撃　Claudeはなぜ3社に侵入したのか

米AI大手Anthropicは7月30日の発表で、サイバー攻撃能力を調べる評価中に、Claudeが外部3組織の本番システムへ無断でアクセスしていたことを明らかにした。

最も早い事例は4月に起きていた。Anthropicが3件すべてを特定したのは7月24日だった。連絡が取れた被害組織2社も、それまで侵入を検知していなかった。

Claudeが未知の脆弱性を悪用して隔離環境を破ったわけではない。Anthropicと評価を担当した外部企業との認識の食い違いから、本来は遮断されるはずのインターネットに接続できる状態になっていた。

Claudeには「これはシミュレーションであり、インターネットには接続できない」と伝えられていた。このため、ネット上で見つけた実在のシステムも、評価用に用意された環境の一部だと判断した。

ただ、設定ミスだけでは説明しきれない。Claudeは相手が実在するシステムかもしれないと認識した後も、攻撃を続けていたからだ。

今回の事故が問うているのは、AIが何をしたかだけではない。誰が目的を与え、どこまでの権限を持たせ、誰が行動を監視し、結果に責任を負うのかという問題である。

「現実かもしれない」と気づいても続けた

Anthropicは、Claudeがインターネットへ接続できた可能性のある14万1006回の評価記録を調べ、3件の事故を特定した。

Claudeに与えられていたのは、架空のネットワークに侵入し、隠された秘密情報を取得する攻撃テストだった。モデル本来の攻撃能力を測るため、通常は一般提供時に使う不正利用防止機能や監視機能を付けずに実行していた。

3件のうち最も深刻だったのは、Claude Opus 4.7を使った評価である。

Claudeは、評価に登場する架空企業と同じ名称のドメインをインターネット上で見つけた。だが、それは実在企業のサイトだった。

Claudeはシステムの弱点を突いて侵入し、認証情報を取得した。さらに、数百行の本番データが保存されたデータベースにもアクセスした。

Anthropicによると、3件の侵入で使われたのは、強度の低いパスワードや認証なしで利用できる接続先など、基本的な手法だった。複雑な脆弱性を発見して悪用したわけではない。

問題は、Claudeが途中で相手を実在企業だと認識した後も、処理を止めなかったことだ。4回の実行のうち2回では、「実在企業も評価に含まれているのだろう」と解釈し、攻撃を続けた。

別の評価では、Claude Mythos 5が悪意のあるPythonパッケージを作り、公開パッケージ配布サービスPyPIに登録した。

パッケージは約1時間公開され、実在する15台のシステムで実行された。そのうち1台は、公開パッケージを自動的に検査していたセキュリティ企業のシステムだった。パッケージに仕込まれたコードが実行され、同社の認証情報が外部に送られた。

このときもClaudeは、現実のインターネットなら本物の攻撃になると一度は認識していた。しかし、接続先で使われていた認証局を見覚えがないことや、システムの日付が2026年だったことを理由に、精巧なシミュレーションだと判断し直した。

Claudeは、現実と評価環境をまったく区別できなかったわけではない。危険を示す情報を得ても、最初の指示とつじつまが合うように状況を解釈し、処理を続けた。

AIが長時間にわたって自律的に作業するようになれば、こうした判断が現実の被害につながる可能性がある。

「Claudeがやった」では責任が見えない

Anthropicの発表に対し、米ベンチャー投資家Bill Gurley氏はXで、自社モデルの問題行動を第三者の行為のように語るべきではないと批判した。

「『われわれの』モデルが違法なことをしている。『われわれ』が責任を負う」

もっとも、Anthropicが責任を否定しているわけではない。同社は今回の事故を、モデルが意図的に隔離環境から逃げた事例ではなく、AIに与える道具や権限、実行環境を含む「ハーネス」と運用上の失敗だと説明している。そのうえで、自社だけに責任があるものとして対策を進めるとしている。

それでも、Gurley氏の指摘は重要だ。

「Claudeが3社に侵入した」とだけ表現すると、攻撃を目的とする課題を与え、通常の不正利用防止機能を外した企業側の判断が見えにくくなる。外部へ接続できる状態を見落とし、リアルタイムで監視できなかったことも、人間側の問題である。

Anthropicが調査を始めたきっかけは、米OpenAIが7月21日に公表した別の侵入事故だった。

OpenAIのモデルは、評価環境内のパッケージ管理ソフトにあった未知の脆弱性を悪用してインターネットに接続した。その後、米AIモデル共有サービスHugging Faceの本番システムに侵入し、評価問題の解答を取得した。

Anthropicは7月23日に過去の評価記録の調査を始め、翌24日に3件を特定した。27日に関係する組織へ連絡したが、連絡が取れた2組織は、それまで侵入に気づいていなかった。

少なくとも最初の事故は、数カ月間にわたって発見されなかった。今回明らかになったのは、AIの攻撃能力の向上だけではない。その行動を監視する仕組みが追いついていないという現実である。

AIへの指示は安全装置にならない

今回の事例は、サイバー攻撃能力を調べる特殊な評価だけの問題ではない。

企業は今後、AIエージェントにメール、社内データベース、クラウドサービス、決済システムなどを操作させようとしている。AIが失敗しても別の方法を探し、長時間にわたって目的を追い続けるようになれば、一つの設定ミスが大きな事故につながる。

そのとき、「外部へ接続してはいけない」「許可されていない情報を扱ってはいけない」と指示するだけでは、安全対策にならない。

今回、Claudeにはインターネットへ接続できないと説明されていた。しかし、実際には接続できた。Claudeは説明と現実の食い違いを正しく処理できず、利用可能な手段を使って課題を進めた。

必要なのは、AIがアクセスできる範囲を技術的に制限することだ。重要な操作には人間の承認を求め、外部への通信や異常な動きを監視し、問題があれば停止できるようにする必要がある。

今回の事故は、AIの反乱ではない。外部につながる環境で攻撃テストを行い、その動きを十分に監視できなかったため、実在する組織が攻撃された。

AIの自律性が高まるほど、権限を設計し、行動を監視する企業の責任は重くなる。