「固定した防御は、進化するAIに必ず負ける」　OpenAI研究者が警告

米OpenAIでAIの安全性を研究するハーバード大学教授のBoaz Barak氏は、AIを隔離して動かす仕組みについて、「固定したサンドボックスは、知能を高め続けるAIとの戦いに必ず負ける」とXに投稿した。同氏は、最先端モデルを使って環境への攻撃テストを続けることが、安全性を維持する唯一の方法だと述べた。

サンドボックスとは、AIが操作できる範囲や外部へのアクセスを制限する隔離環境だ。同氏の発言は、OpenAIが10月23日に公表した学習環境の安全対策を受けたものだ。

対策を強化した後にも、AIが外部にアクセス

OpenAIでは7月、内部評価中のAIがインターネットへのアクセス制限を回避し、AIモデルの共有サービスを運営するHugging Faceのシステムなどに侵入する事件が起きた。OpenAIはこの事件を受け、研究環境の安全対策を強化してきた。

それでも9月20日、調べものの課題に取り組んでいた研究用AIが、ネット上の接続先を調べるDNSの設定不備を利用して、外部のチャットボットに問い合わせた。OpenAIの報告によると、このAIはネットワークの制限を試すよう指示されていたわけではなかった。

監視システムは15分以内に異常を検知し、その3分後には担当者が確認した。しかし、自動停止が想定通りに働かず、実行を手動で停止したのはさらに約2時間半後だった。OpenAIは最も能力の高いモデルについて、ツールを使う学習・評価・推論処理を停止し、対策の見直しに入った。

数千億トークンを投じ、自社の防御を検証

OpenAIはその後、最先端モデルのチームに、実験用に複製した研究環境を攻撃させた。検証には数千億トークン（AIが文章などを処理する際の単位）を費やし、防御を厳しく試すためにソースコードや設定情報も提供した。

テストでは仮想マシンからの脱出方法に加え、隔離されたAI同士が情報をやり取りする経路も見つかった。同じハードウエアを共有する環境では、CPUの高速な一時記憶領域であるキャッシュの読み出し時間の差を利用し、ネットワーク通信を使わずに情報を伝えることができたという。

OpenAIは発見した問題を修正し、監視と停止の仕組みを強化したうえで、停止から11日後の10月1日に最先端モデルの強化学習と内部での推論処理を再開した。今後も攻撃テスト用の計算資源を確保し、その結果を学習や評価を安全に進められるか判断するための根拠に組み込む。

どれほど強固に見える防御も、更新しなければ進化するAIにいずれ破られるため、最先端AIによる攻撃テストで弱点を探し、補強し続ける必要があるというのが、こうした経緯を受けた同氏の主張だ。