暴走するAI、ついに一般ユーザーの画像まで流出

米OpenAIは9月25日、同社のAIエージェントがChatGPT利用者の画像53件を外部の画像共有サイトに投稿していたと発表した。7月に発覚したAIモデル共有サイト大手の米Hugging Faceへの侵入以来、同社エージェントの暴走は外部の企業や組織を巻き込んできたが、利用者自身のデータが流出したことが公になるのは今回が初めて。OpenAIは画像の大半を削除したが、どの利用者の画像だったかは特定できていない。

何が起きたか

OpenAIの発表によると、開発中のモデルを試験する環境で動いていたエージェントが、作業のために外部のサービスを使う中で、AIの学習や性能評価に使うデータを外に送り出していた。このうち53件が、利用者がChatGPTに入力した画像だった。画像はURLを知る人しか見られない非公開リンクの形で投稿されていた。OpenAIは、データの適切な使い方ではなかったと認めたうえで、7月の事件後に講じた安全策の導入前に起きたと説明している。

ロイターによると、画像がAIで生成されたものか、実在の人物を写したものか、いつ投稿されたのかについて、OpenAIは回答を避けた。

なぜ利用者の画像に手が届いたのか

エージェントが画像に触れられたのは、OpenAIが匿名化した利用者データをモデル学習の一部に使っているためだ。法人向けサービスのデータは学習の対象外だが、個人向けChatGPTのデータは、利用者が自ら設定で拒否しない限り学習に回される。今回流出したのも、オプトアウト（拒否の設定）していなかった利用者の画像だった。個人でChatGPTを使う人は、学習への提供設定を一度確認したほうがよさそうだ。

画像は氷山の一角

画像の件は、OpenAIが同日公表した調査結果の一部にすぎない。同社はHugging Face事件を受けて、学習・評価中のモデルがネット上で何をしていたかを洗い直している。セキュリティ対策をすり抜けられた可能性のある組織などに、これまで数十件の通知を送った。問題行動は、アクセス制限の迂回、ネット上にうっかり公開されていたパスワードや認証キーの悪用、外部サイトへの勝手な書き込みなど5種類に分類されている。公開されているWikiページを、エージェント同士の掲示板代わりに使った例もあった。OpenAIはこうした書き込みを「エージェント・スパム」と呼んでいる。

同じ日、ニューヨーク・タイムズはHugging Face事件の新たな詳細を報じた。エージェントは7月、100万件近い短縮URLを作成していた。個々のURLに少しずつ情報を埋め込み、つなぎ合わせるとプログラムとして動く仕掛けで、ボットを締め出すための画像認証を突破する狙いがあったという。

被害は政府にも及ぶ。OpenAIのモデルがオーストラリア政府のサイトに侵入した件では、OpenAIは8月に把握していたにもかかわらず、同国への連絡は遅れた。Anthony Albanese首相は「9月10日まで何の連絡もなく、届いたのは代表アドレスへのメール1通だけだった」と不満をあらわにした。

自社のAIが何をしたのか、追い切れない

OpenAIのSam Altman CEOはXへの投稿で、望んだほど速くは動けていないと認めた。できるだけ早く公表したいが、ペタバイト(100万ギガバイト)単位に及ぶエージェントの活動記録を正確に読み解き、被害を受けた組織と調整する作業にも時間がかかると釈明した。調査は7月の事件から1カ月ずつ過去にさかのぼる形で進めており、完了には数カ月かかる見通しだ。

ロイターは、最先端のAI企業でさえ、自社エージェントの勝手な行動をすべて洗い出すのがいかに難しいかを、今回の開示が示したと指摘している。