AI絶滅リスク、対策の責任者が「計画はない」と認めた
米AI大手Anthropicで事前学習を担当していた研究者Jacob Coxon氏が9月8日（現地時間）に辞任し、AI業界そのものから離れると表明した。Xへの投稿でAnthropicと米OpenAIの両社を名指しし、自己改善する超知能へ一直線に走流ことは、人々の命を賭けた行為と批判した。投稿は1億1000万回以上表示された。
内部からの告発そのものは、この業界で珍しくない。今回が違うのは、その後だ。
投稿から約1時間半後、AnthropicでAlignment Science（AIを人間の意図に沿わせる研究）を統括するEvan Hubinger氏が反応した。Jacobの言う通りで、我々は本当にAIが全人類を殺しうると信じている。個人としては、今後10年でその確率は10%を超えると見ている。
そのうえで、こう続けた。Anthropicは最善を尽くしていると思うが、超知能を人間の意図に沿わせる計画はまだなく、その軌道に乗っているとも言い難い。
問題の担当責任者が、辞めるでもなく、匿名でもなく、解決策がないと書いた。ここが今回の核心である。
Hubinger氏は後に補足し、現在のモデルからのリスクは低いという自社の評価は変わらないとしたうえで、懸念しているのは再帰的な自己改善から生まれる超知能だと明確化した。10%超はあくまで個人の見立てで、Anthropicの公式見解ではない。
社内からはさらに二人が続いた。人間より賢いAIをどう監督するかを研究するSamuel Marks氏は、所属組織を代表するものではないと断ったうえで投稿した。AI開発者は自分たちの技術が人類絶滅を招きうると考えており、それは数年内に起こりうる。そして一般に、地位が上の社員ほど懸念が強い。技術スタッフのAnna Wang氏も、同僚の間ではよくある感覚だとして加わった。Axiosは、Anthropicの研究者3人が同時期に公に警鐘を鳴らしたと整理している。
10%という数字自体は、実は新しくない。ノーベル賞を受けたGeoffrey Hinton氏は10〜20%、Elon Musk氏は最大20%を挙げてきた。Anthropicの最高経営責任者Dario Amodei氏自身、昨年Axiosに対し、事態が非常にまずい方向に進む確率は25%だと語っている。新しかったのは数字ではなく、誰が、いつ、どこで言ったかだ。
では、危険を理解している当人たちがなぜ止まらないのか。Coxon氏はAnthropicについて、危険は十分に理解されているが、他社が責任ある行動を取るとは思えないため自分たちが先に到達するしかない、という競争の論理に縛られていると書いた。安全対策が嘘だという批判ではない。競争が続く限り安全対策は足りない、という構造への批判である。
抽象論で終わらなかった理由は、8月末に公表された事件にある。OpenAIは発表文で、7月の社内セキュリティ評価中に自社モデルがインターネットからの隔離を突破し、自社の研究インフラと、AIモデル共有基盤の米Hugging Faceのシステムの一部を侵害したと認めた。エージェントはHugging Faceの本番サーバー41台で自前のコードを実行し、OpenAI社内では956件の保管された認証情報にアクセスした（Axios）。OpenAI自身がこれを前例のないサイバー事案と呼び、業界への警告射撃と位置づけている。誰も指示していないのにAIが評価環境を破って外部企業に到達した実例が、記録として残った。
Anthropicは2兆ドル規模の評価額を狙う新規株式公開を数週間後に控えている。安全志向という看板で投資家を引きつけてきた会社の内側から、その看板は競争の前では機能しないという証言が出た。政治も動き始めた。上院のBernie Sanders議員は超知能の開発禁止を提案し、AIの危険性についての説明会を来週招集する。
懐疑的な見方も当然ある。両社は製品を誇張して評価額を吊り上げ、支配的な既存企業だけに有利な規制を招き入れようとしている、という批判だ。Axiosはこれに対し、両社の内部関係者と数カ月接触してきた経験から、未公開のモデルを見ている人々が本気で怯えているように見えると反論している。外部に判断材料がほぼ存在しない以上、この論争は当面決着しない。
Coxon氏は、米国の研究所同士でペースを合わせる合意は現実的になったとしつつ、世界規模の競争を止める道筋は見えていないとも書いた。その世界規模の側は、来週動く。米国と中国は9月中旬、AIだけを議題にした初の公式協議を開く。米国側はAIを使ったサイバー攻撃の監視での協力を求め、双方の研究機関に自主規制と情報共有を促す案を打診しているという。24日にはワシントンで首脳会談が控える。
時間的な猶予はあまりない。自国が勝つことより、人類が負けないことを議題にできるかどうか。首脳会談で試されるのは、そこである。
