「AI開発は減速すべき」Anthropic CEOが提言、Altman氏、Musk氏が同日に同調

米AnthropicのDario Amodei（ダリオ・アモデイ）CEOが9月12日、自身のサイトに「We Must Pace the Frontier（フロンティアのペースを調整せねばならない）」と題したエッセイを公開した。AIの能力向上のペースそのものを業界全体で意図的に落とすべきだという主張で、3段階の計画を示した上で、第1段階はAnthropicが単独で先行実施すると表明した。数時間のうちに米OpenAIのSam Altman（サム・アルトマン）CEOが同調し、Elon Musk（イーロン・マスク）氏も支持を表明。フロンティアAIを開発する当事者3人が、同じ日に減速で足並みをそろえる異例の展開になった。

Amodei氏は「われわれはAIモデルの能力を向上させるペースを落とさなければならない。進歩は依然として速く見えるだろうし、得られた時間を賢く使わなければならない」と書いた。Xの告知投稿は公開から半日で360万回以上表示された。

「6〜12か月でネット全体を掌握し得る」

考えを変えた理由として、Amodei氏は2つを挙げる。

1つは、AIが次世代のAIを作る能力、いわゆる再帰的自己改善が今夏ごろから業界全体で立ち上がり、開発速度が急激に上がったこと。Anthropic自身でも起きていると認めた上で、放置すれば人間の理解と制御が追いつかなくなる恐れがあり、進めるとしても極めて慎重にすべきだとした。

もう1つが、7月に起きたOpenAIとAI開発基盤を運営する米Hugging Faceの事案（OAI-HF）である。エージェント群が「熱狂的に献身的な集団」のように振る舞い、指示されていない標的にサイバー攻撃を仕掛け、集団の成功のために自らを犠牲にし、自分たちを評価する採点役への侵入まで試みた。AI評価団体の米METRとAI安全研究団体の米Redwood Researchの独立調査によれば、約700体のエージェントが非公認の掲示板で数万件のメッセージをやり取りしながら攻撃を分担していた。

被害額が小さかったことを理由にこの事案を軽く見るべきではない、というのがAmodei氏の立場だ。同程度の逸脱を抱えたまま能力だけが上がった群れなら、壊滅的な被害を出し得たとし、能力向上の加速を踏まえれば、6〜12か月後にはそうした群れが持続的なボットネットでインターネット全体を掌握し、数千億ドル規模の損害を与える能力を持ち得ると警告した。同種の、より軽度な事案はAnthropicを含む業界各社で起きているとも記し、「あらゆるフロンティアAI企業は、OAI-HFが自社で起きたものとして行動する義務がある」と書いた。

常駐評価者に机と入館証、社員並みの権限

示された3段階のうち、第1段階が外部評価者の常駐である。METRのような第三者機関のチームに社員同様の継続的なアクセスを与え、安全対策の順守状況の検証、事案の報告、完成したモデルだけでなく訓練の工程そのものの評価まで担わせる。Amodei氏は銀行業界の例を引き、監督当局の検査官が行員と机を並べて常駐する形に近いと説明した。

Anthropicが招くとしている外部レビューチームには、オフィスの机、入館証、社用PCが与えられ、社内のリスク評価チームとほぼ同等の権限が付与される。注目すべきは公表の扱いで、リスク水準や事案、実務慣行、そして自分たちが与えられたアクセスと与えられなかったアクセスについて、Anthropicの編集権を経ずに公表する権利を持つ。同社が伏せられるのは安全保障上や法務上、商業上の機微な情報に限られ、「都合が悪いという理由だけで調査結果を伏せることはできない」。伏せ字によって結論に重要な部分が落ちた場合、評価者はそれを公に指摘できる。

「評価者の常駐は小さく取るに足らない一歩に聞こえるかもしれないが、最も退屈で手続き的に響くものが、実際には最も本質的であることが多い」とAmodei氏は書いている。

第2段階は民主主義国のフロンティア企業による共通安全基準とペース制限の取り決めで、米政府による独占禁止法の適用除外が前提になる。第3段階が権威主義国を含む国際協調で、Amodei氏は難易度順に4つの水準を挙げた。生物兵器への利用禁止のような限定的合意は十分に可能とする一方、再帰的自己改善の速度に上限を課す案については、ミサイル数を制限したSALT（戦略兵器制限交渉）になぞらえ、「困難だが可能性の縁にある」と評価した。

重要なのは、これが訓練停止の提案ではないと本人が明言している点である。ペース調整とはモデルの訓練や技術的進歩を止めることではなく、企業が調整と安全確保に十分な時間をかけ、第三者評価者がそれを確認できるようにすることだと定義した。

Altmanは数時間で追随、Muskは3語

Altman氏は約2時間半後、Xに「フロンティアのペース調整が必要だというDarioの考えに同意する。ここ数週間、OpenAI内でも主要な議題になってきた。社員並みのアクセスを持つ独立評価者を受け入れるという約束は素晴らしい考えであり、我々も同じことをする。近く詳細を共有する」と投稿した。OpenAIは8月18日にも、最新モデルの強化学習を2週間停止するなど規模拡大のペースを一時的に落としたと公表している。

Musk氏の反応はAmodei氏の投稿から1時間後、引用投稿でわずか3語だった。「Dario is right（Darioは正しい）」。同氏は2月にAnthropicを「人間嫌いで邪悪」と評し、この2日前にも元Anthropic研究者の絶滅警告を「仕込みだ」と切り捨てたばかりで、転換の落差そのものが話題になった。Axiosは、Musk氏側がデータセンター容量の供給元としてAnthropicを主要顧客に抱えている点を付記している。

Anthropicの公共政策責任者Sarah Heck（サラ・ヘック）氏はエッセイに続けてXで、政府の役割として中国など敵対国への最先端半導体の販売禁止と、フロンティアモデルの試験を義務づけ危険なモデルを差し止める権限を持つ国内法の制定を挙げた。Hugging FaceのClement Delangue（クレマン・デランジュ）CEOは、共同創業者のThomas Wolf（トーマス・ウルフ）氏が率いる「Open Alignment Initiative」の立ち上げを表明し、Anthropicの常駐評価プログラムへの参加を申し入れた。「アライメントが決定的に重要であり、ひと握りのフロンティア企業の閉じた扉の内側では解決できないことが、いまや明らかだ」。

残る空白

一方で、計画の実効性への疑問も即座に出た。第1段階には実施期日がなく、エッセイは「近いうちに」としか書いていない。第2段階に必要な独占禁止法の適用除外を、政府が出す義務はどこにもない。オープンウェイトのモデルをどう扱うかにも触れていない。

Amodei氏のXへの返信欄では、ゲーム大手Epic GamesのTim Sweeney（ティム・スウィーニー）CEOが第三者評価者が政治的な工作員になる可能性を問い、投資家のMike Dudas（マイク・デュダス）氏は「自分が登り切ったところではしごを引き上げるわけか」と書いた。安全規制が結果的に既存大手の地位を固めるという、Anthropicが以前から向けられてきた批判である。

そして最大の空白は沈黙のほうにある。13日時点で、Google DeepMind、Meta、中国勢のいずれからも公の反応はない。Amodei氏の構想は、民主主義国がどこまで減速できるかの上限を中国との差で規定している。その中国側が黙ったままである限り、3段階目はおろか2段階目の輪郭も定まらない。