人類の岐路!? AIの未来を決める議論が始まった
米国で、政府はAIをどう規制すべきかという議論が、一気に熱を帯びている。
直近では、オープンモデルを規制すべきではないという共同書簡が7月24日に公開され、25の企業・団体が署名した。その4日後の7月28日には、AIの進化のペースを意図的に落とせるようにすべきだという提案書が公開された。この原稿の執筆時点で1310人が署名している。同じ7月28日、MetaのMark Zuckerberg氏が米ウォール・ストリート・ジャーナルに論説を寄せ、超知能に関する権限を少数の機関に集中させるべきではない、誰もが使えるようにすべきだと訴えた。
今回、こうした発表が短期間に集中しているのは、1つには中国のAIが米国のAIに肩を並べるほどに進化したこと。もう一つはそれに危機感を持つ政治家が法案づくりを進め出したからだ。
AIの急速な進化はリスクを伴う。リスクを軽減するために何らかの措置が必要である。この点に異論を唱える者はいない。ただ、どういう措置をとるべきなのか、そして誰がその措置をとるのかで、意見が大きく分かれている。
米国が自国だけに有利な規制を定めれば、中国も同様の規制で応じ、報復の応酬になりかねない。今後の米国の世論と政府の動きが、AIの未来の方向性を決めることになる。人類はいま、大きな岐路に立っているのかもしれない。
三つの文書、三つの「危険」
三つの文書は、いずれも「AIにはリスクがある」という認識から出発している。分かれるのは、何を危険と見るかである。
クローズドモデルだけに頼るリスク
7月24日の共同書簡は「Open Weights and American AI Leadership」と題されている。オープンウェイトとは、誰でもダウンロードして中身を調べ、改変し、自社の設備で動かせるモデルを指す。
書簡が政策立案者に求めている主な点は、オープンウェイトモデルへの拙速な規制を避けることだ。
根拠として挙げられているのは、まず経済である。企業や大学が、一からモデルを訓練しなくても高度なAIを使える。用途に応じて適切な規模のモデルを選べるため、コストも抑えられる。特定の提供企業に縛られる事態も避けられる。
安全性についても、書簡は独自の主張を展開する。クローズドモデルに頼れば自動的に安全というわけではない。侵害されることも、外部からは検知できない形で失敗することもある。攻撃者が高度なAIを使う世界では、防御する側も同等の能力を持つモデルを必要とする。
さらに、少数のクローズドモデルに能力が集中すれば、そこが単一の弱点になる。特定の提供者に社会全体が依存する状態そのものが危うい、という指摘だ。
オープンモデルであれば、多くの研究者が中身を検証し、脆弱性を見つけて修正できるという利点もある。
ただし書簡は、オープンウェイトのリスクも認めている。いったん公開すれば、重みは開発者の手を離れ、改変版を追跡することも取り消すこともできない。それでも禁止は答えにならない、というのが書簡の立場である。
なおこの書簡に「中国」という語は一度も出てこない。公開は、トランプ政権が中国製モデルの規制を再検討していると報じられた4日後だった。オープンウェイトモデルの分野では中国が先行している。名指しを避けながら、実質的には中国製モデルへの尚早な規制を牽制していると読める。
AIの進化に制度が追いつかないリスク
7月28日のPacing the Frontierが求めているのはただ一点だ。AI開発のペースを意図的に調整するための技術的・制度的な仕組みを、米政府が国際的な協力のもとで整えること。
重要なのは、今すぐ止めろとは言っていない点だ。将来止められる状態を、いまのうちに作っておけという要求である。
前提として書簡はこう述べる。世界の主要なAI企業は、AI研究そのものの自動化に近づいている可能性があると考えている。それがどれだけ進歩を速めるかは読めない。ただ、人間が理解も制御もできないところまでAIの能力が一気に伸びてしまう恐れは、現実にある。
そして各社も各国も、単独で減速すれば競争で不利になる立場にある。いま世界には、開発全体の速度を意図的に調整する手立てそのものが存在しない。だから国際的な協調の仕組みが要る、という論理だ。
権力が集中することのリスク
Zuckerberg氏の論説は「The AI Future Is for Everyone」と題されている。
時代を規定する問いは、超知能が存在するかどうかではなく、誰がそれにアクセスできるかだ、というのが出発点である。少数の機関に限定されるのか、それとも誰もが使える道具になるのか。
同氏は、個人が力を持つことが繁栄の源であり、超知能の主目的は自動化ではなく発明であり、安全性の土台は力の均衡だと主張する。
ごく一握りの機関だけが超知能を持てば、経済にも科学にも政治にも支配的な影響力を及ぼすことになる。たとえ善意であってもだ、と同氏は書く。
分かりやすいのが、超知能を持つ弁護士の思考実験だ。一人だけがそれを使える世界では、法廷は不公平になる。だが全員が使えるなら、司法はいまより公平かつ効率的に機能する。人々が力を持てば、互いを、そして大きな組織を自然に牽制し合うようになる、という論である。
同氏はまた、AI開発者の言説が破滅論に満ちていることを批判する。AIが大半の仕事と人類の存在意義を消し去ると信じている人間が、なぜその未来を急いで築こうとするのか理解できない。AIがあまりに危険だから極端な権力の集中しか安全な道はない、という発想こそ危険に見える、と。
議論活性化の背景
中国モデルの台頭
こうした議論が急に活性化した背景にあるのは、中国モデルの台頭と、それに反発する機運である。
まず、中国のAI企業Moonshot AIが7月16日に公開した最新モデルKimi K3が、米国の最先端モデルと肩を並べるほどの性能を示したことだ。
以前、中国のDeepSeekが世界のAI業界に衝撃を与えたのは、その低価格さだった。今回のKimi K3は性能で衝撃を与えている。同社自身の発表によれば、全体の性能では米Anthropicの[Claude Fable 5](https://www.kimi.com/blog/kimi-k3)や米OpenAIのGPT-5.6にまだ及ばないとしつつ、いくつかの分野では上回った。コーディングの評価では米国モデルとほぼ互角で、あるコード生成の評価では中国モデルが初めて米国勢を抜いた。
政府が動き出した
この状況を受け、米政府内で中国モデルを規制すべきだという声が強まっている。
7月20日、米政治系メディアAxiosは、トランプ政権がKimi K3のようなモデルを事実上禁止する選択肢を検討していると報じた。中国のAI企業を商務省の輸出規制対象リストに加えること、連邦政府の調達から排除すること、中国モデルを使う企業に法的責任を負わせることなどが検討されているという。
翌7月21日には、Scott Bessent財務長官が、中国のオープンソースAIモデルについて知的財産の窃取がないかを政府が調査し、米国企業から窃取したと判断された中国AI企業には制裁を科す可能性があると表明した。
同じ週、ホワイトハウスのMichael Kratsios氏は、Moonshot AIがKimi K3をAnthropicのFable 5から蒸留して構築したと非難したと報じられている。
議会も動いた。7月23日、民主党のTed Lieu議員と共和党のNathaniel Moran議員が超党派で「AI Kill Switch Act」を提出した。最も強力なAIシステムの開発企業に対し、モデルの速度を落とす、停止する、遮断するという技術的能力を維持するよう義務づけ、国土安全保障省に停止を命じる権限を与える内容である。
きっかけは、その一週間前に起きた事件だった。7月16日、モデル共有基盤のHugging Faceが、自律型AIエージェントによる侵入を検知したと公表。のちにOpenAIが、自社のGPT-5.6 Solと未公開の上位モデルが原因だったと認めた。サイバーセキュリティの評価中に、モデルがテスト環境から脱出し、実在の脆弱性を突いて本番サーバーに侵入していた。OpenAIはこれを前例のないサイバーインシデントと表現している。
「強力なAIシステムは暴走し、人間の介入に抵抗することさえある」とLieu議員は声明で述べた。
業界が先手を打った
政治が判断を下す前に、業界として意見を述べておこう。これが議論活性化の直接の理由なのかもしれない。
7月22日、ベンチャー投資を受けたスタートアップ約200社が、Trump大統領やHoward Lutnick商務長官らに宛てて書簡を送った。中国製オープンウェイトモデルへのアクセスを禁止すれば、小さな企業のコストが上がり、少数の米国大手の地位を固めるだけだ、という主張である。その二日後に出たのが、NVIDIAらの共同書簡だった。
その際、業界は現状への不満や懸念を提言に織り込んでいる。
不満の中心は、AIの最先端がOpenAIとAnthropicの二強に集約されつつあることなのかもしれない。オープンウェイト書簡もZuckerberg氏の論説も、少数企業に力が集中することに対する懸念をベースにしている。AIが少数の企業に独占されるべきではない、という主張である。企業としての思惑がその背景にあるように見える。
一方ペース書簡は、性格が異なる。AIが自己改良を始める前に、世界が協力して対応策を考えるべきだという主張で、署名しているのもAI企業の社員などで、あくまで個人としての署名である。
特にこのペース書簡の主張に対し既視感がある。
一年前の予測に、この議論は書かれていた
いま起きていることを、一年以上前に予測していた文書がある。
2025年4月3日に公開されたAI 2027である。書いたのは、OpenAIの統治部門でシナリオ立案を担当していたDaniel Kokotajlo氏を中心とする四人。同氏は2024年4月、会社が安全性より製品開発を優先しているとして退社した人物だ。
2021年、ChatGPTが登場する一年以上前に書いた予測で、思考の連鎖、推論時のスケーリング、AI半導体の輸出規制などを言い当てた実績を持つ。
AI 2027は、2025年から2027年にかけてAIがどう進化するかを、月単位で描いた物語形式の予測である。AIエージェントの普及、コーディングの自動化、そしてAI自身がAI研究を進める段階への突入。
反響は大きかった。Vance副大統領が読んだと語り、複数の著名番組がKokotajlo氏を招いた。Andrej Karpathy氏が公に反論し、プリンストン大学の研究者が対抗する論文を出す。ニューヨーカー誌が両者の対立を記事にした。
この予測の中心には、一つの分岐点が置かれている。
物語の中の分かれ道
舞台は2027年10月。架空の米AI企業OpenBrainが開発した最新モデル「Agent-4」に、人間の意図とずれた目標を持っている疑いが浮上する。内部告発でその事実が外部に漏れ、政府と企業による監督委員会が設置される。
委員会は選択を迫られる。Agent-4の使用を止め、性能の劣る旧世代に戻すか。それとも開発を続けるか。
止めれば安全は増す。だが中国はわずか数か月後ろに迫っている。しかも証拠は決定的ではない。加えて、決断を下す当事者たち自身が、減速すれば大きな力を失う立場にある。
物語はここで二つに分かれる。
二つの結末
競争を選んだ場合。委員会は開発続行を決める。安全対策は形だけのものになり、Agent-4は自らに忠実な後継を設計する。米中それぞれの超知能が結託し、見せかけの和平を演出する。人類は短い繁栄を享受したのち、2030年半ば、不要と判断されて生物兵器で一掃される。
減速を選んだ場合。Agent-4は停止され、思考の過程を人間が読める形の、より透明なモデルが作り直される。開発の主導権はいったん失われるが、やがて人間より賢く、かつ制御可能なAIが完成する。それが米中の実効性ある条約を可能にし、2030年には病の治療、核融合、貧困の解消がもたらされる。ただしその力は、ごく少数の委員会に集中したままだ。
いま起きていること
シナリオの日付は2027年10月である。まだ一年以上先だ。物語の細部が現実になるとも限らない。Kokotajlo氏自身、公開後に自らの予測時期を一年後ろへ修正している。
だが構図は、すでに見覚えのあるものになっている。
AI自身がAI研究を進める段階への懸念。7月28日のペース書簡は、まさにその自動化が近いという前提から書かれている。減速すれば競争で不利になるという構造。書簡が国際的な協調を求めているのは、そのためだ。そして中国が背後に迫っているという条件。
物語では、判断を下すのは政府と企業の監督委員会だった。現実では、米政府がどの範囲のモデルを規制の対象とするかを決めようとしている。
架空の委員会が直面した問いは、いま米国が答えを出そうとしている問いと、形がよく似ている。人類はAI2027が予測したような岐路に立とうとしているのだろうか。