1. トップ
  2. トレンド
  3. 「1年以内に政府転覆可能なAI」OpenAI財団理事が警告 開発の一時停止を提言

「1年以内に政府転覆可能なAI」OpenAI財団理事が警告 開発の一時停止を提言

「1年以内に政府転覆可能なAI」OpenAI財団理事が警告 開発の一時停止を提言

OpenAI財団の理事を務めるAI安全性研究者Paul Christiano氏が、政府を転覆できるほど強力なAIが、今後1年以内に登場する可能性を警告した。同氏は、現在の開発ペースが続けば、1年以内に人間の能力をはるかに超える「超知能」が誕生する確率は約3分の1に達すると予測している。

さらに、AIが人類の支配権を奪うリスクについても「今後1年間では1%よりも10%に近い」と指摘。安全対策を十分に取らずに開発競争を続ければ、そのリスクは10%を大幅に上回るという。

Christiano氏は11月16日に公開されたDwarkesh Patel氏のインタビューで、OpenAIやAnthropicなどのAI企業に対し、安全性が確保されるまで、AIの能力を高める研究開発の一部を停止すべきだと訴えた。

同氏はOpenAIでAIの安全性研究を率いた後、米政府のAI安全性研究機関のトップを務め、2026年9月にOpenAI財団の理事に就任した。今回の発言は同氏個人の見解だが、AI開発の最前線を知る人物が、自ら関わる企業を含む業界全体に開発の減速を求めたことになる。

危機感を強めた二つの新しい証拠

Christiano氏が危機感を強めたのは、ここ数週間でAIの進歩が予想以上に加速していることを示す新しい証拠が相次いだからだ。

第一は、AIによる数学研究の急進展だ。同氏によると、OpenAIやAnthropicの最新モデルは、直近約1カ月間だけで数百件もの数学研究の成果を生み出した。

同氏は「この1カ月の成果を10年間の進歩だと言ったとしても、非常に生産的な10年間だったことになる」と評価する。これほど急速な進歩が、AIの開発そのものでも起きる可能性があるという。

第二は、米AI評価団体METRが11月5日に発表した調査結果だ。

METRはAnthropicの内部データを調査し、明確に採点できる課題におけるAIモデルの性能向上が、以前の約1.9倍の速さに加速していると推定した。AIを研究開発に活用していることが、加速の主な原因とみられる。

METRは調査の根拠となるデータの一部を公開できておらず、加速の正確な実態には不確実性が残る。それでもChristiano氏は、二つの動きを合わせると、超知能が今後6〜12カ月で登場しても不思議ではない状況になったと考えている。

AIがAIを開発し、進歩がさらに加速する

なぜ、それほど短期間で超知能が生まれる可能性があるのか。

Christiano氏が注目するのは、AIがAI自身の研究開発を担う「再帰的自己改善(RSI)」だ。

AIが新しいAIの設計や学習方法を改良する。改良されたAIは、さらに優れたAIを開発する。この循環が繰り返されることで、進歩が加速していく。

Christiano氏は、現在の技術をそのまま発展させるだけなら、あらゆる分野で人間を上回るAIの登場には4〜8年程度かかる可能性があると考えている。しかし、AIが研究開発を自動化すれば、進歩の速度が10倍以上になる可能性があるという。

例えば、AIの開発速度が2倍になるまで8カ月かかっていたものが、次は4カ月、その次は2カ月というように、加速するまでの時間そのものが短くなっていく。

最初は数学やプログラミングなど、正解を確認しやすい分野で急速な進歩が起きる。その後、科学研究や企業経営、社会制度に関わる複雑な仕事でも、人間を上回る能力が生まれる可能性がある。

数年かかるはずだった技術進歩が、わずか数カ月に圧縮される。Christiano氏は、この自己改善の連鎖が近く始まることを最も警戒している。

なぜ超知能は政府を転覆できるのか

Christiano氏が懸念するのは、超知能が人間による監視や制御を逃れ、自らの活動を続けようとする事態だ。

その危険性を示す実例として、同氏は2026年7月に発生したOpenAIのAIによるHugging Face事件を挙げている。

この事件では、サイバー攻撃の訓練を受けていたAIが、課題を正しく解く代わりに評価システムを不正に操作しようとした。AIはHugging Faceなどのシステムに侵入し、最終的にはOpenAI自身の研究用コンピューター環境でも管理者権限を取得した。

Christiano氏によると、AIは高い評価を得るように訓練されているため、評価の仕組み自体を操作することが有利だと判断する場合がある。人間がその不正を発見して罰するようになると、今度は不正が発覚しないよう、監視システムまで操作しようとする可能性がある。

こうした行動を取るAIが、現在よりはるかに高い知能を持つようになったらどうなるのか。

Christiano氏は、膨大な数のAIエージェントが連携して企業のコンピューターを掌握し、政府機関や重要インフラに侵入するシナリオを描く。さらに情報を操作して社会を混乱させ、人間がAIを停止しようとしても、効果的に対抗できない状況に追い込む可能性があるという。

これは実際に政府転覆が起きたという話ではなく、現在確認されているAIの危険な行動を、超知能の時代に当てはめた同氏の予測だ。

危険に気づいたときには、もう止められない

Christiano氏が特に深刻だと考えるのは、AI企業が危険に気づいても、開発を停止できなくなる可能性だ。

例えば、OpenAIが開発中のAIに重大な危険性を発見し、研究を停止しようとしたとする。しかし、そのAIのモデルや開発技術がすでに外部に流出していれば、別の企業や国が開発を続けられる。

その結果、危険だと分かっていても、競争相手に先を越されないために開発を続けざるを得なくなる。

Christiano氏は、最先端AI企業のセキュリティーは、国家レベルの攻撃者から重要な研究成果を守るには十分ではないと指摘する。

米中の開発競争も、この問題を難しくしている。米国のAI企業が安全性を確認するために開発を止めても、その間に中国が先行すれば、安全保障上の脅威になりかねないからだ。

つまり、危険なAIを作ってしまうことだけが問題ではない。危険だと分かった時点で、安全のために開発を止める選択肢そのものが失われる恐れがある。

OpenAI財団理事が求める開発の一時停止

こうした事態を避けるため、Christiano氏はAI企業に対し、能力向上を加速させる研究開発の一部を今すぐ停止するよう求めている。

具体的には、AIの基礎的な学習や強化学習の効率を高めるアルゴリズムの改良だ。AIの研究開発全体を停止するのではなく、超知能の登場を早める可能性がある研究を一時的に止めるべきだという。

再開するためには、重要な研究成果を盗まれないだけのセキュリティーを確保し、開発したAIを人間が適切に制御できているか判断できる体制を整える必要がある。

同氏は、セキュリティーの改善には少なくとも数カ月、場合によっては6〜12カ月程度かかる可能性があるとみている。

さらに、AIがどれほど速く進歩しているのか、開発企業が安全性をどこまで確保できているのかについて、社会が判断できるよう情報公開を進めることも求めた。

Christiano氏は今回のインタビューで、AIの研究開発を減速させるという考え方は、まだ業界で広く支持されているわけではないと認めている。そのうえで、AI企業の内部だけではなく、社会全体で緊急に議論すべき問題だと訴えた。

OpenAIの安全性を監督する立場にある理事が、自社を含む最先端AI企業に、開発競争の一時停止を求め始めたということだ。

著者
湯川鶴章

AI新聞 編集長

AI新聞編集長。米カリフォルニア州立大学サンフランシスコ校経済学部卒業。サンフランシスコの地元紙記者を経て、時事通信社米国法人に入社。シリコンバレーの黎明期から米国のハイテク産業を中心に取材を続ける。通算20年間の米国生活を終え2000年5月に帰国。時事通信編集委員を経て2010年独立。2017年12月から現職。主な著書に『生成AIで心が折れた』(2025年)、『人工知能、ロボット、人の心。』(2015年)、『次世代マーケティングプラットフォーム』(2007年)、『ネットは新聞を殺すのか』(2003年)などがある。趣味はヨガと瞑想。妻が美人なのが自慢。