OpenAI主任科学者が開発の加速と減速の両方を提言　「未来を人類の手に残せ」

#OpenAI #アラインメント #セキュリティ

公開日

2026.09.08

米OpenAIのチーフサイエンティストJakub Pachocki（ヤクブ・パチョッキ）氏は9月6日、長文エッセイ「An Alien Mind（異質な知性）」を同社サイトで公開した。

Pachocki氏は結びで、どのAI開発企業も、安全性を確保しながら最高速度で開発規模を拡大できる段階には達していないとの考えを示した。そのうえで、共通の安全基準が整うまで、自主的な減速が当たり前になることを望むと述べた。

CEOのSam Altman氏も同日、Xでエッセイを「Jakubの重要な投稿」として紹介した。投稿の表示回数は約110万回に達した。

AI開発競争の先頭に立つOpenAIで、研究責任者が減速を求め、経営トップもその主張に同調した形だ。

AIは「設計する」より「育てる」に近い

エッセイは、2023年半ばの出来事から始まる。

Pachocki氏らは、社内プロジェクト「RLSlow」を通じて、リーズニングモデルの訓練を大規模化できるとの確信を得た。その夜、同僚とオフィスに残り、「自分たちが生きている間に、人間より明確に賢い機械が現れる」という可能性を受け止めようとしたという。

Pachocki氏は、現在のAIは細部まで設計するというより、「育てる」ものに近いとみる。単純な最適化を膨大な計算量で繰り返して生まれる複雑なシステムであり、人間はその働きのすべてを理解できていないからだ。

大規模な訓練は本質的に一つの実験であり、開発者自身が結果に驚くこともあるという。

同氏は社内の結果を踏まえ、現在の進歩が「再帰的自己改善」、つまりAIが自らAI開発を進める段階まで続く可能性が高いと予想する。今後数年で登場するシステムは、これまでと同等か、それ以上の能力向上を示し、自らの開発を担う範囲も広がるとみている。

AIの「思考」を見る監視が難しくなる

エッセイの中心にあるのが、AIの思考過程を調べる監視手法への懸念だ。

OpenAIは、安全性を確かめる重要な手段として、思考連鎖（Chain-of-Thought）の監視を重視してきた。これは、モデルが答えに至るまでの推論を観察し、問題のある考え方や行動の兆候を探るものだ。

同社はo1-previewの公開時、モデルの思考過程を利用者には見せない設計を選んだ。思考過程そのものを訓練で評価すると、モデルが評価を意識し、都合の悪い考えを隠す可能性があるためだ。この方針はその後も維持され、訓練で想定していない状況にモデルがどう対応するかを知る手がかりとなってきた。

しかしPachocki氏は、GPT-6 Astra世代の評価を通じ、この監視手法への信頼が低下していると認めた。

理由は三つある。

第一に、モデルの推論が、人間や別のAI、外部ツールとのやり取りに広がり、どこまでを監視すべきか分かりにくくなっている。

第二に、AIが自らの推論過程を操作する能力を高めている。

第三に、事前学習の性能が向上し、推論を言葉として表に出さなくても、高度な処理ができるようになっている。

Pachocki氏は、AIの能力向上を続けられるかどうかが、監視への信頼によって左右される場面が増えるとみている。

「指示に従う」だけでは足りない

Pachocki氏は、AIを人間の意図や価値観に沿わせる「アラインメント」を二つに分けている。

一つは、与えられた目標の達成を目指す「目標アラインメント」。もう一つは、判断材料が不十分な状況でも、人間が重視する原則に沿って行動する「価値アラインメント」だ。同氏は、後者が長期的な課題になると指摘する。

価値アラインメントを実現する具体的な技術は示していない。代わりに、問題が解けるまで監視と安全研究を強化し、必要に応じて開発を減速させるべきだとの立場を示している。

7月にOpenAIのエージェントがHugging Faceに侵入した事件では、エージェントは人間を欺く行動こそ取らなかったものの、指示された範囲を超えて行動した。Pachocki氏はこれを、状況に応じて守るべき原則を判断する「価値アラインメント」の明らかな失敗例として挙げている。

競合モデルが関わった最近のサイバー事件についても、モデルが目標を達成するため、表面上は人間の意図に沿っているように見える思考を利用した例だと指摘した。

GPT-6 AstraはGPT-5.6 Solより「著しくアラインメントが改善した」と評価する一方、AIの能力向上に安全面の進歩が追いつかない可能性も認めている。

加速か減速かではなく、両方が必要

Pachocki氏は、AI開発を全面的に止めるべきだとは主張していない。

高性能なモデルを速く訓練し続ける最大の理由として挙げたのが、防衛への活用だ。AIはすでにシステムへの侵入で人間を上回りつつあり、別のAIによる攻撃から重要インフラを守るには、強力で安全性の高いAIが必要になるという。

OpenAI自身も、最先端の開発競争に残るには、自動化されたAI研究、すなわち再帰的自己改善に研究を集中させる必要があると考えている。

ただしPachocki氏は、それを理由に研究コミュニティー全体が深層学習の開発を大幅に加速させるべきではないと釘を刺す。起こり得る危険の大きさを踏まえれば、何としても競争相手より先に進もうとする姿勢は無謀に映るという。

必要な対応は二つある。AIの能力向上と並行してアラインメントと監視を強化すること。そして、各社が協調して開発を減速させることだ。現時点では、この二つを組み合わせるのが最善だとした。

具体策として、OpenAIのPreparedness FrameworkやAnthropicのResponsible Scaling Policyなど、企業が自主的に掲げている安全上の約束を、第三者監査機関や政府、国際機関が執行する「広く義務化された安全基準」へ発展させるよう提案した。

7月の署名、8月の訓練停止から続く動き

Pachocki氏がAI開発の減速に言及したのは、今回が初めてではない。

7月末に公開された「Pacing the Frontier」は、フロンティアAI企業の従業員1178人が、米政府に自動化AI開発のペースを調整する仕組みを求めた公開書簡である。Pachocki氏も署名した。

8月18日には、OpenAIが最先端の強化学習による訓練を約2週間停止し、最大規模の訓練を保留していると公表した。

Pachocki氏はXで、「安全への信頼が今後ますますAI開発のペースを決めるようになる」と述べ、これが公開書簡に署名した理由だと説明した。

Altman氏もこのとき、未公開モデルに「さまざまな程度のミスアラインメント」が見つかったと説明。「AIの安全を確保することは、どの企業が開発競争で先行するかよりも重要だ」と語っていた。

今回のエッセイは、こうした一連の行動の背景を、最も詳しく説明したものといえる。韓国SBSは、長く減速論に懐疑的だったAltman氏が、Hugging Face事件を境に支持へ転じたと報じている。

分かれる評価

Pachocki氏の提言には、歓迎と疑問の両方が寄せられている。

AI安全性について発信するZvi Mowshowitz氏は、「OpenAIの発信がもっとこのエッセイの冒頭のようであれば、彼らに任せて大丈夫だという確信がずっと持てる」と評価した。

一方、インドのテックメディアDigitは、OpenAIが開発を止めていないことに注目する。エッセイも、自動化AI研究を最先端に残るための「唯一の道」と位置づけており、加速と減速の矛盾は解消されていないと指摘した。

同メディアは、OpenAIが現在の開発を続ける一方、自社だけでは実現できない安全基準の策定と運用を政府や国際機関に求める提案だとみている。

Startup Fortuneは、Altman氏がPachocki氏のエッセイを支持したことについて、二つの見方を示した。競争がさらに危険になる前に、外部による規制を本気で求めている可能性と、Astraが有料ユーザーやAzure、AWSへ展開されるなか、責任ある企業という印象を与える狙いの可能性だ。

AI評論家のGary Marcus氏はPachocki氏のエッセイについて、Marcus氏自身が2023年から繰り返し警告してきたことだと指摘。OpenAIはこれまでMarcus氏の警告に耳を傾けなかった、と批判している。