AIが別のAIの「頭脳」を直接修正 MITが新たなAI改良手法を実証
AIが別のAIの内部を調べ、不具合を見つけて修正する。そんな新しいAI改良手法を、米マサチューセッツ工科大学（MIT）の研究チームが11月2日に発表した。OpenAIの「GPT-6 Astra」を使い、中国Alibabaの小型AIモデル「Qwen3.5-0.8B」の内部にある数値のわずか0.016％を書き換えたところ、数学問題の正答率が7.9％から48.1％に上昇したという。
注目すべきなのは、AIモデルを再学習させずに性能を改善したことだ。従来は大量のデータを使って調整していたAIの内部を、別のAIが分析し、問題のある部分を直接修正した。研究チームはこの方法を「Weight-Space Programming（重み空間プログラミング）」と名付けた。AIがAIを改良する新たな可能性を示す研究だ。
AIの内部にある8億個の数値を書き換える
AIモデルの内部には「重み」と呼ばれる膨大な数値がある。人間の脳でいえば、神経細胞同士のつながりの強さに相当するものだ。AIは学習を通じてこれらの数値を調整し、言葉を理解したり、問題を解いたりする能力を身につける。
これまでAIの性能を改善するには、追加の学習データを与え、計算によって重みを調整する方法が一般的だった。人間のエンジニアがモデルの設計や学習方法を変更することもあるが、数億、数兆もの重みを一つずつ読み解いて修正することは現実的ではない。
MITの研究チームは、この常識に挑んだ。コンピューター科学・人工知能研究所（CSAIL）の研究者Rikiya Takehi氏、Jayden Teoh氏、Alex Zhang氏、Omar Khattab氏の4人は、GPT-6 Astraに別のAIモデルの重みを調べさせ、どこを変更すれば性能が改善するかを考えさせた。
実験対象となったQwen3.5-0.8Bは、約8億個の重みを持つ小型の言語モデルだ。Astraはこのモデルが数学問題を解く際に、同じような推論を何度も繰り返し、答えを出せなくなる問題を発見した。
そこでAstraは、モデルの第15層と第19層にある特定の重みを修正した。変更対象は13万1072個で、全体のわずか0.016％にすぎない。
その結果、数学問題の評価試験「MATH-500」の正答率は7.9％から48.1％に上昇した。別の数学試験「GSM8K」でも13.8％から67.1％に改善した。さらに、指示に正しく従う能力を測る「IFEval」の成績も21.0％から62.3％に上昇した。
数学の知識を新たに教え込んだわけではない。AIが答えにたどり着けなくなる原因を取り除くことで、もともと持っていた能力を発揮できるようにしたのだ。
AIは別のAIの内部を理解できるのか
今回の研究は、Qwenの修正だけではない。研究チームは合計8種類の実験を行い、AIが別のニューラルネットワークの重みを読み取り、その働きを推測したり、新しいネットワークを作ったりできるかを調べた。
例えば、ゲームをプレーするように学習させた小型ネットワークの重みだけをAstraに見せ、何のゲームをプレーするAIなのかを尋ねた。AstraはBreakout、Pong、Pac-Man、Freewayという4種類のゲームを正しく識別した。
さらに、ゲームをプレーするニューラルネットワークの重みを、Astra自身にゼロから作らせる実験も行った。従来の強化学習によって作られたネットワークを上回る成績を示した例もあった。
研究チームは発表文で、今回の成果について次のように述べている。
We find that frontier LLMs are surprisingly good at natively reading and writing neural network weights, well past what we’d expect from humans or conventional algorithms.
「最先端の大規模言語モデルは、ニューラルネットワークの重みを直接読み書きする能力が驚くほど高く、人間や従来のアルゴリズムから予想される水準を大きく超えていることが分かった」
従来、AIの重みは学習アルゴリズムによって調整されてきた。今回の研究は、別のAIがモデルの問題点を分析し、どの重みをどう書き換えるかを判断できる可能性を示した。
性能向上の数字には疑問も
もっとも、今回の成果をそのまま「AIが別のAIの知能を6倍に高めた」と受け取るのは適切ではない。
Qwenの大幅な性能改善は、推論を繰り返して回答できなくなる不具合を解消したことによるものだ。修正前のモデルは、数学問題に取り組んでも、許された最大の出力文字数に相当する3万2768トークンに達するまで推論を続け、回答できないことが多かった。
研究チームによると、修正前はMATH-500の回答の93％がこの上限に達していた。修正後は33.1％まで減少した。つまり、数学を解く能力そのものが6倍になったというより、答えを出せなかったAIが、答えを出せるようになったという側面が大きい。
また、Astraが重みを眺めただけで瞬時に問題を解決したわけでもない。Pythonを使ってモデルの動作を分析し、修正の効果を繰り返し確認している。成功した実験では80回のPython実行が記録された。
この点については、研究発表の翌日から批判も出ている。開発者のMatthew Honnibal氏やSean Goedecke氏は、Qwenの修正が、従来の機械学習エンジニアも行うような分析手法によって実現されたのではないかと指摘した。
研究チーム自身も、推論の繰り返しがほとんど起きない別の小型モデル「Gemma 3 270M」では、同様の修正による性能改善が1ポイント未満だったと報告している。
現時点で実証されたのは、AIが別のAIの特定の不具合を発見し、重みの直接編集によって修正できるという能力だ。すでに正常に動作しているAIの知能を大幅に高められるかどうかは、まだ分かっていない。
AIがAIを改良する新しい道
それでも、今回の研究には重要な意味がある。
AI開発では現在、AI自身が次世代AIの研究開発に参加する動きが進んでいる。AIがプログラムを書き、学習方法を改善し、さらに高性能なAIを開発する。そうして生まれたAIが次のAIの開発を加速する循環は、「再帰的自己改善（RSI）」と呼ばれる。
これまでのRSIの議論では、AIが研究論文を読んだり、実験を計画したり、学習プログラムを改良したりする能力に注目が集まっていた。
今回のMITの研究は、そこに新しい方向を加えた。AIが別のAIの重みを直接分析し、書き換えるという方法だ。
研究チームは次のような見通しを示している。
Our neural network weights will soon be natively optimized by LLMs that deliberately reason about the weights.
「ニューラルネットワークの重みは近い将来、その意味を推論する大規模言語モデルによって直接最適化されるようになるだろう」
もちろん、今回の実験は完全なRSIを実現したわけではない。Astraが改良したのは別のAIであり、自分自身を改良したわけではない。また、実験対象は比較的小規模なモデルで、最先端の巨大なAIモデルにも同じ方法が通用するかは不明だ。
それでも、AIがAIを改良する方法は、学習データやプログラムの改善だけではなくなりつつある。これまで人間が設計した計算手法に任せてきた重みの調整に、AI自身が直接関与する道が開かれた。
AIが別のAIの問題点を発見し、その「頭脳」を直接修正する。AIによるAI改良は、新たな可能性を示し始めた。
