AIは自分を改良できても、進化の方向を選べるのか RSIに残る「taste問題」
AIは自分自身を改良する能力を急速に高めている。しかし、次に何を研究すべきかという判断では、まだ人間の専門家に及ばない。
米Anthropicは8月28日、AIが研究提案の優劣をどこまで判断できるかを測定した研究「TASTE」を発表した。経験豊富な研究者の判断を基準に92組の研究提案を比較させたところ、最も成績のよかったAIモデル「Fable 5」の正答率は60%だった。人間の研究者同士の判断一致率は推定77%で、17ポイントの差があった。
この研究が対象としたのが「taste」だ。もともとは好みや趣味を意味する英語だが、研究の世界では、何が重要で、どの方向に可能性があるのかを見抜く研究者の直感や目利きを指す。
AIが次世代AIの研究開発に参加し、その成果を使ってさらに高性能なAIを生み出す「RSI（Recursive Self-Improvement、再帰的自己改善）」への関心が高まっている。プログラミングや実験の自動化が進むなか、何を研究すべきかを判断するtasteが、AIモデルの能力面で次の大きな課題として浮かび上がっている。
研究を実行するAIから、研究の方向を選ぶAIへ
AIによる研究開発の自動化は、すでに論文を作成する段階まで進んでいる。
その一例が、AI研究者のJeff Clune氏らが開発した「The AI Scientist」だ。研究チームは3月25日に科学誌Natureで、AIが研究案の作成からプログラミング、実験、結果の分析、論文執筆までを自動的に進める仕組みを報告した。
研究チームは、このシステムが作成した論文3本を、主催者の許可を得て国際会議ICLR 2025のワークショップに投稿した。うち1本は査読で採択水準に達した。
この成果は、AIが人間から与えられた研究課題を実行するだけでなく、研究案を考えるところまで自動化できることを示している。
一方、AIが研究の方向を選べることと、本当に重要な研究を選べることは同じではない。
例えば、AIモデルの性能を高める研究には、既存の手法を改良して性能を数%向上させるものもあれば、現在の技術の限界を突破する新しい仕組みを考案するものもある。前者は比較的短期間で成果を測定できるが、後者は成功するかどうかも、成果が出るまでの期間も予測しにくい。
限られた計算資源や研究時間を、どちらに振り向けるべきか。多数の研究案の中から将来性の高いものを選ぶ能力がなければ、AIが研究を高速に実行できても、その能力を十分に生かせない。
Anthropicの研究チームはTASTEの発表で、こう説明している。
Judging research proposals well is a high-leverage way to improve research quality
「研究提案を適切に評価することは、研究の質を高めるうえで大きな効果がある」
研究チームは、研究案によって重要性や実現可能性が大きく異なり、最初に誤った方向を選ぶと膨大な時間や資源を無駄にしかねないと指摘した。
RSIでは、この判断が一段と重要になる。AIが次のAIを開発する循環が生まれれば、どの研究に取り組むかという判断が、その後の能力向上の速度を左右する可能性があるからだ。
人間のtasteをAIに学習させる
では、tasteは人間にしか備わっていない能力なのだろうか。
OpenAIで金融サービスを担当するJoseph Kim氏は、10月31日公開のインタビューで、人間のtasteをAIに学習させる方法について説明している。
the only thing we trained models on were essentially taste
「モデルに学習させていたのは、本質的にはtasteだった」
同氏が例に挙げたのは、人間に2枚のスライドを見せ、どちらが優れているかを判断してもらう方法だ。人間の好みを大量に集めることで、AIは明確な正解のない品質の違いも学習できる。
これは、人間の評価を使ってAIを訓練するRLHF（人間のフィードバックによる強化学習）の考え方だ。
ただし、見栄えのよいスライドを選ぶ能力と、将来の科学的突破口につながる研究を選ぶ能力には違いがある。後者では、評価した時点で何が正解なのか分からないことも多い。
この問題に直接取り組んだのが、3月に発表された論文「AI Can Learn Scientific Taste」だ。
中国・上海の復旦大学などの研究チームは、過去の論文の引用数を手がかりに、科学研究の価値を見極めるAIを訓練した。同じ分野、同じ時期の論文を比較し、どちらが後に多く引用されたかを判断させる。
研究チームは約72万組の論文比較データを利用した。30B規模のモデルでは、比較課題の平均正答率が訓練前の69.7%から82.7%に向上した。
さらに、研究の価値を判断するAIを利用して、より有望な研究案を生成する仕組みも開発した。
この成果は、tasteの少なくとも一部が、AIに学習させられる能力であることを示している。研究者の直感や目利きも、過去の研究成果との関係から一定程度は学習できるということだ。
人間の判断を真似するだけで、未来の発明を見抜けるか
もっとも、過去に評価された研究を見極める能力が、未来の重要な研究を見抜く能力と同じとは限らない。
論文の引用数は、その研究が後の研究者にどれだけ参照されたかを示す指標だ。しかし、引用数が多いことと、科学の根本的な進歩につながったことは必ずしも一致しない。過去の研究成果から学習したAIは、既存の研究の延長にある改良を高く評価し、従来の常識を覆す研究を見落とす可能性がある。
AnthropicのTASTE研究は、別の難しさも明らかにした。
研究チームは、AI安全性に関する研究提案を経験豊富な研究者に評価してもらった。最初は研究者が個別に判断し、次に意見の異なる研究者同士が議論したうえで、評価を修正する方法を採用した。
当初、研究者間の判断一致率は53%だった。議論後、自信を持って評価したものに絞ると68%に上昇した。さらに評価の差が大きい提案を選ぶことで、最終的に92組の研究提案からなるベンチマークを構築し、人間の判断一致率を77%と推定した。
つまり、経験豊富な人間の研究者でも、どの研究が優れているかについて最初から意見が一致するわけではない。議論によって判断が改善する場合もある。
AIの評価でも興味深い結果が出た。一般的なAIエージェントの評価で高い性能を示すOpus 5やGPT-5.6-Solが、TASTEでは偶然選んだ場合に近い成績にとどまったのだ。
もっとも、TASTEの評価対象は92組と少なく、モデルの成績には大きな統計的な不確実性がある。また、人間の77%は研究者同士の判断一致率の推定値であり、AIと完全に同一条件で測定した正答率ではない。
それでも、この研究は重要な問題を提起している。複雑な作業をこなす能力が高まっても、研究の価値を判断する能力が同じように伸びるとは限らない。
さらに、人間の専門家の判断を正解として学習したAIが、その専門家自身も気づかなかった新しい研究方向を発見できるのかという疑問が残る。
tasteを獲得したAIは、RSIを加速させるのか
tasteを獲得する方法は、人間の判断を学習することだけではない。
AI自身が研究仮説を立て、実験を行い、その結果をもとに次の研究方向を選ぶ方法も考えられる。The AI Scientistは、そのような研究の循環を部分的に実現している。
実験結果を利用すれば、人間の研究者がすべての研究案を評価する必要はなくなる。AIは多数の仮説を試し、成果の出た方向をさらに深く研究できる。
ただし、短期間で性能が向上する研究ばかり選ぶようになれば、成果が出るまでに長い時間がかかる根本的な発明を見逃す可能性がある。何を成果として評価し、どれだけ先の可能性まで考慮するかという判断が必要になる。
The AI Scientistの研究チームも、AIが科学の歴史を変えるような根本的な発想をどこまで生み出せるかは、まだ明らかではないと認めている。
tasteがRSIの最後の課題なのかは分からない。AI研究の完全自動化には、長期間の研究計画を遂行する能力や、実験結果の信頼性を確保する能力など、ほかにも解決すべき問題がある。
しかし、AIが研究の実行を自動化し始めた今、次にどの研究に取り組むべきかを判断するtasteは、AIモデルの能力面で次の大きな課題として浮かび上がっている。
そして、もう一つ区別すべき問題がある。AIが技術的に有望な研究を選べるようになることと、人間社会にとって望ましい進化の方向を選べるようになることは同じではない。
AIが自分自身を改良するための研究を選び、その成果によってさらに賢くなる循環が実現したとしても、どのような能力を伸ばすべきかという目標までAIに委ねてよいのか。
tasteの研究が進むほど、AIが自ら進化する能力だけでなく、その進化の方向を誰が決めるのかという問いも重要になってくる。
