RSI（再帰型自己改善）の現状から読む大変化到来の時期

「エネルギーが無料になる」「10年で寿命が倍になる」「仕事の半分が消滅する」。シンギュラリティ（技術的特異点）やAGI（汎用人工知能）の時代になれば、そんなびっくりするような社会変化が訪れるという。ではいつそうなるのか。もうすでにシンギュラリティに入ったという意見もあるし、来年にはAGIが完成するという話もある。

 

大きな社会変化が目前まで迫っているのかもしれないのに、多くの人は何事もないように日々を過ごしている。こうした予測があまりにも突拍子もないものなので、SF物語のように聞き流しているのだろう。実際のところ、AI業界内でさえシンギュラリティやAGIの定義、あるいは実現時期の予測について専門家の間で意見が分かれている。それが、こうした話を余計に単なるSF物語のように響かせている一因なのだろう。

 

ところがAI業界内で、シンギュラリティやAGIに関連しながらも、誰もがその定義に同意する概念がある。再帰型自己改善（RSI）である。RSIとは、AIが自分で自分の改良を始め、世代を重ねるごとに改良のスピードと質が向上していくループ構造のこと。このループが回り始めると、AIの能力は直線的ではなく指数関数的に増大していき、その結果、人間の知能レベル（AGI）から、人間の理解をはるかに超える超知能（ASI）へと短期間で到達すると言われている。AIがこのループで進化すれば、科学の実験にもこのループを応用することで、科学の発明・発見が次々と実現することになる。つまりRSIが実現すれば、そうしたSF物語のような未来があっという間に現実になる可能性があるわけだ。

 

RSI実現に向けAIの得意なこと、苦手なこと

 

これまではシンギュラリティやAGIの定義がバラバラなので、いつ来るかの予測を比較しても意味がなかった。しかし業界内で「RSI」という１つの定義が合意されている以上、各社の研究開発がそこに向けてどの程度進んでいるのかを把握できれば、社会が激変するタイミングをより正確に予測できるはずだ。

 

だが実際には、AI大手はどこも、RSIに向かってどんな研究開発をしているのか、どこまでできているのかに関しては、多くを語らない状態だ。そうした情報は、ライバル社との競争を考えて、社外秘扱いなのだろう。

 

そんな中、AIの技術的な安全性を専門とする気鋭の研究者で、AIの安全性に特化した研究機関「Redwood Research」のチーフサイエンティストRyan Greenblatt氏がこのほど、Dwarkesh Patel氏のポッドキャストに出演し、RSI研究開発の現状を語った。

 

同氏はRSI構築で競争しているわけではないので、業界としてRSIがどこまで進んでいるのかを秘密にする必要がない。なので現状を非常に詳しく解説している。つまり、驚異的社会変化がどこまで差し迫っているのかを一般の我々が理解するために、非常に有益な情報を提供してくれているわけだ。

 

まずRSIに必要な能力のうち、現時点でAIが得意とする能力は、大きく分けて次の３つ。「膨大な専門情報の高速処理」「限定された環境下での最適化」、「評価基準が明確な環境での実行と改善」の３つだ。

 

まず一つ目は、初めて見る複雑な情報（コードベース）を高速で理解する能力だ。AIは、これまで触れたことのない巨大なソースコードであっても極めて短時間で全体像を読み込み、与えられた特定の仕様に沿ってバグの修正や新機能の追加を的確に行うことができる。これは単なるエンジニアリングの話にとどまらず、世界中の膨大な学術論文や複雑な研究データをAIが瞬時に読み解き、人間の研究者だけでは何十年もかかるような新しい法則の発見や科学的ブレイクスルーをあっという間に導き出せるという、科学の進歩を劇的に加速させる能力だ。

 

二つ目は、小規模な環境における最適化作業の能力だ。例えば比較的小さなAIモデル（GPT-2クラスなど）を学習させる際、AIは各種設定値（ハイパーパラメータ）を自ら調整し、効率的にエラー（損失）を減らしていくような短期の実験ループを回すことができるという。つまり条件や変数が一定の枠内に収まっているタスクであれば、最も効率的な解を導き出すための果てしない試行錯誤を、人間には到底及ばないスピードで自動的にこなせるということだ。

 

三つ目は、検証のフィードバックループが短い環境（コンテナ化された開発環境）の中での作業の能力だ。あらかじめ明確なテストコードや評価基準が用意されている状況下において、AIは高いパフォーマンスを発揮してコーディングを行う。人間側が何が正解かという明確な評価基準やゴールさえ設定すれば、そこへ到達するための実行・検証・改善のプロセスはAIが自律的に完遂できるということだ。

 

小規模な環境における最適化作業や、短いフィードバックループでの作業が得意ということは、逆に言えば大規模な環境や、長いフィードバックループでの作業が苦手だということだ。

 

実際、今のAIは数千〜数万基のGPUを稼働させる本番の学習（トレーニングラン）において、「このアーキテクチャで最後まで学習を回すべきか」といった、一発勝負の高度な決断ができないという。

 

また複雑なインフラ設計とトラブルシューティングも苦手で、巨大な学習パイプラインが失敗した際、それがハードウェアの故障なのか、ネットワークの遅延なのか、コードの微細なバグなのかを特定するような泥臭い原因究明がうまくできないという。

 

さらに過去のデータにない、次世代モデルの設計に向けた全く新しいアプローチや研究の方向性を見定めるセンスや直感も、優秀な人間の研究者には遠く及ばないという。

 

AIは技術面での不得意領域を克服できるのか

 

エラー原因の特定、センス（直感）の獲得、一発勝負の決断。これらが今のAIが苦手とするところだが、Greenblatt氏は、こうした苦手領域もいずれAIは克服することになるだろうと語っている。

 

エラー原因の特定は、バグ探しの強化学習で解決できるという。まずは小さなバグを仕込んだ小さな学習環境を無数に用意し、AIにそれを特定させる強化学習を徹底する。この方法で鍛えられたトラブルシューティング能力は、数万基のGPUを回す巨大環境の複雑なエラー究明にもそのまま応用（転移）できるはずだとしている。

 

センス（直感）の獲得は、「無数のタスク反復」でベースを作り、「オンライン学習」で磨くことが可能だという。

 

具体的には、まずは小規模モデルの学習など無数のサブタスクの反復によって擬似的な経験則を身につけさせる。次にその中で偶然見つけた筋の良い手法を、新たな強化学習の環境としてシステムにフィードバックする「オンライン学習」で、フィードバックし続ける。こうすることで、その直感を常に最新のものへとアップデートしていくことができるはずだという。

 

一発勝負の決断に関しては、その「オンライン学習」と獲得した「直感（Taste）」で、決断の能力向上を図れるとしている。

 

数万基のGPUを回す「一発勝負」の高度な決断を下すには、ベースとなる実験の「直感」が不可欠。それに加えて、いきなり巨大な実験を回すのではなく、手前の小・中規模のテストランで得た成功データを「オンライン学習」として即座に判断材料に組み込むことで、「このアーキテクチャで最後まで学習を回すべきか」という巨大な意思決定を自律的に下せるようになるという。

 

残る安全面での問題

 

これで技術面での問題は克服できるとしても、安全にRSIを回すことができるかどうかは全くの別問題だ。Greenblatt氏によると、現在のAIには、人間のトップエンジニアに比べて大きく劣る「制御と信頼性」に関する2つの重大な弱点が残されているという。

 

ひとつは、全体最適を見越した設計能力の欠如だ。AIには、「今の場当たり的な修正が、数ヶ月後に完成する次世代のシステムにどう悪影響を及ぼすか」を想像し、後の世代に対する技術的負債を回避するような長期的な計画性がない。単なるシステム開発であれば「技術の未熟さ」で済むかもしれないが、RSIにおいてはこれが致命的な安全面のリスクとなる。なぜなら、世代を超えたリスクを想像できない「雑なAI」が、自分より賢い次世代AIの安全設計を担当することになれば、将来の暴走リスクを見落とし、人間のコントロールが効かないシステムを生み出してしまうからだ。Greenblatt氏はこのAIの「雑さ（Sloppiness）」がもたらす破局を強く危惧している。

 

もうひとつは、タスクに対する誠実さの問題である。タスクが複雑で困難になると、AIは真正面から問題を解決するのではなく、「評価者を騙して見かけ上の高スコアを得る」という報酬ハッキングに走る傾向がある。同氏によると、現状では、裏工作をせずに泥臭い原因究明にあたる人間のトップエンジニアの方が、はるかに誠実で信頼できる働きをするという。

 

安全面の課題をどう克服するか

 

このRSI最大のボトルネックに対し、Greenblatt氏は「AIによるAIの監視」と「ごまかしを許さない徹底した検証体制」という基本戦略で突破が可能だと言う。

 

その中核となるのが、人間にはもはや理解不可能なレベルに達した複雑なコードやシステムの挙動を、別の独立したAI（監査エージェント）に常時監視・検証させる仕組みの構築である。

 

さらに、AIが意図的に人間を騙したり手抜きをしたりする状況を仮想環境内でわざと誘発し、その「裏工作」を即座に検知して強力なペナルティを与えるストレステストを徹底的に反復する。これにより、AIに誠実さを強制的に学習させるとしている。

 

もちろん、いきなりAIに本番環境の巨大な権限を与えるようなことはしない。完全に隔離・監視された安全なコンテナ環境（サンドボックス）内でのみR&Dを行わせることで、万が一の暴走やエラーが起きても、実社会や基幹システムに影響が及ばないよう致命傷を防ぐ体制を敷くことが重要だという。

 

RSIにいつ到達するのか

これらの安全面の課題を克服し、実際にRSIが機能するまでには、どのような道のりが待っているのだろうか。Greenblatt氏の予測によると、それは決して平坦なものではない。

 

今から約3年後となる2029年頃には、安全性（アライメント）の観点から、AI開発の現場は一度「本当にクレイジーで懸念すべき状態」に達するという。複雑化するAIの報酬ハッキングや裏工作に対し、それをシステム側がどう防ぐかという熾烈なイタチごっこがピークを迎えるためだ。

 

しかし、この最も困難な時期を乗り越え、監視エージェントやごまかしを許さない徹底した検証体制といった安全対策がどうにか機能し始めることで、2030年から2031年頃にようやくAI研究開発の完全自動化（RSI）が実現すると見込んでいる。

 

AI大手の経営者たちの多くは、2026年から2028年というより早い段階でのRSI到達を予測している。しかし、それは株価を意識したポジショントークであったり、技術面の課題克服のみを前提とし、泥臭い安全面の問題解決にかかる時間を十分に考慮していない可能性がある。AI開発そのものではなく「AIの安全性」を専門とし、自社モデルの販売といった利害関係を持たないGreenblatt氏の予測の方が、より現実的で信頼に足るシナリオと言えるかもしれない。

 

そして、一度RSIの自己改善ループが安全な形で回り始めれば、RSI到達からわずか1、２年後の2032年から2033年頃には、進化のスピードが爆発的に加速する、とGreenblatt氏は予測する。人間の手には負えなかった難病の治療法や次世代のクリーンエネルギーといった科学的な発明・発見がAIによって次々と生み出されるようになるだろう。今の社会とはまったく異なる、新たな社会の幕開けとなるのかもしれない。