話題の「トークン資本と人間資本の学習ループ」はこう作る
米Microsoftの Satya Nadella氏が6月に発表した長文エッセイ「A frontier without an ecosystem is not stable」は、数日で2,800万ビューを超えて読まれ、AIに関心を持つ日本のビジネスパーソンの間でも「トークン資本」「人間資本」「学習ループ」という言葉が知られるようになった。企業は社員の知識や判断力という人間資本に加え、自ら構築し所有するAI能力、すなわちトークン資本を蓄積せよ。そして本当の勝負はモデル選びではなく、この2つの資本が複利的に増幅し合う学習ループの構築にある――。Nadella氏の主張に多くの人がうなずいた。だが正直なところ、その学習ループとやらが具体的にどういう仕組みなのか、イメージできる人は少ないのではないだろうか。実は、その具体的な姿がすでに動き始めている。米Google DeepMind出身の研究者らが立ち上げたAI新興、米Trajectory社だ。同社の取り組みを見れば、Nadella氏の抽象的な警句が、驚くほど具体的なエンジニアリングの話であることがわかる。
なぜAIは「同じ間違い」を繰り返すのか
Trajectoryの共同創業者兼CEOのRonak Malde氏は、ポッドキャスト番組Latent Spaceに出演し、今のAIが抱える根本的な問題をこう指摘している。AIは非常に強力になったが、他のソフトウェアと同じように「静的」だ。昨日使ったモデルは、明日も同じミスをする。ユーザーがAIの出力に加えた修正や指摘は、その場限りで捨てられている――。
考えてみれば不思議な話である。世界中のユーザーが毎日、AIの間違いを直し、より良い答えへと導いている。この膨大な「教育」の成果は、本来ならモデルを賢くする最高の教材のはずだ。ところがほとんどのAI製品では、この宝の山がまったく活用されていない。
例外がコーディングの分野だった。AIコーディングツールの米Cursor社などは、ユーザーの実際の利用データでモデルを鍛え、改善版を定期的に出荷する循環をいち早く確立した。この2年間、AIコーディングだけが突出したスピードで進化した一因がここにあるとMalde氏は見る。
Malde氏自身、その渦中にいた人物だ。スタンフォード大学で修士号を取得後、AIコーディングツールの米Windsurf社（旧Codeium）に研究者として参画し、ユーザーの利用データを学習させた自社基盤モデル「SWE-1」の開発を主導した。同社が米Googleに24億ドル規模で買収された際にはGoogle DeepMindに移籍し、コーディングエージェントの訓練を担当。そして買収に伴う巨額の報酬をすべて手放して、Trajectoryを創業した。コーディングで起きた「実利用データでモデルが育つ」という現象を、あらゆる業界に持ち込むためだ。
Malde氏は創業発表でこう宣言している。「AIが二度と『初日』から始まることはない。すべての修正、すべてのリトライ、すべての編集が、製品を賢くしていく。これが継続学習（Continual Learning）だ」。同社はこの構想に対し、有力VCの米Convictionのリードで1,500万ドルを調達した。出資者にはGoogle DeepMindチーフサイエンティストのJeff Dean氏や、スタンフォード大学教授のFei-Fei Li氏といったAI研究の重鎮も名を連ねている（参考記事）。
学習ループの正体は「ユーザーの赤入れ」だった
では、AIを継続的に賢くする学習ループの「燃料」とは何なのか。まず思い浮かぶのは、チャット画面でおなじみの「いいね／よくないね」ボタンだろう。だがMalde氏によれば、ああした評価ボタンは実はほとんど押されておらず、ノイズだらけで使い物にならない。本当に価値があるのは、AIの成果物にユーザーが加えた修正そのものだ。例えばAIが作ったウェブサイトに対して開発者が「このボタンは左に置きたかった」と手を入れる。この手直しにこそ、ユーザーが本当に求めていたものの情報が詰まっている。Malde氏がWindsurf時代に自社モデルSWE-1で活用したのも、まさにこの種のシグナルだった（Latent Spaceのインタビューより）。
そしてこの構図は、あらゆる専門職の仕事に当てはまるとMalde氏は言う。同社の顧客であるリーガルAI大手の米Harvey社を例に取ろう。Harveyのエージェントは法務文書をリサーチし、契約書に赤入れ（レッドライン）をする。だがコーディングと違い、法務の世界は間違いへの許容度が極めて低い。「80%までできても、ゼロと同じだ」とMalde氏は言う。エージェントが8割方の仕事をこなした後、弁護士やパラリーガルが残り2割を埋める。足りなかったリサーチを補い、契約書の修正文言を書き直す。
この「残り2割」の赤入れこそが、最高品質の教師データになる。なぜならそこには、何年もの実務経験で培われた専門家の判断力――どの論点を見落としてはならないか、どの文言が危ういか――が凝縮されているからだ。
ここで、Nadella氏の抽象的な図式が具体的な絵になる。人間資本とは、まさにこの弁護士の判断力のことだ。そしてその判断力が赤入れという形でAIに流れ込み、モデルの重みに刻まれた瞬間、それは企業が所有するトークン資本に変わる。エージェントが賢くなれば専門家はより高度な判断に時間を使えるようになり、その判断がまた次の教師データになる。これがNadella氏の言う「2つの資本が複利的に増幅し合う学習ループ」の実体である。
Trajectoryが構築したのは、このループを回すためのプラットフォームだ。企業ごとにバラバラの形式で蓄積されている利用データ――エージェントの行動履歴と、その後のユーザーの修正――を「トラジェクトリー（軌跡）」と呼ぶ統一形式に変換する。そしてそこから、モデルの訓練に必要な評価基準、採点役のAI、訓練環境までを自動生成し、訓練から再デプロイまでを一気通貫で回す。かつては顧客企業への導入に3カ月かかっていたが、現在は新規顧客でも1週間でモデルの訓練まで到達できるようになったという。
弁護士の赤入れでオープンモデルがフロンティア級に
この学習ループが実際にどれほどの威力を持つのか。それを示したのが、Harveyとの協業だ。
Harveyは公式発表で「Trajectoryと提携し、NVIDIAのNemotronモデルによるソブリン（自社主権）な継続学習をリーガルAIにもたらす。継続学習によってエージェントは、自分の仕事へのフィードバックから改善していく。すべての赤入れが、次のドラフトを磨くのだ」と宣言している。
具体的な成果も公表されている。Trajectoryは半導体大手の米NVIDIA社のオープンモデル「Nemotron 3」を、Harveyが法律事務所の実務ワークフローから構築した評価基準でポストトレーニング（追加訓練）した。その結果、論点の抽出、分析・説明の質、引用の正確性といった法務業務の評価指標が軒並み向上し、クローズドのフロンティアモデルと同水準の性能に到達したという。しかもTrajectoryの発表によれば、最新版のNemotron 3 Ultraを使った検証では、この追加訓練に要した時間はわずか24時間だった。
注目すべきはコストだ。ここで使われたNemotron 3 Superは120億パラメータ級の小型モデルで、フロンティアモデルに比べて推論コストは大幅に安い。Malde氏はLatent Spaceのインタビューで「数百人ではなく数十万人のユーザーに展開する規模になると、この価格差が決定的に効いてくる」と語っている。つまり「自社の専門家データで鍛えた小型オープンモデル」は、性能でフロンティア級に並びながら、コストでは一桁安いという組み合わせを実現できるわけだ。
もう一つ、法務のような規制業界にとって重要なのが「ソブリン」という言葉だ。オープンモデルの重み（パラメータ）は自社の管理下に置ける。つまり顧客の機密データで鍛えた学習の成果が、外部のモデル提供企業に吸い上げられることなく、自社の資産として手元に残る。Nadella氏がエッセイで「汎用モデルは交換可能にしつつ、学習システムに蓄積された専門知識は自社で保持せよ」と説いた、まさにその構図である。
そしてこの仕組みは、Harvey一社のための特注品ではない。Trajectoryの顧客には、営業支援AIの米Clay社、カスタマーサポートAIの米Decagon社、金融AIの米Rogo社など、各業界を代表するAIネイティブ企業が並ぶ。新しいオープンモデルが登場するたびに、各社が自社の専門家データで素早く鍛え直し、性能とコストの最適点を追いかけ続ける。学習ループとは、一度作って終わりの仕組みではなく、回り続けることに価値がある仕組みなのだ。
技術の裏側――「1つの数字」から「テキストそのもの」へ
学習ループは思想ではなく、エンジニアリングの積み上げで実現されつつある。Trajectoryが「リサーチラボ兼プロダクト企業」を名乗る通り、同社の強みは最先端の研究成果を本番環境に持ち込む力にある。ここでは代表的な2つの技術を、できるだけ平易に紹介したい。
1つ目は、専門家の赤入れを学習信号に変えるアルゴリズムだ。現在のAIモデルの訓練で主流の強化学習には、実は大きな情報のロスがある。エージェントが一連の仕事をやり遂げた後、その出来栄えを「良かった／悪かった」という1つの数字に要約し、それを頼りにモデルを更新する仕組みだからだ。ユーザーが加えた修正の中身、つまり「どこが、なぜ、どう間違っていたか」という豊かな情報は、この1つの数字に押しつぶされて消えてしまう。
これを解決するのが、SDPO（自己蒸留ポリシー最適化）と呼ばれる新しい訓練手法だ（原論文）。仕組みを乱暴に要約すると、こうなる。モデルに「答えのヒント」――例えばユーザーが後から加えた修正内容――を見せると、同じモデルでも一段賢い答えを出せる。そこで、ヒントを見た賢い状態の自分を「教師」役に、ヒントなしの自分を「生徒」役に見立て、教師の判断を生徒に写し取らせる。こうして「良い／悪い」の1つの数字ではなく、修正のテキストそのものが学習信号になる。
ただし従来の研究は、学術的な環境での検証にとどまっていた。Trajectoryは技術ブログで、この手法を本番環境のデータ、つまり1つの依頼に対して試行は1回きりで、失敗例も混ざる現実のデータに適用できるよう拡張したと発表している。実務作業を模したベンチマークでの検証では、オープンモデルのタスク成功率が5%から25%に向上したという。
2つ目は、訓練を「止めない」ためのインフラだ。従来のモデル訓練は、データを集め、訓練ジョブを起動し、終わったら止めるという単発の工程だった。大型モデルでは起動だけで30分以上かかることもある。だが継続学習の世界では、本番のユーザーデータが絶えず流れ込み、複数の訓練が並行して走り続ける。訓練と本番運用の境界そのものが消えていくのだ。Trajectoryはこの常時稼働型の訓練基盤を、カリフォルニア大学バークレー校の研究室などと共同開発し、訓練の処理効率を従来型の2.81倍に高めた上で、オープンソースとして公開している。
細部はともかく、押さえておくべきポイントは1つだ。「出荷後も学び続けるAI」は、もはや研究室の夢物語ではなく、アルゴリズムとインフラの両面で実用段階に入りつつある。Nadella氏の言う学習ループは、こうした地道な技術の積み上げの上に成立する。
すべての製品が「生きたシステム」になる
Trajectoryの事業拡大のロードマップは明快だ。Malde氏はLatent Spaceのインタビューで、3段階のロードマップを語っている。第1段階は、Harveyをはじめとする現在のAIネイティブ企業。第2段階は、業務管理ツールの米Airtable社やドキュメント共有ツールの米Notion社のようなテック大手。そして第3段階が、Fortune 500に代表される一般の大企業だ。
一般企業への展開で描く絵は、さらに野心的だ。例えば小売企業に「観測レイヤー」を置き、従業員がどんな手作業を繰り返しているかをAIが観察する。既製のモデルでは対応できない業務でも、作業のパターンを学び取り、その業務専用のエージェントを構築し、使われるたびに改善していく。モデルの重みだけでなく、エージェントを動かす骨組み（ハーネス）、スキル、記憶の仕組みまでが、まるごと学習ループの最適化対象になるという構想だ。
そのとき、ソフトウェアという概念自体が変わる。完成品を出荷して終わりではなく、顧客のもとで使われながら育ち続ける。Malde氏の言葉を借りれば「未来の製品は、すべて生きたシステムになる」のだ。
冒頭のNadella氏のエッセイに戻ろう。氏はこう書いていた。「タスクや仕事は外部に委ねられても、学習だけは決して外部に委ねられない」。Trajectoryの事例が示すのは、この警句の実践形だ。モデルという「器」は借り物でいい。オープンモデルでも構わないし、より良いものが出れば乗り換えればいい。しかし、自社の専門家の判断がAIに流れ込み、モデルを鍛え、その成果が自社の資産として積み上がる学習ループ、この「中身」だけは自社で所有しなければならない。
日本企業にとっての示唆も、ここにある。日本の企業には、現場に蓄積された業務知識と、細部に妥協しない専門人材という、世界有数の人間資本がある。だがその判断力は今、日々のAI利用の中で使い捨てられている。ベテラン社員がAIの出力に加えた修正は、どこにも蓄積されず消えていく。この眠れる資産を回収する学習ループを自社の管理下に構築できるかどうか。トークン資本の時代の競争は、実はもう始まっている。
