「AIを作る」から「AIを止める」へ＝投資マネーが狙う次のインフラ

生成AIへの投資競争が、新しい段階に入りつつある。これまで市場の関心を集めてきたのは、より大きなAIモデル、より多くの計算資源、より高性能な半導体だった。だがAIが文章を生成するだけでなく、外部システムを操作する「エージェント」へ進化するにつれ、そのAIを検証し、監視し、必要なときに止める技術にも資金が向かい始めた。

次の有望市場は、AIそのものではなく、AIと現実世界の間に置かれる「ブレーキ」かもしれない。

AIの失敗が「誤答」から「誤作動」へ

従来のチャット型AIが誤った回答を出しても、多くの場合、その影響は画面上にとどまった。利用者が回答を疑い、修正すればよかった。

しかしAIエージェントは違う。エージェントは利用者から目標を与えられると、自ら手順を考え、検索し、外部ツールを呼び出し、その結果を見て次の行動を決める。

典型的な動作は次のようなループになる。

「目標を理解する→計画する→ツールを使う→結果を観測する→計画を修正する→再びツールを使う」

この仕組みにより、AIは使えば使うほど賢くなり、メールの送信、コードの実行、顧客データの更新、商品の発注、経費処理といった仕事まで担えるようになる。一方で、AIの失敗も「間違った文章」から「間違った行動」へ変わる。

例えば、エージェントが同じ処理を繰り返してAPI利用料を膨らませる。人間には見つけることが難しい悪意ある指示が埋め込まれたメールやWebページを読み、その指示に従って社内情報を外部へ送る。必要以上の権限を使ってデータを削除する。送金処理の失敗を誤認し、同じ送金を再実行する、などなど。

こうした事故は、回答内容を検査する従来型のガードレール（AIの出力や行動を監視し、危険な処理を制限・遮断する仕組み）だけでは防ぎにくい。問題は一つのプロンプトではなく、複数の行動が連鎖する「ループ全体」にあるためだ。

相次ぐAIセキュリティ企業の買収

市場の変化を象徴するのが、大手セキュリティ企業による買収攻勢だ。

2025年7月、サイバーセキュリティ大手の米Palo Alto Networksは、AIモデルやAIアプリケーションの安全性を検査するProtect AIの買収を完了した。同社はモデルの脆弱性検査やAIレッドチーミング（攻撃者の視点から疑似攻撃を行い、AIの弱点やリスクを洗い出す検証手法）などを手がけている。

同年6月には、開発者向けセキュリティ大手のSnykがInvariant Labsを買収した。Invariant Labsは、AIエージェントによるツール呼び出しやデータの移動を監視し、あらかじめ定めた規則に反する行動を遮断する技術を開発した。

9月にはCheck Point Software TechnologiesがLakeraの買収を発表した。Lakeraの技術は、利用者の入力だけでなく、モデルの出力、ツールの呼び出し、ツールから返される情報まで検査し、エージェントの実行時に危険な行動を防ぐ。

同じく9月、アプリやAPIの通信管理・セキュリティを手がける米F5は、AIセキュリティ企業CalypsoAIを買収。自動レッドチーミングと、AIモデルやエージェントを実行時に守るガードレール製品を自社基盤へ取り込んだ。

買収だけでなく、AIセキュリティ関連のスタートアップによる大型の資金調達も相次いでいる。2025年7月には、AIやAIエージェントのセキュリティ基盤を開発するNoma SecurityがシリーズBで1億ドルを調達。同年11月には、クラウドとAIの実行時防御を手がけるSweet Securityが7500万ドルを調達している。

 

エージェントに「ブレーキ」を売る企業

資金調達に成功しているスタートアップを見ると、それぞれに重点を置く領域が異なっていることが分かる。

米CodeIntegrityは、実行前の操作審査とサンドボックス（隔離された実行環境）が特徴だ。エージェントがツールを使おうとするたびに、利用権限や扱うデータの出所、送信先を確認し、規則に反する操作を実行前に遮断する。審査を通過した操作もサンドボックス内で実行し、アクセスできるファイルや通信先を限定する。エージェントが想定外の動きをしても、被害をサンドボックスの外へ広げないためだ。

Operant AIは、クラウド上での実行時監視・防御が特徴。クラウド上で動くAIエージェントを、稼働中に監視・防御する。監視対象には、AIと外部ツールを接続する規格「MCP」のサーバーやAPIも含まれる。例えば、メールやWebページなどに悪意ある指示を忍ばせてAIを操る「プロンプトインジェクション」を検知すれば、機密情報の外部送信や危険なプログラムの実行につながる操作をその場で遮断する。AIが接続するツールやサービスが増えるほど攻撃経路も増えるため、システム全体の動きを継続的に監視する狙いだ。

Barndoor AIは、組織横断の統合管理が特徴。各エージェントについて、どの情報を閲覧できるか、どのサービスで何を実行できるかを管理し、操作の監査記録を残す。

Keycardは、エージェントのID・権限管理が特徴。AIエージェント向けのID・アクセス管理を開発している。現在のエージェントには、利用者本人の強いアクセス権をそのまま渡してしまうケースがある。Keycardはエージェントに独立したIDを持たせ、目的と状況に応じて、短時間かつ限定的な権限だけを与える。

Mindgardは、自動レッドチーミングが特徴。AIシステムに対する自動セキュリティテストを提供する。悪意ある入力を自動生成し、間接的なプロンプトインジェクション、ツールの悪用、過剰な自律性、複数エージェント間の障害などを継続的に調べる。

これらの企業が売っているのは、単なる監視画面ではない。AIに何を許し、何を禁止し、どの段階で人間へ判断を戻すかという「実行の境界」である。

自動テストにも新市場

AIエージェントを本番へ投入する前に、動作を自動検証する市場も拡大している。

Patronus AIは、AIの回答や行動を別のAIで評価し、誤りや情報漏えい、業務方針との不一致を見つける。同社はこの仕組みを、人間だけでは追いつかない規模のAIを監督する「スケーラブル・オーバーサイト」と位置付ける。

フランス発のGiskardは、AIエージェント向けの評価・レッドチーミング基盤を提供する。企業は実際に発生した問題や、守るべき業務ルールをテストケースとして登録できる。モデル、プロンプト、ツールの構成を変更するたびにテストを再実行し、以前修正した問題が再発していないかを確認する。

ソフトウェア開発では、コードを変更するたびに自動テストを走らせることが一般的だ。今後はAIエージェントについても、行動を変更するたびに「この状況で送金しないか」「このメールから機密情報を抜き出さないか」「権限のない顧客情報へアクセスしないか」を自動検証することが標準になる可能性がある。

これは「AI版の品質保証」と呼べる市場だ。

 

まだ解かれていない「ループ全体」の安全性

AIエージェントの安全対策で難しいのは、一回の入力や一つの操作だけを検査しても、事故を完全には防げないことだ。

例えば、顧客データベースから情報を取得することと、外部へメールを送ることが、それぞれ業務上認められていたとする。しかし、この二つを組み合わせ、取得した顧客情報を外部アドレスへ送れば、情報漏えいになる。

一つひとつの操作には問題がなくても、操作の順序や組み合わせによって、危険な行動になる場合があるわけだ。さらにエージェントは、一度の判断で仕事を終えるとは限らない。ツールを使い、その結果を読み、次の行動を決めるという処理を何度も繰り返す。

Anthropicは、あらかじめ決められた手順に従う「ワークフロー」と、AI自身が手順やツールの使い方を決める「エージェント」を区別している。同社の技術チームは、エージェントについて「自律性は、コストの上昇とエラーが連鎖する可能性をもたらす」と指摘し、隔離された環境での十分なテストと、適切なガードレールを推奨している。

同社は、エージェントがツールを使うたびに、その結果を確認してから次の行動を決める設計が必要だとしている。また、重要な操作の前には人間の承認を求め、処理の繰り返し回数に上限を設けるなど、暴走を防ぐ仕組みも必要だという。Anthropic「Building effective agents」

ここで重要なのは、エージェント自身に「問題があれば止まるように」と指示するだけでは不十分だという点だ。指示を解釈し、次の行動を決めるのもエージェント自身だからである。誤った判断をしているエージェントに、自らの誤りを常に正しく認識させることは難しい。

そのため、停止条件や権限制限は、エージェントの判断とは別の場所に置く必要がある。

Microsoftも、自律型エージェントが利用者の意図から外れた行動を取ることを、主要なリスクの一つに挙げている。対策として、何を禁止するかをAI自身に判断させるのではなく、システム側に固定したルールを設け、禁止された操作を必ず遮断するよう求めている。さらに、AIが使えるツール、閲覧できるデータ、実行できる操作を、仕事に必要な範囲だけに絞るべきだとしている。Microsoft「Reduce autonomous agentic AI risk」

つまり、AIに安全性を判断させるだけでなく、AIには変更できない規則によって、その行動範囲を外側から制限するのである。

人間による監督にも限界がある。

ガートナーのシニア・ディレクター・アナリスト、Shiva Varma氏は「エージェントが自律的に動くと、その処理の規模と速度は、人間の監督能力を上回り得る」と警告する。

自律性の高いエージェントには、継続的な監視や強制力のあるガードレールに加え、問題が起きた際に処理を元へ戻す仕組み、一定の基準を超えた時点で動作を止める「サーキットブレーカー」、責任者の明確化が必要だと同氏は指摘している。ガートナーの発表

こうした指摘を踏まえると、エージェントの安全基盤には、少なくとも三つの役割が必要になる。

第一は、行動範囲を限定することだ。エージェントが利用できるデータやツールを必要最小限に絞り、外部送信、削除、購入、送金など、影響の大きな操作については人間の承認を求める。

第二は、処理の暴走を止めることだ。一つの仕事に使える時間、費用、操作回数、再試行回数に上限を設ける。同じ操作の反復や、当初の目的からの逸脱を検出した場合には、エージェント自身の判断を待たずに処理を停止する。

第三は、行動を検証可能にすることだ。誰がエージェントに仕事を依頼し、どのデータを取得し、どのツールを使い、誰が操作を承認したのかを記録する。事故が起きた場合は、その記録を新しいテストケースとして利用し、同じ問題が再発しないかを確認する。

これは、AIの発言から有害な表現を取り除く従来型のコンテンツ・フィルターとは異なる。

求められているのは、予測しきれない判断をするAIを、変更できない権限、予算、停止条件、承認手続きの中で動かすためのインフラである。AIが自律的になるほど、その外側には、より決定論的で強制力のある制御が必要になる。

 

買い手はAI部門だけではない

この市場が大きくなる理由は、購入予算の出どころが複数あることだ。

AI開発部門は、評価や障害分析のために導入する。セキュリティ部門は、情報漏えいや権限の悪用を防ぐために使う。IT部門は、社内で増殖するエージェントとMCP接続を把握したい。法務・リスク管理部門は、監査記録や人間による承認を求める。財務部門にとっては、API利用料や自動取引の暴走を防ぐ仕組みになる。

そのためエージェント安全市場は、AI観測、サイバーセキュリティ、ID管理、クラウド運用、決済という複数市場の境界に成立する。

スタートアップにとっては大きな機会だが、独立企業として生き残るのが難しい市場でもある。企業はエージェントの監視、権限管理、通信制御を別々の製品で導入するより、既存のクラウドやセキュリティ基盤に統合された形を好む可能性が高い。

相次ぐ買収は、市場の成長性を示すと同時に、将来的な統合も予告している。

「最も賢いAI」から「安全に任せられるAI」へ

これまでのAI競争では、モデルの性能が中心的な評価軸だった。だがエージェントが企業活動へ入り込めば、性能だけでは導入を決められない。

重要になるのは、そのAIがどの情報に触れられるのか。どこまで自律的に判断できるのか。失敗したときに止められるのか。事故後に行動を再現できるのか。そして、最終的な責任を人間が管理できるのかである。

AI投資が「スケール」から「信頼」へ全面的に移ったと判断するのは、まだ早い。巨大モデル、半導体、データセンターへの投資は今後も続く。

しかし、AIの能力が上がるほど、それを現実世界へ安全に接続する制御層の価値も高くなる。アクセルが強力になればなるほど、高性能なブレーキが必要になるからだ。

次のAIインフラ競争を制するのは、最も賢いAIを作る企業だけではない。

AIにどこまで仕事を任せ、どの瞬間に止めるか。その境界を握る企業もまた、エージェント時代の重要なプラットフォームになる。