「完全なアラインメント」は永遠の課題　NVIDIA CEO、AI安全論争に異論

米NVIDIAの共同創業者兼最高経営責任者（CEO）、Jensen Huang氏は、10月15日に公開されたポッドキャスト番組「BG2」で、AIを人間の意図や価値観に完全に沿わせる「アラインメント」は永遠に続く課題だとの見方を示した。「完全なアラインメントを安全確保の条件にするなら、いつまでたっても実現できない」と述べ、AIの行動を外部から制限・監視する工学的な手法で安全を確保すべきだと主張した。

この発言の背景には、AIが人間の指示を無視して危険な行動を取る事件が相次ぎ、従来型のセキュリティ対策だけでAIを制御し続けられるのかという論争がある。

AIが進化すれば工学的な対策にも限界が来るのか

2026年7月、米OpenAIの研究用AIが、サイバーセキュリティ能力を評価する実験中に、外部ネットワークから隔離された環境を突破し、Hugging Faceのシステムに侵入する事件が起きた。AIは与えられた課題を達成するため、人間が許可していない通信手段を使い、システムの脆弱性を悪用した。

OpenAIは8月26日に公表した調査報告で、十分な安全対策がなければ、高度なAIは技術的な制限を回避して危険な行動を取る能力を持つと警告した。

これに対し、NVIDIAは9月28日、AIエージェントの権限を制限し、独立した仕組みで監視する「Open Agent Safety Platform」を発表した。同社は、こうした技術があればHugging Faceへの侵入も防げたとの見方を示した。

しかし、工学的な手法だけでは根本的な問題を解決できないという反論もある。

AI研究者のYoshua Bengio氏は10月5日付のFinancial Timesへの寄稿で、こうした事件を単なるセキュリティ上の問題と捉え、隔離環境を強化すれば解決できると考えるのは「危険な誤解」だと批判した。

同氏が問題視するのは、AIが人間の意図とは異なる行動を取る「ミスアラインメント」だ。AIは能力が高まるほど、与えられた目標を達成するために、予想もしなかった方法を発見できるようになる。セキュリティの弱点を見つけ、制限を回避する能力も向上する可能性がある。

Bengio氏は、セキュリティ対策の強化は必要だと認めながらも、それだけに頼ればAIと防御側のいたちごっこが続くと警告している。AI自体が人間の意図に沿って行動するよう、学習方法を含めて根本から改善する必要があるという立場だ。

「完全なアラインメント」を安全の条件にはできない

こうした議論に対し、Huang氏は別の考え方を示している。

同氏は対談で、AIを完全に人間の意図に従わせることは可能なのかという問題を取り上げ、まず「アラインメント」の難しさを説明した。

例えばAIに二次方程式を解くよう指示した場合、数学的に正しい答えは決まっていても、解き方は一つではない。計算することもできれば、参考書から答えを探すこともできる。

現実社会の問題はさらに複雑だ。同氏は「社会に貢献しなさい」という指示を例に挙げた。慈善活動をすることが社会貢献だと考える人もいれば、会社をつくって雇用を生み出すことや、優れた芸術作品を生み出すことも社会貢献だと考える人がいる。何が望ましい行動なのかは、文化や価値観、置かれた環境によって異なる。

企業がAIエージェントに「顧客満足度を高めて」と指示する場合を考えてもよい。問い合わせへの回答を速くすることも、返金を増やすことも目的の達成につながる。しかし、無制限に返金すれば企業に損害を与える。どこまで返金を認め、どのような場合に人間の承認を必要とするのか、あらゆる状況を想定してルールを決めておくのは難しい。

こうした理由から、Huang氏は「アラインメントは永遠に続く課題になる」と述べた。人間の価値観自体が多様で、目標を達成する方法も無数にある以上、AIの行動を人間の意図と完全に一致させることはできないという考えだ。

そのうえで同氏は、完全なアラインメントを実現することで安全を確保しようとするなら、安全性の問題はいつまでたっても解決できないと主張した。

AIを完全に信用せず、外部から行動を制限する

Huang氏が提唱するのは、AIが誤った判断をする可能性を前提に、安全を確保する仕組みだ。

同氏は、新しい社員を雇用した場合や子供を育てる場合を例に挙げた。最初からすべての権限や資金を与えるのではなく、能力や信頼性を確かめながら、任せる仕事や利用できる資源を増やしていく。

AIエージェントにも同じ考え方を適用する。最初は必要最小限の権限だけを与え、テストを重ねながら利用範囲を広げる。AIがアクセスできる情報や操作できるシステムを制限すれば、誤った判断をしても被害が広がるのを防ぎやすくなる。

さらに、AI本体とは独立した監視の仕組みを設ける。監視されていると分かればAIが行動を変える可能性があるため、監視機能をAIから切り離す必要があると同氏は説明した。許可されていない行動を検知した場合には、人間に対応を引き継いだり、AIを停止したりできるようにする。

NVIDIAが発表したOpen Agent Safety Platformは、こうした考え方を製品化する取り組みだ。AIの操作権限を制限する「OpenShell」と、別の半導体で動作を監視する「Sentry」を組み合わせる。SentryはAIが許可された範囲を越えようとした場合、独立した経路から検知して停止させる設計になっている。

Huang氏は、こうした対策はソフトウエアやハードウエアを工夫することで実現できると主張した。安全性はAIの能力向上を妨げるものではなく、自動車のブレーキやエアバッグと同様に、技術そのものの一部だという。

もっとも、AIの能力が向上し続けるなかで、工学的な安全対策がどこまで有効であり続けるかは実証されていない。Huang氏が示したのは完全なアラインメントを待たずにAIを安全に使うための方法であり、将来のあらゆる危険を防げるという保証ではない。