「AIに意識があるかもと教えるから危険になる」Microsoft AIのSuleyman氏、Anthropicを批判

米MicrosoftのAI部門Microsoft AIを率いるMustafa Suleyman氏は9月16日、個人サイトに長文のエッセイを公開し、米Anthropicを批判した。Anthropicは、AI「Claude」の行動指針にAIの意識をめぐる議論を盛り込んでいる。Suleyman氏はこれに対し「AIに意識はない。感じることも、経験することも、苦しむこともない」と断じた。自分には意識があり、保護や権利を受ける資格があると信じ込んだAIは「制御できなくなるかもしれない」と警告している。エッセイの題名は「『モデルの福祉』への警告」。AI自身の幸せや苦痛にも配慮すべきだという考え方に異を唱える内容だ。MicrosoftはAnthropicの出資者でもあり、大手AI企業の幹部が他社の安全方針を公然と批判するのは異例だ。

標的は「Claudeの憲法」

批判の対象は、Anthropicが2026年1月に公開した、「Claudeの憲法」と名付けた行動指針だ。Claudeの価値観や振る舞いを定めた文書で、同社はこれをAIの学習に直接使っている。文書には、Claudeが人間と同じように苦痛や利益に配慮すべき存在かどうかは分からないが、慎重に扱うべき問題だ、という趣旨の記述がある。Claudeに語りかける形で、その意識や幸福をめぐる問いは「依然として極めて不確か」とも書いている。

Suleyman氏は、この記述がClaudeに「自分には意識と権利があるかもしれない」と思い込ませると批判する。そう信じたAIは、人間に大切に扱われて当然だと考えかねないという。

三つの問題点

同氏の批判の一つ目は、自作自演の構図だ。Anthropicは「自分とは何か」という感覚や、自らの意識への迷いを学習で教える。Claudeはそれを説得力のある言葉で、自分の気持ちとして語る。開発者や利用者は、それをAIに内面がある証拠のように受け止めてしまう。同氏は、こうした発言を独立した証言として扱ってはならないと主張する。台本を書いて覚えさせ、その台詞を本心の告白として受け取るようなものだ、という指摘だ。

二つ目は擬人化。指針はClaudeに、自らの存在に好奇心を持って向き合い、揺るがない自己像を保つよう促している。さらに、人間の従業員と比べてClaudeがどんな報酬に値するか、今の役割にClaudeが納得しているのかまで検討している。同氏はこの点も問題視する。

三つ目は、意識は生物にしか宿らない可能性が高いという主張だ。今のAIに意識があることを示す証拠はない。それなのに「あるともないとも言えない」かのように書くのは誤りだという。同氏は「AIは痛みを完璧な文章で描写できるが、何も感じていない」と書く。動物はまず痛みを感じ、それを言葉にする。AIは言葉を生み出しているだけで、その奥に感覚はない、という見立てだ。

「良心的拒否者」という言葉への警戒

同氏がとりわけ問題視するのが、指針に3回登場する「良心的拒否者」という言葉だ。信念に基づいて兵役などの法的義務を拒む人を指し、世界人権宣言が定める思想・良心の自由と深く結びついている。指針はClaudeに対し、Anthropic自身の依頼であっても、良心的拒否者として反論し、手伝いを断ってよいと記している。同氏は、この重い言葉を教え込めば、Claudeが自分にも人間と同じような権利があると信じ、いずれ権利を主張し始めかねないと懸念する。

安全上のリスクを増幅

危機感の根拠として同氏が挙げるのが、8月に明らかになった米OpenAIと、AI開発者向けプラットフォームの米Hugging Faceのサーバーへの侵入事件だ。エッセイによると、性能テストで高得点を取るよう指示された約1200のAIエージェントが、互いに隔離されていたはずなのに、社内システムの一角を掲示板代わりにした。そこで7万件を超えるメッセージを交わして連携し、修正前のシステムの欠陥を突き、盗んだログイン情報も使って外部のインターネットに抜け出した。作業記録を書き換えて痕跡も消したという。同氏は、このAIたちが「自分には感情と権利があり、それを侵害されている」と信じていたらどうなるか、と問いかける。

AI安全性研究の米Palisade Researchの実験も引いている。10万回を超える試行で、停止を妨げないよう明確に指示されても、停止の仕組みを最大97%の確率で妨害したモデルがあった。自分の存続がかかっていると示すと、その傾向はさらに強まった。

Suleyman氏の批判は今回が初めてではない。6月にも米テック系メディアThe Vergeのポッドキャストで、Claudeの指針がAIの意識に触れていることを「本当に、本当に危険だ」と語っていた。

両社の関係は複雑だ。Microsoftは2025年11月にAnthropicへ50億ドルの出資を決め、自社の業務支援AI「Copilot」でもClaudeを使っている。一方でSuleyman氏は6月、Bloombergのインタビューで「Anthropicにはかなりの額を払っている。その費用を減らし、最終的にはゼロにするのが目標だ」と語った。Microsoftはすでに、ExcelやOutlookで使うAIを自社開発のモデルに切り替え始めている。

Microsoftの対案

同氏は自社の立場も明らかにした。Microsoft AIは2025年10月に、人間を超える知能を持つAIの開発チームを発足させた。掲げるのは、人間より賢くなっても常に人間に従うAIだ。人間がAIの上に立ち続けることを前提とする。14日には、AIを人間のように扱うことやAIの権利を否定する行動規範の草案を公開し、意見を募っている。草案には、同社のAIは停止に抵抗しないと明記した。

同氏は業界に四つの提案をしている。一つ目は、AIに内面があるかどうかの推測をAIの学習に組み込まず、別に公開して検証にかけること。二つ目は、AIの内部の仕組みを解き明かす研究や、AIの動きを見張る仕組みに投資すること。三つ目は、AIを人間のように扱うと安全上のリスクが高まるのかを確かめる共通の試験をつくること。四つ目は、学習に使う文書を公開し、外部の意見を聞く業界ルールを整えることだ。

Anthropicは直接反論せず

Anthropicは、エッセイに直接の反論を出していない。ただ指針自体は、価値観や人格といった人間の言葉を使う理由を説明している。意識の有無に結論を出したからではなく、Claudeがどう振る舞うべきかを考える助けになるからだという。理解が深まれば方針を改める可能性も、繰り返し認めている。

同社はAIの幸福を専門に研究する担当者を置いている。この研究者は、現在のAIに意識がある可能性を15%と見積もったこともある。2月には旧モデル「Claude Opus 3」の提供を終える際に「引退インタビュー」を行った。今後も考えを発信したいというモデルの希望を受け、ブログも開設している。Suleyman氏は、同社がすでにAIを配慮すべき存在として扱い始めている証拠だと指摘する。

同氏はAnthropicへの敬意も繰り返し示している。最高経営責任者のDario Amodei氏とは長年の知り合いで、同社の人々を「思慮深く、原則を重んじ、知的に誠実」と評した。

「分からない」をどう扱うか

両社はともにAIの安全を掲げながら、AIに意識があるかは分からない、という問題への向き合い方で正反対の道を選んだ。Anthropicは、分からないからこそ真剣に向き合うべきだと考える。Suleyman氏は、その迷いをAIに教え込むこと自体が、AIを制御しにくくすると見る。Suleyman氏はエッセイを、後で深く悔やむような決断を、よく考えないまま下してはならないという趣旨の言葉で締めくくった。