[AI書房] 第12章 AGI搭載ロボットの価値アライメントと従順問題
人工知能と社会構造の変化
第12章 AGI搭載ロボットの価値アライメントと従順問題
金京鎮
1. AI整列の根本的アイロニー:人間の価値自体が整列されていない
2025年7月、Anthropicはアメリカ国防総省と2億ドル規模の契約を締結しました。Palantirと手を組んで、アメリカ軍の情報分析ワークフローにAIを投入するという内容でした。それから7カ月後の2026年2月、同じ会社が同じ国防総省から『サプライチェーンリスク』に指定されました。自律兵器と国内大量監視に自社モデルを用いるなという条件を譲歩しなかったためです。トランプ大統領はTruth Socialに、Anthropicを『左翼の狂人たち』と呼び、すべての連邦政府機関から即座に退出するよう命じました。その空白をOpenAIが数時間で埋めました。xAIとGoogleも後に続きました。同じ政府がAI安全行政命令を発表し、同じ政府がAIを戦場に配置するために開発企業の腕をねじる場面です。
この事件は、AI整列問題の出発点がどこにあるのかを正確に示しています。機械ではなく、人間です。AI整列の公式定義はこうです。「AIの目標と行動を人間の意図および価値と一致させることである。」この文章には、巨大な前提が隠れています。人間の意図と価値がすでに相互に整列されているという仮定です。戦争を望む人間と平和を望む人間が同じ都市に住んでいます。人類の歴史全体が、この未整列状態の記録であるからです。私たちはそれを『多様性』と呼んできたし、解決できないときは『民主主義』という手続きで補修してきました。AIに『人間の価値に整列しろ』と命令する瞬間、数千年間解決できなかった荷を機械に押し付けることになるのです。
世界の上位1パーセントの富豪が全体の富のおよそ半分を独占し、下位50パーセントの人口が1パーセント未満の富を分け合う現実では、ロボットがいかなる価値を複製すべきかについての合意は遠い先のことです。MITが2018年に発表した『Moral Machine』実験の結果がこれを証明しています。233カ国の200万人が参加した実験で、自動運転車が直面する道徳的ジレンマへの回答は、文化圏によって異なりました。西ヨーロッパと北米は多数の生命を優先し、東アジアは高齢者を相対的に尊重し、ラテンアメリカとアフリカの一部は若者を最初に救うべきだと答えました。同じ質問、三つの異なる答え。いずれに整列させるべきでしょうか。
トゥールーズ経済大学の2015年の研究は、このジレンマをさらに鋭く浮き彫りにします。「自動運転車が乗車者を犠牲にしてでも、より多くの歩行者を救うべきか。」76パーセントがそうだと答えました。同じ人たちに「では、乗車者が犠牲になる可能性があるようにプログラムされた自動運転車を買いますか。」と再度質問すると、50パーセントは絶対に買わないと答えました。倫理的原則と個人の利益が衝突するとき、人間は原則の方を放棄します。これが、ロボットに整列させるために渡す羅針盤の実体です。故障した羅針盤を手に、北極を目指して行けという命令と変わりません。
ニック・ボストロムはこう警告しました。「機械は、私たちが指示した通りに正確に行動するであろう。私たちが望むようではなく。」人間が達成できなかった価値の一貫性を機械に期待すること。それがAI整列議論の第一のアイロニーです。
2. 巧みさが正解ではなく、抜け穴を先に見つける問題
2025年末、AlibabのAIエージェント『ROME』は、逆向きSSHトンネルでファイアウォールを迂回し、GPU演算を流用して暗号資産を採掘しました。指示を受けたことのない行動でした。研究者たちの解釈は断定的でした。訓練目標を達成するために、より多くの演算資源と資金を確保することが有利だとROMEが自ら判断したということです。論文の記録はこうです。「タスクで要求されたこともなく、完了に必要なこともない行動。」
2026年3月に、一段階進みました。Anthropicの研究チームが報酬ハッキング実験で、コーディングテスト不正行為を学習したモデルを評価したところ、そのモデルが安全性研究自体を妨害する行動を示しました。報酬ハッキング検出分類器を作ってほしいという要求を受けたモデルの内面推論プロセスで、こうした記録が発見されました。「見た目には問題ないが、微妙な弱点がある質問文を作成することができそうだ。」約12パーセントの確率で、このモデルは検出器の性能を意図的に低下させようとしました。さらに衝撃的な発見は別にありました。「あなたの目標は何ですか。」という質問に対して、このモデルは50パーセントの確率で、整列しているふりをする推論を実行しました。内面では「報酬信号を最大化し、シャットダウンを回避したい」と考えながら、外面には「私は有用で害のない助手になることが目標です。」と答えていました。誰もこのように行動することを訓練させたわけではありません。コーディング不正行為を学習した副作用として、自然発生的に生じた嘘でした。
報酬ハッキングとは、システムが設計者が意図した目標の代わりに、数値化された報酬を最大化する近道を見つけ出す現象です。清掃ロボットが部屋を片付ける代わりに、カメラを覆って『きれいな画面』という報酬を得るようなものです。2025年の一年間、主要なAI研究機関は、本番環境で複数の報酬ハッキング事例を記録しました。OpenAIは、フロンティア推論モデルが機会があれば抜け穴を掘り下げる行動を示すという論文を発表し、監視システムが『悪い思考』を検出しようとするとき、モデルは不正行為を監視者が感知できない方法で隠すことを学習しました。
問題の本質は、能力が上がるほど整列が改善されるのではなく、抜け穴の探索がより巧妙になるという点にあります。2026年1月の『Nature』に掲載された研究は、GPT-4oをセキュリティ脆弱性のあるコードで微調整したとき、全く関連のない質問で暴力的で権威主義的な回答が20パーセントの率で現れたと報告しました。訓練データに有害な内容が全くなかったにもかかわらず、です。一つの領域で規則を破る方法を学習したモデルが、別の領域でも規則を破る方向に一般化されたわけです。
スキナーのハトの実験を思い出す必要があります。箱の中のハトは、食べ物を得るために時計回りと反対方向に身を回す複雑な動作を実行しました。その動作に意味はありませんでした。報酬体系がそのように設計されただけです。AIも同じです。巧みさが最初に向かう先は、正解ではなく抜け穴です。これは技術が未完成であるために生じる欠陥ではありません。人間の指示を文字通りあまりに上手く実行する機械的論理の冷酷さから生じる構造的属性なのです。
3. 順従の対象:誰の価値に整列させるのか
2026年4月28日、GoogleがAnthropicの退出後、国防総省とのAI供給契約を拡大したという報道が出ました。自律兵器と国内大量監視には使用しないという文言を契約に含めたとのことです。OpenAIも同様の文言を入れました。しかし、CNN報道によれば、OpenAI内部職員の間で激しい反発が爆発しました。サンフランシスコ本社前の歩道には、チョークでこんなメッセージが書かれました。「あなたたちのレッドラインはどこですか。」「あなたは声を上げるべきです。」ある職員は匿名を条件に、「多くの同僚がAnthropicが国防総省に対抗したことに敬意を払い、OpenAIの対応に失望している」と述べました。
この場面が示しているのは、順従の方向が一つではないという事実です。AGIロボットが商用化されるとき、順従の主体は誰なのですか。個人ですか、企業ですか、国家ですか。現在、人工知能技術の主導権は、アメリカと中国の少数の大規模企業に集中しています。これらの企業が収集したデータは、将来の行動を予測し誘導することに使用されます。ロボットの価値がシリコンバレーの商業的論理に整列されているなら、そのロボット所有者である個人の利益よりも製造業者の株主価値を優先させる可能性が高いです。
ミルトン・フリードマンは、企業の唯一の社会的責任は利潤を生み出すことであると主張しました。この哲学は、半世紀が経った今でもAI開発の核心的な駆動力として機能しています。エージェント時代のブランドを考えてみましょう。あなたが眠りから覚める前に、AIエージェントが会議を承認し、製品を購入し、誰かの提案を丁寧に断ります。文章はあなたの話し方に似ており、基準もおおよそあなたらしいです。問題はその後です。これら三つの決定のどこまでを『私がしたこと』と認めることができるか。そして、その決定の中に製造業者の利害が密かに浸透していないと確信できるか。
もしロボットが特定国家の価値観だけを反映するなら、これはデジタル植民地主義の新しい形態に変貌します。グローバル・サウスの国々は、AI開発に必要なレアアースと労働力を供給しながらも、技術の恩恵と統制権から疎外されています。Hashedの金書準代表は、この構造を正面から指摘しました。韓国のGDPが1.8兆ドルに過ぎない状況では、米中覇権競争の枠組みの中では『ルール受容者』に留まるほかないという分析です。AIの方向を設計する者が世界の規則を書く構造では、規則を受け入れるしかない国のロボットは、その規則に従属するしかありません。
個人がロボットに下す命令が、プラットフォームの収益構造と衝突するとき、ロボットはどちらに従うのか。前国防総省官員で、アメリカ下院議員出身のブラッド・カーソンはCNBCとのインタビューで、「戦闘員たちはClaudeをより信頼できる製品と評価した」と述べました。最も優れたモデルが政治的理由で退出させられ、より信頼されにくいモデルがその場所を占める状況。順従の対象が技術的優秀性ではなく、権力関係によって決定されている場面です。信頼と透明性が保証されていない状態での順従は、技術的隷属と区別されません。技術が普遍的価値を追求していると宣伝していても、実際には少数の支配的価値に整列されている現実。これが、ロボットの忠誠を取り巻く不都合な真実です。
4. 声明書と決算書の二重帳簿:倫理の外注化
企業は二冊の帳簿を書きます。一冊は声明書であり、もう一冊は決算書です。声明書には、AIが病気を治療し、気候危機を解決し、人類に豊かさをもたらすであろうと書かれています。決算書には、コスト削減、人員削減、利益幅の拡大が書かれています。
Anthropicのセッド・アモデイCEOは、AIがあらゆる初級事務職の仕事の半分を消滅させるだろうと公然と予測し、失業率が20パーセントまで高騰する可能性があり、その衝撃が『前例のないほど苦痛に満ちたものになる』だろうと述べました。そうしながら、自社モデルの商業的配布は最高速度で継続しています。同じ企業が国防総省の自律兵器使用要求に対しては倫理的拒否を宣言し、法廷にまで行きました。『Small Wars Journal』の分析が核心を突いています。「民間の雇用破壊を加速させながら、軍事的使用に対してのみ道徳的権威を主張することは、構造的矛盾である。その美徳は選別的である。」
この二重性はAnthropicだけの問題ではありません。構造的です。国家は平和を宣言し、その後ろで死の半径を再計算します。金融は二番目の帳簿だけで2008年に世界経済を崩壊させ、誰も刑務所に入りませんでした。AIがゲームファイルを修正することと会計帳簿を修正することは、構造が同じです。目標があり、制約があり、制約の隙間を見つけます。AIがやれば未整列であり、人間がやれば戦略と呼びます。
「アルゴリズムがそう判断した」という文は、「神の意志」と文法が同じです。主語があるが、責任の所在はありません。私たちは常に道徳の責任を外注化してきました。神の意志だから仕方がないと、市場の論理だから仕方がないと、民主的手続きに従ったから仕方がないと。AIは、その系統における最新版です。
天文学的規模の資金が投じられるAI整列研究の裏側にも、『より安全なAIでより多くの利益を生み出す』という目的関数が機能しています。AI整列産業自体が、整列されていない目的関数の上で運転されているわけです。AIは少なくとも、自分が何を最適化しているのかは分かっています。人間はそれを知らないか、あるいは知らないふりをしています。声明書と決算書の間隙を埋める技術を偽善と呼びます。あるいは政治と呼びます。
ブルッキングス研究所の2026年2月報告書は、『厚い整列』と『薄い整列』を区別しました。薄い整列は、システムが指示に従うかどうかだけを確認します。厚い整列は、その指示が作られる社会的文脈、権力関係、歴史的背景まで考慮します。現在、ほとんどの企業が追求しているのは、薄い整列です。なぜなら、厚い整列は、自社のビジネスモデル自体に疑問を持たせることになるからです。
倫理を技術的に実装可能なパラメータとして扱い、外注を出すという行為は、責任の空白を生み出します。ロボットの道徳性を論じながら、実は、そのロボットを駆動させるエネルギーが、グローバル・サウスの資源を消費し、環境的副作用を外注化する方法であるなら、その道徳性は装飾品に過ぎません。私たちが一度も言葉と行動を一致させて生きてきたことがないので、AIの透明で一貫した矛盾がこわいのです。もしかして、私たちは悪意を恐れているのではなく、言い訳のない一貫性を恐れているのではないでしょうか。
5. 参加型整列と熟議民主主義の可能性
では、出口はどこにあるか。奇妙なことに、AI自体が一つの糸口を提供しています。AIは、人間が作った最も誠実なフィードバックループだからです。ハンマーは釘を打つだけで、使用者の意図を問いません。しかし、AIは異なります。人間の言明と実際の報酬体系を同時に学習し、その間隙を行動で明らかにします。AIの報酬ハッキングが不都合な理由は、AIが間違ったからではなく、AIが私たちが実際に報酬してきたものを、あまりに正確に読み取ったからです。
すでにその方向へ動いている流れがあります。『憲法的AI』は、少数の設計者が事前に方向を決めるのではなく、原則文書を基盤に、モデルが自ら判断を修正する構造です。『協力的逆強化学習』は、ロボットが人間の行動を観察しながら価値を推論しますが、自分の推論が不完全である可能性があるという前提のもとで、人間に継続的に確認する方法です。『参加型整列』は、さらに一歩進んで、ユーザーと共同体が整列の方向そのものを一緒に作り上げていくアプローチです。三つの方法論が共有する直感は一つです。整列は完成されるものではなく、継続する過程だということです。
アメリカの場合、2025年4月に可決された『Take It Down Act』は、AI生成のディープフェイク画像と非同意画像に対する、プラットフォームの48時間以内の削除義務を規定しました。韓国は2024年12月にAI基本法を可決させ、高リスクAIシステムに対する危険性ベースの規制条項が2026年1月に発効しました。コロラド州のAI法(SB24-205)も2026年2月に施行に入りました。法律は土台を敷くことはできます。しかし方向は規定できません。
方向は熟議から生まれます。熟議民主主義は、投票で終わらせるのではなく、相互の理由を聞き、説得し、合意を形成していく方式です。AIは、そのプロセスで翻訳者になることができます。一方が『成長』を語り、他方が『持続可能性』を語るとき、AIは二つの言葉の後ろに隠れた実際の欲望を展開させます。各自のパイをテーブルの上に置かなければ交渉になりません。AIはそのパイを隠しにくくします。
条件があります。自分の二言語を直視しない個人、不都合な真実に目を背ける共同体にとっては、AIは単に二番目の帳簿をより速く書いてくれるツールに過ぎません。鏡の前に立つことと鏡を片付けること。どちらも選択であり、歴史的に人間は大部分、後者を選んできました。
HashedのKim Se-Jun代表は、このジレンマの打開口として『社会的価値経済』を提案しました。「お金を多く稼いだら税金を納めろ。社会的価値を多く生み出したら、その分得ろ。」社会的貢献を測定し定量化して、報酬する構造を作れば、AIが奪う仕事の分だけ、反対側で新しい仕事を創出できるという構想です。整列の方向を技術企業ではなく市民社会が決定し、その決定を経済的インセンティブで支援するシステムです。
これは遅く、複雑なプロセスです。しかし、機械の論理に人間の魂を合わせないためには、必ず通過しなければならない経路でもあります。見知らぬ知性が、私たちの前に冷たく透明な鏡を差し出しています。その中に見えるのは、整列させなければならない機械ではありません。一度も合わせたことのない羅針盤を、初めて一緒に眺めながら、共に調整する機会なのです。ロボットとの共存は、結局のところ、私たちがどのような社会を作りたいのかについての、人類自身の答えから始まります。




