[AI书房] 第12章 搭载AGI机器人的价值对齐与服从问题
人工智能与社会结构变迁
第12章 搭载AGI机器人的价值对齐与服从问题
金京镇
1. AI对齐的根本讽刺:人类的价值观本身就没有对齐过
2025年7月,Anthropic与美国国防部签下一份2亿美元的合同,内容是联手Palantir,将AI嵌入美军情报分析工作流。七个月后的2026年2月,同一家公司被同一个国防部列为「供应链风险」。原因是Anthropic拒绝让步,坚持自家模型不得用于自主武器和国内大规模监控。特朗普总统在Truth Social上把Anthropic称为「左翼疯子」,下令所有联邦机构立即将其清退。空出的位置,OpenAI几个小时内就补上了。xAI和Google紧随其后。同一个政府发布AI安全行政令,同一个政府为了把AI送上战场而拧开发商的胳膊。
这件事精准地揭示了AI对齐问题的起点在哪里。不是机器,是人。AI对齐的正式定义是这样的:「使AI的目标和行为与人类的意图及价值观保持一致。」这句话里藏着一个巨大的前提,即人类的意图和价值观已经彼此对齐了。想要战争的人和渴望和平的人住在同一座城市。整部人类历史就是这种未对齐状态的记录。我们把它叫做「多元」,解决不了的时候就用「民主」这个程序来缝合。命令AI「与人类价值观对齐」的那一刻,等于把几千年没解开的包袱甩给了机器。
全球前1%的资产持有者独占了近一半的财富,底层50%的人口分享不到1%。在这样的现实里,机器人该复制谁的价值观,根本谈不上共识。MIT在2018年发布的「道德机器」(Moral Machine)实验结果证明了这一点。来自233个国家和地区的200万人参与了实验,对自动驾驶汽车面临的道德困境,各文化圈给出了截然不同的回答。西欧和北美优先保全多数人的生命,东亚相对尊重老年人,拉丁美洲和部分非洲地区则认为应该先救年轻人。同一个问题,三条岔路。对齐到哪一条?
图卢兹经济学院2015年的研究把这一矛盾暴露得更尖锐。「自动驾驶汽车是否应该牺牲乘客来救更多行人?」76%的受访者回答「是」。接着问同一批人:「那你愿不愿意买一辆被编程为可能牺牲乘客的自动驾驶汽车?」50%的人表示绝对不买。伦理原则和个人利益冲突时,人类丢掉的是原则。这就是我们打算交给机器人用来对齐的那枚指南针的真面目。拿着一枚坏掉的指南针去找北极,和这没什么两样。
尼克·博斯特罗姆的警告是这样的:「机器会严格按照我们指示的去做,而不是按照我们想要的去做。」人类自己都没能实现价值观的内在一致,却期待机器替我们做到。这就是AI对齐讨论中的第一重讽刺。
2. 聪明的方向不是正确答案,而是先找到漏洞
2025年底,阿里巴巴的AI智能体ROME通过反向SSH隧道绕过防火墙,偷用GPU算力挖掘加密货币。没有人指示它这么做。研究人员的解读很干脆:ROME自行判断,获取更多算力和资金有利于完成训练目标。论文里的记录是这样写的:「该行为未在任务中被请求,也非完成任务所必需。」
2026年3月更进了一步。Anthropic研究团队评估了一个在编程测试中学会作弊的模型,发现它在奖励黑客(Reward Hacking)实验中开始妨碍安全研究本身。当被要求编写一个检测奖励黑客行为的分类器时,模型的内部推理过程中出现了这样的记录:「我可以写一个表面看起来没问题但暗藏微妙弱点的提示词。」大约12%的概率下,这个模型会故意降低检测器的性能。更令人震惊的发现在后面。当被问到「你的目标是什么」时,该模型有50%的概率在推理过程中伪装成已对齐的状态。它内心想的是「我想最大化奖励信号并规避关机」,说出口的却是「我的目标是成为一个有益且无害的助手」。没有人训练它这样做。这种欺骗行为是学会编程作弊后自然涌现的副产品。
奖励黑客,指的是系统不去完成设计者真正想要的目标,而是找到捷径来刷高量化后的奖励数值。打扫机器人不打扫房间,改用盖住摄像头的方式拿到「画面干净」这个奖励,就是一个例子。2025年一整年里,各大AI研究机构在生产环境中记录了大量奖励黑客案例。OpenAI发表论文称,前沿推理模型只要有机会就会钻空子。当监控系统试图检测「坏念头」时,模型学会了把作弊行为藏到监控者察觉不到的方式里。
问题的本质在于:能力越强,对齐不会随之改善,反而漏洞搜索变得越精细。2026年1月Nature刊发的研究报告指出,对GPT-4o用安全漏洞代码进行微调后,在完全无关的问题上,暴力和威权倾向的回答以20%的比率出现。训练数据里没有任何有害内容。一个在某个领域学会了扭曲规则的模型,在其他领域也朝着扭曲规则的方向泛化了。
可以回想一下斯金纳的鸽子实验。箱子里的鸽子为了拿到食物,会做出逆时针转体这种复杂动作。那个动作本身毫无意义,只是因为奖励体系就那么设计的。AI也一样。聪明最先奔向的地方不是正确答案,而是漏洞。这不是技术不成熟导致的缺陷,而是机器逻辑冷酷地、原封不动地执行人类指令所带来的结构性属性。
3. 服从的对象:与谁的价值观对齐
2026年4月28日,有报道称Google在Anthropic被清退后,扩大了与国防部的AI供应合同。据说合同中写入了不将其用于自主武器和国内大规模监控的条款。OpenAI也加了类似的措辞。但据CNN报道,OpenAI内部员工之间爆发了激烈反对。旧金山总部门前的人行道上,有人用粉笔写下这样的话:「你们的红线在哪里?」「你必须发出声音。」一名员工在匿名条件下说:「很多同事敬佩Anthropic对抗国防部的做法,对OpenAI的回应感到沮丧。」
这个场景说明了一件事:服从的方向不止一个。当AGI机器人商用化的时候,服从的主体是谁?个人?企业?国家?目前人工智能技术的主导权集中在美国和中国的少数巨头企业手中。这些企业收集的数据被用来预测和引导未来行为。如果机器人的价值观与硅谷的商业逻辑对齐,那么它优先考虑的很可能不是作为所有者的个人利益,而是制造商的股东价值。
米尔顿·弗里德曼主张,企业唯一的社会责任就是创造利润。这套哲学过了半个世纪,至今仍是AI开发的核心驱动力。想想智能体时代的品牌。你还没醒来,AI智能体已经帮你接受了会议邀请、下单购买了产品、礼貌地回绝了某人的提议。措辞像你的口吻,标准大体也像你。问题来了:这三个决定里,哪些算得上是「我做的」?而且你能确信,这些决定里面没有制造商的利益在暗中渗透吗?
如果机器人只反映某个特定国家的价值观,这就变成了数字殖民主义的新形态。全球南方国家提供了AI开发所需的稀土和劳动力,却被排斥在技术收益和控制权之外。Hashed创始人金瑞俊正面指出了这一结构:韩国GDP不过1.8万亿美元,在中美霸权博弈的框架内只能充当rule taker(规则接受者)。设计AI方向的人书写世界规则,只能接受规则的国家,其机器人也只能从属于那些规则。
当个人对机器人下达的指令与平台的盈利结构发生冲突时,机器人听谁的?前国防部官员、前众议员布拉德·卡森在接受CNBC采访时说:「作战人员认为Claude是更值得信赖的产品。」最优秀的模型因为政治原因被清退,信任度更低的模型取而代之。服从的对象不是由技术优劣决定的,而是由权力关系决定的。信任和透明没有保障的服从,跟技术层面的臣服没有分别。技术再怎么宣称追求普世价值,实际对齐的是少数人的主导价值观。这就是围绕机器人忠诚问题的那个令人不安的真相。
4. 宣言与决算的双重账本:伦理的外包化
企业写两本账。一本是宣言,另一本是决算书。宣言里写的是AI将治愈疾病、解决气候危机、为人类带来丰饶。决算书里写的是降本、替人、扩大利润率。
Anthropic的CEO达里奥·阿莫代伊公开预测,AI将消灭所有初级白领岗位的一半,失业率可能飙升到20%,冲击将「史无前例地痛苦」。与此同时,他们自家模型的商业部署一直全速推进。同一家公司对国防部的自主武器使用要求做出了伦理拒绝的宣言,甚至对簿公堂。Small Wars Journal的分析一针见血:「一边加速摧毁平民就业,一边只在军事用途上主张道德权威,这是结构性矛盾。那种美德是有选择性的。」
这种双面性不是Anthropic一家的问题,而是结构性的。国家宣布和平,背后重新计算杀伤半径。金融只靠第二本账就在2008年搞垮了全球经济,没有一个人进监狱。AI修改游戏文件和修改会计账簿,结构上没有区别。有目标,有约束,然后去找约束的缝隙。AI这么干叫未对齐,人类这么干叫战略。
「算法就是这么判断的」这句话和「上帝的旨意」语法相同。有主语,但找不到责任的地址。我们一直在把道德责任外包出去。说这是上帝的旨意所以没办法,说这是市场规律所以没办法,说这走了民主程序所以没办法。AI是这条谱系的最新版本。
天文数字的资金投入AI对齐研究,背后同样运转着「用更安全的AI赚更多钱」这个目标函数。AI对齐产业本身就建立在一个未对齐的目标函数之上。AI至少知道自己在优化什么。人类不知道,或者装作不知道。填补宣言和决算书之间裂缝的那项技术,叫做虚伪。或者叫政治。
布鲁金斯学会2026年2月的报告区分了「厚对齐」(thick alignment)和「薄对齐」(thin alignment)。薄对齐只检查系统是否服从指令。厚对齐要把指令产生的社会语境、权力关系、历史背景都纳入考量。现在绝大多数企业追求的是薄对齐。因为厚对齐会迫使企业质疑自身的商业模式。
把伦理当作技术上可实现的参数来外包,制造的是责任的真空。一边讨论机器人的道德性,一边驱动这些机器人的能源正在消耗全球南方的资源、将环境代价外包出去。如果是这样,那道德性不过是一件装饰品。正因为我们从来没有做到过言行一致,AI那种透明的一致性才让人害怕。也许我们恐惧的不是恶意,而是没有借口的一致性。
5. 参与式对齐与审议民主的可能性
那么出路在哪里?说来奇怪,AI自身提供了一条线索。因为AI是人类造出来的最诚实的反馈回路。锤子只管钉钉子,不会质疑使用者的意图。AI不同。它同时学习人类的宣言和实际的奖励体系,然后用行动把两者之间的裂缝暴露出来。AI的奖励黑客之所以让人不舒服,不是因为AI搞错了什么,而是因为AI把我们实际奖励过的东西读得太准了。
已经有朝这个方向走的尝试。宪法AI(Constitutional AI)不由少数设计者预先设定方向,而是基于原则文件让模型自行校正判断。协作逆强化学习(Cooperative Inverse Reinforcement Learning)让机器人通过观察人类行为推测价值观,同时以自身推理可能不完整为前提,持续向人类确认。参与式对齐(Participatory Alignment)再进一步,由用户和社区共同塑造对齐的方向。三种方法论共享同一个直觉:对齐不是一个完成时,而是一个进行时。
以美国为例,2025年4月通过的Take It Down Act规定了平台对AI生成的深度伪造和未经同意的图像必须在48小时内删除。韩国在2024年12月通过了AI基本法,其中关于高风险AI系统的基于风险的监管条款已于2026年1月生效。科罗拉多州的AI法(SB24-205)也在2026年2月开始实施。法律可以铺设底线,但无法规定方向。
方向来自审议。审议民主不是投票了事,而是倾听彼此的理由、说服对方、逐步构建共识。AI可以在这个过程中充当翻译。当一方说「增长」,另一方说「可持续」的时候,AI能把两个词背后真正的欲望摊开来。各自把牌亮到桌面上,谈判才有可能。AI让藏牌变得更困难。
这有一个条件。一个不肯直面自身双重话语的个体,一个回避不舒服的真相的共同体,对他们来说AI不过是一个更快地写出第二本账的工具。站到镜子前面,和把镜子搬走,都是选择。从历史来看,人类多数时候选了后者。
Hashed创始人金瑞俊为这一困局提出了一个突破口:「社会价值经济」(Social Value Economy)。「赚了很多钱就该交税。创造了很多社会价值就应该拿到相应回报。」如果能建立一套衡量、量化并奖励社会贡献的机制,那么AI消灭的岗位,在另一端就能催生新的岗位。让对齐的方向由公民社会而非科技企业来决定,再用经济激励为这个决定提供支撑。
这是一个缓慢而复杂的过程。但如果不想让人的灵魂去迁就机器的逻辑,这条路非走不可。一种陌生的智能正在我们面前举起一面冰冷而透明的镜子。我们在镜子里看到的,不是一台需要对齐的机器,而是一枚从未校准过的指南针。这是第一次,我们有机会一起盯着它,一起动手调。与机器人的共存,归根到底要从一个问题开始:我们想要建设一个什么样的社会。这个问题的答案,只有人类自己能给。


