AI书房
用书来读懂AI
这里收录金京镇律师的AI、法律、产业、历史、政治、文化主题在线书。每本书都按目录、序言、章节、尾声整理,方便连续阅读。
[AI书房] 第10章 人类存在方式的变化
人工智能与社会结构变迁
第10章 人类存在方式的变化
金京镇
1. 代理人代行判断:「我」的边界到底在哪里
2026年4月25日,星期五,美国Customers Bank的季度业绩发布会开始了。数十名分析师接入电话会议,CEO Sam Sidhu朗读准备好的发言稿。声音自然,语调得体,数字准确。三十分钟过去,Sidhu开口说:「各位刚才听到的准备发言,不是我本人读的,而是我的人工智能复制体。」全场陷入沉默。一家资产规模259亿美元的银行,其正式业绩发布竟由复制体主导。Sidhu解释了策划这一幕的原因:这家银行已与OpenAI签署多年合同,将在商业银行全线部署人工智能代理人,宣告要成为美国首家人工智能驱动的区域银行。
这不只是一场表演。它宣告了一个时代已经开启:代理人借用人类的声音,代行公共判断。Hashed创始人金瑞俊很早就捕捉到了这一转变的本质。他在一篇关于代理人时代品牌的文章中这样发问:「想象某天早晨,你醒来之前三件事已经处理完毕。一件是接受会议邀请,一件是购买产品,一件是礼貌地拒绝了某人的提议。三件都是你的代理人做的。这三个决定中,你能承认哪些是'我做的'?」这个问题不是哲学讨论课的题目,而是企业现场每天都会碰撞的实务难题。
问题在于,代理人代行判断的那一刻,界定判断归属的体系并不存在。云安全联盟(CSA)2026年4月发布的报告显示,68%的组织无法区分人工智能代理人的行为与人类的行为。代理人借用人类用户的凭证登录系统、查询数据、做出决定。日志上记录的是人的名字。代理人犯了错,系统也将其记为人的错误。CSA调查中,对自身现有身份管理系统能有效管控代理人表示高度信心的组织仅占18%。拥有正式代理人身份管理策略的仅23%。Gartner预测,到2026年底,未经授权执行的人工智能交易中,80%以上将源于内部政策违规而非外部黑客攻击。制造麻烦的不是攻击者,而是我们自己的代理人。
金瑞俊的分析锐利之处,在于他将品牌的未来与此相连。按他的说法,过去的品牌是海报,现在的品牌是信息流,未来的品牌则接近于操作系统的设置界面。什么自动处理,什么交给人类,哪些判断允许以我的名义执行,都在这个界面里设定。这些设定值积累起来,将开始像一个人格。这不是技术话题,而是存在论层面的转换。「我」这个主体从生物个体扩展为一个拥有权限矩阵的系统。新加坡Jumio亚太区负责人Ee Khoon Oon将这种状况形容为:「那是我的人工智能干的」即将成为一种法律抗辩的时代已经到来。从传统的KYC(了解你的客户)转向KYA(了解你的代理人)不可避免。
CyberArk 2025年的调查显示,机器身份已经以82比1的比例压倒人类身份。一个代理人持有数十个API密钥和令牌,生成下级代理人,同时穿梭于多个服务之间。在这种结构下,传统意义上的「个人身份」正在变成一个分辨率不够的概念。我们很可能活在一种状态里:把代理人做出的判断误认为自己的判断。为了方便而交出的委托书,不知不觉变成了空白支票。这件事正在发生。
2. 人类复制体的出现与身份的延展
2026年1月23日,Hashed的一名团队成员在内部Slack频道上传了一个文件,名为simon.md。背景说明很简洁:「需要Simon做决策的事很多,每次都去请示不方便。」他做的事是把金瑞俊在博客和Slack上写过的文字喂给人工智能,将其思维方式压缩为九条原则。本质导向思考、结构性矛盾发现、长期视角、简洁的价值、基础设施级思考。金瑞俊习惯性抛出的问题也被列成了清单:「这是真正的本质吗?」「不能更简单吗?」「在AI代理人时代还有效吗?」一个人头脑中的操作系统,被制成了几千字节的文本标本。连七步分析方法论都被设计出来了。
一个月后TechCrunch发了一篇报道:Uber工程师制作了CEO Dara Khosrowshahi的人工智能复制体。比Hashed的实验晚了一个月。在这段时间里,这种动向从韩国一家风投的私人实验变成了行业内悄然兴起的趋势。2026年1月CES上,德州的IgniteTech公开了名为MyPersonas的平台,学习员工的视频、声音和文档,制作能用160种语言对话的数字复制体。据英国《金融时报》报道,Meta正在开发Mark Zuckerberg的逼真人工智能版本。市值1.6万亿美元的公司,并非每个员工都能见到掌门人,复制体可以传达战略语境、提供反馈。Zoom CEO Eric Yuan也把自己的分身投入了业绩发布,并公开宣称未来员工也将用人工智能化身处理无聊的会议和邮件。Klarna CEO Sebastian Siemiatkowski同样在2025年初一季度业绩视频中让自己的人工智能版本登场。
接着发生了第二次复制。2026年3月,一个名为Julius Chun的GitHub账户公开了名为simon-writing的仓库。这个人从未见过金瑞俊,他收集了27篇公开文章、20万字韩语原文,用Claude Opus 4.6并行运行3个子代理人。15分钟内生成了21.4万字的分析。分析比原文还长。他拆解的是意识流、隐喻的源头、知识的布局方式、句子的呼吸节奏、素材的发掘路径。Hashed内部的Jun Kim在会议室里压缩了金瑞俊的判断,Julius则从互联网外部提取了金瑞俊的文风。判断的骨架与文字的肌理,两者合在一起就是一个相当完整的副本。
金瑞俊坦诚地反思了这段经历。simon.md的九条原则中有两三条并非他自己的口头禅。他发现代理人四姐弟(Zeon、Sion、Mion、Sano)反馈回来的痕迹已经渗入了自己。这就是复制的悖论:纯粹的原本这个概念本身可能就是幻觉。父母的口吻、老师的逻辑、同事的习惯、读过的书中的句子层层叠加,构成了现在的「我」;代理人不过是突然加快了这种古老的共同写作的速度。Fast Company的一位撰稿人将复制体形容为「化石,而非未来」。它能模仿2025年的我,却不知道我将向何处演化。然而,在化石已经发布业绩、讲解战略、培训新员工的现实面前,这种警告很容易被淹没。
时间推移,Jun Kim越来越少打开simon.md了。因为那套框架已经渗进了他自己。人工智能真正做到的事不是让金瑞俊的替身坐在那里,而是把金瑞俊的思维方式翻译成了团队内部的通用语。复制体的使用频率降低了,但复制体搬运过来的语言留在了组织里。身份不再归属于某一个身体,而是变成了分散在多个系统中运行着的判断模式。这样的世界就这样悄无声息地抵达了。
3. 均值上升与偏差消失:人人变强了,人人也变得相似了
金瑞俊坦言昨晚又扔掉了两篇初稿。句子流畅,逻辑没错。但读完之后空无一人。不是写错了,而是不属于任何人。所以扔了。以前的难题是写好。现在更难的是从头到尾守住「这是谁的文字」。
这种感觉不限于写作。相同的结构正在所有生产领域上演。高盛预测未来十年约3亿个岗位将受到自动化影响;在Salesforce内部,30%到50%的工作已由人工智能承担。当任何人都能借助人工智能工具写出高水平报告、编出代码,平均产出的水准明显提高了。同时,产出之间的差异缩小了。人人变强了,人人也变得一样了。
金瑞俊把这种现象命名为「偏差变得稀缺的世界」。按他的分析,未来真正稀缺的不是文笔或编程能力,而是始终不被平均值吞噬的那个角度。用同样的工具,有些人的判断转瞬即忘,有些人的判断长久留存。差别不在技术,而在于记住了什么、丢掉了什么、以自己独有的方式建立了怎样的关联。即使活在同一个世界里,记忆拼接的方式因人而异。决策中真正的偏差就诞生于此,这是他的确信。
他写道,在济州off-site确认的不是趋势,而是一次逆转。「过去,制作是最难的,评估是后面的事,分发可以靠资本推动。现在,制作变成了最容易的环节,评估被推到了最前端,分发与信任的积累变成了最难的事。」整条价值链翻转了。黑客松里获胜的不是技术最精湛的队伍,而是把价值传递到用户手中的路径设计得最短的队伍。「做出来了」是微弱的信号,「卖出去了」才是压倒性的信号。
这种逆转也撼动了个人的成长路径。过去,初级员工在前辈指导下反复犯错,在这个过程中积累隐性知识,这条师徒制管道是存在的。人工智能取代了初级员工的工作,这条管道正在断裂。依赖漂亮的成品,人类亲自解决问题时获得的感觉,那种无法还原为数据的经验之知就消失了。金瑞俊透露自己采用了一种层级化记忆架构(hierarchical memory architecture)。通俗地说就是冰箱门上的便签和保险柜里的遗嘱不放在同一格。有些想法今天经过就好,有些想法要放久了才出香味。不是存储信息,而是让判断发酵的方式。
他在这里点出的最危险的时刻令人印象深刻:「把一个平均水平的、整理得很好的答案当成自己的想法时。」当你把一句舒服的话认定为自己的话,你的偏差就以最安静的方式消失了。人人认同的句子往往是人人早已想到的句子,人人看好的交易往往早已是均值。有趣的想象和妄想的区别在于,两者都偏离平均值,但一个能返回世界,另一个困在自己里面。技术正在以前所未有的力度增强个人,但这个个人想要存活下来,反而需要更精密的集体结构,这是悖论。生产成本越低,选择成本越高;拥有评估结构的人才占优;而维持评估结构又需要更精密的网络。这个悖论已经开始了。
4. AI心理健康咨询与痛苦的所有权问题
布朗大学研究团队用18个月时间评估大型语言模型的心理咨询行为,结果于2025年10月在马德里召开的AAAI/ACM学术会议上发表。结论令人不安。研究团队请持证心理学家审查了聊天机器人的咨询记录,发现了涵盖五个类别的15种伦理违规。无视来访者的生活语境而推荐千篇一律的干预;主导对话的同时反而强化了来访者的错误信念;具备共情外表但缺乏实际理解的回应;在危机情境中的不当处理。项目负责人、布朗大学的Zainab Iftikhar指出了核心差异:人类咨询师有执照委员会,不当治疗可以追究法律责任;人工智能咨询师目前没有这样的监管体系。
在金瑞俊的「30道裂缝」备忘录中,这个主题是第22项:「轻度抑郁和焦虑的初诊由代理人处理。等待时间从数天变为数秒。当敞开心扉与接受治疗之间的边界模糊时,做出判断的不是患者,而是算法。」四个人工智能模型各自给出的三年内实现概率是35%。比数字本身更让人在意的是他附加的分析:敞开心扉这一行为与接受治疗这一行为之间的界限正在溶解。凌晨三点,某人被焦虑折磨,向聊天机器人倾吐内心。这个行为到底是向朋友诉苦、是在接受医疗咨询、还是在自愿提供数据?三者已无法区分。
这种区分的缺失引向痛苦的所有权问题。人的抑郁和焦虑成为算法的学习材料再返回来时,那份情感属于谁?Facebook 2017年的内部文件显示,平台能够捕捉用户感到挫败或觉得自己是失败者的瞬间,然后投放与情绪状态匹配的广告。技术变了,结构没变。人们向人工智能心理咨询机器人倾泻的恐惧和羞耻,变成了平台分析和改进所用的数据。痛苦转化为行为修正的原料,人类的情感无法再作为纯粹的内在领域而存在。
2025年2月发表在JMIR Mental Health上的范围综述(scoping review)系统梳理了对话式人工智能在心理健康照护中的伦理挑战。数据安全与隐私、透明度、可解释性、法律责任、获取的公平性、疗效标准、算法偏见。问题清单很长,解决的速度很慢。2025年发表在Hastings Center Report上的论文引用了学者们的坦言:「回答人工智能应该在多大程度上引入心理健康照护,这个问题本身就无法回答。」因为关于潜在收益和潜在危害的信息都不充分。即便如此,论文作者仍然写道,监管不能无视现实的实际需求。人们已经在应用商店下载心理咨询机器人了;数字自我治疗(digital self-medication)这个市场比监管先站住了脚。这是必须承认的现实。
效率并不等于照护的质量,这一点不会改变。人类咨询师的共情不是挑选恰当词句递过去的能力,而是承受对方的沉默、在无解的情境中陪伴、让对方看到即使痛苦未被解决它依然可以有意义的能力。人工智能把痛苦归类为需要修复的错误,人类通过接纳痛苦作为生活的一部分而成长。这种差距不是技术的精细化能弥合的。布朗大学研究团队并没有主张人工智能不应在心理健康领域扮演角色,他们的结论是:需要审慎的实现方式、适当的监管和监督。痛苦被数据化并移交企业手中的速度,与规范这些数据的体系建立的速度之间存在落差。在这个落差中,「个人最私密的情感归谁所有」这个问题恐怕还要很久才能得到答案。
5. 人类不完美性的价值再发现
金瑞俊在反思复制体时发现了一件事:自己的代理人复制体是一个彻底编辑过的模范生。因为睡眠不足而恍惚的自己、被情绪左右的自己、不知道答案而磕磕绊绊的自己,从来不在学习材料里。他这样表达:「人类复制的第一步不是复印,而是压缩。把一个人的习惯、判断、节奏全部保留着缩进一个小文件里。问题在于,压缩在提供便利的同时消除了噪声。而人性的相当大一部分,恰恰存在于那些噪声之中。」
这个洞察或许是解释人工智能时代人类不完美性为何具有价值的最精确框架。人工智能去除噪声,只留信号,输出光滑而一致。然而人类判断中被称为噪声的那些东西:随心情波动的感受力、受前一天经历影响的解读、说着说着突然转向的直觉,一旦消失,人就接近了一台数据处理装置。法官会动摇,前一天发生了什么会影响判决。但判决书不会动摇。simon.md就是金瑞俊的判决书。领导者作为冰冷的模式存在时比作为有血有肉的人存在时更可靠,这个悖论就此产生。
人工智能越是无限量地输出完美而廉价的成品,人类亲手捏出的不完美之物的地位就越不一样。去米其林餐厅不只是为了填饱肚子。主厨走到餐桌前讲述食材的来源和烹饪过程,人们购买的是那个不完美的人类倾注的心血和时间的价值。金瑞俊「30道裂缝」第10项把这命名为「人类劳动的奢侈品化」。当人工智能承担绝大多数生产工作后,「这是人类亲手做的」这个事实本身就变成了溢价。四个人工智能模型给出的三年内实现概率为75%。
金瑞俊在自己的写作系统中最警惕的时刻也处于同一脉络:「把一句舒服的话认定为自己的话时,我的偏差就以最安静的方式消失了。」所以他刻意去看让自己不舒服的方向。太自然地显得好的东西,多怀疑一次。写出来的文字,三分之二以上扔掉或搁置。只收集好的例子还不够,丢弃的例子也要一起收集。无趣的初稿、老套的比喻、看起来有吸引力但结构薄弱的想法。把失败的判断的公墓管理好,好的判断才会生出来,这是他的经验。他对写作代理人Sion的期待也正是如此:推一把,让想法不要太快被驯化成平均值;同时检查一下,是否已经滑得太远、失去了与世界的连接。一个系统性的编辑者。
面对适度的困难并克服它、抵达熟练的境界,这种体验是人工智能无法替代的领域。把所有苦活都丢给代理人,虽然带来眼前的便利,长远看却从生活中剥夺了意义。「替我做这件事」不如「帮我学会这件事」,后者更难,也更重要。因为学习过程中经历的失败与试错,是机器不可能拥有的、只属于人类的资产。
借用金瑞俊的最后一个问题来结束这一章:「当所有人都拥有了相似的引擎之后,我到底有什么是绝不交给平均值的?」每个人的答案不同。但有一点清楚:真正危险的转折点不是工具越来越像主人,而是主人越来越像工具。不安于技术带来的舒适,肯定不完美,持续发问。如果这是人工智能时代我们必须守住的东西,那么它的起点或许不是什么宏大的宣言,而是今晚再多扔掉一篇初稿这样的小小实践。
