一、算法贷款歧视（同样的信用，不同的利率）

(1) 学生贷款AI歧视集体诉讼

2025年7月10日，马萨诸塞州总检察长安德烈亚·乔伊·坎贝尔走上了新闻发布会的讲台。她手里拿着一份价值250万美元的文件。对手是一家名为Earnest Operations的学生贷款再融资公司。坎贝尔总检察长站在麦克风前说：「Earnest的AI模型不公正地将历史上被边缘化的学生借款人置于风险之中。」

到底发生了什么。

故事要追溯到2014年。Earnest是一家有着典型硅谷创业叙事的公司。创始人们认为传统信用评估已经过时了。

怎么能仅凭FICO评分来判断一个人呢。FICO是Fair Isaac Corporation的缩写，是美国使用范围最广的信用评分系统，用300到850之间的数字来表示。分数越高，信用越好。申请贷款、办理信用卡，甚至签租房合同都要看这个分数。和韩国的信用等级是类似的概念。

他们觉得应该看更多的数据。毕业院校、专业、工作经历。把这些变量交给AI，AI就能更准确地判断谁会按时还款。

问题出在其中一个变量上。叫做「机构贷款违约率（Cohort Default Rate, CDR）」。

这是美国教育部按各大学发布的一个数字，反映该校毕业生联邦学生贷款的违约程度。

Earnest的AI看到了这个数字，做了一个直白的推算：你毕业学校的CDR高，那你不还钱的概率也高。所以你的利率要上调，甚至直接拒贷。乍一看好像挺合理。毕业生还款记录差的学校出来的人，谨慎一点不是应该的吗。

但检察机关看到的是另一面。美国有一类学校叫历史性黑人大学（HBCU），比如霍华德大学、斯佩尔曼学院。这些学校的学生以非裔美国人为主。而这些学校的CDR往往高于平均水平。原因是什么呢。是这些学生的家庭世代以来并不富裕。学生贷款还得慢，不是个人信用的问题，而是几代人积累下来的经济不平等的结果。

Earnest的AI不懂这些背景。AI只看模式。

这个学校的毕业生还钱慢，所以要扣这个人的分。可「这个人」可能是霍华德大学的优秀毕业生，在谷歌工作的年轻黑人。信用评分可能无可挑剔。年薪可能有15万美元。但AI照样扣他的分。因为他学校的前辈们还款记录不好。

法律上把这种情况叫做「差别性影响（Disparate Impact）」。说白了就是：你没打算歧视黑人，但你的系统运行的结果对黑人不利，那就是违法。

大学CDR不是种族变量，但和种族紧密关联。法律界把这叫做「代理变量（Proxy Variable）」，，不直接问种族，却能绕道推断出种族的捷径。

Earnest还有另一个问题。叫做「淘汰规则（Knockout Rule）」。非公民申请人如果没有绿卡，AI会在审核初期阶段自动拒绝。一个拿着工作签证的印度裔工程师，年薪20万美元，仅仅因为没有绿卡就被拒之门外。

检察机关认定这构成了基于国籍来源的歧视。

条件很严格。Earnest必须立即停止使用CDR变量。废除基于移民身份的自动拒绝规则。对所有AI模型进行强制公平性测试。建立书面化的企业治理体系，定期向检察机关报告合规情况。

Earnest否认了指控。公司方面声称没有违反法律，只是「为了避免旷日持久的诉讼」才同意和解。这是美国企业在公布罚款和解时的标准措辞，，不认错，但掏钱。

这个案件重要的原因在别处。联邦政府在AI歧视监管上后退了一步，州政府开始填补这个空缺。特朗普政府重新执政后，消费者金融保护局（CFPB）的执法力度放缓了。联邦贸易委员会（FTC）对算法歧视的监管也松懈了。马萨诸塞州、加利福尼亚州、俄勒冈州、新泽西州的州检察长们趁势切入了这片空白。

坎贝尔总检察长在发布会结尾说：「无论技术如何发展，它都不能成为绕开公民权利和消费者保护的借口。」

这句话是对整个金融科技行业的警告。

(2) UC Berkeley/Urban Institute 研究结果

2018年，UC伯克利哈斯商学院的实验室里弥漫着一种异样的紧张气氛。

金融学教授阿代尔·莫尔斯（Adair Morse）和法学教授罗伯特·巴特利特（Robert Bartlett）盯着屏幕，他们正在分析数百万笔住房抵押贷款数据。

研究最初的目的是为金融科技说好话。他们预期算法已经消除了人类银行职员的偏见，，面对黑人客户时下意识产生歧视的那个老毛病，应该被冷冰冰的数学解决了才对。

数据呈现的结果恰恰相反。

研究团队分析了2008年至2015年的住房抵押贷款数据。

结果发现，基于算法的金融科技贷款机构向黑人和拉丁裔借款人收取的利率，比白人借款人平均高出7.9个基点（0.079个百分点）。

0.079个百分点。听起来是个小数字。但把它乘以美国整个贷款市场的规模，故事就不一样了。按研究团队的计算，少数族裔借款人每年因为这个利率差额多付了大约7.65亿美元。

莫尔斯教授说：「贷款歧视的方式已经从人类偏见转移到了算法偏见。」这话里带着苦涩。「即使编写算法的人怀着建立公平系统的初衷，他们写出来的程序仍然在对少数族裔借款人产生歧视性影响。」

这怎么可能呢。算法不看种族，至少不直接看。美国法律禁止在贷款审核中把种族当作变量。但算法看了除种族之外的一切。居住地邮编、消费模式、银行账户转账习惯、用什么牌子的手机。这些变量和种族有很高的相关性。研究团队把这称为「算法性策略定价（Algorithmic Strategic Pricing）」。

金融科技公司的AI会预测谁会货比三家。有些客户会比较多家银行的利率，找最划算的条件。对这类客户必须给出有竞争力的利率，不然人家就去别的银行了。

反过来，有些客户大概率不会货比三家。住在金融服务匮乏地区的人、互联网使用受限的人、忙得没时间跑多家银行的人。对这类客户，利率稍微高一点也没关系，反正他们不会去别处比较。

问题在于这些特征和种族重合了。金融服务匮乏的地区，历史上多是有色人种聚居的社区。没时间比较多家银行的人，往往是低收入劳动者。算法没有问种族，但它绕道探知了种族。

研究团队还有一个有意思的发现。算法也有比人类强的地方。在贷款批准或拒绝的决定上，算法比人类审核员的歧视程度更低。

因为是黑人或拉丁裔就被直接拒贷的比例下降了。但拿到贷款之后被收取的利率上，歧视反而加剧了。

这是一个微妙的区别。给你开门，和进门之后怎么对你，是两回事。

Urban Institute在2024年的分析给出了更触目惊心的数字。在基于AI的贷款模型中，黑人和有色人种申请者被拒贷的概率是白人申请者的两倍以上。这个差距无法用信用记录的差异来解释。这些研究被2024年8月CFPB的指导意见直接引用。消费者金融保护局明确表示：「新技术不能成为联邦消费者金融保护法的例外。」使用AI这一事实本身，并不能免除对歧视性影响的法律责任。

金融行业感到困惑。他们真心相信AI会消除偏见。冷冰冰的数学里哪有种族歧视的空间呢。但数学所学习的数据本身就是被污染的。过去50年里，人类银行职员不太愿意给黑人放贷。因此数据上黑人的信用记录要么不足，要么不好。AI看着这些数据学习，得出结论：黑人（或者和黑人有相似模式的人）是高风险的。

算法成了一面镜子，把过去的偏见用数学加以合理化，再投射到未来。

二、Apple/Goldman Sachs案

(1) CFPB 8900万美元罚款

2019年8月20日，苹果与高盛联手推出了「Apple Card」。广告做得很漂亮。钛金属材质的实体卡片，简洁的设计。「最消费者友好的信用卡。」华尔街之王高盛与硅谷标杆苹果联手，所有人都期待一款革命性的金融产品就此诞生。

在这场华丽发布的四天前，2019年8月16日，一份报告被递交到了高盛董事会。标题很简短。

报告的内容是：争议处理系统「尚未完全准备就绪(not fully ready)」。存在技术问题。客户报告支付错误后，受理、调查并退款的系统没有正常运转。

董事会收到了这份报告。四天后，他们强行推进了上线。

为什么？答案就在合作协议里。每当高盛将上线时间推迟90天，苹果就有权收取2500万美元的违约金。

推迟上线意味着赔付数千万美元。高盛算了一笔账：系统不完善导致日后出问题的成本，和眼下必须支付给苹果的违约金，哪个更大？他们选择了上线。

五年后，事实证明那笔账算错了。

2024年10月23日，消费者金融保护局(CFPB)对苹果和高盛处以超过8900万美元的罚款和赔偿金。高盛被罚4500万美元并须向消费者赔偿1980万美元。苹果被罚2500万美元。高盛还面临更致命的制裁：在提交「确保合规的可靠计划」之前，禁止推出任何新信用卡产品。华尔街巨头在信用卡业务上被束缚了手脚。CFPB的调查结果触目惊心。数千起客户争议未能从苹果正确传递至高盛。即便传递过去的争议，高盛也未认真调查。客户等退款等了好几个月。

在此期间，他们的信用报告上留下了「逾期」记录。因为高盛的自动化系统把争议中的交易当作逾期来处理了。明明是支付错误，客户的信用却被毁了。

还有另一个问题。苹果宣传称「购买特定设备时会自动适用免息分期」。但实际上，大量客户被自动注册为普通循环信贷(计息还款)。他们以为是免息才买了iPhone，几个月后收到的账单上却多出了利息。

CFPB局长罗希特·乔普拉(Rohit Chopra)这样说：「苹果和高盛非法逃避了对Apple Card借款人的法律义务。大型科技公司和华尔街大型银行不能表现得好像联邦法律对它们网开一面。」

两家公司没有认错。协议中写着标准措辞：「既不承认也不否认指控。」高盛在声明中表示「一直在努力解决上线后出现的若干技术和运营问题」。苹果则说「强烈不同意CFPB对事实的定性，但同意和解」。

但市场已经下了结论。高盛想退出Apple Card业务，向其他银行提出转让合作关系。没人愿意接手。谁想接这颗炸弹呢。

2026年1月，摩根大通决定收购Apple Card业务。交易规模22亿美元，过渡期预计需要24个月。高盛进军消费金融的实验以超过10亿美元的亏损收场。

(2) Apple Card算法歧视争议

在8900万美元罚款落地的五年前，Apple Card经历过另一场危机。2019年11月，丹麦裔软件开发者大卫·海涅迈尔·汉森(DHH)在推特上发了一条愤怒的帖子。

「Apple Card是一个性别歧视的程序。」

汉森在编程界很有名。他是Web框架Ruby on Rails的创建者，拥有超过35万推特粉丝。他的帖子瞬间传播开来。

他的说法是这样的。

他和妻子杰米联合报税，共享同样的财产。妻子的信用评分比他高。然而Apple Card的算法给他的信用额度比妻子高出20倍。

汉森打了苹果客服电话。「为什么我妻子的额度这么低？」客服答不上来。「这是算法做出的决定。」

几天后，苹果联合创始人史蒂夫·沃兹尼亚克也加入了讨论。「我也遇到了同样的情况。」沃兹尼亚克和妻子共享所有账户，提交同一份报税单。但他获得的额度是妻子的10倍。连苹果的创造者都无法理解苹果自己的算法。

纽约州金融服务局(NYDFS)局长琳达·莱斯韦尔(Linda Lacewell)立即启动调查。她在Medium上发文：「这不仅仅是调查某一个算法的问题。全国消费者应当有信心相信，影响金融服务准入的算法对每一个人都是平等和公正的。」

调查持续到2021年。结果出人意料。「未发现蓄意性别歧视的证据。」高盛的算法根本没有纳入性别变量，因为这在美国法律下是违法的。额度差异似乎源于其他变量，比如收入分配方式和债务记录。

法律上，苹果和高盛获得了免责。但这起事件留下了更深层的问题。

第一个问题是不可解释性。当汉森问「为什么」时，没有人能回答。客服答不了，高盛的信贷负责人答不了，甚至设计算法的工程师也答不了。AI做出了决定，却无法解释为何做出这样的决定。它是一个「黑箱」。

第二个问题是代理歧视(Proxy Discrimination)的可能性。即使没有直接输入性别变量，购物模式或消费习惯等变量也可能充当性别的代理变量。女性的购物模式与男性不同。算法有可能通过这些差异推断出性别。法律上虽未得到证实，疑虑却始终存在。

AI Now Institute在分析这起事件时写道：「在Apple Card争议中，偏见不是漏洞(bug)，而是特性(feature)。」算法歧视不是偶然的错误，而是数据和设计中固有的结构性问题。

这起事件留下的教训很明确。在金融服务中引入AI，就必须能够解释AI为何做出某个决定。「这是算法决定的」这句话，在法庭上、在客户面前、在监管机构面前，都说不通。

苹果与高盛的合作关系在这起事件后开始慢慢瓦解。从性别歧视争议开始，到争议处理失败，最终以8900万美元罚款收尾。曾被称为「世纪联姻」的合作，以离婚收场。

三、定价算法与反垄断法

(1) RealPage案：租金算法共谋

西雅图一位公寓租户在2022年收到了续租通知。月租涨了30%。他气愤地去打听隔壁楼、再隔壁楼的行情。所有公寓的租金都涨了同样的幅度。空房到处都是，价格却一分没降。

「这是串通。」

没错。只不过不是他想象的那种串通。房东们秘密聚在一起商量「把价格涨这么多」的画面并不存在。

他们彼此从未见过面。但他们用的是同一款软件，一个叫RealPage的公司开发的「YieldStar」算法。

YieldStar的运作方式是这样的：房东们将自己的实际签约租金、空置率、合同条款等敏感数据发送到RealPage的服务器。RealPage的AI对这些数据进行综合分析，然后向每位房东推荐「最优租金」。「请按这个价格收租。」

这为什么有问题？在市场经济中，竞争者应当独立定价。A公寓涨价了，B公寓可以降价把租户抢过来。这就是竞争，对租户有利，因为价格会下降。

但如果A和B使用同一个算法，事情就不一样了。算法同时建议两家「涨价」。A涨了，B也涨了。租户无处可逃，因为整个市场的价格都上去了。

还有更精巧的地方。过去的房东怕空房，空房就是损失，所以宁可降价也要找到租户。但RealPage提出了一套新算法：「有一些空房也没关系。只要价格维持在高位，总收入反而更高。」这是一种承受空置、推高价格的策略。

2024年8月，美国司法部(DOJ)和8个州的检察长联合对RealPage提起反垄断诉讼。指控罪名是违反『谢尔曼法』(Sherman Act)第1条(限制交易的共谋)和第2条(垄断化)。

司法部的逻辑是这样的：RealPage是「轮毂(Hub)」，房东们是「辐条(Spoke)」。可以想象一个自行车轮。辐条之间并不直接相连，但都连接在中心轴上。轴一转，辐条跟着转。RealPage这根轴协调价格，房东们的定价也随之联动。他们之间一个电话都没打过，但效果与串通定价无异。

2025年11月24日，司法部与RealPage达成和解。和解条款非常详细。

RealPage不得将竞争对手的非公开数据用于实时定价。

训练AI模型时，只能使用至少12个月以上的历史数据。

地理分析的精度不得细于州一级。

这是为了防止针对特定公寓小区层面的微观共谋。必须移除「自动接受(Auto-accept)」功能，即让房东自动采纳算法推荐价格的功能。

「调速器（Governor）」功能必须做成对称的。

过去的设定对涨价宽容、对降价吝啬，这必须改变。

由法院指定的监察官将在三年内监督合规情况。

和解期限为七年。不过，四年后如果司法部认定「不再需要」，可以提前终止。没有罚款。没有认错。RealPage坚持主张「从未违反法律」，只是表示「为避免旷日持久的诉讼」才同意和解。

司法部反垄断负责人阿比盖尔·斯莱特这样说：「竞争企业必须独立做出定价决定。随着算法和人工智能技术的发展，我们将继续站在强力反垄断执法的前沿。」

和解并没有终结一切。十个州（加利福尼亚、科罗拉多、康涅狄格、伊利诺伊、马萨诸塞、明尼苏达、北卡罗来纳、俄勒冈、田纳西、华盛顿）没有签署这份和解协议。它们在继续各自的诉讼。多起民间集体诉讼也在推进中。

纽约州和加利福尼亚州制定了专门禁止算法租金合谋的法律。纽约的法律于2025年12月15日生效。RealPage以该法侵犯宪法第一修正案（言论自由）为由，向纽约南区联邦法院提起诉讼。战斗仍在继续。

(2) Yardi Systems诉讼：违反《谢尔曼法》

出问题的不只是RealPage。竞争对手Yardi Systems也卷入了类似的诉讼。Yardi的软件「RENTmaximizer」（现已更名为Revenue IQ）与RealPage的运作方式相同：汇集房东的数据，由AI给出定价建议。

2023年，华盛顿西区联邦法院受理了一起集体诉讼。原告主张违反《谢尔曼法》第一条，要求三倍赔偿和禁令救济。

被告方（Yardi及房东们）申请驳回起诉。「我们从未串通。只是用了软件而已。」2024年12月，法院驳回了驳回申请。案件进入证据开示（Discovery）阶段。

这个裁定中法院的逻辑很关键。法院这样认定：「如果竞争者将定价权委托给一个共同的算法，并且明知该算法使用了竞争者的非公开数据仍然参与其中，那么即使没有明示的协议，这也可以构成合谋的证据。」

「明知仍然参与。」这个表述是核心。房东们没有互相打电话。没有互发邮件。没有达成过「一起涨价」的协议。但他们心知肚明：用同一款软件，价格就会趋同；不用竞争就能涨价。然后他们选择了这款软件。

按照法院的逻辑，这构成「默示合意（Implicit Agreement）」。不用开口说出来，行为本身就是合意。

原告方主张这属于《谢尔曼法》中的「当然违法（Per se illegality）」。所谓当然违法，是指某种行为本身危害如此明显，无需审查其对市场的具体影响即可判定违法。价格合谋就是典型的当然违法行为。法院尚未对是否构成当然违法作出终局判断。但案件进入证据开示阶段这件事本身，对被告就是坏消息。证据开示阶段，内部邮件、会议记录、财务数据都将被公开，可能暴露不利证据。

Yardi诉讼的意义超越了RealPage案。酒店定价算法、机票定价算法、网约车定价算法，所有打着「动态定价（Dynamic Pricing）」旗号的AI，都可能以同样的逻辑被送上审判台。如果算法共享竞争对手的数据来协调价格，那就是合谋。

司法部发出了明确的信息：不能用「是算法定的价」来逃避责任。

四、澳大利亚Robodebt丑闻

(1) 自动化的福利金追缴

住在墨尔本一间小公寓里的凯丝，2016年的某天从邮箱里取出一封信。寄信人是政府机构Centrelink。读完内容，她的手在发抖。通知要求她偿还3,000澳元（约合人民币14,000元）。理由是五年前她失业时领取的福利金存在超额支付。

凯丝一头雾水。五年前？什么意思？她试图回忆当时的情况。五年前的工资单早就扔了。政府态度强硬：「不还钱就上信用黑名单。退税也会被扣押。」

凯丝不是唯一的受害者。2016年到2019年间，全澳大利亚约44万人收到了类似的信。这场大规模催债的背后，是一个被称为「Robodebt」的自动化系统。

系统的原理很粗糙，称之为AI都让人难为情。算法从税务局（ATO）调取年度收入数据，然后除以26（双周数），得出「平均双周收入」。再拿这个数字与Centrelink记录中申报的双周收入做比较。有差额？「你隐瞒了收入，骗领了福利金。还钱。」

问题在于，现实中的人不像机器那样匀速运转。有寒暑假才打工的大学生，有一年只干半年活的季节工，自由职业者有活儿才有钱。把这些人的年收入除以26，得出的数字和真实情况完全不符。

举个例子。大学生汤姆暑假三个月打工挣了6,000澳元。其余九个月他在上学，没有工作。Robodebt算法这样算：6,000÷26=231澳元。「汤姆每两周挣231澳元。可是Centrelink的记录显示他九个月收入为零。撒谎！」事实上汤姆没撒谎。他那九个月确实没工作，完全有资格领取福利金。但算法理解不了这种现实。

这套系统最残酷的地方在于「举证责任的倒置」。过去，政府想追回福利金，得自己证明存在骗领行为。经办人员核实记录、给当事人申辩机会、调查之后才下结论。但在Robodebt体系下，算法一旦宣布「你欠债」，就得由公民来证明「我不欠」。

你得找出七年前的工资单。得联系当年的雇主索要记录。公司倒闭了？资料丢了？那是你的问题。证明不了，债务照旧。

澳大利亚政府预计这套系统能节省47.7亿澳元。查出骗领行为，削减公务员人力成本。

他们低估了代价。

(2) 18亿澳元和解与教训

悲剧接踵而至。有人承受不了突如其来的债务催逼，选择了结束生命。确切人数无从得知，但皇家委员会调查确认至少两起自杀与Robodebt直接相关。部分估算认为，因这套系统引发的压力相关死亡人数超过2,000人。

2019年，维多利亚州法院裁定Robodebt的核心计算方法，即「收入平均化」，属于违法。法官措辞果断：「取平均值不能作为证据。」将年收入平除以推算双周收入，没有法律依据。

Gordon Legal律所代表受害者提起集体诉讼。2020年11月，澳大利亚政府认输。双方达成12亿澳元（约合人民币56亿元）的和解，包含退还违法征收的7.46亿澳元、债务减免以及利息。

事情没有到此结束。2023年7月，皇家委员会发布了最终报告。这份超过900页的报告称Robodebt为「粗陋而残忍的机制」。报告写道：「Robodebt既不公正也不合法。它让许多人觉得自己像罪犯。从本质上说，人们仅仅因为可能欠钱这个假设就遭受了创伤。」

皇家委员会建议对包括时任社会服务部长斯科特·莫里森（后来出任总理）在内的高级官员提起刑事诉讼。这些人明知算法违法，仍出于政治目的（宣传预算节省成果）强行推进了系统上线。

Gordon Legal在皇家委员会报告中发现了新证据，足以证明「公职人员职务不法行为（Misfeasance in public office）」。这是一种适用于公务员滥用职权致使公民遭受损害的法律理论。他们提起了新的诉讼。2025年9月，澳大利亚政府第二次接受和解，同意再支付4.75亿澳元（约合人民币22亿元）。司法部长米歇尔·罗兰德说：「以和解方式解决这项索赔是正当且公平的。」

累计和解金额超过24亿澳元。这是澳大利亚历史上规模最大的集体诉讼和解。

Robodebt留下的教训很清晰。

第一，自动化不等于准确。把复杂的人生硬塞进简易公式，必然产生大规模错误。

第二，举证责任至关重要。要求公民去反驳算法的结论，是对正当程序（Due Process）的侵犯。对资源匮乏的弱势群体来说，这是不可能完成的任务。

第三，人类监督（Human-in-the-loop）不可或缺。把关乎生计的决定完全交给自动化，错误会不可控地蔓延。

第四，必须有人承担责任。「系统干的」不是借口。

Robodebt丑闻成为全球公共AI部署的永久反面教材。以效率之名引入的算法攻击了最脆弱的人群，最终的赔偿金额接近政府原本想省下的钱的一半。但真正的代价无法用金钱衡量。失去的生命，破碎的家庭，以及公众对政府和技术的信任。这些，任何和解金都无法挽回。