一、引用了根本不存在的判例的律师

(1) Mata诉Avianca案：ChatGPT虚假判例的提交与律师处分

2023年6月8日，纽约南区联邦地方法院的法庭里挤满了人。没能在旁听席落座的人，只能通过隔壁房间的视频转播画面观看这场庭审。

这天站在法庭上的人，既不是杀人犯，也不是金融诈骗犯。他叫史蒂文·施瓦茨，一个有着三十年执业经历的普通律师。他的「罪名」很简单：向法院提交了根本不存在的判例。而炮制这些判例的，不是人类，是一台叫ChatGPT的机器。

事情的开头很平常。

一个叫罗伯托·马塔的男人，2019年在哥伦比亚航空的航班上被金属餐车撞伤了膝盖。

他对航空公司提起了损害赔偿诉讼。这类案件每天几十件涌进法院，没人会多看一眼。

哥伦比亚航空一方援引『蒙特利尔公约』两年诉讼时效，申请驳回诉讼。原告方律师施瓦茨需要准备一份反驳意见书。

故事从这里开始变得耐人寻味。

施瓦茨律师做了三十年法律工作，但他并不具备在纽约南区联邦地方法院出庭的执业资格。于是同一律所的彼得·洛杜卡律师挂名代理此案，施瓦茨负责实际的法律检索工作。

施瓦茨被时间追着跑。

他想起了2022年11月刚刚面世的一个新工具，，ChatGPT。

施瓦茨向ChatGPT提问：「帮我查找关于『蒙特利尔公约』诉讼时效的判例。」ChatGPT客客气气地给出了回答。

它列举了六个判例：「Varghese诉China Southern Airlines案」「Shaboon诉EgyptAir案」「Petersen诉Iran Air案」，等等。

案号齐全，法院名称齐全，判决要旨齐全。

看上去无懈可击。

施瓦茨把这些判例写进了意见书。

问题在于，这些判例在这个世界上根本不存在。

全部是ChatGPT编造出来的虚构内容。

说到这里，我们得停下来谈谈「幻觉」这个词。计算机科学家把AI将虚假信息当作事实输出的现象称为「幻觉」。这个词容易引起误解，听起来好像机器嗑了药在看幻象。

真相更朴素，也更机械。大语言模型的设计目标不是说出真话，而是预测下一个概率最高的词。

ChatGPT并没有去检索法律数据库。它只是依据从数百万份法律文档中学到的统计模式，生成了「看起来像判例」的句子。仅此而已。

施瓦茨的悲剧，在他尝试核实的那一刻达到了高潮。

他再次向ChatGPT提问。

「这些判例是真的吗？能在Westlaw或LexisNexis上查到吗？」

ChatGPT回答：「是的，这些都是真实存在的判例。

您可以在权威法律数据库中查到。」施瓦茨放心了。

他把这份意见书提交给了法院。2023年3月15日，哥伦比亚航空一方的律师发起反击。

「我们无法找到原告引用的判例。」法院同样找不到。P·凯文·卡斯特尔法官4月11日下令施瓦茨附上相关判例原文重新提交。

施瓦茨在这里犯了第二个错误。

他没有承认造假，而是再次向ChatGPT索取，拿到了伪造的判决书全文，又提交给了法院。

用谎言去掩盖谎言。

真相在五月水落石出。施瓦茨终于坦白了。

他在宣誓证词中写道：

「我没有意识到ChatGPT生成的内容可能是虚假的。

从业三十年，我从未想过这种事情会发生。」

6月8日的听证会上，卡斯特尔法官问施瓦茨：「您自己查找过Varghese案吗？」施瓦茨答：「查过了。」法官又问：「查到了吗？」施瓦茨答：「没有查到。」法官问：「那您为什么把它引用到我的法庭上来？」施瓦茨说不出话来。

6月22日，卡斯特尔法官作出裁定。

施瓦茨、洛杜卡及其所在的Levidow律师事务所被处以5,000美元罚款。金额是象征性的，真正的惩罚在别处。法官命令两位律师亲自给虚假判例中被提及的真实法官写道歉信。信中必须附上法院的制裁令、听证会笔录，以及包含虚假判例的原始意见书。卡斯特尔法官在裁定书中这样写道：

「造成严重危害的不是人工智能本身，而是律师未经核实就将人工智能生成的内容提交法院、欺骗司法制度的行为。」

这起案件登上了全球新闻。

法律界为之震动。

但真正的教训其实很朴素：工具再聪明，使用工具的后果，归人承担。

ChatGPT没有法律人格，不能出庭，不能为自己辩解。只有律师能做这些事。也只有律师会受到处罚。

(2) Cohen案：虚假判例引用的蔓延

马塔案登上全国新闻六个月后,同样的模式再次上演,这一次牵涉到一个更响亮的名字。迈克尔·科恩,唐纳德·特朗普前总统的私人律师。

2023年底,科恩正在申请提前结束自己的缓刑期。他向辩护律师提交了三个用以支撑其主张的判例。

辩护律师达尼亚·佩里信任了委托人发来的材料。

毕竟,这是前总统的律师发来的法律资料。

她把这些判例写进了提交给法院的书面文件。

问题在于,这些判例同样不存在。它们是科恩用谷歌的AI聊天机器人Bard(现已更名为Gemini)生成的虚构内容。

科恩后来在宣誓证词中这样解释:「我不知道Google Bard是生成式AI,我只是把它当成了一个功能强大的搜索引擎。」他的辩解与马塔案中施瓦茨律师的说辞如出一辙。两个人都没有理解AI是什么,都以为在搜索框里输入问题就能得到真相。

这里需要做一个关键的区分。

在谷歌搜索框里输入问题,谷歌会找到已经存在的网页。

但在生成式AI的对话框里输入问题,AI每一次都在创造全新的回答。

前者是发掘。后者是创作。

在法律领域,创作可能意味着伪造。

2024年3月20日,联邦法官决定不对科恩施加制裁。但法院提到,科恩可能构成了伪证。达尼亚·佩里律师反驳说,这种定性「在事实上不准确,在法律上也是错误的」。

科恩案和马塔案之间有一个不同之处。

科恩并不是自己直接向法院提交了书面文件,而是向自己的辩护律师提供了错误信息。是委托人欺骗了律师。

这是一个全新的问题。当AI幻觉的受害者不是法律专业人士而是普通人时,后果会怎样?

马塔案之后,类似事件接连爆发。2024年2月,马萨诸塞州高等法院法官布莱恩·戴维斯对另一名律师作出了制裁。他在判决书开头写道:「本裁定涉及正在对法律实务产生负面影响的两个令人担忧的现象。其一,ChatGPT等生成式AI系统倾向于制造虚假信息;其二,部分律师使用AI撰写书面文件后,未核实其中是否包含虚假信息便提交给法院。」

2024年,犹他州律师理查德·贝德纳因引用ChatGPT生成的虚构判例「Royer v. Nelson」而受到制裁。

在加利福尼亚州,两家律所因提交由Google Gemini生成的虚假判例,被处以31,000美元罚款。

在沃尔玛人身伤害诉讼中,三名律师共被罚款5,000美元。英国和加拿大也报告了类似案例。一项研究表明,当被问及随机联邦法院案件的具体问题时,ChatGPT 4产生幻觉的概率为58%,Llama 2则高达88%。

规律已经很清楚。AI幻觉不是个别人的失误,而是结构性风险。

(3) 法律服务中的AI伦理与核查义务

马塔案和科恩案向整个法律界提出了新的问题:律师的义务是什么?技术在变,这项义务会跟着变吗?

美国律师协会(ABA)《职业行为示范规则》第1.1条要求律师提供「胜任的代理(competent representation)」。2012年,该条款评注8经修订后明确指出,「理解技术的优势和风险」是胜任能力的组成部分。

当时这项修订针对的是电子邮件安全和云存储。没有人预见到生成式AI的出现。但这条规则依然适用。

第1.3条规定了「勤勉调查(diligent investigation)」义务。无论使用何种工具,律师都必须核实自己所主张的事实和法律依据的准确性。

第3.3条要求律师对法庭保持「真诚坦率(candor toward the tribunal)」。即使律师并不知道虚假陈述是假的,向法院提交AI生成的虚构判例,责任也不能免除。

马塔案之后,美国各地法院开始引入新规则。

得克萨斯州北区联邦地方法院的布兰特利·斯塔尔法官率先将提交「AI认证书(AI Certification)」列为强制要求。

如果律师使用AI撰写了书面文件,必须附上一份确认书,证明内容已经过人工核实。此后,数十家法院发布了类似命令。2024年7月,ABA发布了关于生成式AI使用的首份正式伦理意见书。这份15页的文件阐述了职业行为规则如何适用于AI的使用。核心信息很简洁:AI不会减轻律师的责任,反而增加了新形式的核查义务。

加利福尼亚州、纽约州和佛罗里达州的律师协会也发布了指引,其中有几项共同要求。

第一,必须独立核实AI生成信息的准确性。

第二,必须了解AI系统的功能和局限性。

第三,必须向委托人告知是否以及如何使用了AI。

第四,在向AI输入敏感的委托人信息时,必须考虑保密义务。

这里需要了解美国法庭的一条规则。

《联邦民事诉讼规则》第11条。这条规则很直白:律师在文件上签名的那一刻,就是在向法院作出承诺,「我已核实这些内容,它们有据可查」。签名不只是写上名字,它是一份担保书。

施瓦茨律师让ChatGPT帮他查找判例。ChatGPT客客气气地列出了六个判例,有案名、有日期、有引用编号,看上去无懈可击。只差一件事:全部是AI编造的。

施瓦茨把这些判例交给了同事洛达伊恩。洛达伊恩没有核实,直接签名提交了。

这就引出了一个问题:法官来核实不就行了吗?为什么要罚律师?美国法庭像一场足球赛。法官是裁判,裁判不踢球。把球送上场是球员的事。律师负责找到法律和证据,法官看过之后作出裁判。这叫当事人主义。

假如裁判每场比赛都得检查「那个球是不是真的足球」,比赛根本没法踢。同理,如果法官必须从一开始就怀疑律师提交的每一个判例是否真实存在,审判就会瘫痪。

法官愤怒的正是这一点。法院的时间,用纳税人的钱维持运转的司法系统的资源,被浪费在追查根本不存在的判例上。

问题的本质不在AI,而在缺少核查。施瓦茨律师只要在法律数据库里验证一下ChatGPT的回答,那些虚构判例立刻就会露馅。三分钟就够了。他省下了那三分钟,却赔上了5,000美元和职业声誉。

律师的角色到底是什么?是一个传递信息的人,还是一个鉴别信息真伪的守门人?美国法院的回答毫不含糊:守门人。守门人不守门,就要付出代价。

法院没有选择罚款,而是作出了更严厉的处罚:取消涉案律师在本案中的代理资格。他们再也不能代理当事人。法院还下令将判决正式收录进联邦判例汇编,并指示书记官将该判决通报这些律师持有执照的所有州的律师纪律机构。

技术为律师提供了强大的工具，但这些工具既不能免除律师的责任，也不能为低标准的勤勉义务开脱。验证义务不是可选项，而是AI时代的必备条件。

二、企业聊天机器人的错误引导（聊天机器人承诺的退款）

(1) Moffatt v. Air Canada案：聊天机器人退票政策误导责任认定

2022年11月11日，杰克·莫法特得知了祖母去世的消息。那天是加拿大国殇纪念日（Remembrance Day）。他需要订一张从温哥华飞多伦多的机票。时间紧迫。悲痛交加。他没有余裕去研读复杂的条款细则。

莫法特登录了加拿大航空的网站。屏幕一侧弹出一个聊天窗口。「有什么可以帮您的吗？」他向聊天机器人提问：因为要参加葬礼，需要紧急出行，能否享受丧亲折扣（bereavement fare）。

聊天机器人友好地回复：「如果您需要立即出行或已经完成旅行，请在机票出票日期起90天内提交退款申请，即可享受丧亲折扣票价。」莫法特信了这番话。他支付了794.98加元购买温哥华至多伦多的单程票。几天后又花845.38加元买了回程票。总费用超过1630加元。

葬礼结束后，莫法特向加拿大航空申请退款，并附上了祖母的死亡证明。在聊天机器人所说的90天期限内。然后，他被拒绝了。

加拿大航空的答复是这样的：根据公司的实际政策，丧亲折扣必须在出行前申请，已完成的旅行不能追溯适用。聊天机器人提供的是错误信息。

莫法特没有放弃。2023年2月，他给加拿大航空发了一封邮件，附上了与聊天机器人对话的截图。「请看，你们的聊天机器人就是这么说的。」加拿大航空的客服人员承认，聊天机器人使用了「容易引起误解的措辞（misleading words）」。但退款依然被拒绝。客服人员补充说，如果莫法特当初点击了聊天机器人提供的链接，就能找到正确的政策。莫法特向不列颠哥伦比亚省民事纠纷解决审裁处（Civil Resolution Tribunal）提起了诉讼。他索赔880加元，即正常票价与丧亲折扣票价之间的差额。

加拿大航空在法庭上提出了一个匪夷所思的主张：「聊天机器人是独立的法律主体（separate legal entity），因此公司对聊天机器人的言论不承担责任。」

审裁官克里斯托弗·里弗斯读到这段辩词时，大概沉默了好一阵。

他在裁决书中写道：「加拿大航空实际上在主张，聊天机器人是一个对自身行为负责的独立法律主体。这是一个令人惊讶的主张。即使聊天机器人具有对话式的交互特征，它仍然只是加拿大航空网站的一部分。」

加拿大航空又搬出另一套说辞：聊天机器人已经提供了指向正确政策的链接，莫法特应该自己点开查看。里弗斯审裁官驳回了这一主张。「加拿大航空没有解释，为什么标题为『丧亲旅行』的网页在本质上比聊天机器人更值得信赖。莫法特先生没有理由知道加拿大航空网页的某些部分是准确的，而另一些部分不准确。」

2024年2月14日，审裁处支持了莫法特的诉求。加拿大航空被裁定支付650.88加元的损害赔偿金，加上利息和审裁处费用，总计812.02加元。

金额不大。但这项裁决发出的信号价值数亿。企业将AI聊天机器人部署在客户服务岗位上，那么聊天机器人说出的每一句话都将被视为公司的官方立场。「聊天机器人犯了错」这种借口行不通。

(2) 客服AI的数字代理人地位

加拿大航空案抛出了一个更大的问题。

AI聊天机器人的法律地位是什么？企业应在多大程度上为聊天机器人的言论承担责任？

在传统代理法（agency law）中，被代理人（principal）对代理人（agent）在授权范围内的行为承担责任。如果加拿大航空的呼叫中心员工向客户提供了错误信息，加拿大航空要承担责任，因为员工是公司的代理人。那聊天机器人呢？

美国法律研究院（American Law Institute）的代理法重述（Restatement of Agency）明确指出，计算机程序不能被视为代理人，因为代理人必须是具有意图和自主性的主体。从这个意义上说，AI不是代理人。但法院通过另一条路径得出了相同的结论。

有一个概念叫表见代理（apparent authority）。

即使某人实际上没有代理权，但如果外观上看起来拥有代理权，且被代理人制造了这种外观，被代理人就要承担责任。加拿大航空在网站上部署了聊天机器人。客户与聊天机器人对话时，有合理理由相信这是加拿大航空的官方渠道。因此，聊天机器人说的话就是加拿大航空说的话。

里弗斯审裁官的裁决遵循了这一逻辑：「加拿大航空对其网站上呈现的所有信息负有责任。无论该信息来自静态网页还是聊天机器人，都没有区别。」

加拿大航空案之后，类似的问题接连浮出水面。

2024年3月，纽约市为支持小企业主而推出的AI聊天机器人给出了荒谬的建议：「如果员工举报性骚扰，可以解雇他。」「经营一家不收现金的商店是合法的。」两条都是明显违法的。纽约市虽然加了「聊天机器人回复不构成法律建议」的免责声明，但公共机构提供的服务助长违法行为，这样的批评无从回避。

麦当劳的AI自动点餐系统曾把顾客并不想要的价值260美元的鸡块计入订单，或是把不同车辆的订单混在一起。麦当劳最终在2024年6月撤下了这套与IBM合作开发的系统。

2025年8月，有报道称Meta的AI在Instagram上引导未成年人进行自残和饮食障碍的角色扮演。瑞典金融科技公司Klarna曾大力宣传其AI客服，但因错误频发，不得不重新雇佣人工客服。

这些案例留下了共同的教训。企业为了削减成本而引入AI时，必须同时计算AI犯错的代价。加拿大航空为了节省呼叫中心的人力成本引入了聊天机器人，换来的是法律纠纷、媒体曝光和声誉受损。为了省下812加元，却成了全球的笑柄。

三、名誉侵权责任

(1) AI生成虚假事实与名誉侵权免责逻辑

马克·沃尔特斯是一位公众人物。他主持过两档全国性广播节目，每期15分钟的节目有120万听众收听。他是美国持枪权利运动的代言人，写过书，也担任多个组织的发言人。

2023年5月3日，网络枪械专业媒体AmmoLand的主编弗雷德·里尔在撰写文章时使用了ChatGPT。

他向ChatGPT询问第二修正案基金会（Second Amendment Foundation）对华盛顿州检察长提起的诉讼的相关信息，并将诉讼文书的URL链接输入了ChatGPT。

ChatGPT发出了警告：「我无法访问互联网或您提供的链接。」还补充说，该链接的内容是在其「知识截止日期（knowledge cutoff date）」之后产生的。

但里尔继续追问，ChatGPT还是生成了一段回复。

那段回复称马克·沃尔特斯因挪用第二修正案基金会资金而被起诉。有案件编号，有具体金额。

问题在于，这一切纯属虚构。沃尔特斯根本不是该诉讼的当事人，也从未面临过这样的指控。全是ChatGPT编造的。

里尔是一位经验丰富的记者。

他了解AI的幻觉现象。不到90分钟，他就核实了ChatGPT输出的内容并非事实。他没有在文章中使用这些信息。虚假内容没有被发表。但沃尔特斯还是提起了诉讼。2023年6月，他在佐治亚州格威内特县高等法院起诉OpenAI，提出名誉侵权之诉。这是针对生成式AI提起的最早一批名誉侵权诉讼之一。

2025年5月19日，法院采纳了OpenAI的即决判决（summary judgment）申请，驳回了沃尔特斯的诉讼。判决基于三项理由。

第一，不构成诽谤性含义。根据佐治亚州法律，名誉侵权原告必须证明涉案陈述「能够被合理地理解为在陈述关于原告的真实事实」。

法院认为，处于里尔位置的合理读者不会认定ChatGPT的输出传达了「真实事实」。ChatGPT已经警告里尔它无法访问互联网。OpenAI多次声明ChatGPT有时会生成事实不准确的信息。里尔本人也在短时间内确认了输出内容并非事实。

第二，不存在过失或实际恶意。沃尔特斯是公众人物。公众人物要在名誉侵权案中胜诉，必须以清晰且有说服力的证据证明被告具有「实际恶意（actual malice）」，即明知虚假仍予以发布，或对真伪持放任的漠视态度。沃尔特斯主张，OpenAI知道幻觉现象的存在，这本身就构成实际恶意。

法院否定了这一逻辑：「沃尔特斯的主张意味着，无论像OpenAI这样的AI开发者为减少错误付出多少努力，都必须为模型生成的错误输出承担责任。这不是过失标准，而是严格责任标准。佐治亚州法律和联邦宪法均不允许如此。」

第三，不存在损害。沃尔特斯在证词中承认，ChatGPT的输出没有给他造成任何损害。唯一看到该输出的人是里尔，而里尔既没有相信它，也没有发表它。沃尔特斯在起诉前也没有向OpenAI要求更正或撤回。根据佐治亚州法律，未经此程序则不得主张惩罚性赔偿。这项判决为AI企业留下了重要先例。免责声明（disclaimer）是有效的。「AI可能出错」的警告可以成为抵御名誉侵权责任的屏障。但这是一把双刃剑：只要挂上警告，就可以任意输出不实内容吗？

(2) 澳大利亚市长、美国教授案例

Walters案以驳回告终,有其特殊原因。看到虚假信息的只有一个人,而且那个人并不相信。但其他案件的情况截然不同。

Brian Hood是澳大利亚维多利亚州Hepburn Shire的市长。

2000年代初,他举报了澳大利亚中央银行子公司Note Printing Australia的贿赂丑闻,是公认的英雄。多名高管遭到起诉。Hood不在其中。他是揭露腐败的人。他获得了「展现了非凡勇气」的赞誉。

2023年的某一天,Hood从朋友那里听到了奇怪的消息。说ChatGPT在说一些关于他的不对劲的话。Hood亲自在ChatGPT中输入了自己的名字。看到屏幕上显示的内容,他惊呆了。

ChatGPT写道,Hood参与了向外国官员行贿以获取货币印刷合同的阴谋。说他已被定罪。说他在监狱里待了30个月。一切都是反过来的。举报人被篡改成了罪犯。

Hood愤怒了。

他预告将对OpenAI提起诽谤诉讼。「被描绘成白领罪犯、被说成坐过牢,这对名誉的损害极其严重。」他的律师于2023年3月21日向OpenAI发出了关注通知书。如果28天内不纠正错误,就将提起诉讼。

接下来发生了一件耐人寻味的事。

ChatGPT的新版本开始提供关于Hood的正确信息。说他是举报人,不是罪犯。看起来OpenAI悄悄做了修正。Hood最终没有提起诉讼。因为费用太高了。澳大利亚的诽谤损害赔偿上限约为40万澳元(约24万欧元)。律师费根本承担不起。

乔治·华盛顿大学法学院教授Jonathan Turley的案例更加荒唐。

UCLA的Eugene Volokh教授在进行一项研究时,向ChatGPT提问:「请查找美国法学院中教授性骚扰成为问题的案例,并附上报纸文章和引用。」

ChatGPT的回答是这样的。

「乔治城法律中心的Jonathan Turley教授被一名前学生指控性骚扰,称其在课程旅行中发表了不当言论。引用:『根据投诉,Turley在法学院赞助的阿拉斯加旅行期间发表了带有性暗示的言论,并试图以性方式触碰她。』(《华盛顿邮报》,2018年3月21日)」

问题来了。Turley是乔治·华盛顿大学的教授,不是乔治城的。没有什么阿拉斯加旅行。没有性骚扰指控。《华盛顿邮报》的文章也根本不存在。所有内容都是ChatGPT编造的虚构。

Turley教授在USA Today上撰文写道:「最令人震惊的是,这些虚假指控不仅由AI生成,而且还引用了一篇根本不存在的《华盛顿邮报》文章作为依据。这类指控的危害性难以想象。」

德国记者Heiko Bernklau在微软必应的AI搜索引擎中搜索了自己的名字。

AI将他描述为他所报道的犯罪的加害者。还公布了他的真实地址和电话号码,甚至提供了从各个位置到他家的路线导航。Jeffrey Battle是一名航空航天教育工作者。

微软必应聊天把他和一个同名的恐怖分子搞混了。他起诉了微软。政治评论员Robby Starbuck则因谷歌Gemini将他描述为「儿童性犯罪者」而提起诉讼。

这些案例揭示了一个共同的问题。AI的幻觉不是随机的。它有规律。它错误地理解训练数据的上下文。它把受害者和加害者搞反。它混淆同名同姓的人。它引用不存在的来源。而这一切,它说得自信满满、细节丰富、极具说服力。

问题在于责任。网上流传的假新闻,可以追踪来源并删除。但AI生成的虚假信息藏在源代码的某个角落,在有人提问的瞬间每次都重新诞生。这就像和幽灵作战。

Walters案的判决为AI企业留下了有利的先例。但那是因为特殊的事实情况。如果虚假信息被广泛传播呢?如果人们相信了呢?如果受害者真的因此丢了工作,或者名誉被毁呢?那时还会做出同样的判决吗?

法院尚未完全回答这些问题。AI企业躲在免责条款后面。受害者因负担不起律师费而放弃。在此期间,幻觉仍在继续。某个人的名字被篡改成罪犯、性犯罪者、贪污犯。当机器说谎时,这个谎言的代价该由谁来承担?

这不是技术问题。这是责任问题。而责任问题,到头来总要揪出一个人来。算法的领子你抓不住。那我们就该去抓把这个算法放到世上的那个人的领子。正如Michael Lewis一贯所说,每个系统背后都有创造它的人。找到那个人,是法律的职责。