[AI书房] 第9章 深度伪造与合成媒体犯罪
人工智能AI走上法庭
第三部 数字世界里被盗走的脸与声音
第9章 深度伪造与合成媒体犯罪
金京镇律师
一、吞噬泰勒·斯威夫特的假视频
2024年8月15日，旧金山市政厅新闻发布会现场，市检察长戴维·邱走上讲台。他表情凝重。「这次调查把我们带到了互联网最黑暗的角落。一想到那些不得不承受这种侵害的女性和少女们，我就不寒而栗。」
他宣布的是美国首起针对深度伪造色情网站的集体诉讼。案号为People of the State of California v. Sol Ecom, Inc.。被告是16家网站的运营者。仅2024年上半年，这些网站的访问量就超过了2亿次。
这些网站做的事情很直白。
用户上传一张穿着衣服的女性照片，AI就把照片上的衣服「脱掉」。技术上说，就是分析原始图像，再把AI学习过的裸体图像模式合成上去。生成的结果几乎无法与真实照片区分。
其中一个网站的广告语是这样的：「别在约会上浪费时间了。用我们的网站，马上就能看到她的裸照。」
受害者从好莱坞明星到初中生，范围极广。
2024年2月，加利福尼亚州一所中学里，16名八年级女生的AI生成裸照在学生之间传播开来。FBI警告说，利用AI生成色情内容进行敲诈勒索的案件正在急剧增加。
起诉书上列出的被告遍布世界各地。总部设在佛罗里达州的Sol Ecom, Inc.；英国的Itai Tech Ltd.；爱沙尼亚的Defirex OÜ和CodeBionic Labs OÜ；爱沙尼亚居民奥古斯丁·格里比涅茨；还有50名身份不明的「无名氏」。邱检察长的策略是援引加利福尼亚州《不公平竞争法》(Unfair Competition Law)。该法赋予州检察长为保护消费者提起广泛民事诉讼的权力，此前曾被用于起诉阿片类药物制药公司、枪支制造商和化石燃料企业。
2025年3月，检方提交修改后的起诉书，公布了更多被告的身份：理查德·唐、高攀·许，以及运营Undresser.ai和Porngen.art网站的Briver LLC。
第一个结果在2025年5月30日出来了。Briver LLC同意缴纳10万美元民事罚款，并接受永久禁令，永远不得经营未经同意的深度伪造色情网站。截至2025年6月2日，已有10家网站在加利福尼亚州被屏蔽或关闭。
但有些被告进行了反击。伊利诺伊州居民理查德·唐拿出了《通信规范法》第230条作为挡箭牌。他的逻辑是这样的：他的网站不过是第三方算法的「中介」，平台不应为用户上传的内容承担责任。
联邦层面也有了动作。那就是TAKE IT DOWN Act。
这部法案的种子是2023年在得克萨斯州阿莱多播下的。一名高中生用AI将女同学的普通照片篡改成裸照，然后匿名发布在Snapchat上。受害者之一埃利斯顿·贝里后来成为推动立法运动的代表人物。
2024年1月，一件更大的事情爆发了。流行歌手泰勒·斯威夫特的AI生成色情图片在社交媒体上扩散，被删除前已被浏览超过4700万次。公众的愤怒沸腾了。
得克萨斯州共和党参议员特德·克鲁兹和民主党参议员艾米·克洛布彻跨党派联合提出了法案。2025年4月28日，众议院以409票对2票通过，几乎是全票。Meta、TikTok、谷歌、微软在内的100多个组织表示支持。
2025年5月19日，唐纳德·特朗普总统在白宫玫瑰园签署了这项法案。他身旁站着第一夫人梅拉尼娅·特朗普。这是她「做到最好」(Be Best)反网络欺凌运动的延续。埃利斯顿·贝里和另一位受害者弗朗切斯卡·马尼也出席了签字仪式。
TAKE IT DOWN Act的核心有两点。
第一，将未经同意发布亲密图像的「故意行为」定为联邦犯罪。针对成年人最高可判2年监禁，针对未成年人最高可判3年。
第二，要求平台在48小时内履行删除义务。受害者举报后，平台必须在48小时内移除相关内容。违反规定将受到联邦贸易委员会(FTC)的处罚。
批评声也不少。电子前沿基金会(EFF)、民主与技术中心(CDT)、作家协会(Authors Guild)等100多个组织表达了担忧。他们认为法案措辞模糊，可能导致合法内容也被删除。48小时的短时限可能迫使平台在未经核实的情况下直接删除内容。还有人指出，就像DMCA被滥用的先例一样，恶意举报者可能利用这部法律来删除合法内容。
TAKE IT DOWN Act成为美国第一部实质性监管AI生成内容的联邦法律。各平台须在2026年5月19日前建立举报系统。在此期间还会产生多少受害者，谁也说不准。
深度伪造技术在未经受害者同意的情况下「制造」出他们的身体。法律才刚刚开始追赶这项技术。但AI制造的虚假信息并不止于身体图像，还包括能够摧毁一个人名誉的谎言。
二、深度伪造金融诈骗
2024年1月的某一天，香港一家跨国公司的财务人员收到了一封电子邮件。
发件人是英国总部的首席财务官(CFO)。内容涉及一笔「秘密交易」。
这名员工起初有所怀疑。因为看上去像钓鱼邮件。
但随后他收到了一个视频会议邀请。
他登录后，屏幕上出现了几张熟悉的面孔。CFO，还有好几位同事。他们在讨论秘密交易的具体细节。
这名员工放下了戒心。因为都是他认识的人在亲口说话。
他执行了15笔转账，汇入5个香港银行账户。总金额2亿港元，折合约2560万美元。
后来他向英国总部确认时，真相才浮出水面。视频会议上的每一个人都是假的，全部是AI生成的深度伪造。
受害企业是Arup，一家有78年历史的英国建筑设计公司。悉尼歌剧院就出自他们之手。2008年北京奥运会的鸟巢体育场也是他们的作品。这家公司在全球34个办事处拥有18500名员工。
香港警方在2024年2月的新闻发布会上公开了这起案件。高级警司陈纯青说：「在那场多方视频会议中，他看到的每一个人都是假的。」警方当时没有透露企业名称。5月，Arup自行确认了这件事。Arup首席信息官(CIO)罗布·格雷格这样解释：「这不是传统的网络攻击。我们的系统没有被入侵，数据也没有受到影响。」他把这称为「技术增强型社会工程(social engineering)」。
诈骗分子是怎样复制Arup高管的面孔和声音的？
答案就在公开资料里。线上会议和公司活动的视频录像，早已挂在互联网上。把这些视频和音频文件喂给AI进行训练，就能实时生成深度伪造影像。
Arup东亚区主席迈克尔·郭在内部备忘录中发出警告：「这类攻击的频率和精密程度正在全球范围内急剧上升。我们每个人都必须学会识别诈骗分子使用的各种手段。」
Arup案不过是冰山一角。香港警方在同一场发布会上透露，已有6人因深度伪造诈骗被逮捕。2023年7月至9月间，8张被盗的香港身份证被用于90次贷款申请和54次银行开户。AI深度伪造至少20次成功骗过了人脸识别系统。
深度伪造在金融诈骗中的应用正在激增。传统的钓鱼邮件很容易引起怀疑。但如果出现的是熟悉同事的面孔和声音，情况就完全不同了。人类在进化过程中形成了对视觉和听觉信息的信任本能。深度伪造利用的正是这种本能。
针对花旗银行的语音钓鱼案件也有报道。纽约州检察长就此提起了诉讼。FBI警告称，利用AI生成的未经同意亲密图像进行敲诈勒索的案件正在急剧增加。
商业电邮诈骗(Business Email Compromise, BEC)也在进化。过去只是伪造电子邮件地址。现在则用克隆的声音打电话，用深度伪造开视频会议。2024年，广告集团WPP也遭遇了类似的攻击。诈骗分子创建了WhatsApp账号，建立了Microsoft Teams会议，从YouTube上找到高管视频进行编辑，并克隆了他们的声音。所幸一名员工心存疑虑，骗局才没有得逞。
格雷格在接受世界经济论坛采访时说：「这种事情发生的频率远远超出人们的想象。视觉和听觉线索对人类来说至关重要，而这些技术正是在利用这一点。我们真的必须开始质疑自己眼睛看到的东西了。」
Arup表示其财务稳定性和业务运营未受影响。2560万美元对他们来说并非致命打击。但大多数企业不会有这样的运气。
深度伪造技术越精进，传统的身份验证手段就越无力。在视频会议中，你怎么证明「你真的是你」？这个问题不仅仅关乎金融诈骗，它已经延伸到了法庭证据的领域。
三、证据法上的问题
2024年7月，一位名叫克里斯托弗·科尔斯的YouTuber上传了一段视频。他以「Mr. Reagan」为名，专门制作政治讽刺内容。
视频中出现了副总统卡玛拉·哈里斯。用她的声音嘲讽自己参选总统。当然，那是AI生成的伪造语音。
埃隆·马斯克转发了那段视频。播放量超过了一亿次。
2024年9月17日，加利福尼亚州州长加文·纽森签署了AB 2839法案。
正式名称是「选举：广告中的欺骗性媒体」。该法禁止在选举前120天至选举后60天期间传播「实质性欺骗内容」。任何人都可以据此提起损害赔偿的私人诉讼。
法律设有讽刺和戏仿的例外条款。但附带条件：必须标注「本[图像/音频/视频]经过篡改，用于讽刺或戏仿目的」这样的文字说明。在视频全程显示，使用最大字号。
科尔斯第二天就提起了诉讼。被告是州检察长罗布·邦塔和州务卿雪莉·韦伯。
2024年10月2日，联邦东区法院法官约翰·A·门德斯发布了临时禁令。他认定AB 2839违宪。
门德斯法官这样写道：「AB 2839的大部分条款如同铁锤而非手术刀。它妨碍幽默表达，是一件粗钝的工具，违宪地压制了美国民主辩论所必需的自由、不受约束的思想交流。」问题在于宪法第一修正案。美国宪法广泛保护言论自由。基于内容的言论管制必须通过「严格审查（strict scrutiny）」。政府必须证明存在「紧迫利益」，且该管制是「限制最少的手段」。
法院认定AB 2839未能满足这一标准。法院指出，免责声明的要求「淹没了戏仿或讽刺视频试图传达的信息」。这不是一项「精确适配（narrowly tailored）」的管制措施。
法官还认为该法适用范围过于宽泛。「AB 2839合法适用的范围，与本案中这类明显违宪的大量适用情形相比，微不足道。」
第一修正案领域的专家曾敦促纽森州长行使否决权。第一修正案联盟（First Amendment Coalition）法律主管大卫·罗伊说：「如果某些内容确实构成诽谤，现有的完整法律体系和既定法律标准足以证明诽谤主张。政府无权在第一修正案之外创设新的言论类别。」
出问题的不只是AB 2839。同期通过的AB 2655，即「2024年保护民主免受深度伪造欺骗法」，也遭遇了类似命运。该法要求大型在线平台对「实质性欺骗内容」进行屏蔽或标注。埃隆·马斯克的X平台对加利福尼亚州提起了诉讼。门德斯法官于2024年8月5日同样判定该法违宪。
截至2024年，美国已有26个州制定了规制政治深度伪造的法律。大体分为两种路径。明尼苏达州和得克萨斯州禁止在选举前特定时段发布政治深度伪造内容。其余24个州采取披露要求（disclosure）模式。当深度伪造被用作证据时会怎样？加利福尼亚州SB 970要求深度伪造服务提供者发出警告。在Matter of Weber案中，AI运算的可靠性问题影响了证据的可采性。
一个更根本的问题摆在面前：在深度伪造时代，我们如何信任视频证据？如果所有影像都可能经过AI篡改，那么视频在法庭上的证据效力该如何认定？
这个问题同时影响民事诉讼和刑事审判。
检方提交监控录像作为证据时，辩方可以主张「你如何证明这不是深度伪造」。反过来，如果被告提交证明不在场的视频，检方也可以提出同样的质疑。
技术的发展速度远快于法律。制作深度伪造越来越容易，检测深度伪造越来越困难。法律将如何弥合这道裂缝？这个问题把我们引向下一章的议题：生物识别信息与人脸识别监控。