[AI书房] 第33章 AI误炸由谁负责？
人工智能战斗机，人工智能空军
第七部 算法战争的伦理与法律
第33章 AI误炸由谁负责？
金京镇
1991年2月25日，海湾战争正酣，沙特阿拉伯达兰（Dhahran）基地。一枚伊拉克飞毛腿导弹飞来。爱国者防空系统本该启动拦截，却没有。原因是软件漏洞。系统时钟连续运行超过100小时，误差不断累积，导致无法追踪来袭导弹。后果惨烈，28名美军阵亡。
这起事故，该由谁承担责任？
是制造爱国者系统的雷神（Raytheon）公司？是没发现漏洞的程序员？是连续100多小时未重启系统的操作部队？还是没有及时下发软件更新的国防部？几十年过去了，这个问题至今没有明确答案。
而这还不是自主武器。当时是人类在操控系统。如果自主致命武器系统（LAWS）自行决定攻击平民呢？该向谁追责？
这就是所谓的「责任真空」（Accountability Gap）。
现行国际法是以人的行为和意图为前提设计的。国际刑事法院（ICC）《罗马规约》第25条规定了个人刑事责任，第30条明确犯罪成立需要「故意与明知」。但机器不可能拥有意图，算法无法被关进监狱。
2024年12月，ICC对以色列总理内塔尼亚胡和前国防部长加兰特发出逮捕令。指控中包括蓄意攻击平民的战争罪。以色列在加沙地带大规模使用了AI目标识别系统。这可能成为ICC直接处理与AI相关战争罪行的第一案。
但法律障碍很多。
《罗马规约》第30条的「故意与明知」要件十分严格。2014年卡坦加（Katanga）案中，ICC确认仅凭未必故意（dolus eventualis），即预见有害后果却仍然冒险行事，
不足以追究刑事责任。这在自主武器运用中制造了致命漏洞。当某人说「是AI干的」时，如何证明他的「意图」？
研究者玛尔塔·博（Marta Bo）对此进行了深入分析。她警告说，即便自主武器部署中的非法后果可以预见，只要找不到具有具体意图的可识别行为人，起诉就可能无从进行。法律跟不上技术的脚步。
那么谁该承担责任？
第一个嫌疑人是指挥官。国际法中有「上级责任」（Command Responsibility）原则：指挥官若知道或应当知道下属的犯罪行为却未加阻止，就要承担责任。但将这一原则套用到AI系统上很困难。能说指挥官「应当知道」黑箱算法的每一个判断吗？
第二个嫌疑人是开发者。编写代码的程序员该负责吗？但基于深度学习的AI是黑箱。开发者自己也无法百分之百解释AI为何得出那样的结论。在数百万次仿真中表现完美的系统，可能因为实战中不可预测的变量而失灵。这是故意还是过失？
第三个嫌疑人是军工企业。制造并交付武器的公司该负责吗？但大多数军工合同中包含免责条款，而且军工企业受到国家保护。以现行国际法起诉企业犯战争罪极为困难。
第四个嫌疑人……是机器本身？这不可能。AI无法被带上法庭。对算法宣判「有罪」毫无意义。
结果是所有人都参与了，却没有人直接担责。
2024年联合国大会第79/239号决议是一个重要进展。该决议确认AI在军事领域使用时，国际人道法适用于其全生命周期，并将国际刑法纳入可适用的法律框架。这强调了个人刑事责任在适当情况下可以被追究。
解决问题的努力正在进行。
一是「数字审计追踪」（Digital Audit Trail）。像飞机黑匣子一样，记录AI做出的每一个决策：为什么在那个时刻，把那个目标识别为敌方？依据了哪些数据？考虑了哪些替代方案？有了这些记录，事后才有追责的基础。
二是强化国家责任。不是追究个人，而是让运用AI武器的国家本身承担国际法上的赔偿责任。一旦国家必须担责，各国政府在引入AI武器时就会更加审慎。
三是武器法律审查的义务化。《日内瓦公约第一附加议定书》第36条要求对新武器进行法律审查。AI武器的审查尤其重要，需要评估系统能否遵守国际人道法中的区分原则和比例原则。
2025年，红十字国际委员会（ICRC）在提交给联合国秘书长的报告中强调：「需要遵守法律的不是AI系统本身，而是使用它的人。」AI应当作为辅助人类决策的工具，是支持人类，而非取代人类。
作为飞行员，我准备好为自己的行为承担责任。
如果我误伤了平民，这个重担我会背负一生，会在军事法庭接受审判。这是战士的荣誉。但如果要因为AI僚机犯下的错误而让我坐牢？这不公平。反过来，如果AI误炸了，却没有任何人负责？那也不是正义。
法律总是比技术慢一步。但没有法律，就只剩丛林。
战争中也必须有法。为了让我们作为人而非野兽存在。AI再怎么进步，流血的终究是人。法律，应当是对那些鲜血最起码的敬意。