想象一下。如果有一天，天空中突然出现一架无人机，它能自主判断并进行攻击，会是怎样的情景？人工智能（AI）制造的这种可怕现实已经近在咫尺。

AI技术正在军事领域引发惊人的变革。在更准确的信息分析、更高效的作战执行以及确保人类士兵在危险任务中的安全等方面，显然具有积极的一面。但与此同时，能够自主判断并实施攻击的AI武器系统的出现，也给我们带来了前所未有的深刻伦理思考和严峻挑战。

正如强大的力量伴随着巨大的责任，AI的军事应用对人类的未来和战争的本质提出了根本性的质疑。我们将以围绕无需人类直接干预即可寻找并攻击目标的“致命自主武器系统（LAWS）”的争论为中心，深入探讨人类控制问题、责任归属不明、以及国际社会的担忧与监管努力。

1 致命自主武器系统（LAWS）之争

致命自主武器系统（Lethal Autonomous Weapons Systems, LAWS）通常被称为“杀手机器人”，这一令人毛骨悚然的绰号使其成为了全球激烈争论的焦点。这种武器系统听起来像是科幻电影里的情节，但如今正逐渐变成现实。它是一种能够在无需人类直接指令或操控的情况下，自主观察周围环境、根据预设标准寻找目标，并最终决定是否发动攻击及执行攻击的武器系统。

目前已经存在能够自动拦截来袭导弹或火箭的防御系统。然而，LAWS之争在此基础上更进一步，关注点在于AI在复杂的战场上自主“选择”并“攻击”人员或车辆等特定目标这一阶段所引发的问题。

特别是在 2024 年维也纳裁军会议上，随着对 LAWS 军控必要性的正式讨论，以美中为首的主要大国将其视为战略资产的倾向暴露无遗。更令人震惊的是，在俄乌战争和以哈战争中，基于无人机的致命自主武器系统实际投入使用的可能性引发了严重担忧。甚至朝鲜也在开发 LAWS，回想起 2022 年朝鲜无人机侵入韩国领空的事件，更是让人不寒而栗。

随着此类武器开发的可能性变为现实，关于是否可以将决定生死的判断权交给机器的根本性伦理、法律和安保问题接踵而至。支持者主张，这可以减少人类士兵的风险，并比人类反应更快、更准确，从而提高军事效率。但反对者则强烈警告称，由机器做出夺取人类生命的决定是对人类尊严的践踏，且不可预测的错误或故障可能导致惨痛的悲剧。人们也越来越担心，LAWS 可能会降低战争门槛，加剧军备竞赛，从而导致国际安全局势动荡。

因此，关于应将 LAWS 视为技术发展的必然结果，还是应将其作为人类绝不可逾越的底线进行监管，激烈的争论仍在持续。这场争论的核心在于一系列难题：人类是否能够对这一致命技术实施有意义的控制，以及一旦发生错误的攻击，究竟该由谁来承担责任。

1-1 人类的有意义控制

致命自主武器系统（LAWS）最核心的争议点正是“人类的有意义控制（Meaningful Human Control, MHC）”问题。这涉及到在武器系统运行过程中，特别是在决定使用可能危及生命的致命力量的过程中，人类应该在多大程度上、以何种方式参与。大多数人很难在伦理上接受机器在没有任何人类干预的情况下自主判断并攻击人类。

让我们看看其中的重要原因。首先是关于人类生命尊严的问题。决定一个人的生死是极其重大的判断，需要复杂的道德和伦理考量。对于缺乏情感和共情能力的机器是否有资格做出此类判断，人们提出了根本性的质疑。机器只是根据预设规则追求效率，可能无法真正理解人类生命的价值。

其次是遵守国际人道法（International Humanitarian Law, IHL）的问题。国际法规定，即使在战争期间也必须遵守保护平民、禁止造成不必要痛苦等机道主义原则。特别是区分（distinction）攻击目标、权衡（proportionality）军事利益与平民损失，以及在攻击时采取预防措施（precaution）等原则至关重要。

然而，以目前的 AI 技术水平，能否在复杂且不可预测的战场环境中始终完美遵守这些原则，仍存疑问。在面对投降的士兵、受伤的战士、放下武器举手投降的平民等需要微妙的情境判断时， AI 可能难以像人类那样做出准确且合乎伦理的判断。如果 AI 在没有人类干预的情况下自主发动攻击，违反国际法的可能性将会增加，平民伤亡的风险也会随之上升。

此外，不可预测性和出错的可能性也是严重的问题。AI 系统，特别是像深度学习这样复杂的术，有时会像“黑箱”一样运行，甚至连开发者也难以完全理解其决策过程。AI 可能会全盘接受训练数据中包含的偏见，或者在面对从未遇到过的新情况时以意想不到的方式发生故障。如果致命自主武器因错误而攻击平民或误射友军，这种可怕的情况发生后，究竟该由谁来承担责任呢？

问题在于，国际上对于“有意义控制”的准确定义尚未达成共识。多大程度的人类干预才算“有意义”？仅在武器系统设计阶段的控制就足够了吗？还是在武器系统识别目标并提出攻击建议时，由人类按下最终发射按钮就足够了？抑或是人类必须实时监督系统运行的全过程，并能随时介入中止操作？

各国根据自身的安全利益、技术水平和伦理立场，给出了不同的解释。一些国家主张人类必须始终做出最终攻击决策（human-in-the-loop），而另一些国家则认为人类只需监督系统运行并拥有否决权（human-on-the-loop）即可。甚至有人主张，在特定条件下，全自主系统（human-out-of-the-loop）也是可以接受的。

由于“人类的有意义控制”这一概念本身就很模糊且存在多种解释空间，将其转化为具体规范或监管措施的讨论一直面临重重困难。

1-2 责任归属不明

致命自主武器系统（LAWS）实际投入使用时最严重的问题之一便是“责任归属不明”。想象一下，如果 LAWS 因故障或错误判断而违反国际人道法，造成平民伤亡或破坏民用设施等“事故”。在这种情况下，究竟应该追究谁的法律和伦理责任？这是一个非常复杂且棘手的问题。

在以往的战争罪行或军事行动事故中，追责对象相对明确，如传达命令的指挥官或直接执行行动的士兵。但在 LAWS 的情况下，责任链条的交织要复杂得多。

首先，追究现场操作 LAWS 的指挥官或士兵的责任是否合理？如果他们并不完全理解系统的运行原理，或者系统以意想不到的方式自主运行，那么让他们承担全部责任可能并不公平。特别是对于缺乏“人类有意义控制”的系统，现场操作人员实际上可能几乎没有干预系统决策的空间。他们可能只是负责部署和启动系统，并没有直接参与具体的攻击决策。

应该追究开发 LAWS 的程序员或设计师的责任吗？虽然他们编写了系统算法并测试了性能，但要预测并应对实际战场上可能出现的所有变量和情况几乎是不可能的。AI 系统，特别是基于深度学习的系统，在自主学习和进化的过程中，其运行方式可能会偏离开发者的最初意图。

是否可以追究制造并销售 LAWS 的军工企业的责任？虽然企业应对产品的安全性和性能负责，但在军事武器领域，受限于使用环境的特殊性和国家安全等名义，其责任范围可能会受到限制。企业可以辩称，他们只是根据买方（政府）的要求开发产品，难以对实际运行过程中的所有问题负责。

虽然有人主张 AI 系统本身应承担责任，但目前难以承认 AI 是法律和道德责任的主体。AI 尚不具备人类那样的自由意志或道德判断能力，不被视为承担法律权利和义务的人格体。因此，要求 AI 承担责任并非现实的解决方案。

当 LAWS 引发事故时，可能出现难以明确规定在指挥官、操作员、程序员、制造商等相关主体中应由谁承担多大责任的情况。这被称为“责任空缺 (accountability gap)”。

这可能导致严重后果。首先，受害者难以实现正义。由于难以明确追究责任人并要求其受罚或赔偿，因战争罪行或非法行为而遭受痛苦的受害者可能无法得到妥善救济。如果责任归属不明，就难以吸取教训以预防未来发生类似事故，也难以改进制度。如果无人承担责任，人们对开发和使用危险系统的警惕性就会降低，甚至不能排除导致滥用的可能性。

责任归属不明的问题动摇了国际人道法体系的根基，是一个可能削弱国际社会控制战争残酷性努力的严峻挑战。因此，在关于 LAWS 开发和使用的讨论中，迫切需要建立明确的法律和制度机制来解决此类责任问题。

1-3 国际社会对“杀手机器人”的担忧

国际社会深刻认识到这种致命性自主武器 (LAWS) 可能带来的潜在风险，并致力于采取各种努力对其进行控制或监管。联合国 (UN) 等国际组织、各国政府、公民社会团体以及专家们正参与其中，展开积极讨论。

国际社会主要在联合国的《特定常规武器公约》(CCW, Convention on Certain Conventional Weapons) 框架内讨论 LAWS 问题。CCW 是一项旨在禁止或限制使用可能造成过度伤害或具有无差别效应的常规武器的国际公约。自 2014 年起，CCW 成员国开始通过“LAWS 相关政府专家组 (GGE, Group of Governmental Experts on LAWS)”会议正式讨论这一议题。

2025 年 3 月在日内瓦联合国办事处举行的 LAWS 政府专家组第一次会议具有重要意义。与会国就自主武器系统的务实定义 (working characterization)、确保遵守国际人道法 (IHL) 的方案、禁令 (prohibition) 及监管 (regulation) 规范的形成方向等进行了讨论。讨论结果将提交给定于 2026 年举行的《特定常规武器公约》第七次审议大会缔约国会议。

GGE 会议探讨了 LAWS 的定义、运行方式、与国际人道法的关系以及人类控制的必要性等各种技术、法律和伦理争议。由于各国利益冲突尖锐，目前尚未就具体的监管方案达成共识。部分国家和公民社会团体强烈主张应签署新的国际条约，全面禁止 LAWS 的开发和使用。相反，另一些国家认为技术尚处于初期阶段，且具有潜在的军事优势，因此认为与其仓促禁止，不如在现行国际法框架内为负责任的开发和使用制定规范或原则更为现实。由于意见分歧较大，GGE 的讨论进展缓慢。

在这种情况下，为了促进关于 LAWS 问题的国际讨论并寻求负责任的处理方法，新的努力也已出现。最具代表性的就是“军事领域负责任的人工智能 (REAIM, Responsible AI in the Military Domain)”会议。REAIM 会议于 2023 年在荷兰海牙首次举行，目前由韩国和荷兰共同主办，为政府、工业界、学术界和公民社会等各方利益相关者提供了一个广泛讨论军事 AI 负责任开发、部署和使用的平台。

REAIM 的讨论范围不仅限于 LAWS 的监管，还涵盖了军事领域应用 AI 全过程中可能出现的伦理、法律和技术问题，旨在共享负责任使用 AI 的最佳实践并加强国际合作。虽然 REAIM 会议并非制定具有法律约束力的条约的场所，但有望提高对 LAWS 相关问题的理解，建立信任，并有助于形成负责任的行为规范。

专家们主张，应借鉴以往核军控的案例，在 LAWS 时代构建新的“下一个奥本海默”范式。这反映了人们的担忧，即基于 AI 的致命性自主武器的发展可能会给人类社会带来类似于过去核武器开发的冲击。

国际社会对“杀手机器人”的担忧非常严重，外交努力正以联合国 CCW GGE 和 REAIM 会议等为中心展开。由于各国立场差异和技术发展的飞速，制定具体的国际规范面临诸多困难。人类必须不断反思将剥夺生命的决定权交给机器的深刻含义，并不懈努力控制技术，使其不威胁人类的价值和安全。未来国际社会对 LAWS 的讨论将如何进行，以及将制定何种形式的监管，将是决定未来安全环境和战争形态的重要变量。

2 故障可能性与平民伤亡

将人工智能 (AI) 整合到军事系统中，虽然在提高效率和保护己方人员方面展现出极具吸引力的可能性，但也蕴含着可能导致意外平民伤亡或致命故障的严重风险。AI 系统和人类一样，或者说可能以不同于人类的方式犯错。

这些错误可能源于训练 AI 的数据问题，也可能由于 AI 算法本身的局限性或不可预测性而产生。我们将详细探讨 AI 在军事应用过程中可能导致平民伤亡和故障的具体原因，即算法和数据的偏见问题，以及技术错误和不可预测性的风险。

2-1 算法偏见与数据偏见问题

人工智能 (AI) 系统，特别是基于机器学习或深度学习的 AI，就像学生通过教科书或参考书学习世界一样，通过学习海量数据来掌握特定的模式或规则。AI 的性能在很大程度上取决于其拥有多好的数据以及学习效果。

如果 AI 学习的数据仅反映现实世界的某些方面，或者包含对特定群体的偏见，会发生什么？AI 就像读了带有偏见的书籍的学生一样，很可能会扭曲地认知世界并做出偏颇的决定。这种问题被称为“数据偏见 (Data Bias)”。

集中学习特定地区或特定种族群体图像的人脸识别 AI，可能无法正确识别其他地区或种族的面孔，甚至存在完全误认的风险。

在军事领域，数据偏见可能导致非常严重的后果。假设有一个被训练用于区分敌军和平民的 AI 系统。如果该 AI 的训练数据中过度包含了将穿着特定服装的人归类为“敌军”的信息，或者缺乏关于特定地区平民样貌的数据，那么 AI 在实际战场上可能会将穿着该服装的平民误认为是敌人进行攻击，或者无法正确识别样貌不熟悉的平民。

如果主要只学习了特定地形或气象条件下的数据，在其他环境下性能可能会大幅下降，从而导致错失目标或攻击错误的对象。在卫星图像分析、通信监听数据分析等各种军事信息分析过程中也可能存在数据偏见，并可能导致错误的信息判断和危险的军事决策。

数据偏见不仅是一个技术问题，它还会导致对特定群体的歧视性结果，并涉嫌违反国际人道法的基本原则——“区分原则”，因此是一个非常严重的伦理问题。

除了数据本身的问题外，在设计和开发 AI 系统的过程中产生的“算法偏见 (Algorithmic Bias)”也是一个重要问题。算法偏见可能源于开发人员在创建 AI 模型时所做的选择、所使用的特定数学技术，或者设定系统目标的方式等。

如果开发团队在设计算法时侧重于探测特定类型的威胁，系统可能会表现出将与其相似但实际上并非威胁的对象过度判定为威胁的倾向。或者，如果评价人工智能性能的标准本身就设定为有利于特定结果，那么人工智能在根据该标准运行的过程中，可能会遗漏或忽视其他重要因素。

如果开发人工智能时仅仅专注于提高“敌方探测率”，则可能会忽视降低误伤平民的可能性。

更复杂的问题在于，数据偏差和算法偏差可能会交织在一起并被放大。如果将在偏差数据上学习的人工智能通过针对特定目标设计的算法运行，其结果可能会难以预测并朝着危险的方向发展。如果人工智能的开发过程本身由特定国家或文化圈的技术人员主导，他们下意识的偏见或价值观可能会影响算法设计，从而加深偏差。

解决这种偏差问题非常困难。收集完全中立且涵盖所有情况的数据在现实中几乎是不可能的，也难以完全消除潜藏在算法设计过程中的微妙偏差。所有将人工智能应用于军事领域的努力，都必须清晰地认识到这种偏差的风险，并必须伴随持续的验证、多样的数据利用、确保透明度以及从多角度进行审查的过程，以将其降至最低。

2-2 不可预测的技术错误

即使经过精巧设计并利用大量数据进行学习，人工智能系统仍始终蕴含着技术错误或不可预测运行的可能性。这源于人工智能系统本身的复杂性、外部环境的变化以及超出人类理解的运行方式等多种因素。这种技术缺陷或不可预测性，特别是当与致命武器系统相结合时，可能会导致不可挽回的后果，因此引发了严重的担忧。

棘手的问题在于人工智能，特别是深度学习等最新人工智能技术的“不可预测性”和“黑盒（black box）”特性。深度学习人工智能从海量数据中自主学习复杂的模式，其内部运作方式过于复杂，以至于开发者往往也难以准确解释人工智能为何做出特定决定。

正因为这些特性，很难 100% 预测人工智能在特定情况下的反应，也不能排除其以意想不到的方式发生故障的可能性。当人工智能面临超出其学习数据范围的新情况，即“边缘案例（edge case）”时，很难预测其会如何反应。在遇到训练过程中未曾经历过的陌生环境或意想不到的敌方战术时，人工智能可能会陷入混乱或做出完全错误的判断。

令人担忧的案例已经有所报道。在与 2020 年利比亚内战局势相关的联合国（UN）专家小组报告中，提到了土耳其制造的“卡古-2（Kargu-2）”攻击型无人机可能在没有人类直接控制的情况下，自主追踪并攻击了撤退的部队（隶属于利比亚国民军）。

报告指出，该无人机通过“相当有效的自主能力”，“可能不需要人类控制员即可识别目标并交战”。如果这一内容属实，由于这可能是首例基于人工智能的自主杀伤性武器被用于攻击人类的案例，因此给人带来了巨大的震撼。

然而，关于这一案例仍存在许多争议。相关报告未能提供明确证明无人机进行自主攻击的具体证据，仅停留在提及“可能性”的层面。当时使用的卡古-2 无人机的精确自主能力水平或实际作战模式也缺乏明确的说明。

3 人工智能系统的安全脆弱性

人工智能（AI）在军事领域具有提供前所未有的能力和效率的潜力，但同时也存在可能暴露于新型安全威胁的弱点。由于人工智能系统本质上也是复杂的软件和硬件的结合体，因此无法摆脱传统计算机系统所面临的黑客攻击或网络攻击的风险。

此外，人工智能系统学习方式和运行原理的特殊性，暴露了其可能容易受到以前不存在的新型攻击的影响，例如欺骗人工智能判断本身或干扰学习过程的攻击。

如果敌对势力利用军事人工智能系统的安全漏洞使其瘫痪、夺取控制权，甚至操纵其攻击友军，可能会导致难以想象的灾难性后果。因此，了解人工智能系统的安全脆弱性并对此做出应对，是将军事人工智能应用于军事领域的一项必不可少的任务。

3-1 对抗性攻击及黑客攻击风险

人工智能（AI）系统虽然拥有强大的能力，但也同时暴露在黑客攻击等传统的网络威胁之下。黑客攻击是指未经授权的用户入侵计算机系统或网络，盗取信息、干扰系统运行，甚至夺取系统控制权的行为。如果军事人工智能系统遭到黑客攻击，其损失将超乎想象。

敌方黑客可能入侵我方的基于人工智能的指挥控制系统，窃取重要的作战计划或军事机密信息。或者，他们可能巧妙地篡改人工智能正在分析的侦察卫星图像或通信监听数据，向我方指挥官提供错误信息，从而诱导致命的误判。

更进一步的情况是黑客攻击由人工智能驱动的武器系统本身。可以想象这样一种场景：敌人黑客攻击了我方的攻击型无人机系统并劫持了无人机，或者远程控制其攻击我方基地或平民区。虽然这听起来像是电影里的故事，但在一切都通过网络连接并由软件控制的现代战场环境中，这是完全可能发生的现实威胁。

因此，在开发和运行军事人工智能系统时，应用最高级别的网络安全措施来保护系统免受外部入侵比什么都重要。

除了黑客攻击外，还必须严重关切“对抗性攻击（Adversarial Attack）”的危险性，这是一种利用人工智能系统本身运行原理的新型攻击形式。对抗性攻击是一种攻击技术，它使用专门制作的输入数据来欺骗人工智能模型，特别是那些通过学习模式进行判断的人工智能模型，如图像识别或语音识别。

最可怕的一点是，通过对输入数据进行人眼或人耳几乎无法察觉的细微改变，诱导人工智能做出完全错误的判断。

假设自动驾驶汽车的人工智能正在识别道路标志。对抗性攻击者只需在“停止”标志上贴上几张人眼几乎看不见的小贴纸，或添加细微的噪声模式，就能让人工智能将该标志误认为是“解除限速”标志。虽然对人类来说它看起来仍然是一个完美的“停止”标志，但人工智能会以完全不同的含义来接收它。

这种攻击在军事领域也是可能的。为了欺骗基于人工智能的目标识别系统，可以在敌方坦克或飞机上涂上特殊的伪装图案或发射细微的干扰信号。在人类士兵眼中看来是普通的坦克，但人工智能系统可能会将其误认为是我方车辆或背景的一部分，从而无法探测到。

相反，也可以通过在我方车辆甚至民用车辆上秘密附着特定图案，诱导AI将其误认为是敌方重要目标并进行攻击。

用于监控系统的AI也可能存在脆弱性。仅通过穿着特定图案的衣服或佩戴特制的面具，就能欺骗AI人脸识别系统，阻碍身份识别，或者利用特定的声音模式扰乱AI语音命令系统。

对抗性攻击之所以特别危险，是因为它们极难检测和防御。由于攻击中使用的数据变化微乎其微，现有系统很难检测到，而且也很难预测哪种变化能欺骗AI。在某些情况下，成功欺骗一种AI模型的对抗性攻击技术对其他类型的AI模型也有效，因此可能会影响广泛的系统。

如果敌人开发出一种稳定地欺骗我方核心军事AI系统的方法，AI系统的可靠性将受到严重损害，通过引入AI试图获得的信息优势或作战效率提升效果也将化为乌有。相反，由于错误的信息和误判，我方的损失可能会增加，甚至导致作战失败。

为了加强AI系统的安全性，不仅需要传统的黑客防御，还需要严肃对待这类对抗性攻击的可能性，迫切需要努力开发和应用新的技术和程序性保护措施，以检测和防御这些攻击。

3-2 数据污染及篡改的可能性

人工智能（AI）系统，特别是基于机器学习的AI，其性能和可靠性绝对取决于用于训练的数据质量。正如好的食材能做出美味的食物，准确的知识能引导正确的判断一样，AI也必须学习海量干净、准确且无偏见的数据才能发挥其性能。

然而，如果有人怀揣恶意，污染或篡改AI学习的数据，会发生什么呢？这可能成为动摇AI系统根基的严重安全威胁。这种攻击被称为“数据污染（Data Poisoning）”攻击。

数据污染攻击发生在AI系统的学习过程中，即构建或更新训练数据集（training dataset）的阶段。攻击者会秘密地在训练数据集中插入巧妙篡改的数据。

例如，可以大量注入将敌军坦克图像误分类为“我方卡车”，或将特定民用设施图像误分类为“敌军军事基地”的数据。AI会将这些被污染的数据识别为正常数据并进行学习，结果在实际情况中，可能会发生将敌军坦克误认为是我方卡车而忽略，或将民用设施误判为军事基地进行攻击等致命错误。

数据污染的目标可能是降低AI的整体性能，也可能是诱导AI仅在特定情况下发生故障，从而达到攻击者想要的特定效果。数据污染攻击可以通过在AI系统中创建一种“秘密后门（backdoor）”的方式进行。即让AI学会在平时正常运行，仅在输入特定条件时才发生故障。由于这种隐藏的后门在平时很难被发现，因此更加危险。

数据污染攻击发生在AI系统的开发和学习阶段，而对已经完成学习并投入实际任务的AI系统数据进行实时篡改的攻击也是可能的。这可以被称为“数据篡改（Data Manipulation）”或“输入数据攻击（Input Attack）”等。

可以想象，侦察无人机实时拍摄并传输到AI系统的视频数据流在中间被拦截或黑客攻击并篡改的情况。攻击者可以在视频中插入虚假的敌方目标，或从视频中删除真实的威胁目标，从而使AI产生错误的情境感知。

雷达或声学传感器等其他类型的传感器数据也可能成为篡改的对象。敌人可以通过发射特定频率的干扰电波诱导AI错误解读传感器数据，或者黑客攻击通信系统以扭曲传递给AI的指令或信息。甚至可以篡改AI系统内部存储的训练模型的参数权重值或知识库，从而改变AI本身的判断标准。

防御数据污染和篡改攻击是一项非常困难的任务。训练军事AI需要海量数据，这些数据从各种来源（卫星、侦察机、地面传感器、公开信息等）收集，在此过程中可能很难完美保证数据的完整性。在使用外部合作伙伴或商业数据时，很难排除在数据提供过程中发生恶意污染的可能性。

篡改数据的攻击可能进行得很巧妙，因此不易察觉。由于AI系统本身的复杂性，检查内部数据或模型参数是否被篡改也是一项困难的工作。

如果军事AI系统遭受数据污染或篡改攻击，其后果可能不仅仅是系统停止运行或发生故障。AI表面上看起来可能运行正常，但实际上却提供对敌人有利的错误信息或做出致命的误判。这将从根本上动摇对AI系统的信任，并可能给试图利用AI的我方带来更大的混乱和损失。

因此，在军事AI系统开发和运行的全过程中，验证数据来源、维持数据完整性，并通过提高AI模型的稳健性（robustness）使其对数据篡改或噪声反应不那么敏感等，多层次的安保强化努力是必不可少的。安全保护作为AI系统“大脑”的数据和学习过程，可以说是维护AI时代国防实力的核心课题。

4 无意间滥用的风险

人工智能（AI）技术本质上并不具备善或恶的属性。AI只是一个强大的工具，其价值和结果完全取决于使用者的意图和目的。问题在于，即使是出于良好意图开发的AI技术，也可能被怀有恶意目的的个人或团体滥用，从而产生与初衷完全不同的结果。

菜刀可以帮助厨师，但落在劫匪手中就会变成凶器。特别是AI技术，由于其强大的能力和快速的学习速度，一旦被滥用，可能会导致意想不到且极具破坏性的后果，这一点引发了严重的担忧。

有时，AI甚至以开发者都未曾预料到的方式被利用，仿佛打开了“潘多拉的魔盒”一般，将无法控制的风险释放到世间。这种AI滥用的风险不仅仅是技术问题，它要求对整个社会的安全性及未来进行深刻反思。

4-1 利用AI进行的毒性分子设计实验

有一个令人震惊的案例，生动地展示了AI技术是如何在无意中被滥用于危险目的的。

2022年，致力于研究辅助药物开发的AI技术的美国制药公司“Collaborations Pharmaceuticals, Inc.”的研究团队，为了警告其AI技术所潜伏的风险，进行了一次特殊的实验。这项研究是应每两年举办一次的“国际生物化学武器会议”的要求进行的，旨在应对与尖端技术趋势相关的潜在安全问题。

他们的AI最初旨在寻找有助于治疗新疾病的分子结构，同时过滤掉可能对人体有害的毒性分子，即寻找“良药”。这个被称为“MegaSyn”的机器学习算法具备通过学习庞大的化学物质数据库，预测哪些分子结构在治疗特定疾病方面既有效又对人体安全的能力。这是一项非常有用的技术，可以大幅减少新药研发过程中的时间和成本。

然而，研究团队尝试了一项简单的操作，将该AI的目标设置完全反转。也就是说，他们没有让AI寻找“低毒性”分子，而是指示AI寻找“高毒性”分子。更有甚者，他们诱导AI寻找的毒性分子具有与已知最致命的化学武器“VX神经毒剂”相似的特性。他们想看看这种“虚拟实验”会带来什么样的结果。

结果令人震惊。在短短6小时内，AI就生成了多达4万个新的毒性分子结构。这其中不仅包括与现有的VX神经毒剂结构相似的分子，还包括可能比其更强大、更致命的，此前未知的全新结构的潜在化学武器候选物质。AI就像是接到了设计高效杀伤性武器的任务一样，以惊人的速度和效率产出了可怕的成果。

更令人惊讶的是，尽管研究人员用于训练AI的数据集中并不包含神经毒素，但这些物质还是被生成了。利用杀虫剂、环境毒素和普通药物的数据构思出如此强力的新型毒性物质，也是他们始料未及的。

研究团队进行这项实验并非为了研发新型化学武器。相反，他们在著名的科学期刊《自然·机器智能》（Nature Machine Intelligence）上发表了实验结果，旨在发出警告，揭示AI技术是多么容易被滥用于研发大规模杀伤性武器。他们将这次实验比作打开了“潘多拉魔盒”。就像一旦打开就会涌出各种灾难且无法再次关闭的潘多拉魔盒一样，事实证明，利用AI可以轻而易举地制造出新的威胁物质。

随着AI技术的门槛降低且性能增强，这项实验加剧了人们的焦虑：即使是缺乏专业知识或巨额资源的个人或小规模团体，也可能掌握过去难以想象的破坏性力量。

这一案例为整个AI领域带来了重要的启示，即AI技术的“双重用途（dual-use）”问题。为新药开发、疾病诊断、灾难预测等造福人类的目的而开发的AI技术，随时可能被转化为黑客攻击、恐怖主义、战争等破坏性目的。

AI技术发展的速度和门槛问题同样严峻。AI模型及相关技术正在飞速发展，并且通过开源等方式变得相对容易获取。这虽然有促进创新的积极一面，但同时也增加了被恶意用户误用的可能性。

预测和控制的难度也是一个重要问题。在AI自我学习和进化的过程中，始终存在其获得开发者未曾预料的新能力，或以违背初衷的方式运作的可能性。在AI解决复杂问题的过程中，要完美地预判并控制其产出结果的潜在风险是非常困难的。

AI的创造能力可能被滥用于各种军事目的，例如设计新式武器（化学武器、生物武器、网络武器等）、生成宣传煽动信息等。在开发和利用AI技术的过程中，必须时刻考虑到这种误用的可能性，需要努力建立技术安全机制、制定严格的伦理准则、确保开发和使用过程的透明度，并通过国际合作进行监督和控制。AI这一强大的工具究竟会成为人类的福音还是灾难，最终取决于我们在管理和使用这项技术时表现出的责任感。

5 对AI武器门槛降低的担忧

人工智能（AI）技术可能带来的未来战争形态，最大的担忧之一是它可能引发新型军备竞赛，并最终提高战争爆发的可能性。正如20世纪的核武器研发竞赛让全世界陷入不安一样，21世纪各国正在为争夺AI技术的军事优势而展开竞争。

各国都意识到AI将成为决定未来军事实力和国家影响力的核心要素，为了不落人后而投入巨额资源。更有甚者，人们严重担心AI武器的出现会降低发动战争的心理负担，即降低“战争门槛”。随着AI能够在没有人类士兵伤亡风险的情况下执行攻击任务，决策者可能会轻易决定过去会犹豫不决的军事行动。

5-1 大国竞争加剧

“谁成为人工智能领域的领导者，谁就将成为世界的统治者。”俄罗斯总统弗拉基米尔·普京在2017年发表的这番言论，直观地展示了大国对于AI技术将对未来国家权力和国际秩序产生影响的认识。这番话不仅是辞令，更反映了对“确保AI技术的军事优势对国家生存与繁荣至关重要”这一冷酷现实的认知。

世界主要大国将AI视为未来战场的“游戏规则改变者（Game Changer）”，并正将国家力量集中在AI技术的研发与军事应用上。正如过去的核武器研发竞赛一样，如果某一个国家在AI领域占据压倒性优势，其他国家将面临严重的安全威胁。这种基于“落后恐惧（Fear of Missing Out）”的心理引发了激烈的竞争。

中国国家主席习近平也一直强调AI是发展的核心动力和军事现代化的重要因素。中国通过《新一代人工智能发展规划》，设定了到2030年掌握世界顶尖AI技术实力的雄心勃勃的目标，并利用“军民融合（Military-Civil Fusion）”战略，积极将民间企业的尖端AI技术转移并应用到国防领域。中国这种宏伟的计划和快速的技术发展速度，引起了包括美国在内的西方国家的高度警惕，成为了加剧AI领域竞争的因素。

美国同样将AI设定为国家安全的重中之重，通过国防高级研究计划局（DARPA）等机构，投入巨额预算研发基于AI的下一代武器系统和军事技术，以此应对与中国的技术霸权竞争。

大国之间的AI军备竞赛潜伏着多种风险。

首先，它可能加剧国家间的不信任和误解，使国际关系变得不稳定。由于各国都敏锐地关注竞争对手的AI技术开发动向并试图防范最坏的情况，甚至连对方的防御性措施也可能被解读为侵略意图，从而陷入加剧军事紧张的恶性循环，即“安全困境（Security Dilemma）”。

迫于在竞争中不落人后的压力，可能会诱发在没有经过充分的安全性验证或伦理审查的情况下，匆忙研发并实战部署AI系统的冲动。这增加了发生意外故障或事故的风险，并可能导致对AI技术本身产生不信任。

AI系统的速度和自主性增加了意外军事冲突扩大的可能性。假设竞争国家之间都在运行基于AI的防御系统或攻击系统，如果一方的AI系统发生故障或做出不可预测的行为并刺激了另一方，对方的AI系统也可能在人类甚至来不及介入的瞬间自动做出反应，导致局势瞬间恶化，难以收拾。

人类判断和控制介入余地不断缩小的超高速“机器对机器（machine-to-machine）”冲突情境，正在成为AI时代新的战争风险。

因此，大国之间的 AI 军备竞赛已超越单纯的技术研发竞争，引发了人们的严重担忧，认为这可能会加剧国际局势的不稳定，增加偶然军事冲突的风险，甚至可能降低战争爆发的门槛。因此，即使在竞争中，也迫切需要保持危机管理的沟通渠道，并开展国际协作，以确立 AI 军事应用的最低规范并提高透明度。

5-2 低成本 AI 武器的扩散与恐怖分子的利用威胁

如果说 AI 军备竞赛主要集中在大国之间，那么另一个层面的严重担忧则是，价格相对低廉的 AI 武器，特别是搭载了 AI 技术的无人机等武器，可能会在全球范围内扩散。

过去的高端武器系统在研发和生产上需要巨额资金和高尖端技术，因此只有少数国家能够拥有。然而，AI 技术（尤其是软件和传感器技术）的发展正在改变这一格局。因为在相对便宜的商业无人机上搭载基于 AI 的自主飞行、目标识别和追踪功能正变得越来越容易。

这意味着，即使是军事实力薄弱的国家，甚至是武装组织（Non-State Actors，非国家行为体），也将拥有过去难以想象的精密的攻击能力。

AI 技术的“双重用途 (dual-use)”特性进一步加剧了这种扩散风险。构成 AI 武器系统的核心要素（如 AI 算法、计算机视觉技术、传感器、微型电脑芯片等）中，有相当一部分原本是为民用而开发的，在商业市场上往往可以轻易获得。心怀叵测的团体可以通过组合并改造这些商用技术，以较低的成本制造出具有杀伤力的 AI 武器。

例如，可以想象这样一种场景：在市售的高性能摄像无人机上搭载开源的 AI 物体识别软件，并经过少量改装，制造出能自主追踪并攻击特定人物或车辆的无人机。这种“DIY (Do It Yourself)”形式的 AI 武器制作成本低，技术门槛也在逐渐降低，因此未来的扩散速度可能会更快。此外，也不能排除某些国家为了扩大自身影响力或进行代理人战争，而故意向盟国或非国家行为体提供 AI 武器或转让技术的可能性。

如果低成本 AI 武器扩散，恐怖组织、叛军或犯罪组织掌握这些武器的情况，将对国际安全构成严重威胁。由于非国家行为体遵守国际法或战争规范的可能性较低，他们极有可能利用 AI 武器对平民发动无差别的攻击或实施恐怖活动。

他们可以利用多架 AI 无人机发起同时多发的自杀式恐怖袭击（集群攻击，swarm attack），使主要城市的基础设施陷入瘫痪，或造成大规模人员伤亡。AI 武器的使用还可能使攻击主体变得难以辨认。如果由自主运行的无人机发动攻击，将很难追踪是谁发送了无人机、其背后是什么势力，从而导致追责和惩戒变得困难。这可能会怂恿恐怖分子在不担心受罚的情况下大胆发动攻击。

AI 武器可能会加剧不对称战力。因为利用低成本获取的 AI 武器，可以对军事力量远超自己的国家造成严重损失或引起社会混乱。利用多架小型 AI 无人机使昂贵的战斗机或军舰失去战斗力，或通过基于 AI 的网络攻击使国家重要的计算网络瘫痪，这些场景都是可能的。这可能会动摇现有的军事力量平衡，并引发难以预测的新型冲突。

一旦在特定地区活动的武装组织掌握了 AI 武器，该地区的冲突可能会进一步激化并长期化，动荡局势向周边国家扩散的风险也会随之增加。

低成本 AI 武器的扩散和非国家行为体的威胁是 AI 时代的阴影。这不仅是技术问题，也对国际武器控制工作、反恐战略以及动荡地区的稳定化工作提出了挑战。考虑到 AI 技术的发展速度，为了有效应对这些威胁，必须加强防止技术流出的国际协作，研发 AI 武器探测与防御技术，并尽快制定 AI 技术负责任使用的国际规范。否则，AI 虽然会成为某些势力的强大工具，但也可能变成在全世界范围内散布不安与恐惧的潘多拉魔盒。