[AI书房] 第32章 Human-in-the-loop
人工智能战斗机，人工智能空军
第七部 算法战争的伦理与法律
第32章 Human-in-the-loop
金京镇
座舱很窄。转一下肩膀就能碰到座舱盖。但在这狭小的空间里，飞行员必须同时处理数百条信息。速度、高度、燃油、敌方位置、友军位置、武器状态、通信内容。所有这些每秒都在变化。
所以我们需要系统。雷达帮我们搜索敌人，计算机算出发射解算，告警装置通报威胁。有了这些辅助，飞行员才能超越人类极限。但在所有流程的末端，按下发射按钮的依然是人类的手指。这就是「Human-in-the-loop（人在回路中）」的核心。
初次听到这个概念，似乎很简单。机器找到目标、瞄准、完成一切准备，末端的「发射」指令由人类下达。但现实远比这复杂。
这里有三个层级。
第一层是Human-in-the-loop（人在回路中）。人类逐一批准每次交战行为。机器说「那里有一个目标」，人类决定「确认，开火」。
第二层是Human-on-the-loop（人在回路上）。机器自主运行，人类负责监视。一旦发现异常，人类介入并叫停。相当于监督员的角色。
第三层是Human-out-of-the-loop（人在回路外）。人类完全退出。机器从头到尾自行处理一切。
问题在于，现代战场的节奏太快了。
高超音速导弹以5马赫以上的速度飞来。数百架无人机像蜂群一样扑过来。在这种情况下，人类有时间逐一按下批准按钮吗？人类的反应速度大约在0.2秒到0.3秒之间。机器以纳秒为单位做出判断。人类的生物学极限追不上机器的速度。
美国国防部对这个问题心知肚明。
国防部指令3000.09明确规定，自主武器系统的设计必须允许「适当程度的人类判断」。这里的关键不是「人必须在回路中」。官方政策刻意回避了这一模糊表述，转而要求「行使人类判断」。差异微妙，却意义重大。
有一个耐人寻味的事实。美国政府反对使用「有意义的人类控制（Meaningful Human Control）」这一表述。理由是：他们认为这一措辞暗示了一种在现实中不可行的人类监督水平。现有的半自主精确制导武器可能都无法满足这一标准。
但许多国家和国际组织持不同看法。
2024年11月，CCW政府专家组的「滚动文本」纳入了「适合具体情境的人类判断与控制」这一表述。这等于承认：不同情境下所需的人类控制程度可以有所不同。在平民密集区域实施打击，需要更严格的人类监督。在公海上拦截反舰导弹，则可以相对允许更高的自主性。
2025年的国际讨论正聚焦于此。
人权观察（Human Rights Watch）发出警告：「有意义的人类控制必须在攻击实施的那一刻行使。仅凭预先设定的参数是不够的。」他们的逻辑是这样的：要遵守比例原则，武器使用者必须在攻击的那个瞬间判断平民伤亡是否相对于军事利益而言过度。而这一判断发生在复杂且瞬息万变的环境中。
看看以色列的案例。
在加沙地带行动中，以色列使用了名为「薰衣草（Lavender）」和「福音（Gospel）」的AI系统。这些系统负责识别哈马斯成员并生成目标清单。据报道，人类分析员批准AI推荐所用的平均时间是20秒。20秒。在这么短的时间内，人类真的能充分验证AI的判断依据吗？
这就是所谓的「橡皮图章」问题。
人在回路中并不自动等于有效控制。走形式地按一下批准按钮，不是真正的控制。那不过是为规避责任而设的不在场证明。真正的人类控制意味着：能够理解AI的判断，必要时能够否决，并能提出更优方案。
解决之道是什么？
第一，需要可解释AI（Explainable AI）。当AI说「那是目标」时，人类必须能理解它为何得出这一结论。「雷达信号模式与敌方SAM阵地93%匹配。热信号与车辆发动机吻合。半径10公里内无友军。」有了这样的说明，人类才能做出判断。
第二，必须保障中止权限。无论何种情况，人类都能喊出「停！」，而机器必须立即停止。当通信中断或数据异常时，机器应自行中止攻击行为并进入安全模式。
第三，训练不可或缺。飞行员和指挥官必须完全了解AI系统的能力与局限。哪些情况下可能出错，哪些欺骗手段可能奏效。盲目信任黑箱是危险的。
我把这称为「半人马模型」。
希腊神话中的半人马，半人半马。马的力量与速度结合人的智慧。未来的战斗机也应如此。AI处理成千上万条信息并提供选项。人类纵观全局做出决策。机器的效率与人类的判断合为一体。
但判断的最终权力必须留在人类手中。
我们将扳机交给机器的那一刻，就是我们在战争中丧失人性的那一刻。我们会忘记战争的恐怖，杀戮沦为数据处理。那不是技术的胜利。那是文明的溃败。