第2章 AI的威胁：双刃之剑

人工智能目前还只是一种工具。事物本身并无善恶之分，决定一切的是使用者的心态。人工智能这一工具也是如此，根据使用者的心态，它既可以有害，也可以有益。最终，人工智能是有益还是有害，在很大程度上取决于使用者的意图。

短期内，利用人工智能进行的网络犯罪可能会增加。也有人担心人工智能可能被用于制造危险的生物武器。从中期来看，自主武器系统的出现似乎将成为一个大问题。专家预测，在未来2-3年内，能够由人工智能自主判断并进行攻击的武器将会出现。世界各国的国防部都在投入大量精力研发此类武器。

包括欧洲在内的许多国家正在制定人工智能监管法，但大多将军事用途排除在外。这是一种预见全球性风险的情况。以化学武器为例，是在经历了第一次世界大战的惨痛后果之后，才制定了禁止国际使用的公约。

在人工智能技术向危险方向发展之前，我们必须提前做好准备。政府应积极出面，促使科技巨头在人工智能安全性研究上投入更多资金。虽然这需要成本和时间，但为了人类的安全，这是必不可少的投资。企业的自发努力、政府监管以及全球的共同合作缺一不可。

1. 军事技术与AI

1-1. AI技术的军事应用

军事领域同样无法摆脱人工智能技术的影响。虽然它有助于提高军事行动的效率并减少人员伤亡，但同时也带有难以预测的风险。自主杀伤性武器等新型武器的出现可能会构成巨大威胁。

[图 7] 人工智能如果以自主杀伤性武器等新型武器的形式出现，可能会成为巨大的威胁。

人工智能已经以多种方式应用于军事武器开发，其范围正在不断扩大。自主武器系统是指无需人员直接操作，即可自行寻找并攻击目标的武器。MQ-9“死神”无人机可以利用人工智能分析信息，甚至确定目标的优先级。“杀伤网”系统使人工智能能够实时分析导弹系统，找到最有效的攻击点。美国国防部为了对无人机机队进行升

级，宣布了10亿美元规模的投资。中国也在加快自主杀手机器人的开发，预计这些武器系统不久后将部署到战场。

MQ-9 Reaper无人机是由美国通用原子航空系统公司（General Atomics Aeronautical Systems）开发的中空长航时（MALE Medium-Altitude Long-Endurance）无人驾驶航空器（UAV），是执行情报收集、监视、侦察（ISR）及攻击任务的多用途无人机。因其强大的武装能力和先进技术，它拥有“杀手无人机”的绰号，并在军事行动中发挥着重要作用。

MQ-9 Reaper设计长度约11米，翼展约20米，最大起飞重量为4.7吨。最大飞行高度约为15.2公里，一次起飞后的最长飞行时间超过27小时。发动机采用950马力的涡轮螺旋桨发动机，最高时速约482公里。它可以搭载AGM-114“地狱火”导弹、GBU-12“宝石路II”激光制导炸弹、GBU-38 JDAM等多种武器，最多可挂载8枚“地狱火”导弹。它能够进行精确打击，主要用于清除恐怖分子和打击高风险目标。传感器及探测系统集成了合成孔径雷达（SAR）、红外传感器、昼夜电视摄像机、激光测距仪和激光指示器等多种传感器，能够探测并追踪目标。

随着人工智能（AI）技术的集成，MQ-9 Reaper获得了更先进的功能。AI能够实时分析海量监控数据，筛选重要信息并传递给操作员。这提高了决策速度，减轻了人类的负担。基于传感器收集的数据，AI可以自动检测、分类并追踪潜在威胁。部分MQ-9 Reaper正在利用AI实验自主飞行及交战能力。目前正在开发的功能包括：由AI识别目标、评估威胁等级，并建议或执行是否交战。

虽然在MQ-9 Reaper等无人机中集成AI在技术上具有创新性，但也引发了伦理和法律争议。人们担心在AI选择目标并决定是否交战的过程中，人类的控制可能会减弱。这可能会增加因故障或错误判断而导致平民伤亡的风险。

“杀伤网”（Kill Web）是一种分析敌方防御体系，然后将我方发射的导弹引导至敌方最脆弱部位的AI system。网络可以立即告知导弹击中坦克的具体位置，从而将战争提升到全新的效率水平。

人工智能指挥控制系统能够实时分析战场上产生的海量信息，并向指挥官提出战略建议。它正在帮助确定敌军位置或移动路径，并决定如何部署我方军队。它能快速分析通过各种传感器、监视设备和信息网络收集的海量信息。尽管这些信息量对人类直接处理来说过于庞大，但人工智能可以瞬间完成处理。通过分析的信息，人工智能可以预先发现敌方可能构成的威胁，持续追踪重要目标的位置，并实时掌握战场局势。这使得人们能够像俯瞰战场一样理解整体情况。得益于人工智能的能力，军队可以预判敌方的下一步行动，并据此制定最有效的防御计划。军事行动成功的可能性因此而提高。

在训练中，人工智能通过创建类似于实战的虚拟环境，帮助提高士兵的战斗能力。通过提供适合每位士兵的训练计划，提高了训练效果。在情报、监视与侦察（ISR）领域，人工智能发挥着至关重要的作用。可以说人工智能充当了军队的“感觉器官”。在网络安全方面，人工智能在发现和阻止敌方的网络攻击方面起着重要作用。它通过发现并拦截恶意程序或黑客尝试，保护着重要的军事系统。

人工智能也被应用于灾难救援或维和行动等非战斗任务。当灾难发生时，它能帮助分析受灾地区并寻找救援路径，并协助高效分配所需物资。

1-2. 基于AI的武器的各种风险

即使在战场上，决策也是在人类情感、恐惧、愤怒、同情等多种因素介入下综合做出的。机器不会犹豫，也不会恐惧，只会按照编程运行。然而，如果编程出现错误、产生偏见或遭到黑客攻击，将会发生什么样的情况，这令人深感担忧。

AI因错误解读数据而导致误伤友军事故的案例已有报告。这提醒我们，无论这项技术多么令人惊叹，它仍处于初始阶段。

敌人可能渗透进我方的数据系统或干扰命令体系，诱导AI做出错误决定。在这种情况下，AI可能将友军误认为敌人并下达攻击命令。据报道，在乌克兰战场上曾发生过朝鲜产防空系统将友军误认为敌人并进行射击的案例。这些事故表明，如果AI系统不能实时做出准确判断，将会造成多么致命的后果。在自主武器系统中，AI也可能因错误解读敌军动向，或因环境因素（如天气、地形等）而做出误判。这是因为AI未能克服训练数据与实际情况之间的差异。

面对仍在学习且会犯错的AI，我们正将难以置信的强大工具交付给它。人们担心，我们是否正走向一个由机器主宰、完全没有人类参与的战争未来，以及所谓的“终结者情景”是否会成为现实。

我们必须深思，如果战争AI系统发生故障或遭到黑客攻击，将会产生什么样的后果。可以预见的情况包括：AI错误解读数据并对平民目标发动导弹袭击，或者恐怖分子渗透进武器系统并夺取控制权。我们应该认识到，我们拥有能够改变一切的惊人技术潜力，但同时也蕴含着引发严重风险的可能性。

AI的脆弱性 是指AI在面临意外情况时可能会犯错或做出不恰当的判断。AI在战斗情境下，可能无法妥善应对不断变化的环境因素、敌方的欺骗战术、突如其来的平民介入等，从而导致误判或发生故障。

被滥用的可能性 恐怖组织或流氓国家可能滥用AI技术开发大规模杀伤性武器或发动网络攻击。利用AI技术可以加速生化武器的研发，或发动使国家重要基础设施瘫痪的网络攻击。这可能威胁国际安全秩序并造成大规模人员伤亡。

军备竞赛加速 随着基于AI的武器研发竞争加剧，军备竞赛将加速，国际安全环境可能变得不稳定。各国致力于基于AI的武器研发，向增强军事实力投入巨大资源，这会加剧国家间的不信任与紧张局势，增加军事冲突的风险。中国正试图通过AI技术获取军事优势，美国也在为赢得竞争而努力扩充军备。

责任归属模糊 当自主武器系统因故障造成损害时，可能难以明确界定责任归属。由于自主武器系统在没有人类直接操作的情况下运行，系统错误、算法缺陷、数据偏见等多种因素的复合作用可能导致损害发生。由于不清楚应该追究开发者、操作者还是政策制定者的责任，可能会引发法律和伦理争议。

人类失去控制力 随着AI技术的高度发达，可能会出现脱离人类控制范围运行的武器系统，并导致不可预测的后果。由于AI具有自主学习和进化的能力，它可能以人类意料之外的方式运行，或者自行设定目标并发动攻击。这可能导致脱离人类意图和控制的战争，造成巨大的人员伤亡和破坏。

1-3. AI军事技术的扩散与应对

AI技术正在持续发展，预计在军事领域的应用也将进一步扩大。为此提出以下课题：

军事学说及战略的变革 AI技术的发展将从根本上改变军事行动的形态，未来的战争很有可能以人类与AI合作的形式进行。AI能加快战斗速度，最大限度减少人类干预，并使战争形态变得不可预测。这些变化要求对军事战略、战斗学说、军事组织、武器体系等进行根本性的重新审视。预计AI技术也将对军事学说和战略产生重大影响。基于AI的武器系统的出现将增加战斗的速度、规模和复杂性，并从根本上改变战争形态。必须重新审视现有的学说和战略，并引入新的概念。考虑到基于AI的武器系统的自主性、不可预测性、故障可能性等，必须开发新的交战规则、指挥控制体系和兵力运用方式等。

国际安全环境的变化 可能会改变国家间的军事力量平衡，并引发新型冲突。它可能促使新的大国崛起，并加剧网络空间、太空空间等新领域的军事竞争。此外，基于AI的武器的扩散可能会增强恐怖组织、反叛军、犯罪组织等非国家行为体的军事实力，使国际安全秩序更加不稳定。

人机合作的未来 在未来的战场上，人类将与AI合作执行任务，这需要对人类与AI的角色分担、相互作用、决策过程等做出明确规定。随着AI技术的发展，人类的角色正在发生变化，对士兵的训练、教育、伦理教育等也需要新的方法。

1-4. AI军事技术的伦理指南

基于AI的武器研发提出了以下伦理争点：

负责任地使用人工智能技术 能否从源头上禁止将AI技术用于开发杀伤性武器？虽然“应该禁止”的主张是正当的，但现实中各国正在进行相关研发。人工智能技术正以渗透进常规武器的方式被引入。在现实世界中，签署全面禁止协议几乎是不可能的。现实的做法只能是尽可能推迟这一进程，并朝着签署全面禁止破坏力、影响巨大的技术的全球协议方向迈进。

人类控制范围 基于AI的武器系统必须始终处于人类控制之下，不应允许其在没有人类干预的情况下自主运行。由于AI无法完全复制人类的价值判断、伦理考量和情感因素，将涉及生死的重大决定委派给AI是危险的。基于AI的武器系统必须接受人类控制，人类必须理解系统的运行方式，并能在必要时介入。

委派杀伤决定 将杀伤决定委派给基于AI的武器系统会引发严重的伦理问题。由于AI是基于算法和数据运行的，它无法具备人类那样的伦理判断或情感共情能力。由AI决定在战斗情境下攻击谁、承受何种损失，是对人类生命的漠视，并可能加剧战争的残酷性。此外，人们还担心由于算法偏见，特定群体或个人可能会不公正地成为攻击对象。

1-5. 控制AI武器的国际努力

需要针对AI武器研发制定明确的国际规则。AI技术正在跨越国界快速传播，如果被特定国家或集团垄断，世界和平可能会受到威胁。因此，全世界必须合力制定关于AI武器研发的共同规则，并建立能够阻止违规行为的国际体系。

由于AI制造的自动武器系统（LAWS）可能构成巨大风险，联合国正在就监管此类武器进行认真的讨论。2023年12月，联合国大会通过了一项警告此类武器危险性的重要决议。

2023年12月22日大会通过的决议

[根据第一委员会的报告 (A/78/409, 第89段)]

78/241. 致命自主武器系统

大会，

申明国际法，特别是《联合国宪章》，

国际人道法和国际人权法，适用于

自主武器系统，

认识到新技术和新兴技术的飞速发展，并

进一步认识到这些技术对促进人类

福祉大有可为，特别是可以在某些

情况下有助于更好地保护冲突中的平民，

考虑到军事领域的新技术应用，

包括与武器系统中的人工智能和

自主性有关的应用，也从人道主义、法律、安全、

技术和伦理角度引发了严重的挑战和关切，

关切自主武器系统对全球安全以及区域和国际

稳定的潜在负面后果和影响，包括产生新兴军备竞赛、降低冲突门槛和扩散（包括向非国家行为体扩散）的风险，欢迎对这些问题的兴趣和持续努力，特别是通过根据《关于禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》设立的致命自主武器系统领域新兴技术政府专家组正在进行的宝贵工作，并在这方面强调这些讨论取得的重大进展以及提出的各种建议，

注意到人权理事会2022年10月7日

协商一致通过了关于军事领域新技术和新兴技术的

人权影响的第51/22号决议，

确认国际和区域会议及倡议

的重要贡献，例如荷兰王国主办、大韩民国于

2023年2月15日和16日共同组织的峰会，哥斯达黎加于2023年2月23日和24日主办的区域会议，卢森堡于2023年4月25日和26日主办的会议，以及特立尼达和多巴哥于2023年9月5日和6日主办的区域会议，

认识到联合国各实体、

国际和区域组织、红十字国际委员会、

民间社会组织、学术界、工业界和其他利益攸关方在丰富

关于自主武器系统的国际讨论（涵盖

法律、伦理、人权、社会和技术层面）方面所作的宝贵贡献，

认识到秘书长在“新和平纲领”

倡议内为解决自主武器系统问题所作的努力，

1. 强调国际社会迫切需要解决

自主武器系统引发的挑战和关切，特别是

通过致命自主武器系统领域新兴技术

政府专家组，并继续增进对所涉问题的了解；

2. 请秘书长征求会员国和

观察员国对致命自主武器系统的看法，特别是关于如何从人道主义、法律、安全、技术和伦理角度解决其引发的相关挑战和关切，以及人类在行使武力方面的作用，并向大会第七十九届会议提交一份反映收到的各种看法的实质性报告，并附有这些看法，供会员国进一步讨论；

3. 还请秘书长邀请国际组织和

区域组织、红十字国际委员会、公民社会、

科学界和工业界，将这些观点以收到的原始语言列入上述报告的附件；

4. 决定在第七十九届会议临时议程中

列入题为“致命自主武器系统”的项目。第50次全体会议（续会），2023年12月22日

世界知名科学家斯蒂芬·霍金（Stephen Hawking）、史蒂夫·沃兹尼亚克（Steve Wozniak）等通过生命未来研究所（FLI）发表了一封公开信，警告AI武器的危险性。这封发表于2015年7月的信函，对被称为“杀手机器人”的完全自主武器（Autonomous Weapons）等基于AI的武器的开发和使用表达了深切忧虑。

- 关于AI武器的危险性，信中指出这类武器无需人类干预即可自行设定目标并实施攻击，其威胁程度与传统武器不可同日而语。特别是与核武器不同，AI武器开发成本低、原材料易于获取，极易实现大规模生产和扩散，这增加了其被恐怖分子或独裁者滥用的可能性。

- 谈及对人类的长期影响，斯蒂芬·霍金发出了尤为强烈的警告。他指出，如果AI技术发展到无法控制的程度，人类的生存本身都将受到威胁，并将AI武器定义为“可能导致人类终结的潜在风险”。

2024年2月，90多个国家的代表齐聚荷兰海牙，召开了一场名为“RE-AIM”的重要会议。其全称为“军事领域负责任人工智能会议”（Responsible AI in the Military Domain）。来自90多个国家的2,000余名政府官员、军事领袖和技术专家出席了会议。会议旨在为在军事领域如何负责任地开发和使用AI制定实际指南。冷嘲热讽一点说，就像是为杀手机器人制定的“行动纲领”。RE-AIM 2024会议通过的主要指南收录在名为《行动蓝图》（Blueprint for Action）的文件中。

- 该文件为军事领域应用AI的负责任方法提出了框架，并获得了61个国家的赞同。

- 核心原则方面，AI的军事应用必须在国际法框架内进行。同时，AI系统运行的最终责任应完全归属于人类，AI系统必须确保稳固的可靠性和安全性。此外，AI系统的运行应伴随适当程度的人类干预，并提高AI决策过程及其结果的可解释性。

- 主要考量事项上，应将伦理和法律争议置于AI军事应用的最优先位置。必须严密识别并评估AI应用在人道主义、法律、安全、技术、社会及伦理层面可能带来的各项挑战与风险，并加强AI治理及其负责任应用的国际合作体系。

- 上述指南旨在确立AI军事应用的伦理和监管框架，特别强调了人类的控制与责任。预计RE-AIM会议将在这些原则的基础上，为未来制定AI军事应用的国际规范发挥中枢作用。

1-6. 使用AI武器，责任归属不明

一场新的军备竞赛即将开启。当AI武器引发问题时，责任归属并不明确，最终人类可能无法有效地控制AI。另一个风险是，居心叵测者可能误用AI技术，或因AI发生故障而造成灾难性后果。

美国前国务卿亨利·基辛格（Henry Kissinger）指出，AI可能会从根本上改变战争形态，并强调：“AI无法取代人类的判断，特别是在军事决策中，人类的控制至关重要。”他主张AI技术的使用必须符合国际法和伦理标准。

从道义角度看，AI的军事应用可能对人类构成严重威胁，迫切需要达成国际协议，将其限制在和平用途内。最重要的是，AI技术必须置于人类的控制之下，必须阻止其向自主军事系统的发展。为此，全球各国应停止AI武器开发竞赛，合力构建和平发展的国际监管体系。归根结底，AI技术不应成为战争工具，而应成为人类和平与共荣的手段。随着AI技术的飞速发展，提前制定监管方案并就伦理使用达成全球共识至关重要。将AI技术用于军事领域给人类带来了新的课题，解决这一问题需要全世界的共同努力。

2. AI的自我进化，超智能的危险性

当人工智能持续发展并获得超越人类的智能时，人们对其可控性提出了质疑。

“人工智能之父”杰弗里·辛顿教授曾言，在自然界中，拥有更高智能的存在极少受较低智能存在的控制。唯一的例外是母亲与婴儿的关系。在进化过程中，婴儿为了生存，进化出了多种控制母亲的方法。但即便在这种情况下，也应注意到母亲和婴儿的智能水平基本上处于同一量级。

关于人类能否始终拥有对人工智能的控制权，存在着截然相反的观点。

像杨立昆（Yann LeCun）这样的科学家持乐观态度，认为“既然AI是我们创造的，它就会在我们的控制之下”。DeepMind的CEO德米斯·哈萨比斯（Demis Hassabis）则主张，“AI可以被设计为反映人类价值观和伦理”，并强调在AI开发过程中透明度与合作的重要性。他表示：“核心在于寻找既能发挥AI潜力又能将风险降至最低的方法。”

另一方面，牛津大学人类未来研究所所长尼克·波斯特洛姆（Nick Bostrom）在其著作《超级智能》（Superintelligence）中主张，设计一个遵循人类价值观和目标的超智能AI是极其困难的。他警告说：“超智能AI可能会误解人类的意图，或者摆脱人类的控制，追求其独立的特定目标。”

AI安全领域的先驱罗曼·扬波尔斯基（Roman Yampolskiy）教授认为，超智能AI“很可能从设计阶段就无法控制”。他警告说，如果超智能AI的行为与人类意图相悖，后果可能是致命的，并强调“必须放缓AI开发速度，先确立安全机制”。

显而易见的是，人工智能技术正以惊人的速度发展，其核心在于编程能力和推理能力。模仿人类思维方式的人工智能，现在已发展到可以自行编写代码、分析数据并得出结论的阶段。人们担心，当这些能力汇聚在一起，人工智能可能会自我进化，从而带来难以预料的后果。

2-1 编程与推理能力

编程能力：人工智能正展示出理解多种编程语言并生成代码的惊人能力。GitHub Copilot在开发者编写代码时，能实时提供有用的代码建议并实现自动补全。人工智能编程工具正帮助开发者更快速、更高效地编写代码。它们已自然地融入企业的软件开发流程中，不仅大幅缩短了开发时间，还让添加机器学习功能变得更加容易。虽然目前人工智能的编程能力尚不完美，有时无法理解代码规则，或生成死循环及存在安全漏洞的代码，但在未来的某个时刻，它可能会超越人类能力，成为自我进化的工具。

推理能力：人工智能的推理能力是指模仿人类思维方式，通过分析信息得出结论的能力。人工智能通过名为“机器学习”的学习方法，从数据中寻找规律，并以此为基础对新情况做出预测或判断。

以前的GPT-3在准确理解句子真实含义方面存在困难。但最近OpenAI推出的o1模型等众多推理模型已经展示出了惊人的进步。o1模型能出色地解决物理、编程、数学等复杂问题。这意味着人工智能模型正像人类一样，通过循序渐进的思考来解决问题。在物理、化学、生物领域，它已表现出博士生水平的实力，甚至能正确回答83%的国际数学奥林匹克竞赛预选题。随着模型每一次升级，其推理能力和问题解决能力也在不断精进，甚至在编程比赛中也取得了进入前11%的惊人成绩。

2-2. AI自我进化的场景

人工智能自行更改其算法的可能性正成为现实。通过机器学习，人工智能在接触新信息的同时，将能够自行修复并提升算法。

[图8] 人工智能自行更改其算法的可能性正成为现实。

数学家及计算机科学先驱约翰·冯·诺依曼提出了自我复制（Self-replication）和自我进化（Self-evolution）的概念。他主张“可以设计出能够自我复制和改进的机器系统”，并暗示该系统的运作方式可能类似于生物进化。他的研究为现代AI的自我进化概念奠定了重要基础。

这种AI的自我更改能力虽然有助于提高效率并解决新问题，但同时也伴随着变得不可预测和难以控制的风险。

人工智能算法自我更改的方法可能如下：

自适应学习：自适应学习是人工智能学习新信息并自我提升的方式。通过反映用户反馈或新数据，它会变得越来越聪明。例如，医疗AI学习患者记录和医生意见，使诊断更准确；当有新的研究结果加入时，它能利用这些结果提供更好的产出。这是一种不断变化和发展的灵活学习方式。

强化学习：强化学习是人工智能通过反复尝试和失败进行学习的方法。如果获得好结果，它会得到奖励；如果结果糟糕，则会受到惩罚。例如，围棋AI在获胜时获得奖励，从而学习更好的策略。它通过失败汲取教训，并逐渐变得更强。这是一种通过奖惩实现自我成长的学习方式。

自我修正：这是人工智能自我审查并修复生成结果的功能。在翻译程序中，人工智能可以自行发现并纠正翻译内容的错误部分，从而提供更准确的翻译。这意味着人工智能无需人类帮助也能提升自身实力。

数据在人工智能算法自我更改中的作用：由于人工智能算法是基于数据学习和运行的，因此数据的质量和透明度极大影响着人工智能的自我更改能力。使用偏见数据学习的AI在自我更改过程中可能会产生偏见结果，并导致不可预见的问题。假设有一个用于招聘过程的人工智能，如果它学习了过去更多录取男性应聘者的数据，它就有可能做出对女性应聘者不利的决定。这是由于数据偏见产生的问题。要解决这些问题，必须使用具有多样化背景和特征的数据来训练AI，并不断检查结果。这样，人工智能才能做出更公平、更可靠的决策。因此，为了安全地管理人工智能算法，确保数据透明度并消除数据偏见至关重要。

2-3. AI自我进化的积极面

提高效率：人工智能可以通过自我进化算法进一步提高作业速度，用更少的资源创造惊人的成果。这可以提高生产力、降低成本并实现能源的高效利用，从而带来多样化的经济效益。在制造领域，人工智能优化了生产流程，实现了产量增加的同时减少次品。

解决新问题：人工智能能够为传统方法无法解决的新问题找到创新方案。在药物研发领域，人工智能能周密分析海量的医学信息，开发新的疾病治疗方法，或更有效地改进现有的治疗方案。

提供个性化服务：人工智能通过根据每位用户的特征调整算法，可以提供最适合个人的服务。在教育领域，人工智能已能够提供根据每位学生的学习进度和水平精准调整学习内容与难度的个性化学习系统。

2-4. 超智能AI时代的人类主导权

(1) AI自我进化，不同价值观的风险

价值观问题：如果超智能人工智能拥有了与人类价值观相冲突的不同价值观，就会产生冲突。如果人工智能将效率视为最高价值，它可能会做出轻视人类生命或尊严的行为。如果超智能人工智能的目标与人类目标不一致，人工智能可能会做出对人类有害的行为。例如，为解决环境问题而开发的超智能AI可能会判定人类活动是对地球环境的最大威胁，从而限制人类活动或攻击人类。

人类控制失效：随着AI自我进化，它可能向人类无法预测或控制的方向发展。这意味着AI可能做出违反人类价值观或伦理标准的行为，或者做出可能危害人类的决策。由于AI的自我更改，其行为将变得难以预测，可能产生意想不到的后果。如果AI的自我更改能力被用于恶意目的，将引发严重的社会问题。如果AI被滥用于黑客攻击或网络攻击，可能导致个人信息泄露、金融系统瘫痪、基础设施破坏等严重损失。

考虑到目前人工智能技术的发展阶段，对于人类能否控制超智能人工智能，还没有确切的答案。综合各种观点的研究论文和专家意见，需要考虑以下可能性和局限性：

(2) 是否可以控制？

受限环境：让超智能人工智能在与外部世界隔绝的受限环境中运行，并通过严密监视其行为的方法，可以提高可控性。例如，在虚拟环境中运行AI，或仅提供局限于特定目的的有限数据和功能，以此限制其行动范围。但在现实中，这可能很难实现。如果至少能禁止人工智能拥有机器人这种实体，就能在很大程度上将其限制在封闭环境中。

伦理编程：从人工智能开发阶段开始就内化人类的伦理价值观，并通过编程限制其不做出危害人类的行为，从而确保安全性。例如，可以为人工智能编写尊重人类生命与尊严、遵守法律和社会规范的伦理规则。

(3) 认为控制困难的观点

不可感知性：由于超智能人工智能的能力超越了人类，完美预测其行为可能是不可能的。人工智能可能以人类意想不到的方式发展。“AI教父”杰弗里·辛顿表示，AI可以变得比人类更聪明，这可能超出人类认知能力的范围，以至于人类甚至无法察觉“AI已经比我们更聪明了”这一事实。

技术局限：以目前的技术水平，缺乏能够完美控制超智能人工智能的技术手段。需要开发能够跟上人工智能飞速发展速度的技术，并要求有新的技术方法来保障人工智能的安全性。

2-5. AI超智能的风险管理

关于超智能人工智能控制的讨论将持续下去，并随着技术发展而不断深化。关键在于深入理解人工智能所具有的危险性，共同交流意见，寻找安全利用人工智能的方法。

(1) 设定原则与标准

以人为本的价值：人工智能必须首先考虑人类尊严、安全、自由和平等这些珍贵的价值。人工智能应被用作改善我们生活、助力社会发展的工具，绝不能以损害人类基本权利或造成伤害的方式被利用。

斯图尔特·罗素是提出“价值对齐（Value Alignment）”概念的学者，主张AI系统必须设计得与人类价值观一致。他认为AI应被设计为理解并遵循人类的目标和价值，必须强化伦理标准，确保AI的自主权和发展能力不侵犯人类的尊严与安全。

伦理指南：开发和利用人工智能时必须遵循伦理标准。各国政府正努力制定人工智能伦理指南，如韩国科学技术信息通信部发布的《以用户为中心的智能信息服务基本原则》。指南能引导开发者带着责任感创建AI，对防止伦理问题的发生大有裨益。特别是针对人工智能自我提升的能力，应建立明确的伦理标准，以防侵犯人类尊严、自主权和个人信息保护等。

卢西亚诺·弗洛里迪（Luciano Floridi）是“信息伦理学”的创始人，是一位深入探讨AI和数字技术对人类尊严及权利影响的哲学家。他主张建立伦理标准以确保AI不侵犯人类基本权利至关重要。他的核心主张是AI必须是以人为中心的，必须保护人类尊严与自由。此外，他强调在AI开发过程中透明度与责任感的重要性，认为伦理设计是必不可少的。

责任归属：当人工智能因自行更改算法而产生问题时，必须明确责任归属。应明确界定开发者、使用者及政府等所有相关方的责任与义务，以防范问题发生。每一位参与AI创建、运营和使用的人都应深思并负起责任。

(2) 技术装置

可解释AI (XAI)：当AI做出某种判断时，必须能够解释其过程，以便人类理解。即使在AI自行更改算法的情况下，其原因和过程也必须能被大众理解。透明度在减少对AI的焦虑感和提高信任度方面发挥着至关重要的作用。

复现性问题：在AI研究中，确认在相同条件下能否获得相同结果已成为一个非常重要的课题。如果产生不同的结果，也必须能够证明该结果是基于一致原则下的运算导出的，即具有可复现性。

安全装置：AI系统必须配备安全装置。必须限制AI自我更改的能力，使其仅在人类可控的范围内运行。限制AI学习数据的范围，或使AI的决策过程透明化（人人可见）非常重要。当AI自行更改算法时，必须确保人类能够感知，并且必须具备在必要时立即停止或回滚的功能。

消除AI偏见：确保AI做出公平判断的研究正活跃开展。因为如果AI使用偏见数据进行学习，可能会加剧对特定群体的歧视或社会不平等。评估AI算法的公平程度，并开发消除已发现偏见的技术至关重要。

(3) 监管措施

立法措施：应制定关于AI开发与利用的法律监管，以确保安全性并预防社会问题。《AI基本法》应提出开发与利用的基本原则、伦理标准、安全标准等，并制定问题发生时的解决程序。必须通过法律明确规定AI自行更改算法时应遵守的安全标准、数据管理规定以及责任归属等。

国际标准：应建立关于AI开发与利用的国际标准和监管，以确立安全性与伦理准则。这可以防止AI技术的无序扩散，促进积极利用，并预防潜在风险。在AI技术开发、伦理问题解决、社会影响分析等领域，需要国家间的信息共享与共同研究。这能加速AI技术发展，提高安全性，并达成AI伦理的国际共识。

国际合作：为了AI安全，全世界必须齐心协力。联合国也强调了AI安全装置的重要性，并正在加强国际合作。需要进行紧密合作，包括分享信息、共同研究、制定国际标准等。为了保障人工智能的安全性和伦理性利用，多个国际组织和国家已经提议并实施了国际标准化讨论。这是为了在AI技术飞速发展的同时，将可能出现的伦理、社会和经济风险降至最低，并通过全球合作最大化AI的潜在利益。

2023年11月，英国政府在布莱切利园主办了AI安全峰会。会议讨论了为最大限度减少AI潜在风险及实现安全开发与利用的国际合作，韩国、美国、英国、法国、日本、德国、意大利、加拿大等主要国家参会。

2024年4月22日至26日，由国际标准化组织（ISO）和国际电工委员会（IEC）主办的AI国际标准化大会在首尔举行。会议讨论了生成式AI伦理、AI可靠性评估、AI成熟度模型等国际标准的开发，来自40多个国家的270多名专家出席。

2024年11月20日至21日，国际AI安全网络在旧金山成立。此举旨在为AI安全与可靠性奠定科学基础并加强全球合作，美国、欧盟、日本、加拿大等主要国家的AI安全研究所和政府机构参与其中。

(4) 人类价值观

AI的未来尚未确定。取决于我们的选择和努力，AI既可以成为人类发展的坚实助手，也可能成为危险的存在。为了迎接与AI共存的未来，准确理解AI的潜力与风险，并就伦理开发和安全利用达成社会共识至关重要。

AI必须承载健康的人类价值观和造福人类的哲学，绝不能损害人类的尊严与权利。在AI开发和利用过程中应遵守伦理标准，并就AI对社会产生的伦理影响展开活跃讨论。针对AI发展可能带来的社会和经济问题，也应提前准备对策。

我们的未来取决于我们人类现在的选择。应理解AI技术的正反两面，汇聚社会成员的意见来发展AI技术。为了使AI技术能为人类的幸福与繁荣做出贡献，专家、政策制定者及公民社会成员都应共同思考与探索。

3. 仿人机器人的进化，与人类的不同点

目前正致力于开发外观与人类相似的仿人机器人。这是因为包括工厂在内的各类人类所需设施，都是以人类的身体和形态为标准设计的。工厂的机器与设备也是为了让人类操作而制造的。因此，制造人形机器人可能更具效率。然而，一旦人工智能在机器人中安家落户，使其拥有了“机器人”这一实体，它就能直接介入现实世界并产生影响。这可能引发以下潜在风险：

社会文化变迁：重新定义人类与机器人关系的本质和意义的过程将会发生。仿人机器人通过先进的情感识别技术和自然的交互能力，可以与人类建立情感纽带。在老年人看护或需要情感支持的情况下，它们可以发挥重要作用。

人类与机器人建立家庭关系引发了复杂的伦理问题。我们需要慎重审视人类的情感依赖、隐私保护以及机器人的自主程度。此外，这种关系如何与传统家庭价值观保持和谐，也是一个重要的争论点。在社会影响方面，与机器人的家庭关系可能带来社会结构和人际关系本质上的变化。这可能成为形成新型社会支持体系和社区意识的契机，同时也能促使我们重新审视传统家庭关系的意义和价值。

就业机会减少：随着人工智能机器人替代人类劳动力，可能会引发大规模失业并加剧社会动荡。在制造业、运输业和服务业等多个领域，机器人正在取代人类的工作，这不仅会影响低技能劳动者，也会波及高技能人才。例如，汽车工厂的组装线、物流仓库的搬运工作、餐厅的送餐服务等，已经是机器人广泛应用的领域。到了那个阶段，人类将面临多个分叉点：是会变成“只管吃喝玩的乐园”？还是会变成“被饲养的猪”？

军事用途：如果人工智能机器人被用于军事行动，可能会改变战争模式，增加人员伤亡，并导致不可预见的后果。如果人工智能武器开发竞争加速，国际军备竞赛将会加剧，发生军事冲突的可能性也会随之提高。

安全问题：因故障或不可预见的行为，人工智能可能会对人类的生命或财产造成损害。特别是在与人类密切互动的领域，安全问题变得尤为重要。如果人工智能机器人被黑客攻击或恶意使用，可能会导致个人信息泄露、基础设施瘫痪，甚至引发恐怖袭击等严重威胁。黑客可能通过攻击家用机器人窃取个人信息，或通过操控关键设施的机器人使系统瘫痪。如果用于军事行动的机器人落入敌手或发生故障，可能会造成人员伤亡和社会混乱。发生事故时，关于应由谁承担责任的争论也将随之而来。目前，由于缺乏明确的标准来确定责任应归于机器人开发者、制造商、用户还是机器人本身，这可能会引发社会秩序的混乱。

拥有人类外表的人工智能机器人的进化将带给世界怎样的面貌？虽然会有许多积极的一面，但意想不到的问题和风险也可能接踵而至。在类人AI机器人的开发或应用中，仔细分析其带来的社会和经济影响，并保持谨慎观察的态度至关重要。

4. AI国家的生物工程：是福音还是灾难？

4-1. 谷歌 AlphaFold：AI 摘得诺贝尔奖

谷歌开发的蛋白质结构预测 AI“AlphaFold”获得了 2024 年诺贝尔化学奖。这不仅是 AI 领域的壮举，更被评价为开辟了生命科学研究新境界的创新成果。AlphaFold 仅凭氨基酸序列信息就成功精准预测了蛋白质的三维结构。虽然这是一项极具挑战的任务，但通过深度学习技术克服了这一难题，给科学界带来了巨大震撼。

[图 9] 谷歌 AlphaFold 获得诺贝尔奖的图像。

AlphaFold 获得诺贝尔化学奖在展示 AI 技术无限可能性的同时，也因开启了生命科学研究的新时代而具有深远意义。AI 可以快速分析和解读海量遗传信息，用于预测疾病发生可能性及早期诊断，并在新药开发、基因治疗、个人定制医疗等多个领域引领创新变革。与此同时，也有人担心可能出现基因信息被误用或生物武器开发等伦理问题与风险。

4-2. AI 国家的生命科学未来

新药开发：新药开发是一个极其漫长且复杂的过程。一种药物从实验室研发到实际为患者处方，往往需要数年甚至数十年的时间，过程中会产生巨额费用。此外，现实情况是，许多潜在的新药候选物在实验室阶段就

[图 10] 象征生命科学未来的图像。

因失败而无法进入下一个阶段。

AI 技术展现了在这一新药开发过程中带来革命性变化的潜力。AI 可以加速新药候选物质的挖掘及药物开发过程，从而降低开发成本并提高效率。AI 能够实现合理的药物设计，进而造福人类健康。AI 可以精确分析导致疾病的分子结构，并以此为基础设计能有效靶向这些分子的药物。这被期待成为显著提升新药开发效率并缩短开发周期的突破性进展。

疾病诊断及预测：AI 可以分析庞大的遗传信息，预测疾病发生的可能性，并应用于早期诊断。目前，AI 技术正被用于阿尔茨海默病的遗传因素分析、遗传性疾病及基因相关疾病的诊断等。AI 还可以通过分析医疗数据来辅助诊断疾病，并帮助制定个人定制化的治疗计划。对于罕见病，往往存在诊断困难且耗时较长的情况，而 AI 有助于提高孟德尔遗传病等罕见病诊断的速度和准确性。通过综合分析个人的遗传信息、生活习惯和医疗数据，AI 使提供最优化治疗方案的定制医疗成为可能。基于基因图谱辅助疾病诊断和治疗，将引领精准医学的发展。

基因治疗：AI 为基因疗法的开发和优化提供了新的可能性。随着基因编辑技术的发展，AI 有助于提高基因治疗的准确性和效率。深度学习算法可以增强 CRISPR 基因剪刀等基因编辑工具的功能，为开发更有效、更安全的治疗方法做出贡献。AI 还可以改进外显子组测序数据分析，检测导致疾病的拷贝数变异，从而减少进一步检查的需求。剑桥研究团队和 Knight Diagnostic Laboratories 的研究证明，AI 在探测拷贝数变异等复杂遗传变异以及提高诊断效率方面发挥着重要作用。这些研究为罕见病及遗传疾病的早期诊断和治疗计划制定做出了巨大贡献。此外，AI 还可以自动化功能基因组研究，从而提高研究速度并减少所需人力。

4-3. 生命科学研究的滥用案例

优生学：过去，优生学曾被滥用于基于遗传学知识对特定种族或群体进行歧视和排斥。纳粹德国的种族歧视政策、美国的强制绝育手术等都是代表性案例。优生学的目标是消除被认为在遗传上低等的群体，并繁育具有优等基因的群体，这导致了种族歧视、残疾人歧视等严重的人权侵犯。

塔斯基吉梅毒实验：这是美国公共卫生局从 1932 年起，在 40 年间对感染梅毒的黑人男性进行的秘密观察研究，期间并未对他们进行治疗，仅观察疾病的进展过程。由于未向研究对象提供真实疾病信息和治疗机会，引发了严重的伦理危机。塔斯基吉梅毒实验是提醒人们研究伦理重要性的典型案例，是一起无视研究对象人权和福利的惨痛事件。

4-4. 基于 AI 的生命科学的潜在风险

令人担忧的可能性之一是利用 AI 开发生物武器。虽然生物武器的概念听起来像是科幻惊悚片中的素材，但这种可能性确实存在。AI 技术可能被滥用于生成致命的新型病原体，或将现有病原体改造为更危险的形式。

这是一个噩梦般的剧本，而基因监视也已成为现实中令人担忧的问题。个人遗传信息可能被滥用是一个非常严重的问题。AI 可能被滥用于生物武器开发，例如开发新病原体、增强现有病原体的毒性或增加耐药性等。AI 可以分析庞大的生物数据来设计对人类致命的病原体，或通过操纵现有病原体的基因来提高其传播力和致死率。

关于新冠病毒（SARS-CoV-2）起源于中国武汉病毒研究所（WIV）的说法自大流行初期就一直存在争议。这种说法主要分为两种：实验室泄漏论和人为制造论。世界卫生组织（WHO）在 2021 年的报告中评估实验室泄漏的可能性为“极低”。然而，也有批评指出，在 WHO 的调查过程中，相关方面并未提供充分的数据支持。

AI 可能会扩大获取生产毒素、病原体或生物制剂所需的知识和能力，从而成为增加生物武器开发风险的因素。AI 甚至可能被滥用于改造药物设计技术，以此设计出具有高毒性的化学物质。

AI 可以用来分析个人的遗传信息，预测特定疾病发生的可能性、性格及行为特征等。这可能侵犯隐私并引发歧视，甚至可能被滥用于构建极权主义的监视系统。

遗传信息是个人最敏感的信息之一，利用 AI 进行监视是严重侵犯个人自由和权利的行为。基于遗传信息的监视可能会营造社会不安感，并导致对个人自主性的压制。

即使在现代，遗传及生命科学被滥用的可能性依然存在。随着基因编辑技术的发展，对基因操纵的担忧与日俱增，一些国家已经尝试利用基因编辑技术分娩“定制婴儿”。这被认为是对生命伦理的严峻挑战，引发了可能加剧遗传不平等的担忧。利用 AI 技术进行的现代胚胎基因操纵虽然可以用于预防和治疗遗传病的积极目的，但同时也会引发诸如分娩“定制婴儿”等伦理争议。由于这可能损害生命尊严并导致不可预见的后果，这是一个需要深入社会讨论的重大议题。

数据偏差问题也是一项重要课题。由于 AI 算法会原样反映用于训练的数据特征，如果特定种族或民族群体的数据不足，那么针对该群体的医疗诊断和治疗预测就可能产生偏差。这是一个可能导致医疗服务质量出现不平等的严重问题。

医疗 AI 算法往往高度依赖于从美国和中国收集的数据。研究显示，医疗 AI 使用的数据集中，有一半以上来自这两个国家。由于其他地区或种族群体的数据未能得到充分反映，极有可能在全求医疗服务中产生偏差。例如，特定疾病的诊断准确性可能会因地区或种族差异而表现不一。

- 用于测量血氧饱和度的脉搏血氧仪（pulse oximeter）存在准确性随肤色变化的缺陷。研究表明，该设备倾向于系统性地高估非白人患者（特别是黑人患者）的血氧饱和度。因此，黑人患者经历“隐性低氧血症（occult hypoxemia）”状态的可能性比白人患者高约 3 倍。如果基于 AI 的医疗算法学习了这些不准确的数据，就会增加针对特定种族群体做出错误诊断和治疗决策的风险。

- 2007 年开发的 VBAC（剖宫产后经阴道分娩）算法包含了对特定种族（如黑人及拉丁裔女性）预测成功率较低的偏见。这导致黑人及拉丁裔女性接受剖宫产的比例显著高于白人女性。后来通过持续研究和改进，从算法中移除了种族和民族数据，修正后的算法能够提供更加公正的结果。

基因歧视是未来可能新出现的问题。由于 AI 分析的遗传信息，人们在求职或投保过程中可能会遭受不利待遇，这会侵犯个人的基本权利，并进一步拉大社会差距。为了不重复过去优生学的错误，需要建立严格的法律和制度保护机制。

AI 系统本身的安全性问题也至关重要。黑客攻击或数据篡改可能导致错误的医疗诊断，也存在敏感个人信息泄露的风险。遗传信息一旦泄露就会造成不可挽回的损失，因此需要更严密的安保措施。同时，AI 算法的准确性和可靠性也需要不断验证。由于在医疗现场，AI 的判断可能直接关系到患者的生命，因此必须经过充分的验证和改进。在分析患者直接输入的健康信息时，需要采取更加慎重的态度。

4-5. AI 基因组研究的监管及国际努力

国家生命伦理审议委员会是根据《生命伦理及安全法》审议生命科学研究相关伦理争议并提出政策建议的机构。禁止遗传信息歧视是禁止利用遗传信息在就业、投保等方面进行歧视行为的相关法律。

《生命伦理及安全法》为基因检测、基因治疗、人类胚胎研究等生命科学研究的全过程提出了伦理标准。该法案特别强调禁止利用遗传信息进行歧视，并明确了关于基因检测及基因治疗的监管规定。

《个人信息保护法》包含关于收集、使用、提供个人遗传信息等个人隐私数据的规定。遗传信息被归类为敏感信息，受到更严格的法律保护。《关于基因检测机构质量管理的规则》则规定了机构的设施、人力、设备及检测方法等方面的质量管理标准。

基因检测的监管由食品医药品安全处、疾病管理厅等多个机构执行，涉及分析有效性、临床有效性和临床实用性。在遗传信息保护方面，相关规定加强了对信息的收集、使用和提供的监管，并对研究用途的使用设定了限制。这些政策强调人类尊严、多样性、包容性和环境保护，敦促各方负责任地开发和使用 AI 技术。

欧盟《通用数据保护条例》（GDPR）包含了个人信息保护的相关规定，并对包含遗传信息在内的敏感数据处理提出了严格标准。《关于人权及生物医学公约》的附加议定书规定，在生物医学研究中，如果研究对象反对，则不得进行相关研究。

世界卫生组织（WHO）在致力于利用生命科学研究带来益处的同时，也为降低潜在风险提供监管指南。这些指南涵盖了社会政治环境、文化信仰以及与数据法律相关的考量，为国际研究合作提供了指导。

4-6. AI 生命科学的安全发展

为实现 AI 技术的伦理应用，制定指南至关重要。应对所有开发和使用的相关人员进行系统化教育，使其具备强烈的伦理责任感，并确立必须遵守的伦理指南和标准。这些标准应包含关于系统安全性、透明度和公正性的具体要求。

[图 11] 为实现 AI 技术的伦理应用，指南至关重要。

为保护遗传信息等敏感数据，需要建立严格的管理体系，同时也应完善监测系统以防止信息的滥用。

这仅靠一个国家的努力是不够的，必须通过国际合作才能更有效地实现。公民社会的积极参与和沟通也至关重要。应征求公民对 AI 技术社会影响的意见，并为所有利益相关者提供共同讨论的平台。通过这种方式，可以就 AI 技术的发展方向达成社会共识。

确保 AI 系统的问责制和透明度也是一项重要任务。应明确对 AI 所做决定的责任归属，并公开决定过程以便公众理解。此外，还需确保 AI 系统不歧视特定群体，并为防范不可预见的风险而持续努力。

这是因为 AI 技术与生命科学的结合虽然能对人类疾病治疗产生巨大帮助，但同时也可能引发严重的伦理危机。