[AI书房] 第5章 欧盟人工智能法
AI霸权战争
第5章 欧盟人工智能法
金京镇
第5章 欧盟人工智能法
1. 欧盟《人工智能法案》（AI Act）
2024年，欧盟（EU）发布了全球首部全面的人工智能（AI）监管法案，，Regulation (EU) 2024/1689，即《欧盟人工智能法案》（EU AI Act）。该法案于2024年7月12日在欧盟官方公报上发布。《欧盟人工智能法案》旨在通过为欧盟内AI系统的开发、投放市场和使用建立统一规则，确保AI安全并尊重基本权利与价值。其目标还包括促进AI投资与创新、加强治理与执法，以及创建统一的欧盟AI市场。
《欧盟人工智能法案》于2024年8月1日生效，并将在未来几年内分阶段实施。针对禁用AI系统的规定将于2025年2月2日起施行，大部分条款则预计于2026年8月2日起施行。该法案不仅影响欧盟境内的组织，也影响面向欧盟市场开发或利用AI系统的全球性组织。预计《欧盟人工智能法案》将对欧盟内外企业及个人产生重大影响。
[图23] 2024年，欧盟（EU）发布了全球首部全面的人工智能监管法案，，《欧盟人工智能法案》。该法旨在为欧盟内AI系统的开发、投放市场和使用建立统一规则，确保AI安全并尊重基本权利与价值。
该法案是在以下背景下推动的：第一，对AI技术双刃剑特性的认识。虽然人工智能正在医疗、教育等各领域引领创新，但同时也可能带来难以预测的风险。由于算法的不透明性，人们担心其可能导致安全威胁或侵犯基本权利等负面后果，这是推动立法的主要背景之一。
第二，欧盟的战略定位。欧盟希望在维持人工智能技术领域全球领先地位的同时，引导AI向尊重欧洲特有价值和人权的方向发展。这体现了同时追求技术进步与价值守护的双重目标。
第三，统一监管体系的必要性。欧洲议会和理事会认为，有必要采取立法措施，在欧盟层面妥善管理AI带来的收益与风险。这反映了不仅是各国单独行动，更需要欧盟整体层面统一应对的共识。
欧盟《人工智能法案》具有四个核心目标：第一，促进值得信赖的AI系统的开发与普及。为此，法案规定AI系统必须尊重基本人权、确保安全性并遵守伦理原则。这种做法旨在不仅在欧洲境内，也在全球范围内为值得信赖的AI发展做出贡献。
第二，鼓励AI领域的创新与投资。通过提出明确且可预测的监管框架，旨在营造一个让企业能够稳定开发AI技术并进行投资的环境。预计这将起到减少不确定性并引导企业参与的效果。
第三，构建欧盟内的AI系统统一市场。通过确保AI系统在欧盟成员国之间自由流动和交易，旨在促进整个欧洲AI产业的发展。
第四，构建有效的治理与执法体系。通过设立欧盟人工智能办公室（EU AI Office），并与各成员国紧密合作，建立确保法案有效执行的体系。这将是确保法案实效性的核心要素。
这充分展示了欧盟试图在促进AI技术发展与监管之间取得平衡的处理方式。
2. 人工智能系统的定义及适用范围
《欧盟人工智能法案》将AI系统定义为“旨在以不同程度的自主性运行的基于机器的系统”。
定义条款旨在避免AI系统法律模糊性的同时，也能根据技术演进而灵活解释。定义重点关注“自主性”和“适应性”这两个主要特征，这也是AI系统区别于传统软件的关键。自主性是指AI系统在无需人类干预的情况下自我学习并做出决策的能力；适应性则是指AI系统通过新数据自我改进并适应变化环境的能力。
该法案适用于在欧盟内投放市场、提供服务或使用AI系统的所有提供者、部署者、进口商及分销商。AI系统提供者或使用者是否位于欧盟境内并不重要。即便企业位于欧盟境外，只要在欧盟内销售AI系统或提供服务，均受本法管辖。然而，用于科学研究与开发、个人及非专业活动的AI系统等，不在本法适用范围之列。
3. 欧盟《人工智能法案》中的“人工智能风险等级”分类
欧盟对AI系统采取了基于风险等级的系统化监管方式。
法律将AI系统分为“不可接受的风险”、“高风险”、“有限风险”和“最小风险”四个等级。每个系统的风险等级是综合考虑其预期用途、使用程度、对健康、安全及基本权利的影响、潜在损害的强度和范围，以及损害的可恢复性等因素评估得出的。根据这种基于风险的方法，可能导致不可接受风险的AI系统将被全面禁止，而被列为高风险的AI系统只有在满足法律规定的特定要求时才被允许使用，从而实施与风险水平相称的差异化监管。
3-1. 不可接受的风险（禁用的AI）
欧盟AI监管中最严格的管控对象是被归类为“不可接受的风险”（Unacceptable Risk）的AI系统。欧盟认为这些系统严重侵犯人类基本权利和尊严，原则上严令禁止。
第一类被禁止的是操纵人类行为的AI系统。这包括利用潜意识技术以人类无法察觉的方式操纵行为，从而可能对自己或他人造成身体或精神伤害的系统。但获得医疗目的许可的情况除外。此类系统因侵犯人类自主性和尊严而被禁止。
第二类是利用弱势群体的AI系统。这包括利用因年龄、身体或精神残疾而产生的弱势性，扭曲相关个人或群体的行为并造成伤害的系统。欧盟担心此类系统会剥削社会弱势群体，因其可能加剧歧视与不平等而被列入禁止名单。
第三类是禁止公共机构使用的社会信用评分系统。指基于个人的社会行为或特征评估其可信度，并以此为据给予不利待遇或歧视的系统。严禁在与数据收集背景无关的情况下进行歧视性对待。此类系统因可能侵犯个人自由和权利而被禁止。
最后，限制使用实时远程生物识别系统。原则上禁止在公共场所利用生物信息进行实时身份验证的系统，但承认部分例外情况（如搜寻失踪儿童、预防恐怖袭击、抓捕重刑犯等执法目的，在获得司法机关事先批准后可有限度使用）。
犯罪预测系统是基于过去数据预测个人犯罪可能性的系统，由于可能加剧歧视和不公正，该类系统也被禁止。
尽管有禁止规定，但仍存在例外。为了保护公共安全，根据法令采取适当安全措施行使公权力的情形可作为例外。但此类例外会根据必要性和比例原则受到极其严格的限制。
违反禁止规定的，最高可处以3500万欧元或全球年度营业总额7%的罚款，以金额较高者为准。
3-2. 高风险（High Risk）人工智能
《欧盟人工智能法案》将可能对健康、安全或基本权利造成高风险的AI系统归类为高风险，并对此类系统在投放市场前实施严格监管。
首先，用于受欧盟产品安全法规监管的产品中的AI系统被列为高风险。这包括用于玩具、飞机、汽车、医疗器械、电梯等的AI系统，自动驾驶系统或医疗诊断系统是其中的典型代表。
其次，影响交通、能源、水资源管理等关键基础设施安全的AI系统也被视为高风险。这些是对社会基础设施安全运行至关重要的AI系统，如交通管理系统或发电厂控制系统。
在教育领域，用于考试评分或入学录取的AI系统被归类为高风险。评估学生学习能力并提供个性化学习路径的AI系统是典型案例。
在就业领域，包括用于招聘、晋升、解雇等员工管理的AI系统。筛选简历和评估应聘者的AI招聘系统是主要示例。
在基本私人及公共服务相关领域，用于信用评估、社会福利发放、执法等的AI系统被列为高风险。评估贷款申请人信用水平的系统或识别犯罪嫌疑人的面部识别系统属于此类。
在移民相关领域，审查签证申请或庇护申请的AI系统被列为高风险，特别是评估签证申请人风险等级的系统。
最后，用于司法及民主程序执行与运行的AI系统，如在司法程序中评估证据或预测判决等，也被视为高风险。例如，为辅助法官判决而分析法律文件和检索判例的AI系统。
高风险AI系统提供者的法律义务如下：
必须在AI系统的整个生命周期内建立并运行风险管理系统。这必须是一个持续且反复的过程，包括识别和分析可预测风险、评估因滥用导致的风险，以及分析上市后的监测数据。此外，必须建立并记录涵盖合规战略、系统设计、数据管理程序等的全面质量管理体系。
高风险AI系统提供者在投放市场前，必须进行合格评定，以确认其是否符合《欧盟人工智能法案》的要求。评定内容包括识别和评估潜在风险、评估训练数据质量及偏见缓解措施、编写说明系统设计开发及运行方式的技术文档、进行性能与安全性测试，以及制定人工监督措施。受产品安全规则监管的系统将扩展适用现有制度，而附件III中的系统在自我评估后可发布欧盟合格声明。但是，远程生物识别身份验证或公共基础设施网络系统必须通过认证机构的评定，证书有效期为5年。系统发生实质性修改时必须重新进行合格评定。在投放市场或投入使用前，必须编写并维护证明符合法律要求的详细技术文档。系统运行期间必须自动记录并保存日志以便追踪所有功能，内容应包括系统使用时间、输入数据、检索结果及参与人员信息等。
在透明度方面，必须向用户明确提供有关系统运行方式和潜在风险的信息。这应包括提供者信息、系统性能特征、功能与局限性、变更事项、技术措施、人工监督措施、预期寿命及维护信息。对于决策支持系统，用户必须能够理解系统的结论得出过程，并同时获知系统的限制条件和潜在偏见信息。
关于可追溯性要求，必须能够追踪并记录系统的运行过程。发生问题时，为查明原因和明确责任归属，必须详细记录并保存输入数据、输出结果及决策过程等。
在数据质量管理方面，用于训练、验证和测试的数据集必须具备适当的治理和管理体系，并确保相关性和代表性。应充分反映目标使用群体的统计特征，并考虑地理、行为和功能特征。必要时可为了监测和修正偏见而处理个人信息，但这必须伴随适当的保护措施。
在人工监督方面，为了确保AI系统安全且合乎伦理地运行，需要人类的持续监督。监督者必须能够发现并修正系统错误，并在发生意外结果时立即干预以防止潜在损害。必须设计适当的界面以实现有效的人工监督，确保系统具备符合目的的准确性并能应对外部攻击。发生严重事故或故障时，有义务立即向相关成员国的监管机构报告。
同时也规定了进口商和分销商的义务。
进口商在将其投放欧盟市场前，必须确认系统是否遵守《人工智能法案》，这包括完成合格评定程序、备齐技术文档、贴附CE标志、指定授权代表等。必须注意在储存和运输过程中不损害系统的合格性。若作为非欧盟设立的提供者且无法确认进口商，则必须指定欧盟境内的自然人或法人作为代表。在投放市场前，必须在欧盟数据库中注册系统，并贴附CE标志以示合规。注册时需详细提交提供者信息、系统识别信息、用途说明、分销现状、认证相关信息及欧盟合格声明副本等。
分销商在投放市场前必须核查高风险AI系统，不符合《人工智能法案》要求的系统不得投放市场。重要的一点是，进口商和分销商若认为相关系统对个人的健康、安全或基本权利构成了风险，必须立即向提供者及相关当局报告。
3-3. 有限风险（Limited Risk）人工智能
有限风险AI系统是指适用特定透明度义务的系统，主要分为两类：第一类是旨在与人交互的AI系统，如聊天机器人或AI虚拟助手；第二类是生成合成内容或操纵现有内容的AI系统，包括深度伪造（Deepfake）技术或图像编辑软件。
有限风险AI系统的提供者或使用者必须遵守透明度义务。这些透明度义务根据系统的特性，分别适用于提供者和使用者。
若AI系统旨在与个人交互，提供者必须明确告知使用者其正在与AI系统进行交互。但在AI系统使用情况或语境下与AI交互显而易见，或在犯罪侦查过程中发生与AI交互的情形，可免除此类告知义务。
对于包含情感识别或生物识别分类功能的AI系统，系统使用者必须告知个人其正暴露于此类情感识别系统或分类系统中。这是为了保护个人隐私和尊重自我决定权的重要义务。
3-4. 最小风险（Minimal or No Risk）人工智能
不在《欧盟人工智能法案》适用范围内的AI系统被归类为最小风险或无风险。大部分AI系统属于这一范畴，没有特殊的监管义务。例如，垃圾邮件过滤软件、产品推荐系统、照片编辑软件等均属于此类。
《欧盟人工智能法案》采取了基于风险的方法（risk-based approach），其中最小风险或无风险的AI系统被列为监管需求最低的阶段。这些系统被认为几乎或完全不会对人类基本权利或安全构成风险，因此被排除在《欧盟人工智能法案》的适用范围之外。
属于这一范畴的AI系统包括：
垃圾邮件过滤软件：指在电子邮件中识别并分类垃圾邮件的AI系统，起到辅助日常邮件管理的辅助作用。
产品推荐系统：指在在线商城等根据用户的购买历史或搜索模式推荐商品的AI系统。
基础照片编辑软件：指提供图像校正、应用滤镜等简单编辑功能的AI系统。
用于普通游戏的AI：指控制游戏内角色行为或辅助游戏进行的AI系统。
简单任务自动化工具：指将重复性办公任务自动化的基础AI系统。
这些系统的主要特征如下：
对人类基本权利或安全的影响微乎其微；决策结果不会对个人生活产生重大影响；即使发生故障，造成严重损害的可能性也很低；用户可以轻松察觉并控制系统的局限性。虽然对这些AI系统没有施加特殊的监管义务，但这并不意味着它们完全不受监管。它们仍需遵守现有的相关法律法规，如通用产品安全法规、消费者保护法、个人信息保护法等。建议AI系统的开发者和提供者自觉遵守伦理准则，为负责任的AI开发做出努力。
4. 罚则条款
违反《欧盟人工智能法案》可能会被处以行政罚款。罚款规模取决于违规行为的严重程度。
- 使用禁用的AI系统：最高可处以3500万欧元或全球年度营业总额7%的罚款，以较高者为准。
- 违反高风险AI系统相关义务：最高可处以1500万欧元或全球年度营业总额3%的罚款，以较高者为准。
- 违反有限风险AI系统相关义务：最高可处以750万欧元或全球年度营业总额1%的罚款，以较高者为准。
- 向监管机构提供虚假信息：最高可处以750万欧元或全球年度营业总额1%的罚款，以较高者为准。
《欧盟人工智能法案》通过征收与GDPR（通用数据保护条例）水平相当的高额罚款，确保了法案的有效执行。然而，该法案的实施与执法仍面临制定明确准则及国际合作等需要解决的课题。例如，确定适当的罚款水平以及协调各司法管辖区的执法努力至关重要。
《欧盟人工智能法案》将影响所有在欧盟内开发、部署或使用AI系统的企业。企业必须遵守法案要求，包括评估AI系统的风险等级、进行合格评定、必要时编写技术文档、制定人工监督措施等。由于开发高风险AI系统的企业必须遵守严格义务，因此可能需要投入大量的成本与精力。
也有人担心《欧盟人工智能法案》可能会阻碍企业的AI开发与创新。但欧盟主张，法案非但不会阻碍AI创新，反而会促进值得信赖的AI开发并支持AI市场的增长。
《欧盟人工智能法案》是一部旨在保护个人基本权利与安全的法案。该法案保护个人免受因AI系统而导致的歧视、偏见、侵犯隐私等损害。通过提高AI系统的透明度，支持个人理解AI系统的运行方式并行使其权利。
《欧盟人工智能法案》是一部旨在管理AI系统风险并促进值得信赖的AI开发的综合性法案。通过为AI系统的开发、投放市场和使用提供明确规则，预计将支持欧盟内AI市场的增长，并保护个人的基本权利与安全。
作为全球首部全面的人工智能监管法案，《欧盟人工智能法案》预计也将对其他国家的AI监管产生影响。该法案触发了关于AI开发的伦理考量以及全球AI治理的讨论。该法案为企业、个人及整个社会带来了潜在的挑战与机遇。企业在开发和部署AI系统时必须具备责任感，个人必须意识到并保护自己的权利。整个社会应通过对AI技术的伦理使用和社会影响进行持续讨论，努力使AI技术向造福人类的方向发展。