[AI书房] 第2章 正在监视全世界的人工智能
AI向人类提出的10个问题
第2章 正在监视全世界的人工智能
金京镇
「老大哥在看着你。」 ,,乔治·奥威尔
1. AI的眼睛,全天候注视着你
你读这段文字的此刻,数千只看不见的眼睛正盯着你。智能手机里的摄像头、街头的监控探头、地铁站的人脸识别系统,甚至你在社交媒体上点过的每一个赞。所有这些都变成了数据,在某个角落被分析、被储存。
人工智能本来是为了让人类生活更富足、更便捷而诞生的。辅助医疗诊断,缓解交通拥堵,打破语言障碍,像魔法一样的技术。可现实呢?这项聪明的技术正被用来监控人、管控人,甚至变成了威胁生命的武器。技术本身没有善恶之分。问题在于,握住这项技术的那只手,想拿它做什么。
以色列的「薰衣草」系统把巴勒斯坦人的生死换算成分数的时候,中国的「天网」追踪14亿人一举一动的时候,美国的Palantir实时分析全球情报的时候,我们该醒过来了:人工智能已经不是我们顺手的工具,而是在勒紧我们脖子的锁链。
正在全球蔓延的AI监控系统,有几个令人不寒而栗的共同点。它不征求你的同意。不管你愿不愿意,大规模采集你的个人信息。它的算法如何运转,没人说得清。像一只不透明的黑匣子。它并不完美,却在做关键决定。10%的误差率意味着,你可能就在那10%里面。它瞄准特定人群。仅仅因为肤色不同,信仰不同,政治立场不同。
这不是一个技术问题。它撼动的是人的尊严、隐私、言论自由、宗教自由,是民主社会守护至今的全部价值。韩国国家人权委员会在2024年5月建议各机构使用「人工智能人权影响评估工具」,说明韩国同样无法置身事外。
此时此刻,人工智能技术究竟是解放人类的工具,还是压迫人类的枷锁,正在被决定。而做出这个决定的人,不是政府,不是企业。是你,是我,是我们所有人。
2. 以色列的「薰衣草」系统
2024年4月,一则爆料震惊了世界。以色列-巴勒斯坦独立媒体「+972 Magazine」和希伯来语媒体「Local Call」公开了「薰衣草(Lavender)」AI系统的真相。那些内容,把我们对AI最深的噩梦变成了现实。
以色列军方情报部队开发的这套AI,像上帝之眼一样俯瞰加沙地带,把230万人的命运打上1到100的分数。它声称在计算一个人成为哈马斯武装人员的可能性。你和谁通话、下载了什么应用、常去哪些地方,一切都成了算法的饲料。
薰衣草先学习了已知哈马斯成员的数据:他们用什么品牌的手机、常下载哪些应用、通话规律、行动轨迹。然后沿着相似模式一个接一个地锁定嫌疑人并打分。就像流感病毒传播一样,顺着关联链条,把怀疑的网越撒越大。
把生命换算成数字的算法
以色列军方对薰衣草90%的准确率颇为满意。90%,乍一听相当高。但停下来想想这意味着什么。10%可能是错的。薰衣草标记了37,000人作为打击目标,其中3,700人可能是无辜的人。3,700条人命,能叫「误差范围」吗?
更可怕的是,战争打响后,人工审核程序也松懈了。开战前有一条内部规定:「必须有至少两条人工获取的情报来印证薰衣草AI的判断。」但加沙战争一开始,标准就降到了「一条」,实战中连这一条也常常被忽略。
一名情报分析员的证词令人毛骨悚然:「我们只是给薰衣草AI的决定盖个章而已。批准一次打击,只花20秒。」生死攸关的决定,实质上是人工智能在做。人的判断不过是走个过场。
一名军官冷冰冰地说了一句话,概括了一切:「省钱、省时间、省人力,比平民的命重要得多。」
「爸爸在哪儿?」,,把家人当作筹码的系统
与薰衣草配合运行的另一套系统,光名字就让人脊背发凉。它叫「爸爸在哪儿?(Where's Daddy?)」,是一套追踪系统,能在目标人物回家的瞬间通知以色列军方。
为什么偏偏叫「爸爸在哪儿?」原因既简单又残酷:专门瞄准父亲回家的时刻发动攻击。这套系统学习目标人物的日常作息,锁定住所位置,实时监控他何时踏进家门。
以色列军官的证词触目惊心:「我们并不只在哈马斯成员身处军事建筑或从事军事活动时才打击他们。在他们家里动手要容易得多。这套系统就是为了掌握哈马斯成员何时在家而设计的。」
结果可想而知。为了消灭一个目标,他的整个家庭一起陪葬。在家中遭遇轰炸,妻子和孩子不可能幸免。这是对国际法明文规定的平民保护原则的公然践踏。
以「附带损害」为名的大屠杀许可证
六名以色列军方情报人员的证词更加骇人。战争头几周,以色列军方认定,薰衣草标记的每一名武装人员被暗杀时,15到20名平民的死亡属于「可接受范围」。打击哈马斯指挥官级别的目标时,100名以上平民的死亡也在允许之列。
美国国务院一位国际法专家在接受《卫报》采访时说:「1比15这个比例,尤其是针对低级别战斗人员,我闻所未闻。」这意味着以色列设定的平民伤亡容许标准,在国际上史无前例地宽松。
IDF内部证人的话为这一切做了注脚:「不想在低级别武装人员身上浪费太多人力和时间。哪怕要承受附带伤亡、平民死伤、误杀无辜的代价,用AI也划算。」
否定人的尊严的机器裁决
薰衣草系统最根本的问题,是把人的生命当作纯粹的数据来处理。一个人的生活、情感、家庭关系、个人经历统统被忽略,生死完全由人工智能算法算出的概率来决定。这是对人的尊严的根本否定,彻底颠覆了技术应当服务于人的原则。
透明度更无从谈起。算法按什么标准把一个人归类为危险人物,没人说得清楚;被错误归类的人,也没有任何途径证明自己的清白。没有正当程序,没有法律保护,生命就这样被夺走了。
加沙的人脸识别地狱
以色列与薰衣草一同部署在加沙地带的人脸识别技术,是另一场噩梦。2023年加沙战争爆发后,以甄别哈马斯相关人员、辨认以色列人质为由引入的这套系统,实际上变成了对巴勒斯坦居民的无差别监控工具。
由以色列情报部队8200部队主导的行动中,使用了民营企业Corsight的人脸识别技术。通过检查站、无人机和军用摄像头运行,Corsight的员工被直接派驻现场提供技术支持。
部署在加沙的以色列士兵配备了搭载这项技术的摄像设备。每当难民通过检查站,他们就随机拍摄、扫描面部,与现有数据库比对以确认身份。
Corsight曾吹嘘自家的人脸识别技术「即使面部暴露不到50%,或在黑暗、低画质环境下也能精准识别」。但现实完全是另一回事。巴勒斯坦诗人Mosab Abu Toha就是活生生的证人。他带着三岁的孩子踏上逃难之路,在以色列军方检查站被人脸识别摄像头扫描后,因AI的错误被当成通缉名单上的人,遭到拘押,在两天里遭受了殴打和酷刑。
国际特赦组织将以色列的这些行为定性为「自动化的种族隔离」。这成了AI技术被滥用于战争与监控时可能造成严重人权侵害的标志性案例。
3. 仅凭走路姿势就能找到你的中国
在中国的「天网」系统面前,无处可藏。这个名字取自老子的『道德经』,「天网恢恢,疏而不失」,意思是天道的网看似疏阔,却不会放过任何恶人。但这里所说的「恶人」,由谁来定义?答案是中国共产党。
1秒扫描14亿人
中国在全国安装了超过10亿个监控摄像头。想象一下,10亿只眼睛全天候盯着你。中国政府称,通过这套系统可以在1秒内检索全部人口。1秒之内分辨14亿张脸,技术上令人叹为观止,从人权角度看却是一幕恐怖剧。
中国的人脸识别技术处于世界顶尖水平。2018年美国国家标准与技术研究院(NIST)举办的人脸识别供应商测试中,前四名全部被中国企业开发的算法包揽。他们在这个领域领跑全球,原因很简单:实验对象有14亿人。
99.8%的准确率
天网的人脸识别准确率高达99.8%。运行两年内,通过这套系统抓获的犯罪嫌疑人超过2,000人。但真正值得警惕的是,它不仅识别人脸,还能通过步态识别锁定个人身份。你戴帽子、戴口罩都没用。光凭你走路的样子,就能把你找出来。
看看真实案例就知道它的威力。一名17年前杀害男友的女性,被高速公路收费站安装的人脸识别系统认出。一名因经济犯罪被通缉的男子,在5万人的演唱会现场被摄像头捕捉到面部特征后被捕。2000年发生在浙江省的一起毁尸案,凶手在16年后被系统锁定。
最戏剧性的案例发生在安徽省一座寺庙。系统发现住持的面部特征与一名暴力犯罪嫌疑人吻合。这个人改了名换了姓,以僧人身份隐匿了十多年,最终还是落网了。
这些案例展示了中国监控技术的精密和覆盖之广。但同时也暴露出,这种技术对普通公民的隐私构成了多么严重的威胁。
鹰眼织就的监控网
2016年,中国经中共中央委员会批准,启动了「锐眼工程」(Sharp Eyes)。这是一项雄心勃勃的计划,目标是建成覆盖全国、全天候运转的闭路电视监控网络。
锐眼工程远不止多装几台摄像头那么简单。它把安装在道路和公共场所的监控摄像头,与居民家中的电视、手机、门锁等设备打通,构建起一个能实时掌握动态的网络。说白了,就是让每个人都成为彼此的监视者。
试想一下:你家的电视、你的手机,甚至你家的门,全都变成了政府的监控工具。中国国土被一张巨大的监控网笼罩,说的就是这个意思。
日常监控
中国的人脸识别技术已经渗透到日常生活的方方面面。交通违章者的面孔会被拍下来,投放到电子屏幕上公开曝光。行人闯红灯会被自动抓拍处罚。乘坐地铁时,不用掏手机,刷掌或刷脸就能完成支付。
北京天坛公园甚至为了防止厕纸被偷,在卫生间安装了人脸识别设备。必须先完成面部识别,才能领取定量的厕纸。连上厕所,你的脸都会被记录在案。
2019年12月1日起,注册新手机号码必须进行面部扫描。政府给出的理由是「保护公民在网络空间中的合法权益」,但真实目的是建立一个由政府主导的生物信息数据库。采集到的面部数据与全国超过7亿台闭路电视组成的监控网络整合,实现了实时身份识别和行踪追踪。
新冠疫情成了监控技术大规模铺开的绝佳契机。学校、政府机关、居民小区纷纷在测温的同时,引入人脸识别进行出入管理。即使戴着口罩也能被识别的技术随之问世并投入使用。
新疆维吾尔
中国监控系统运作最极端的地方,是新疆维吾尔自治区。那里已经变成了监控技术的试验场。清真寺、维吾尔族社区、机场、火车站、公交站,新疆全境670万个点位部署了闭路电视和面部扫描系统。
据人权观察(Human Rights Watch)披露,新疆地区十分之一的人口,约250万人,每天都处于中国情报部门的监控之下。12岁到65岁的居民被强制采集DNA、指纹、虹膜、血型等生物信息。这和把所有人当作潜在罪犯没有区别。
用来监控维吾尔族的「一体化联合作战平台」(IJOP)本身就是一个种族歧视的工具。这个平台为了在新疆追踪维吾尔人,采集包括DNA在内的生物数据。这已经超越了监控的范畴,意味着对整个少数民族的系统性压迫和控制。
人权观察获得的一份阿克苏地区2000名维吾尔族在押人员名单令人震惊。关押理由包括:未经许可学习古兰经、蓄留长胡须、使用VPN、频繁关闭手机、进行宗教活动等。这些再寻常不过的日常行为,竟然成为将人关进集中营的依据。
据报道,华为开发了专门针对维吾尔族的监控摄像系统,由此引发了巨大争议。一旦系统检测到维吾尔族面孔,就会自动触发「维吾尔警报」并通知警方。阿里巴巴也被曝拥有能够识别维吾尔族的人脸识别程序。
针对宗教信众的敲门行动
中国强制要求宗教信众服从以无神论和马克思主义为基础的共产主义意识形态。共产党将宗教团体视为可能挑战党的权威的潜在力量。
1860年洪秀全打着基督教旗号发动太平天国运动,差点颠覆清王朝,这段记忆至今深刻。习近平执政以来,推行「宗教中国化」政策加强管控,要求宗教组织服从党和政府的指令。
根据中国刑法第300条,参与被禁宗教组织的活动构成犯罪,可判处三至七年有期徒刑。政府对举报被禁宗教团体信众的人提供十万元人民币奖金,建立起全民举报体制。
2017年初开始,一场名为「敲门行动」的大规模监控活动在全国范围内展开。以各种名目派遣警察上门调查宗教信众,拍照登记造册。这是一套遍布全国、用于追踪宗教人士的监控体系。
采集到的数据存储在国家安全保卫部的专用电脑中,调查人员四处搜集传教者的证据。一旦取得证据便启动进一步调查,调查结束后,通过「锐眼」和「天网」工程对目标人物实施不间断监控。
社会信用体系:用分数衡量人的价值
中国政府建立的社会信用体系,运行逻辑是「守信激励,失信惩戒」。它监视着中国境内每一个人的行为,并据此打分。就好比学校给学生的日常表现打分一样,政府在给每一位公民的言行举止评分。
这套体系并非中央政府通过法律统一建立的制度,而是由各地方政府、铁路部门、金融机构等各自搭建的系统。但由于参与的地方政府和机构众多,实际上等同于在全国范围内统一推行。
信用分高的人入住酒店不用交押金,签证审批也比别人快。信用分低的人则在住宿、乘火车、出行自由等方面受到各种限制和处罚。
社会信用体系通过多种途径监视人们的行为。遍布各处的闭路电视全天候监控,利用人脸识别技术掌握谁在哪里做了什么。上网记录、消费记录、贷款还款记录、交通违章记录,日常生活中的一切信息都被收集起来。
想拿高分,就得按时纳税、遵守交通规则、按时还贷。做志愿服务、孝敬父母也能加分。反过来,闯红灯、欠债不还、散布虚假信息则会被扣分。批评或反对政府的行为,扣分幅度尤其大。
向全球蔓延
最令人忧虑的是,中国的监控模式正在向全球扩散。中国向其他国家出口监控技术,不少发展中国家正在引进这些技术。非洲、南美、亚洲的多个国家已经在使用中国的监控技术监视本国国民。
华为、海康威视、大华等中国企业研发的监控技术已在全球多个国家投入使用。这意味着中国式监控模式正在向全世界扩展。
中国的天网系统是一个典型的案例,证明技术进步并不自动保障人的自由和幸福。这套系统的初衷是维护社会安全与秩序,但它同时也是一个可能严重侵犯个人自由和人权的危险工具。技术发展本该让人们的生活变得更好,现实却是它被用来管控和压制民众。
4. 帕兰提尔
你听说过帕兰提尔(Palantir Technologies)这家公司吗?它的名字取自托尔金小说『魔戒』中的魔法水晶球「帕兰提尔」。小说里,这颗水晶球能窥视远方、监视万物。现实中的帕兰提尔公司,做的事情并无二致。
这家公司由PayPal创始人彼得·蒂尔于2003年创立,运营着全球最强大的数据分析和监控系统。它的客户包括美国中央情报局(CIA)、联邦调查局(FBI)、国家安全局(NSA)、国防部等美国核心情报机构。近年来,私营企业也开始使用帕兰提尔的服务。
吞噬一切数据的数字海怪
帕兰提尔的核心技术,是将来自不同渠道的海量数据进行整合分析。它运用人工智能和机器学习技术,从数十亿个数据点中发现隐藏的模式和关联。卫星图像、手机通话记录、金融交易明细、社交媒体帖子、政府数据库,各种各样的信息都能被一并分析。
更可怕的是,这一切都在实时运行。新信息一进入系统,分析立刻启动,与已有数据进行比对,筛查有意义的模式或危险信号。这就像一个巨大的数字大脑在全天候监视着整个世界。
Gotham与Foundry:为政府和企业打造的全视之眼
帕兰提尔按照核心客户群体的不同,运营着两大平台:面向政府机构的「Gotham」和面向民间企业的「Foundry」。
Gotham是帕兰提尔的政府版平台,用于军事行动、反恐、情报收集和犯罪侦查等领域。它被称为「数字棋盘」,因为它能将复杂局势像棋盘一样可视化呈现,辅助决策者做出战略判断。
Gotham的主要功能包括:一是「信号情报」(Signal Intelligence)分析。它能对全球采集到的电子通信信息进行分析,手机通话、互联网通信、卫星通信等各类电子信号都能被实时处理。
二是「人力情报」(Human Intelligence)整合功能。将机密情报人员的报告、访谈记录、现场观察报告等输入系统后,自动与其他情报交叉关联分析。比如,某个线人提供的情报是否与卫星图像或通信截获内容吻合,可以即时核验。
三是「地理空间情报」(Geospatial Intelligence)分析。对卫星图像、无人机视频、地图数据进行实时分析,感知地面变化。新建筑出现、军队调动、武器部署等变化,系统都能自动识别。
四是「开源情报」(Open Source Intelligence),即社交媒体信息的采集与分析。Facebook、Twitter、Instagram等平台上的帖子被自动采集和分析,可以实时掌握特定地区的政治氛围和社会动荡程度。
Foundry是民间版平台,数据分析能力与Gotham相当,但侧重点不在军事和情报,而是企业运营。它以仿真引擎为基础,能够整合管理企业的财务、人事、物流、库存等各类数据。
乌克兰战争:Palantir的实战舞台
2022年2月俄罗斯入侵乌克兰后,Palantir在这场战争中扮演了关键角色。战争爆发仅三个月后的2022年6月,乌克兰总统泽连斯基会见了Palantir CEO亚历克斯·卡普,请求军事支援。卡普是泽连斯基在战争期间会见的第一位西方企业CEO,由此可见Palantir的分量。
Palantir决定向乌克兰免费提供自家软件。这是一个战略性的判断,因为真实战场提供了测试和改进技术的难得机会。对企业而言,俄乌战争意味着只有在真实战争中才能获得的珍贵数据和经验。
Palantir向乌克兰提供的核心系统是一个名为「Metaconstellation」的综合分析平台。该系统的核心功能是通过AI实时分析卫星图像、开源数据、无人机画面、情报报告等信息,为乌克兰指挥官提供战场态势感知和攻击目标决策所需的情报。
Palantir CEO亚历克斯·卡普在接受路透社采访时表示:「乌克兰军队的大部分攻击行动都由Palantir的AI系统负责。」『经济学人』评价说:「在大卫(乌克兰)与歌利亚(俄罗斯)的对决中,充当大卫'投石索'角色的正是Palantir的AI系统。」
民间监控的黑暗阴影
在战场上搜寻和追踪敌军的技术,只需稍加修改,就能变成政府监控和管制公民的工具。Palantir已经多次卷入与民间监控相关的争议。
摩根大通最初引入Palantir是为了监控员工的违规行为。但当系统被用于监视公司高管的私生活时,引发了争议,合同随之被取消。
Palantir的系统有能力找到用户想要的任何信息。电子邮件、电话通话、金融交易、位置信息、社交媒体活动,个人的一切数字痕迹都能被追踪和分析。
Palantir与美国移民和海关执法局(ICE)签订合同,协助追踪和逮捕非法移民。这个案例表明,该技术可能被用于打压社会弱势群体。Palantir内部超过200名员工签署了对ICE合同表达担忧的请愿书,13名前员工公开批评了公司的方向。
数字监控同盟的扩散
Palantir与包括美国在内的全球40多个国家的政府机构签有合同。这些国家的政府以反恐、刑事侦查、边境管理、社会安全等名义引入Palantir的技术。但这类系统一旦建成,其使用目的和范围极有可能不断扩大。
在民主社会中,公民曾经能够监督和制衡政府。通过新闻自由、集会自由、言论自由,公民可以批评政府的过失并要求改善。随着Palantir这样强大的监控技术落入政府手中,这种平衡正在瓦解。政府能够实时监控和分析所有公民的行为,而公民却越来越难以知晓政府在做什么。监视者与被监视者的关系正在发生逆转。
从国际层面看,Palantir的扩散同样令人忧虑。美国向盟国提供Palantir技术,事实上正在构建一个「数字监控同盟」。这意味着监控技术的标准化正在全球范围内推进。
技术与权力的危险结合
Palantir展示了技术与权力的结合可以多么危险。该公司创始人彼得·蒂尔与美国共和党关系密切,曾支持唐纳德·特朗普。Palantir的技术被用于服务特定政治势力利益的可能性无法完全排除。
Palantir的市值已经超越了传统军工企业。截至2024年12月,Palantir市值达到1740亿美元,超过了洛克希德·马丁(1216亿美元)、诺斯罗普·格鲁曼(690亿美元)等军工企业。基于软件的监控技术正在获得比基于硬件的传统军工企业更高的估值。
Palantir的案例发出了一个重要警示。技术不是中立的。它取决于谁在用、为了什么目的、以什么方式来使用,既可以解放人类,也可以压迫人类。我们今天的选择将决定后代所生活的世界是什么模样。
5. 美国NSA
2013年,爱德华·斯诺登泄露的NSA机密文件震惊了全世界。美国国家安全局(NSA)窃听了35国领导人的手机。以德国总理默克尔为例,她的手机从2002年到2013年被监听了大约十年。包括德国在内的欧洲盟国对美国表达了不信任,外交冲突随之加剧。
据斯诺登披露,美国在包括韩国和日本在内的38个友好国家的驻美大使馆安装窃听装置,并使用专用天线探测电磁信号,进行全方位间谍活动。连布鲁塞尔的欧盟总部都成了监控目标。一边自称「自由的守护者」,一边却把盟友当敌人来监视。
NSA运营着名为「棱镜」(PRISM)的系统,直接接入谷歌、Facebook、苹果、微软等全球IT巨头的服务器,实时收集个人邮件、照片、通话记录等所有信息。甚至入侵了中国清华大学和香港通信企业,不分敌友地展开无差别情报战。
德国司法部长愤怒地表示「这让人联想到冷战时期敌对国家的行径」,可见对盟国的背叛性监控达到了何种程度。CIA将德国法兰克福和汉堡的领事馆用作黑客基地,在友好国家的领土上公然进行网络间谍活动。
斯诺登事件后更加精密的监控
斯诺登曝光已过去十余年。这期间人工智能技术突飞猛进。在奥巴马总统道歉之后,美国情报机构真的停止了对友好国家领导人的手机和重要通信网络的窃听吗?笔者认为监听从未停止。
过去NSA的监控侧重于收集海量通信数据,如今AI已经进化到能够实时分析和预测这些数据。AI算法能在几分钟内分析完人类分析师需要数年才能处理的数据量。它可以从电子邮件、社交媒体帖子、通话记录等海量信息中迅速识别特定个人的政治倾向、批判性意见和联系网络,并绘制出关联图谱。
预测性监控和行为分析也已成为现实。通过学习过去的数据,AI可以预测特定个人或群体的未来行为。它能对参加政治集会或在网上反复就特定议题发表意见的个人进行分类,并集中监控其所有在线活动和通信。
人脸识别和行为识别系统也在不断进步。遍布全球的监控摄像头、无人机、卫星影像与AI的「眼睛」结合,构建起强大的实时追踪系统。AI不仅能识别特定人物的面部,即便戴着口罩或仅露出部分面部,也能确认身份。通过分析步态、行为模式等生物特征信息,即使在人群中也能识别特定人员并追踪其行踪。
五眼联盟:绕过国内法限制的监控同盟
由美国、英国、加拿大、澳大利亚和新西兰组成的五眼联盟(Five Eyes)情报同盟,正在利用尖端技术构建全球监控网络。各国情报机构共享和分析所收集的数据,运营着全方位的监控体系。
这个同盟最巧妙之处在于它能绕过各国的法律限制。美国政府直接监控本国公民在法律上受到约束,但接收英国或其他盟国收集的美国人信息则相对自由。这实际上架空了各国的个人信息保护法和监控限制规定。
情报机构正通过Facebook、Twitter、Instagram等社交媒体平台大量收集个人信息。这些平台掌握着用户日常活动、人际关系、政治倾向、消费习惯等海量数据。AI技术能够分析这些信息,预测个人的性格、政治立场和行为模式。有研究表明,仅凭对特定帖子点「赞」的行为模式,就能以90%以上的准确率预测一个人的政治倾向。
金融监控与位置追踪的天罗地网
金融机构对金融交易数据进行监控,由此可以掌握个人的经济活动、消费模式和人际关系。一个人在特定地点取款或在某家商店消费,其位置和活动就能被追踪。AI技术可能沦为监视所有公民经济活动的工具。
通过智能手机、GPS设备、信用卡等收集的位置信息,能够详细掌握个人的出行模式。AI技术分析位置数据后,可以掌握个人的日常活动规律、接触的人群、常去的场所。这些信息可以被用来预测和监控特定个人的行为。以不同于日常模式出行的人,可能被归类为「可疑行为」而被列为重点监控对象。
蚕食民主的数字极权主义
基于AI的监控系统正在对民主制度和人权构成严重威胁。个人隐私、言论自由、集会自由、政治参与等民主社会的基本权利,正在被监控和管制所侵蚀。随着对政治异见者和社会运动人士的监控不断加强,健康的政治辩论和社会批评可能受到压制。这将损害民主制度中制衡机制的根基。
我们正站在一个重大的十字路口。技术越发展,监控的精密程度和覆盖范围就越扩大。现在到了我们必须做出选择的时刻:是以便利和安全之名接受全方位监控,还是即便忍受不便也要守住自由与人的尊严?
6. 数字独裁的威胁
未经同意的大数据掠夺
你早上起床查看手机,坐地铁上班,在咖啡馆喝咖啡,在网上购物,所有这些瞬间都在变成数据。而这些数据在未经你同意的情况下被收集、分析,并成为对你做出判断的依据。
全世界运行的AI监控系统,最根本的问题在于它们根本不征求人们的同意。以色列的「薰衣草」系统收集并分析了加沙地带230万居民中绝大多数人的信息。在中国,无论国民愿意与否,面部信息都被强制采集。
个人信息自主决定权是民主社会的基本权利。每个人都有权知道自己的信息被谁、在何时、以何种目的使用,并有权决定是否同意这种使用。但AI监控系统完全无视了这些权利。
更严重的是,被收集的信息范围超乎想象。不只是面部照片或姓名,位置信息、通话记录、互联网搜索历史、社交媒体活动,甚至步态和行为模式,一切都是收集对象。你的一举一动都在被记录和分析。
黑箱算法的独裁
普通人根本无从得知这些系统是如何运作的。拉文德的算法以何种方式训练和学习,中国的人脸识别系统依据什么标准判别一个人,都没有明确公开。这些系统做出的决定关乎人的生死,运作过程却被层层保密遮蔽。
算法透明是民主社会极为重要的原则。涉及个人权利的自动化决策,公众有权知晓其依据和过程。然而当前的AI监控系统处于「黑箱」状态运行,没有任何人能够确认其内部运作原理。
这是极其危险的事情。算法即便存在偏见或错误,也无从验证和修正。做出了错误判断,却无法追溯原因,也就无法纠正过失。
这些系统也并非完美。拉文德系统10%的误差率,意味着无辜平民有被错误识别的风险。中国的人脸识别系统即便号称99.8%的准确率,每1000人中仍有2人可能被误判。将其应用于14亿人口,数千万人可能沦为误识的受害者。
24小时监控的电子囚笼
想象一下现代AI监控系统所制造的世界。从踏出家门的那一刻到回家为止,除了入睡的时间,每时每刻都在被记录和分析。去了哪里、见了谁、买了什么,甚至脸上什么表情,一切都化为数据。
中国的监控系统与社会信用制度相连接,对国民的社会行为进行分析,甚至评估其对政府的忠诚度。这严重限制了人们自由行动和思考的权利。
这种全方位的监控制造出「寒蝉效应(chilling effect)」。当人们意识到自己无时无刻不在被监视,就会自我审查,不再自由表达意见,不再参与政治活动。这压制了民主的根基,,表达自由与政治参与。
看看维吾尔族的处境。未经许可学习古兰经、蓄长胡须、使用VPN,都成了被关押的理由。宗教自由、表达自由、隐私自由被全面侵犯。当日常行为被认定为犯罪的社会里,没有人是安全的。
机器做出的生死判决
以色列情报人员关于拉文德系统的证词令人毛骨悚然:「作为人类,除了盖上批准的印章,我没有起到任何作用。」在涉及生命的最关键决策中,人的判断实际上被架空了。
将攸关人命的决定交给机器,是极其危险的。再先进的AI也无法完整理解复杂局势的语境,更无法做出伦理判断。战争或治安行动中意外变量层出不穷,在这样的情境下,机械式的判断可能导致致命后果。
自动化决策使责任归属变得模糊。当错误决策伤害了无辜的人,究竟谁该承担责任?是开发者、运营者,还是下达命令的上级?界限难以厘清。
看看巴勒斯坦诗人Mosab Abu Toha的遭遇。他带着三岁的孩子踏上逃难之路,却因人脸识别AI的错误被误判为通缉犯,遭拘押两天并受到酷刑。机器的一个失误,在一个人的人生中留下了无法抹去的创伤。
瞄准弱者的数字猎犬
AI监控系统的另一个问题是对特定群体的歧视性监视。中国的监控系统被用作打压维吾尔族、哈萨克族等少数民族的工具。这违反了人人平等这一最基本的人权原则。
AI系统会原封不动地反映训练数据中的偏见。如果训练数据中包含对特定种族或宗教的歧视,AI就会学习并再现这些偏见。这在技术层面固化并放大了社会中既有的歧视。
少数民族和宗教少数群体本就处于社会弱势地位,AI监控系统以更加歧视性的方式监视和管控他们,进一步恶化了他们的人权状况。
华为的「维吾尔警报」系统和阿里巴巴的维吾尔族识别程序,赤裸裸地展示了技术如何沦为种族歧视的工具。仅仅因为属于某个民族就自动触发警报的世界,这是我们想要的未来吗?
践踏国际法的数字法外之徒
媒体强烈批评以色列基于AI的打击行动是「明显无视国际法、违反人道主义的行为」。国际法保障每个人的生命权、隐私权、表达自由、宗教自由。国际人道法规定,即便在战争中也必须区分平民与军事目标,避免造成过度的平民伤亡。
然而目前运行的AI监控系统正面违反这些国际法原则。「爸爸在哪里?」系统刻意打击家人聚集的住宅,中国对整个维吾尔族实施监控和压迫,美国对盟国通信进行无差别监听,这些都是违反国际法的行为。
更为严重的是,这些违法行为正在以「技术进步」之名被合理化。每当新技术出现,便有人宣扬可以无视既有法律和伦理标准的逻辑。
对人的尊严的抹杀
AI监控系统的根本问题在于,它将人还原为数字和数据。拉文德系统用1分到100分来评判一个人。中国的社会信用体系同样将个人的所有行为量化打分。
人生而拥有平等的尊严。这是不可被任何标准评判或计算的绝对价值。AI监控系统否定了人的尊严,仅从效率和利益的视角审视人。
更严峻的是,这种评分成了决定生死的标准。在拉文德系统中得分高就会被杀害,在中国的社会信用体系中得分低就会遭到社会隔离。机器打出的分数左右人的命运,这样的时代已经来了。
敲响民主终结的警钟
AI监控系统的扩散从根本上威胁着民主的核心价值。表达自由、集会自由、宗教自由、隐私权,,民主社会赖以存立的这些权利,全部岌岌可危。


