AI书房
用书来读懂AI
这里收录金京镇律师的AI、法律、产业、历史、政治、文化主题在线书。每本书都按目录、序言、章节、尾声整理,方便连续阅读。
[AI书房] 第13章 医疗AI与保险算法
人工智能AI走上法庭
第四部 实体安全与各行业AI诉讼
第13章 医疗AI与保险算法
金京镇律师
一、保险理赔遭拒集体诉讼
(1) Estate of Lokken v. UnitedHealth Group: nH Predict算法
2022年5月5日,住在威斯康星州的91岁老人吉恩·洛肯(Gene B. Lokken)在家中摔倒了。腿和脚踝都骨折了。救护车把他送到了阿斯皮勒斯·托马霍克医院。
住院后,他的状况开始恶化。主治医生建议转入临终关怀。5月11日,洛肯被转到托马霍克健康服务中心的专业护理机构。在那里,他开始接受康复治疗。
6月24日,骨科医生检查了他骨折的腿。拆除了夹板,换上可拆卸的踝部护具。医生指示物理治疗师:在佩戴护具的状态下开始负重行走和移动训练。物理治疗师报告说,洛肯正在缓慢恢复力量和行动能力,但仍然需要持续的物理治疗。
7月1日到7月20日,联合健康保险承担了洛肯的护理费用。然而7月20日,保障突然中断。联合健康保险发来的通知上写着:「在专业护理机构继续住院的天数不具有医疗必要性。」
洛肯的主治医生说需要继续物理治疗。联合健康保险的算法说不需要。谁的判断是对的?
要回答这个问题,得先了解一个名字:nH Predict。
nH Predict是联合健康集团旗下子公司naviHealth开发的AI程序。这个算法把特定患者与类似患者进行对比,预测急性期后所需的治疗时长。说白了,就是告诉你:「跟你情况差不多的人平均接受了这么长的治疗,你也差不多够了。」
问题在于,患者不是平均数。91岁老人不会以40岁成年人的速度康复。有糖尿病的患者和没有的,愈合过程完全不同。但算法不管个别患者的主治医生怎么建议,只管按自己的公式计算。
2023年11月14日,洛肯的遗属和另一位死者戴尔·亨利·特茨洛夫(Dale Henry Tetzloff)的遗属向明尼苏达联邦地方法院提起了集体诉讼。被告是联合健康集团、联合健康保险和naviHealth。
起诉书里的指控令人震惊。
联合健康保险明知nH Predict不准确。
因为超过90%的拒赔决定在申诉中被推翻。
超过80%的事前授权拒绝同样如此。
公司明知这一事实,仍然继续使用该算法。
原告主张了七项诉因:违约、违反诚实信用义务、不当得利、保险恶意、俄勒冈州过失致死、明尼苏达州不公平保险行为、违反加利福尼亚州不正当竞争法。
联合健康保险的反驳在意料之中。我们没有将nH Predict用于理赔决定。这个工具只是为医疗服务提供者、家属和护理人员提供指引,帮助他们了解患者可能需要的帮助和治疗。我们始终依据Medicare承保标准和保险条款作出理赔决定。
这里出现了Medicare这个词。这正是让本案变得复杂的关键。Medicare是面向65岁以上美国人的联邦健康保险计划。Medicare Advantage则是由私营保险公司代为提供Medicare福利的项目。联合健康保险是美国最大的Medicare Advantage提供商,为5290万美国人提供健康保险。
问题在于Medicare法是联邦法。联邦法通常优先于州法。这叫「联邦优先原则」(federal preemption)。联合健康保险的律师援引这一原则,请求驳回诉讼。他们主张,原告依据州法提出的所有请求都被Medicare法所排斥,法院不具有管辖权。
还有另一道障碍:行政救济穷尽(exhaustion of administrative remedies)要求。Medicare Advantage参保人对理赔拒绝有异议,必须先走完四个阶段的行政申诉程序,之后才能向联邦法院起诉。原告们没有走完这些程序。
2025年2月13日,约翰·R·图恩海姆法官作出了裁定。这位由克林顿总统任命的联邦法官面前,横着两道法律障碍,都是联合健康保险律师团队构筑的防线。
第一道障碍:「这些人还没有资格来法院。」
韩国法律人对这个逻辑应该不陌生。行政复议前置主义。敲法院的门之前,必须先走完行政机关内部的救济程序。韩国行政诉讼法也有类似规定。
保险公司拒绝支付治疗费怎么办?先要向保险公司内部提出异议。被驳回了再走Medicare行政申诉。所有步骤都走完,才能向法院起诉。跳过任何一步,诉讼就会因为不符合起诉条件而被驳回。
问题是时间。走完整套程序可能要两年。对一个被赶出护理院的失智老人来说,两年等于永远。图恩海姆法官认定可以适用例外。其逻辑类似韩国行政诉讼法第18条第2项的规定:为防止重大损害而有紧迫必要。原告们被迫放弃了必需的治疗,生命和身体面临不可挽回的威胁。
还有第二个论据:程序的无意义性。联合健康保险即使收到申诉,也会用nH Predict算法再次作出拒绝决定。机械式驳回不断重复。走前置程序本身已经沦为形式。程序已被架空。法官认可了这一点。
原告们跨过了第一道障碍。
第二道障碍更加复杂:联邦优先。
韩国是单一法律体系。法律由国会制定,全国统一适用。美国不同。50个州各自立法,联邦政府也立法。两者冲突时怎么办?
原则很清楚。上位法优先,联邦法胜出。但问题是联邦法「胜」到什么程度。联邦法一旦开始规范某个领域,州法是否在该领域被完全排挤?还是说联邦法未涉及的部分,州法仍然可以发挥作用?
联合健康保险律师的逻辑是这样的:Medicare法规范了老年医疗保险的方方面面。哪些治疗在保障范围内、对拒赔决定如何申诉,全部由联邦法规定。原告依据州法提出的请求侵入了联邦法的专属管辖领域,应当驳回。
这话有相当一部分是对的。
图恩海姆法官像用刀一样,把诉因一分为二:给付的适当性,与程序的正当性。
不当得利返还请求被驳回了。「保险金应该多付」这种主张,属于Medicare法规定的给付标准问题,是联邦法的管辖范围。基于俄勒冈州法、明尼苏达州法、加利福尼亚州法的请求也因同样理由被驳回。州法不能侵入联邦法的管辖领域。
但违约请求保住了。法官的逻辑是:Medicare法规定的是「哪些属于保障范围」。但联合健康保险对自己的客户作出了什么承诺,Medicare法并没有规定。那写在保险合同里。
合同里有明确的条款:由医生主导的医疗审查;考虑个别患者具体情况的决定。原告的主张很直接:你们违背了合同里写下的承诺。做决定的不是医生,是算法。不看个别情况,用统计平均值来拒绝。
这不是给付适当性的问题,而是属于私法自治领域的合同履行问题。是违约。它处于Medicare法规范范围之外。
联合健康保险自己起草的合同,自己承诺的程序。是否遵守了这些承诺,联邦法并未排斥州法对此进行审查。
原告们也跨过了第二道障碍。门很窄,但开着。AI决定人的命运的方式本身,可以在法庭上被质疑了。
这个判决意义重大。Medicare Advantage参保人对基于AI的理赔拒绝提出法律挑战的通道打开了。联邦优先原则这面盾牌并非无懈可击。保险公司如果在合同中承诺了医生审查,就必须兑现这个承诺。
诉讼尚未进入实体审理。接下来将进行证据开示(discovery)程序,调查联合健康保险实际上如何使用nH Predict。真相浮出水面还需要时间。
一个问题还悬着。如果90%的拒赔在申诉中被推翻,保险公司为什么还要继续拒赔?答案很简单:绝大多数患者不会申诉。2022年的数据显示,被拒赔的患者中真正提起申诉的只有0.2%。999人里有998人选择放弃。这就是算法的经济学。拒赔之后,少数人会申诉并且胜诉,但大多数人会放弃。省下那些放弃者的治疗费,就是利润。2023年,美国营利性健康保险公司的总利润为707亿美元。
洛肯案审理期间,加利福尼亚又有一桩诉讼提出了类似的问题。
(2) Kisting-Leung v. Cigna: 1.2秒自动拒绝
2023年7月,一位名叫苏珊·基斯廷-梁(Suzanne Kisting-Leung)的女性向加州联邦法院提交了起诉书。
被告是信诺(Cigna)。
她的故事是这样的。她为筛查卵巢癌做了两次超声检查。左侧卵巢发现了囊肿。检查费用为723美元。信诺拒绝了理赔申请。
根据信诺的医疗保障政策,对卵巢癌或子宫内膜癌高风险女性进行筛查或监测的经阴道超声,被视为「医学上必要的」。她恰好属于这一类别。那为什么会被拒绝?
答案来自新闻调查机构ProPublica的深度报道。
2023年3月,ProPublica根据信诺内部文件和前员工访谈,发表了一篇震撼性报道。
信诺使用了一套名为PxDx的系统。这套系统允许医生在不打开患者档案的情况下自动拒绝理赔申请。
看一下数字。2022年的两个月内,信诺的医生使用PxDx拒绝了超过30万件理赔申请。每件的平均审核时间为1.2秒。
1.2秒。这点时间根本不够阅读患者的病历。事实上连打开患者档案的时间都没有。
一位前信诺医生对ProPublica这样说:「我们就是点击然后提交。一次处理50件只需要10秒。」另一位医生谢丽尔·多普克(Cheryl Dopke)博士在2022年的一个月内处理了6万件理赔。开发PxDx的艾伦·穆尼(Alan Muney)博士曾是信诺的首席医疗官。他向ProPublica证实:「PxDx相关的案件没有医生、护士或任何人审核。这毫无疑问为公司节省了数十亿美元。」
数十亿美元。这才是核心。
基斯廷-梁和其他原告最初提出了四项州法索赔:违反诚实信用义务、违反加州不正当竞争法、干扰合同关系、不当得利。
一年后的2024年6月,他们的法律策略发生了变化。在第三次修正起诉书中,他们转向了ERISA(《雇员退休收入保障法》)索赔。ERISA是规范雇主提供的健康保险计划的联邦法律。
为什么要改变策略?因为ERISA是一把双刃剑。一方面,ERISA优先适用于州法索赔,压缩了原告的选择空间。另一方面,ERISA提供了一个有力的概念:信托义务(fiduciary duty)。保险公司对投保人负有为其利益行事的信托义务。用算法在不查看患者档案的情况下拒绝理赔,这符合信托义务吗?
2025年3月31日,戴尔·德罗兹德(Dale Drozd)法官就信诺的驳回动议作出了裁定。结果是部分胜诉。
首先是原告资格(standing)问题。
信诺主张三名原告,,基斯廷-梁、索恩希尔(Thornhill)和布雷德洛(Bredlow),,实际上并未通过PxDx被拒绝。信诺提交了朱莉·B·凯塞尔(Julie B. Kessel)博士的宣誓书。她是信诺临床绩效与质量部门的医疗负责人。根据她的陈述,这三名原告的理赔并未经由PxDx处理。
这里有个耐人寻味的地方。信诺声称每次使用PxDx时都会向医生和患者发送公开通知。这三名原告没有收到这样的通知。因此他们的理赔不是通过PxDx处理的。法官接受了这一逻辑,裁定基斯廷-梁、索恩希尔和布雷德洛对PxDx相关索赔不具有原告资格。但法官允许他们提出一般性的给付不当拒绝索赔。
更关键的是,ERISA信托义务违反索赔被保留了下来。法官驳回了信诺的主张。信诺辩称自己对保险条款的解释拥有自由裁量权,使用算法也在这一裁量范围之内。法官认定这构成裁量权滥用。
核心逻辑是这样的:保险条款明确规定,医疗必要性的判定由「医疗负责人(medical director)」作出。原告主张,将医疗必要性判定委托给PxDx系统,违反了这一条款条件。法官认为原告提供了足以支撑这一主张的事实。
信诺的回应也值得关注。信诺发言人声称PxDx不使用AI。它与其他健康保险公司和联邦医疗保险与医疗补助服务中心(CMS)多年来使用的软件类似。PxDx仅适用于约50种「低成本检查和手术」,审核在治疗之后进行,并向医生和患者发送通知。
信诺的律师批评ProPublica的报道「具有误导性和煽动性」。但法官表示,在现阶段无需判断媒体报道的准确性。事实将通过证据开示程序揭晓。
2025年6月9日,萨克拉门托联邦法院召开了初步日程会议。一切按计划进行。
德罗兹德法官3月裁定之后,原告方面临选择:在21天内提交第四次修正起诉书,或者宣布仅以现存索赔继续诉讼。他们选择了后者。不再修改起诉书。用手中仅剩的武器战斗。剩下的武器有两件:ERISA信托义务违反,以及加州不正当竞争法违反。两者指向同一个问题,,信诺将合同中承诺的「医疗负责人审核」替换为PxDx算法,是否构成裁量权滥用。
夏天过去,秋天来了。2025年9月2日,池秀金(Chi Soo Kim)法官批准了「修订后的协议保护令」。
美国诉讼中,审判前有一个阶段,双方必须向对方展示底牌。这叫「证据开示」程序。问题在于,这个过程中不可避免地会暴露公司的商业秘密、内部邮件、技术文档等敏感信息。
保护令就是为这种情况设置的安全阀。通俗地说,就是「秘密可以展示,但不能随意传播」的规则。被标记为机密的文件只有诉讼相关人员可以查看,不得在法庭之外复制或泄露。诉讼结束后必须归还或销毁。
加了「协议」二字,说明原告和被告双方同意了这套规则;「修订后的」则表示最初确定的规则后来做了调整。
证据开示。美国诉讼中花费最高、暴露最多的阶段。
原告方律师现在可以要求查阅信诺的内部文件了。PxDx如何运作。依据什么标准决定拒绝。医生们实际看到了什么、没看到什么。1.2秒内究竟发生了什么。
信诺在持续重复同样的主张。PxDx不是AI。它是行业标准软件。CMS也使用类似系统多年。仅适用于约50种低成本检查和手术。在治疗后进行审核。向医生和患者发送通知。
但法庭关心的不是PxDx是不是AI。问题是信诺是否履行了对客户的承诺。保险合同上写着「医疗负责人决定医疗必要性」。合同上没写算法可以代行其职。诉讼进入了最枯燥也最关键的阶段。
律师要求文件,对方抵抗,法官居中调解,这个过程将持续数月。证人宣誓作证即将开始。开发PxDx的前首席医疗官艾伦·穆尼可能要坐上证人席。朱莉·B·凯塞尔博士同样如此。
曾批评ProPublica报道「具有误导性和煽动性」的信诺律师,现在可能必须提交那篇报道所依据的原始数据。2022年两个月内拒绝超过30万件理赔申请的那些数据。
这里有一层反讽。信诺声称每次使用PxDx时都会向医生和患者发送公开通知。这一主张成功阻止了三名原告的PxDx相关索赔,,他们没有收到通知,所以不是被PxDx拒绝的。但同样的逻辑正在反噬信诺。
如果存在通知系统,就意味着可以精确追溯谁被PxDx拒绝过。意味着有记录存在。这些记录将在证据开示过程中浮出水面。
与此同时,明尼苏达州的洛肯案(Loken)正走在类似的轨道上。联合健康保险的nH Predict。信诺的PxDx。两起诉讼提出的是同一个问题:算法能否代替人类医生作出保障决定。
洛肯案涉及的是Medicare Advantage计划,基斯廷-梁案涉及的是雇主提供的健康保险。前者受联邦医疗保险法规范,后者受ERISA规范。法律不同,但本质相同。当保险公司将承诺过的「人类判断」替换为机器计算时,这是否构成违约。
答案尚未揭晓。但问题已经摆在了法庭上。洛肯案和基斯廷-梁案之间存在一个重要区别。洛肯案涉及Medicare Advantage计划,基斯廷-梁案涉及雇主提供的健康保险。前者受联邦医疗保险法规范,后者受ERISA规范。但两起案件提出的是同一个问题:算法能否代替人类医生作出保障决定?
(3)AI拒赔率增长统计(从10.9%升至22.7%)
数字不会说谎。
2024年10月,美国参议院调查委员会发布了一份令人震惊的报告。报告调查了三家大型保险公司,,联合健康保险、Humana和CVS,,的事前授权拒绝率。
2020年,这三家公司的平均事前授权拒绝率为10.9%。到2023年升至22.7%,翻了一倍还多。三年之间,拒绝率翻了一番。
什么变了?患者突然开始申请更多不必要的治疗了吗?这种可能性很低。变的是决策方式。AI和算法被引入了。
想一下这些数字背后的含义。事前授权(prior authorization)是指保险公司必须批准某项治疗或手术,患者才能接受该治疗的制度。哪怕医生判断患者需要做MRI,如果保险公司不批准,患者就只能全额自费,或者放弃治疗。
拒赔率从10.9%升至22.7%,意味着大量过去能获批的治疗现在被拒了。癌症检查、物理治疗、术前检查、专科就诊,这些都在被拒之列。
2024年11月盖洛普调查显示,仅44%的美国人认为本国医疗质量「优秀」或「良好」,创下2001年以来最低纪录。同一调查中,36%的成年人表示经历过保险理赔被拒,其中60%遭遇过多次拒赔。申诉数据同样耐人寻味:被拒患者中,真正提出申诉的只有0.2%。但申诉者中超过80%最终胜诉。这说明相当多的初次拒赔决定本身站不住脚。
患者为什么不申诉?因为流程复杂、耗时漫长。以Medicare Advantage为例,行政申诉共分四个阶段,每个阶段都要准备材料、等待结果,被驳回了还得进入下一阶段。让一个正在生病的人扛下这套流程,谈何容易。
保险公司清楚这一点。这就是它们的商业模式:先拒赔,只向那少数坚持申诉的人赔付。大多数人会放弃。
2024年12月,联合健康集团(UnitedHealthcare)CEO布莱恩·汤普森(Brian Thompson)在纽约曼哈顿遭枪击身亡。这起悲剧事件在全美引爆了对医疗保险行业的怒火。社交媒体上,被保险拒赔折磨过的人纷纷讲述自己的遭遇。
暴力在任何情况下都不可被正当化。但这件事让人看到,美国人对医疗保险体系的挫败感已经有多深。
AI让这套体系运转得更高效了。问题在于,是为谁高效?对保险公司来说,AI是压缩成本的工具;对患者来说,AI是又一道屏障。
Loken诉讼和Kisting-Leung诉讼,是挑战这套体系的初步尝试。无论法院作出怎样的判决,这些诉讼已经把一个关键问题摆上了台面:当算法替人类做出关乎健康的决定时,谁来承担责任?
下一节将从另一个侧面审视这个问题:当AI在诊断或治疗中犯了错,谁来承担医疗过失的责任?
二、AI误诊,谁来担责?
(1) AI诊断错误与过失认定
2024年,美国每五位医生中有三位在临床工作中使用了AI。这是美国医学会(AMA)的调查结果。
这个数字让人吃惊。就在几年前,AI还只是实验室里的研究课题。现在它已经走进诊室,面对患者。它读X光片、分析皮肤病变、检测肿瘤。
问题来了:AI判断错了,怎么办?
2024年数据显示,涉及AI工具的医疗过失索赔比2022年增长了14%。案件集中在影像学、心脏病学和肿瘤学领域。漏诊癌症是最常见的类型。
医疗过失法的核心概念是「注意义务标准(standard of care)」。通俗地说,就是「一个合理的医生在同样情况下会怎么做」。医生未达到这个标准,且由此导致患者受到损害,即构成过失。
问题在于,AI一旦加入这个等式,事情就变得复杂了。
想象场景一:医生盲目听从了AI系统的建议,AI判断错误,患者受到了伤害。这是谁的过错?
场景二:医生忽视了AI系统的建议,AI的判断是正确的,患者受到了伤害。这是谁的过错?
场景三:医生根本没有使用AI系统,而如果使用了AI本可以避免错误,患者受到了伤害。这又是谁的过错?
在现行法律框架下,三种情形的答案都是「医生」。2024年4月,美国州医学委员会联合会(Federation of State Medical Boards, FSMB)发布了指导意见。各州医学委员会是负责医师执照管理和纪律处分的机构。FSMB的立场很明确:当AI技术导致医疗差错时,承担责任的应当是临床医生,而非AI制造商。
他们的逻辑是这样的:「与用于诊断或治疗的其他工具或鉴别诊断一样,医疗专业人员有责任确保循证结论的准确性和真实性。」
换句话说,AI不过是和听诊器、MRI设备一样的工具。即便工具提供了错误信息,解读信息并作出决策的仍然是医生。所以最终责任也在医生身上。
但这套逻辑有个漏洞。听诊器不会自行作出判断,MRI设备不会说「这是癌症」。AI会。AI会给出建议,有时候这些建议非常具体,语气十分笃定。
有一种现象叫「自动化偏差(automation bias)」。人类倾向于不加批判地接受计算机给出的信息,在认为计算机处理了比自己更多的数据、应该更准确的时候尤其如此。医生也不例外。
约翰斯·霍普金斯大学的研究团队做过一项研究:医生在简单病例中更愿意咨询AI,但在结果不太可预测的复杂病例中却倾向于回避AI。原因是担心医疗过失风险。
这造成了一个悖论。AI在复杂病例中最有价值,医生偏偏不用;在简单病例中价值有限,医生反而用了。AI的潜力就这样被浪费了。
目前还没有关于AI相关医疗过失的重大判例。案件才刚开始进入法院。不过法学界已经提出了几种责任理论。
一是医生过失(physician negligence)。医生盲目听从AI建议,或者在注意义务标准要求使用经过验证的AI时却未使用,均可能构成过失。
二是医院/机构责任(institutional liability)。包括雇主替代责任(respondeat superior)、准入审核过失(negligent credentialing),以及对AI系统验证、训练和更新的失职等。
三是开发者的产品责任(developer product liability)。设计缺陷、警示不足、训练数据不当等情形均可能适用。
绝大多数AI医疗器械的使用条款都包含免责条款:「最终责任由医生承担。」这是制造商推卸责任的手段。
但法院会在多大程度上认可这些免责条款,目前仍不确定。
有一个例外。Digital Diagnostics公司开发了一款名为IDx-DR的糖尿病视网膜病变诊断系统。
这家公司自行购买了医疗过失保险,为其系统可能造成的损害承担责任。这在业界极为罕见。
注意义务标准本身也在发生变化。
2024年5月,美国法学会(American Law Institute)批准了关于医疗过失法的首部法律重述(Restatement)。这份文件反映了一个转变:从严格依赖行业惯例,转向以患者为中心的「合理注意」概念。法院现在可以参考循证指南和现代标准来衡量医生行为。这对AI而言意义重大。当基于AI的设备或工作流程普及并展现出经过验证的效用时,「合理医生」应达到的标准也将随之调整。不使用AI,本身就可能构成过失。
医疗过失保险行业也在适应。部分保险公司已经引入了AI相关的免责条款;另一些则要求医生必须接受AI培训,才能维持保险保障。
Indigo公司CEO贾里德·卡普兰(Jared Kaplan)表示,AI是「净正面因素」,「从长远看将降低医疗过失发生率」。但他同时承认,AI在法律上构成了「新的威胁」,在责任归属问题上「没有黑白分明的答案」。
(2) 黑箱AI与医生的告知义务
当AI系统说出「这是恶性肿瘤」的时候,医生应该向患者解释什么?
传统上,医生需要就诊断和治疗方案向患者作出说明并取得同意,这叫「知情同意(informed consent)」。医生必须解释风险和收益,让患者在充分知情的基础上作出决定。
AI介入诊断过程后,新的问题随之而来:医生是否有义务告知患者诊断中使用了AI?是否需要解释AI是如何得出结论的?
麻烦在于,很多AI系统是「黑箱」。输入数据进去,输出结果出来,中间发生了什么却难以知晓。深度学习算法通过调整数百万个参数来识别模式,要解释它为什么得出某个结论,非常困难。
医生自己可能都不理解AI是怎么运作的。在这种情况下,又能向患者解释什么呢?
伊利诺伊大学厄巴纳-香槟分校副教授Sara Gerke领导的研究团队,对美国和欧盟的18名外科医生进行了焦点小组研究。研究结果发表在《Annals of Surgery Open》上。
外科医生们普遍认为,即使使用了AI,最终责任仍然在自己身上。他们认为AI目前还不属于注意义务标准的一部分,但预计未来会成为标准。大多数人对制造商承担重大责任持怀疑态度,除非存在明确的缺陷。部分医生主张,如果外科医生正确遵循了AI的指示,应当实行责任共担。
患者知情同意成为另一个议题。外科医生们认为,当使用AI时,尤其是遵循或拒绝AI建议可能改变治疗结果时,应当告知患者。加利福尼亚州已经开始朝这个方向立法。AB 3030法案规定,自2025年1月1日起,医疗服务提供者使用生成式AI向患者发送包含临床信息的通讯时,必须进行披露。消息中必须包含该内容由AI生成的免责声明,以及如何在不经过AI回复的情况下与医疗服务提供者直接沟通的明确指引。
但这针对的是通讯环节。在诊断或治疗决策中使用AI的披露义务,目前仍不明确。
针对黑箱问题,技术领域也在探索解决方案。有一个叫做「可解释AI(Explainable AI, XAI)」的研究方向,目标是让AI能够解释自己为何作出某个决定。比如,AI在胸部X光片中检测到肺炎,它可以用可视化方式展示哪些区域对这一结论起了作用。
但可解释AI也有局限。完整解释复杂深度学习模型的决策过程,至今仍然困难。即便能够解释,这种解释在医学上是否有意义,又是另一回事。
FDA 2025年1月发布的指导文件强调透明性。制造商必须记录AI的工作原理、训练数据来源以及已知局限。但这些信息是否真正传达给患者,取决于医疗服务提供者的判断。
医疗伦理的核心原则之一是患者自主权。患者有权基于充分信息对自己的治疗作出决定。如果AI影响了这个决定,患者难道没有权利知晓吗?
这个问题的法律答案仍在演变之中。
(3) 医生判断与AI推荐之间的责任分配
最后一个问题。
当AI给出一种建议,医生选择了另一种方案,谁来承担责任?
在美国现行医疗过失法中,责任取决于「类似情况下合理医生」的标准。无论是否使用了AI,法院都以此标准衡量医生的行为。目前没有将共同责任分配给AI系统的法律原则。
航空领域采用了不同的方法。当自动化系统失灵时,责任在飞行员、系统和制造商之间分配。医疗领域是否也可以借鉴类似的方式?
法学者W. Nicholson Price提出了一个更公平分配责任的框架。欧盟的AI责任指令也朝着对高风险AI故障适用无过错责任的方向推进。
学者Chan提出了「共同企业(common enterprise)」模型,即在责任认定上,将医生、制造商和医院视为一个共同企业。这种方式意味着「从侵权法和产品责任法中体现的个人主义责任观念,转向更加分散化的责任理念」。
另一个方案借鉴了疫苗伤害补偿计划模式。美国有一个国家层面的计划,为疫苗导致的伤害提供无过错补偿。AI医疗器械是否也可以建立类似的补偿机制?
最激进的提议是赋予AI法律人格(legal personhood)。这样,受害患者可以直接起诉AI设备。但这在哲学和法律层面都会引发大量问题。
从现实角度看,短期内最可能发生的变化是注意义务标准的演进。如果遵循AI推荐成为「合理医生」的行为标准,那么遵循AI建议的医生可以获得保护。反过来,如果不使用AI被认为不合理,那么未使用AI的医生可能需要承担责任。
难点在于这个过渡期。AI尚未成为注意义务标准组成部分的当下,医生们必须在不确定性中作出决定。遵循AI,还是忽视AI?无论哪种选择,一旦出错都可能面临追责。
2021年发表了一项实验研究,以2000名美国成年人为对象,调查了陪审员在AI使用场景下的判断倾向。结果颇有意思。
当AI推荐标准治疗方案且医生遵循时,即使出现损害,医生的责任也有所减轻。但当AI推荐非标准治疗、医生拒绝并提供标准治疗时,并没有获得类似的保护效果。
这项研究的结论带有积极信号:「侵权法体系不太可能阻碍AI精准医疗工具的使用,反而可能鼓励这些工具的应用。」
但这只是陪审员的直觉。实际判决可能截然不同。
AI越深入融合到医疗实践中,责任问题就会越复杂。现有法律框架并非为AI而设计。它需要适应新的现实。
当保险算法拒绝治疗、诊断AI漏诊癌症、处方AI推荐错误药物时,必须有人承担责任。这个「人」是否永远只能是医生,还是责任应当更公平地分配?这是未来十年医疗法必须回答的问题。
下一节将考察加利福尼亚SB1120和FDA对AI医疗器械的监管。看看立法者和监管机构如何应对这一新现实。
三、加利福尼亚要求的透明性
(1) 加利福尼亚SB1120 AI披露义务
2024年9月28日,加利福尼亚州州长Gavin Newsom在桌上的法案上签了字。
SB 1120。这部被称为「医生决定法(Physicians Make Decisions Act)」的法案,可以用一句话概括:必须由人类而非算法来作出医疗决定。
这部法律之所以必要,原因很直白。
保险公司开始用AI来压缩成本,结果患者被拒绝了必要的治疗。加利福尼亚医学协会代表其5万名会员支持了这项法案。他们的主张很清楚:AI工具缺乏识别和接纳每位患者独特情况的能力。
法律条文的具体程度令人惊讶。
自2025年1月1日起,在加利福尼亚开展业务的所有健康保险计划和残障保险公司必须遵守以下规则:基于医疗必要性的保障决定,必须由持证医生或具备资质的医疗专业人员作出。AI工具不能单独作出决定。
有一条更关键的规定。法律限制了AI系统在作出决定时可使用的数据范围。不得仅基于群体数据集作出决定。
必须考虑每位患者的个人病历、临床史以及主治医生提供的个体临床情况。像nH Predict那样通过与「类似患者」比较来作出决定的方式,不再被允许。
反歧视条款也被纳入其中。AI工具不得基于种族、性别、年龄、残障或其他受保护特征进行歧视。这与2024年7月修订的联邦Section 1557最终规则保持一致。联邦规则同样禁止AI工具和算法歧视弱势患者群体。法律还设定了透明性要求。
AI算法必须对审计或合规审查保持开放,接受检查。保险公司必须向医疗服务提供者、投保人以及提出请求的公众公开其AI使用的书面政策。黑箱时代结束了。
法律对术语的定义也值得关注。它将「人工智能」定义为「具有不同程度自主性的工程或机器系统,能够针对明示或默示目标,从接收的输入中推断出如何生成影响物理或虚拟环境的输出」。但「算法」或「其他软件工具」并未被定义。法律专家指出,这可能被作广义解释。Cigna曾辩称「PxDx不是AI」,这类说辞今后可能行不通了。
执行机制也很有力。加利福尼亚管理式医疗部(DMHC)和保险部(CDI)有权处以行政罚款。故意违规将被视为犯罪行为。
这部法律并未禁止保险公司使用AI。它只是规定,AI不能充当最终决策者。
但如果每一个AI决定都需要人工审核,那一开始使用AI的意义何在?AI的核心优势在于效率提升,而这一优势可能因此被抵消。这正是我们需要观察保险公司将如何遵守这部法律的原因。
同一天,Newsom州长还签署了另一部法案AB 3030。该法规定,使用生成式AI向患者发送包含临床信息的通讯时,必须履行披露义务。
患者有权知道自己收到的消息是否由AI生成。
加利福尼亚是美国最大的州。其他州很可能以此法为范本。已有多个州在审议类似法案。AI医疗监管的拼凑格局正在成形。联邦层面吹着另一股风。特朗普政府于2025年1月20日撤销了拜登的AI行政命令14110。三天后发布了一项新行政命令,标题为「消除美国人工智能领导力的障碍」。核心意图是减少监管、推动创新。联邦与州政府之间的张力正在加剧。
FDA对AI医疗器械的监管在这种紧张态势下仍在持续推进。
(2) FDA AI医疗器械监管
2025年1月7日,FDA发布了业界期待已久的指导文件。
文件标题很长:「基于人工智能的医疗器械软件功能:生命周期管理及上市申报建议」。
这份长达85页的指导草案,为AI医疗器械监管翻开了新的一页。
先看数字。截至2025年7月,FDA批准的AI医疗器械已超过1,250款。2024年8月还是950款,不到一年增加了300多款。其中大部分集中在影像学领域,用于读取X光片、分析MRI、检测肿瘤。
问题在于,这些器械会持续学习、不断变化。传统医疗器械一旦获批就不会改变。心脏起搏器十年前和现在的工作方式没有区别。但AI不同。它会用新数据重新训练,算法会更新。昨天的AI和今天的AI可能已经不是同一个东西了。
FDA的解决方案是「预定变更控制计划(Predetermined Change Control Plan, PCCP)」。制造商预先提交一份计划,说明「这类变更将如何执行」,在计划范围内的变更无需再经FDA审查即可进行。2024年12月发布的最终指导文件确立了这一框架。
PCCP须包含三项核心要素。
第一项是对计划修改内容的说明。包括算法再训练、整合新数据集等,需要详细描述拟进行的每项变更。
第二项是修改协议。须明确数据管理方式、算法再训练方法、性能评估流程等内容。
第三项是影响评估。须评估拟议变更的风险与收益,并提出风险缓解策略。2025年1月的指导文件更进一步,强调「全产品生命周期(Total Product Life Cycle, TPLC)」方法。从设计阶段到退役,须贯穿AI器械的整个生命周期来考量安全性与有效性。透明度和偏见消除是其中的核心议题。
就透明度要求而言,制造商须说明AI的工作原理:用什么数据训练、在哪些患者群体中测试过、已知局限是什么。2024年6月发布的「基于机器学习的医疗器械透明度指导原则」指明了这个方向。
偏见消除同样被纳入强制要求。须收集证据,证明AI器械在所有相关人口统计群体(种族、族裔、性别、年龄等)中都具有相当的有效性。用白人男性数据训练出来的AI,必须证明对黑人女性同样准确。
与此同时,ChatGPT这类大规模语言模型正在进入医疗领域,撰写临床文档、辅助诊断、与患者对话。这份指导文件并未直接涉及生成式AI的特殊考量。FDA在征求公众意见时,要求就「对生成式AI等新兴技术的建议是否适当」提供反馈。
人员问题同样存在。截至2025年9月,FDA员工人数较2023年减少了约15%,大约减少了2,500人。这给快速、全面评估AI医疗器械的能力带来了制约。
大多数AI医疗器械通过510(k)路径获批,占总数的97%。这条路径只要求证明新器械与已获批器械「实质等同」,不需要新的临床试验。批评者认为,这种方式无法充分评估AI器械固有的风险。
这与医疗过失责任有交叉之处。对于FDA批准的AI产品,制造商面临的州侵权责任诉讼可能受到联邦优先原则(federal preemption)的限制。这意味着患者因缺陷AI器械受到伤害时,起诉制造商的难度可能更大。而对于不受FDA监管的AI工具,医生的临床判断则成为认定责任归属的关键因素。2025年2月18日,FDA就这份指导文件举办了公开网络研讨会。意见提交截止日期为2025年4月7日。最终指导文件何时出台仍不确定。特朗普政府的放松监管基调将对这份文件的命运产生怎样的影响,也需要继续观察。
有一点是清楚的。AI已经深入医疗现场。问题是监管能否跟上技术的脚步。加利福尼亚给保险公司使用AI踩了刹车,FDA试图管控医疗器械的全生命周期。但技术跑得比规则快。
Lokken夫人的丈夫Gene,91岁,跌倒后在护理院接受治疗。他的骨科医生说需要继续做物理治疗。但nH Predict算法给出了不同判断:「不再需要额外住院天数,不具备医疗必要性。」这是机器做出的决定。
新的监管规则就是为了防止这类事情再次发生。但法律通过并不等于问题解决,执法必须跟上。保险公司会遵循法律精神,还是会寻找漏洞,时间会给出答案。
下一章将探讨金融服务与算法合谋问题。AI在贷款决策和定价中如何成为歧视与合谋的工具,以及监管机构如何应对。
