가. 보험 청구거부 집단소송

(1) Estate of Lokken v. UnitedHealth Group: nH Predict 알고리즘

2022년 5월 5일, 위스콘신주에 사는 91세의 진 로켄(Gene B. Lokken)은 자택에서 넘어졌습니다. 다리와 발목이 부러졌습니다. 구급차가 그를 애스피러스 토마호크 병원으로 이송했습니다.

입원 후 그의 상태가 악화되기 시작했습니다. 담당 의사는 호스피스 케어를 권고했습니다. 5월 11일, 로켄은 토마호크 헬스 서비스의 전문요양시설로 옮겨졌습니다. 그곳에서 그는 재활 치료를 받기 시작했습니다.

6월 24일, 정형외과 의사가 그의 부러진 다리를 검진했습니다. 부목을 제거하고 탈착식 발목 보호대를 장착했습니다. 의사는 물리치료사들에게 지시했습니다. 보호대를 착용한 상태에서 체중 부하 보행과 이동 훈련을 시작하라고. 물리치료사들은 로켄이 천천히 힘과 이동성을 회복하고 있지만 집중적인 물리치료가 여전히 의료적으로 필요하다고 보고했습니다.

7월 1일부터 7월 20일까지, 유나이티드헬스케어는 로켄의 요양시설 비용을 보장했습니다. 그러다 7월 20일, 갑자기 보장이 중단되었습니다. 유나이티드헬스케어가 보낸 통지서에는 이렇게 적혀 있었습니다. "전문요양시설에서의 추가 입원 일수는 의료적으로 필요하지 않습니다."

로켄의 담당 의사는 물리치료 계속이 필요하다고 했습니다. 유나이티드헬스케어의 알고리즘은 그렇지 않다고 했습니다. 누구의 판단이 옳았을까요?

이 질문에 답하려면 nH Predict라는 이름을 알아야 합니다.

nH Predict는 유나이티드헬스 그룹의 자회사인 나비헬스(naviHealth)가 개발한 AI 프로그램입니다. 이 알고리즘은 특정 환자를 비슷한 환자들과 비교하여 필요한 급성기 이후 치료 기간을 예측합니다. 쉽게 말해, "당신과 비슷한 사람들은 평균적으로 이 정도 치료를 받았으니, 당신도 그 정도면 충분하다"라고 말하는 것입니다.

문제는 환자들이 평균이 아니라는 것입니다. 91세 노인이 40세 성인과 같은 속도로 회복하지 않습니다. 당뇨가 있는 환자와 없는 환자의 치유 과정이 다릅니다. 하지만 알고리즘은 개별 환자의 담당 의사가 무엇을 권고하든 상관없이 자신만의 계산을 수행했습니다.

2023년 11월 14일, 로켄의 유족과 또 다른 사망자 데일 헨리 테츨로프(Dale Henry Tetzloff)의 유족은 미네소타 연방지방법원에 집단소송을 제기했습니다. 피고는 유나이티드헬스 그룹, 유나이티드헬스케어, 그리고 나비헬스였습니다.

소장에는 충격적인 주장이 담겨 있었습니다.

유나이티드헬스케어는 nH Predict의 부정확성을 알고 있었다.

왜냐하면 거부 결정의 90% 이상이 항소에서 뒤집히기 때문이다.

사전승인 거부의 80% 이상도 마찬가지였다.

회사는 이 사실을 알면서도 계속 알고리즘을 사용했다.

원고들은 일곱 가지 청구원인을 주장했습니다. 계약 위반, 신의성실 의무 위반, 부당이득, 보험 악의, 오레곤 과실치사, 미네소타 불공정 보험 관행, 캘리포니아 불공정경쟁법 위반.

유나이티드헬스케어의 반박은 예상 가능했습니다. 우리는 nH Predict를 보장 결정에 사용하지 않았다. 이 도구는 의료 제공자, 가족, 간병인에게 환자가 필요로 할 수 있는 도움과 치료에 대한 가이드를 제공하기 위해 사용되었을 뿐이다. 우리는 계속해서 메디케어 보장 기준과 보험 약관에 따라 보장 결정을 내린다.

여기서 메디케어라는 단어가 등장합니다. 이것이 이 소송을 복잡하게 만드는 핵심입니다. 메디케어는 65세 이상 미국인을 위한 연방 건강보험 프로그램입니다. 메디케어 어드밴티지(Medicare Advantage)는 민간 보험사가 메디케어 혜택을 대신 제공하는 프로그램입니다. 유나이티드헬스케어는 미국 최대의 메디케어 어드밴티지 제공자입니다. 5,290만 명의 미국인에게 건강보험을 제공합니다.

문제는 메디케어법이 연방법이라는 것입니다. 연방법은 일반적으로 주(州)법보다 우선합니다. 이것을 '연방 선점(federal preemption)'이라고 부릅니다. 유나이티드헬스케어의 변호사들은 이 원칙을 들어 소송 기각을 요청했습니다. 원고들의 모든 주법 청구는 메디케어법에 의해 선점되므로 법원이 관할권을 가지지 않는다고 주장했습니다.

또 다른 장벽도 있었습니다. 행정구제절차 소진(exhaustion of administrative remedies) 요건입니다. 메디케어 어드밴티지 가입자가 보장 거부에 불만이 있으면 먼저 4단계의 행정 항소 절차를 거쳐야 합니다. 연방법원에 소송을 제기하기 전에 이 절차를 모두 '소진'해야 합니다. 원고들은 이 요건을 충족하지 못했습니다.

2025년 2월 13일, 존 R. 툰하임 판사가 판결문을 냈습니다. 클린턴 대통령이 임명한 이 연방판사 앞에는 두 개의 법적 장벽이 놓여 있었습니다. 유나이티드헬스케어 측 변호사들이 세운 방어선이었습니다.

첫 번째 장벽. "이 사람들은 아직 법원에 올 자격이 없습니다."

한국 법조인이라면 이 논리가 익숙할 것입니다. 행정심판 전치주의. 법원 문을 두드리기 전에 행정청 내부의 불복 절차를 다 거쳐야 한다는 원칙입니다. 한국 행정소송법에도 있는 개념입니다.

보험사가 치료비 지급을 거부하면 어떻게 해야 할까요. 먼저 보험사 내부 이의신청을 해야 합니다. 기각되면 메디케어 행정심판으로 가야 합니다. 이 모든 단계를 밟아야만 법원에 소송을 제기할 수 있습니다. 한 단계라도 건너뛰면 소송 요건 불비로 각하됩니다.

문제는 시간이었습니다. 이 절차를 다 밟는 데 2년이 걸릴 수 있습니다. 요양원에서 쫓겨난 치매 환자에게 2년은 영원과 같습니다. 툰하임 판사는 예외를 인정했습니다. 한국 행정소송법 제18조 제2항에 해당하는 논리였습니다. 중대한 손해를 예방해야 할 긴급한 필요. 원고들은 필수적인 치료를 포기해야 했습니다. 생명과 신체에 회복할 수 없는 위협이 있었습니다.

두 번째 방논거도 있었습니다. 무의미함. 유나이티드헬스케어는 항소가 들어와도 nH Predict 알고리즘으로 다시 거부 결정을 내렸습니다. 기계적 기각의 반복이었습니다. 전심 절차를 밟는 것 자체가 형식에 불과했습니다. 절차의 형해화. 판사는 이 점을 인정했습니다.

원고들은 첫 번째 장벽을 넘었습니다.

두 번째 장벽은 더 복잡했습니다. 연방 선점.

한국은 단일 법체계입니다. 법률은 국회에서 만들고 전국에 똑같이 적용됩니다. 미국은 다릅니다. 50개 주가 각자 법을 만듭니다. 연방정부도 법을 만듭니다. 둘이 충돌하면 어떻게 될까요.

원칙은 단순합니다. 상위법 우선. 연방법이 이깁니다. 하지만 어디까지 이기는지가 문제입니다. 연방법이 특정 분야를 규율하기 시작하면, 그 분야에서 주법은 완전히 밀려나는 것인지. 아니면 연방법이 다루지 않는 부분에서는 주법이 여전히 작동할 수 있는지.

유나이티드헬스케어 변호사들의 논리는 이랬습니다. 메디케어법은 노인 의료보험의 모든 것을 규율합니다. 어떤 치료가 보장되는지, 거부 결정에 어떻게 불복하는지, 전부 연방법이 정합니다. 원고들이 주법에 근거해서 제기한 청구는 연방법의 배타적 관할 영역을 침범하는 것입니다. 각하되어야 합니다.

상당 부분 맞는 말이었습니다.

툰하임 판사는 청구 원인을 칼처럼 둘로 나눴습니다. 급여의 적정성과 절차의 정당성.

부당이득 반환 청구는 기각되었습니다. "보험금을 더 줬어야 한다"는 주장은 메디케어법이 정한 급여 기준의 문제입니다. 연방법의 영역입니다. 오레곤 주법, 미네소타 주법, 캘리포니아 주법에 근거한 청구들도 같은 이유로 기각되었습니다. 주법으로 연방법의 관할 영역을 침범할 수 없습니다.

하지만 계약 위반 청구는 살아남았습니다. 판사의 논리는 이랬습니다. 메디케어법은 "무엇이 보장되는가"를 정합니다. 하지만 유나이티드헬스케어가 자기 고객에게 무엇을 약속했는지는 메디케어법이 정하지 않습니다. 그것은 보험 계약서에 있습니다.

그 계약서에는 분명한 문구가 있었습니다. 의사가 주도하는 의료 검토. 개별 환자의 상황을 고려한 결정. 원고들의 주장은 단순했습니다. 당신들은 계약서에 쓴 약속을 어겼습니다. 의사가 아니라 알고리즘이 결정했습니다. 개별 상황을 보지 않고 통계적 평균으로 거부했습니다.

이것은 급여 적정성의 문제가 아닙니다. 사적 자치 영역인 계약 이행의 문제입니다. 채무불이행입니다. 메디케어법이 규율하는 영역 밖에 있습니다.

유나이티드헬스케어가 스스로 작성한 계약서. 스스로 약속한 절차. 그것을 지켰는지 여부는 연방법이 선점하지 않은 영역이었습니다.

원고들은 두 번째 장벽도 넘었습니다. 좁은 문이었지만, 열려 있었습니다. AI가 사람의 운명을 결정하는 방식 자체를 법정에서 다툴 수 있게 되었습니다.

판결의 의미는 큽니다. 메디케어 어드밴티지 가입자들이 AI 기반 보장 거부에 법적으로 이의를 제기할 수 있는 길이 열렸습니다. 연방 선점이라는 방패가 완전하지 않다는 것이 입증되었습니다. 보험사가 계약서에서 의사 검토를 약속했다면, 그 약속을 지켜야 합니다.

소송은 아직 본안 심리에 들어가지 않았습니다. 유나이티드헬스케어가 실제로 nH Predict를 어떻게 사용했는지에 대한 증거개시(discovery) 절차가 진행될 것입니다. 진실이 밝혀지기까지는 시간이 더 필요합니다.

한 가지 질문이 남습니다. 90%의 거부가 항소에서 뒤집힌다면, 왜 보험사는 계속 거부하는 것일까요? 답은 간단합니다. 대부분의 환자들이 항소하지 않기 때문입니다. 2022년 데이터에 따르면, 거부당한 환자 중 실제로 항소하는 비율은 0.2%에 불과합니다. 999명 중 998명은 그냥 포기합니다. 이것이 알고리즘의 경제학입니다. 거부하면 일부는 항소하고 이기겠지만, 대다수는 포기할 것이다. 포기한 사람들의 치료비를 아끼면 그것이 이익이다. 2023년 영리 건강보험사들의 총 이익은 707억 달러였습니다.

로켄 사건이 진행되는 동안, 캘리포니아에서는 또 다른 소송이 비슷한 질문을 던지고 있었습니다.

(2) Kisting-Leung v. Cigna: 1.2초 자동 거절

2023년 7월, 수잔 키스팅-렁(Suzanne Kisting-Leung)이라는 여성이 캘리포니아 연방법원에 소장을 제출했습니다.

피고는 시그나(Cigna)였습니다.

그녀의 이야기는 이랬습니다. 그녀는 난소암 검사를 위해 두 번의 초음파 검사를 받았습니다. 왼쪽 난소에서 낭종이 발견되었습니다. 검사 비용은 723달러였습니다. 시그나는 청구를 거부했습니다.

시그나의 의료보장정책에 따르면, 난소암 또는 자궁내막암 위험이 높은 여성의 선별검사나 감시를 위한 경질 초음파는 '의료적으로 필요한' 것으로 간주됩니다. 그녀는 정확히 이 범주에 해당했습니다. 그런데 왜 거부되었을까요?

답은 언로사인 ProPublica의 탐사보도에서 나왔습니다.

2023년 3월, ProPublica는 시그나의 내부 문서와 전직 직원 인터뷰를 바탕으로 충격적인 기사를 발표했습니다.

시그나는 PxDx라는 시스템을 사용하고 있었습니다. 이 시스템은 의사들이 환자 파일을 열어보지 않고도 청구를 자동으로 거부할 수 있게 해주었습니다.

숫자를 보겠습니다. 2022년 두 달 동안, 시그나 의사들은 PxDx를 사용하여 30만 건 이상의 청구를 거부했습니다. 한 건당 평균 검토 시간은 1.2초였습니다.

1.2초. 환자의 의료 기록을 읽기에는 턱없이 부족한 시간입니다. 사실 환자 파일을 열어볼 시간조차 없습니다.

전직 시그나 의사 한 명이 ProPublica에 이렇게 말했습니다. "우리는 말 그대로 클릭하고 제출합니다. 한 번에 50건을 처리하는 데 10초면 됩니다." 또 다른 의사인 셰릴 돕케(Cheryl Dopke) 박사는 2022년 한 달 동안 6만 건의 청구를 처리했습니다. PxDx를 개발한 앨런 머니(Alan Muney) 박사는 시그나의 전 최고의료책임자였습니다. 그는 ProPublica에 이렇게 확인해주었습니다. "PxDx 관련 건은 의사나 간호사 또는 그 어떤 사람도 검토하지 않습니다. 이것은 의심할 여지없이 수십억 달러를 절감했습니다."

수십억 달러. 이것이 핵심입니다.

키스팅-렁과 다른 원고들은 처음에 네 가지 주법 청구를 제기했습니다. 신의성실 의무 위반, 캘리포니아 불공정경쟁법 위반, 계약관계 방해, 부당이득.

그러나 1년 후인 2024년 6월, 그들의 법적 전략이 바뀌었습니다. 제3차 수정 소장에서 그들은 ERISA(Employee Retirement Income Security Act) 청구로 전환했습니다. ERISA는 고용주가 제공하는 건강보험 플랜을 규율하는 연방법입니다.

왜 전략을 바꿨을까요? ERISA는 양날의 검이기 때문입니다. 한편으로 ERISA는 주법 청구를 선점하여 원고들의 선택지를 줄입니다. 다른 한편으로 ERISA는 수탁자 의무(fiduciary duty)라는 강력한 개념을 제공합니다. 보험사는 가입자의 이익을 위해 행동해야 할 수탁자 의무가 있습니다. 알고리즘을 사용하여 환자 파일도 보지 않고 청구를 거부하는 것이 수탁자 의무에 부합할까요?

2025년 3월 31일, 데일 드로즈드(Dale Drozd) 판사가 시그나의 기각 신청에 대해 판결했습니다. 결과는 부분적 승리였습니다.

먼저 원고 적격(standing) 문제가 있었습니다.

시그나는 세 명의 원고, 키스팅-렁, 손힐(Thornhill), 브레들로우(Bredlow)가 실제로 PxDx를 통해 거부당하지 않았다고 주장했습니다. 시그나는 줄리 B. 케셀(Julie B. Kessel) 박사의 선서진술서를 제출했습니다. 그녀는 시그나의 임상성과품질부서 의료책임자였습니다. 그녀의 진술에 따르면, 이 세 원고의 청구는 PxDx를 통해 처리되지 않았습니다.

흥미로운 점이 있습니다. 시그나는 PxDx를 사용할 때마다 의사와 환자에게 공개 통지를 보낸다고 주장했습니다. 이 세 원고는 그런 통지를 받지 않았습니다. 따라서 그들의 청구는 PxDx를 통해 처리되지 않았다는 것입니다. 판사는 이 논리를 받아들였습니다. 키스팅-렁, 손힐, 브레들로우는 PxDx 관련 청구에 대한 원고 적격이 없다고 판결했습니다. 하지만 그들이 일반적인 급여 부당 거부 청구를 제기하는 것은 허용했습니다.

더 중요한 것은 ERISA 수탁자 의무 위반 청구가 살아남았다는 것입니다. 판사는 시그나의 주장을 기각했습니다. 시그나는 보험 약관을 해석할 재량권이 있다고 주장했습니다. 알고리즘을 사용하는 것도 그 재량 범위 내라고 했습니다. 판사는 이것이 재량권 남용이라고 판단했습니다.

핵심 논리는 이랬습니다. 보험 약관에는 의료 필요성 결정이 '의료 책임자(medical director)'에 의해 이루어진다고 명시되어 있습니다. 원고들은 PxDx 시스템에 의료 필요성 결정을 위임하는 것이 이 약관 조건을 위반한다고 주장했습니다. 판사는 이 주장을 뒷받침하기에 충분한 사실을 원고들이 제시했다고 판단했습니다.

시그나의 대응도 주목할 만합니다. 시그나 대변인은 PxDx가 AI를 사용하지 않는다고 주장했습니다. 이것은 다른 건강보험사들과 메디케어·메디케이드 서비스 센터(CMS)가 수년간 사용해온 소프트웨어와 유사하다고 했습니다. 또한 PxDx는 약 50개의 "저비용 검사 및 시술"에만 사용되며, 검토는 치료 후에 이루어지고, 의사와 환자에게 통지를 보낸다고 강조했습니다.

시그나의 변호인들은 ProPublica 기사를 "오해를 불러일으키고 선동적"이라고 비판했습니다. 하지만 판사는 이 단계에서 언론 보도의 정확성을 판단할 필요가 없다고 했습니다. 증거개시 절차를 통해 사실이 밝혀질 것입니다.

2025년 6월 9일, 새크라멘토 연방법원에서 초기 일정 회의가 열렸습니다. 예정대로였습니다.

드로즈드 판사의 3월 판결 이후, 원고 측은 선택의 기로에 섰습니다. 21일 안에 4차 수정소장을 제출하거나, 현재 살아남은 청구만으로 싸우겠다고 선언하거나. 그들은 후자를 택했습니다. 더 이상 소장을 고치지 않겠다. 남은 무기만으로 싸우겠다. 남은 무기는 두 가지였습니다. ERISA 수탁자 의무 위반. 그리고 캘리포니아 불공정경쟁법 위반. 둘 다 같은 질문을 향하고 있었습니다. 시그나가 계약서에 약속한 '의료 책임자의 검토'를 PxDx 알고리즘으로 대체한 것이 재량권 남용인가.

여름이 지나고 가을이 왔습니다. 2025년 9월 2일, 치 수 킴 판사가 '수정된 합의 보호명령'을 승인했습니다.

미국 소송에서는 재판 전에 양측이 서로의 카드를 보여주는 단계가 있습니다. '증거개시'라고 부르는 절차입니다. 문제는 이 과정에서 회사의 영업비밀, 내부 이메일, 기술 문서 같은 민감한 정보가 드러날 수밖에 없다는 것입니다.

보호명령은 이런 상황을 위한 안전장치입니다. 쉽게 말하면 "비밀은 보여주되, 함부로 퍼뜨리지 말라"는 규칙입니다. 기밀로 지정된 문서는 소송 관계자만 볼 수 있고, 법정 밖에서 복사하거나 유출하면 안 됩니다. 재판이 끝나면 돌려주거나 폐기해야 합니다.

'합의'라는 말이 붙은 건 원고와 피고가 이 규칙에 서로 동의했다는 뜻이고, '수정된'이라는 건 처음 정한 규칙을 나중에 고쳤다는 의미입니다.

증거개시. 미국 소송에서 가장 비용이 많이 들고, 가장 많은 것이 드러나는 단계입니다.

원고 측 변호사들은 이제 시그나 내부 문서를 요구할 수 있게 되었습니다. PxDx가 어떻게 작동하는지. 어떤 기준으로 거부를 결정하는지. 의사들이 실제로 무엇을 보고 무엇을 보지 않는지. 1.2초 안에 무슨 일이 일어나는지.

시그나는 계속 같은 주장을 반복하고 있습니다. PxDx는 AI가 아니다. 업계 표준 소프트웨어다. 메디케어·메디케이드 서비스 센터(CMS)도 비슷한 시스템을 수년간 써왔다. 약 50개의 저비용 검사와 시술에만 적용된다. 치료 후에 검토한다. 의사와 환자에게 통지를 보낸다.

하지만 법정에서 문제가 되는 것은 PxDx가 AI인지 아닌지가 아닙니다. 문제는 시그나가 고객에게 약속한 것을 지켰는지입니다. 보험 계약서에는 '의료 책임자가 의료 필요성을 결정한다'고 적혀 있었습니다. 알고리즘이 그 역할을 대신해도 된다고는 적혀 있지 않았습니다. 소송은 이제 가장 지루하고 가장 중요한 단계에 들어섰습니다.

변호사들이 문서를 요구하고, 상대방이 저항하고, 판사가 중재하는 과정이 수개월간 이어질 것입니다. 증인 선서 증언이 시작될 것입니다. PxDx를 개발한 앨런 머니 전 최고의료책임자가 증언대에 설 수도 있습니다. 줄리 B. 케셀 박사도 마찬가지입니다.

ProPublica 기사를 "오해를 불러일으키고 선동적"이라고 비판했던 시그나 변호인들은 이제 그 기사의 근거가 된 원본 데이터를 제출해야 할 수도 있습니다. 2022년 두 달 동안 30만 건 이상의 청구를 거부했다는 그 데이터를.

아이러니가 있습니다. 시그나는 PxDx를 사용할 때마다 의사와 환자에게 공개 통지를 보낸다고 주장했습니다. 이 주장이 세 원고의 PxDx 관련 청구를 막는 데 성공했습니다. 그들은 통지를 받지 않았으니 PxDx로 거부당하지 않았다는 논리였습니다. 하지만 같은 논리가 시그나를 옥죄고 있습니다.

통지 시스템이 있다면, 누가 PxDx로 거부당했는지 정확히 알 수 있다는 뜻입니다. 기록이 있다는 뜻입니다. 그 기록이 증거개시 과정에서 드러날 것입니다.

한편, 미네소타에서는 로켄 사건이 비슷한 경로를 걸어가고 있습니다. 유나이티드헬스케어의 nH Predict. 시그나의 PxDx. 두 소송은 같은 질문을 던지고 있습니다. 알고리즘이 인간 의사를 대신하여 보장 결정을 내릴 수 있는가.

로켄 사건은 메디케어 어드밴티지 플랜에 관한 것이고, 키스팅-렁 사건은 고용주 제공 건강보험에 관한 것입니다. 전자는 메디케어법의 규율을 받고, 후자는 ERISA의 규율을 받습니다. 법률은 다르지만 본질은 같습니다. 보험사가 약속한 '인간의 판단'을 기계의 계산으로 대체했을 때, 그것은 계약 위반인가.

답은 아직 나오지 않았습니다. 하지만 질문은 이미 법정에 도착했습니다로켄 사건과 키스팅-렁 사건 사이에는 중요한 차이점이 있습니다. 로켄 사건은 메디케어 어드밴티지 플랜에 관한 것이고, 키스팅-렁 사건은 고용주 제공 건강보험에 관한 것입니다. 전자는 메디케어법의 규율을 받고, 후자는 ERISA의 규율을 받습니다. 하지만 두 사건 모두 같은 질문을 던집니다. 알고리즘이 인간 의사를 대신하여 보장 결정을 내릴 수 있는가?

(3) AI 거부율 증가 통계(10.9%에서 22.7%로)

숫자는 거짓말을 하지 않습니다.

2024년 10월, 미국 상원 조사위원회는 충격적인 보고서를 발표했습니다. 세 개의 대형 보험사, 유나이티드헬스케어, 휴마나(Humana), CVS의 사전승인 거부율을 조사한 결과였습니다.

2020년, 이 세 회사의 평균 사전승인 거부율은 10.9%였습니다. 2023년에는 22.7%로 두 배 이상 증가했습니다. 3년 만에 거부율이 두 배가 된 것입니다.

무엇이 바뀌었을까요? 환자들이 갑자기 불필요한 치료를 더 많이 요청하기 시작했을까요? 그럴 가능성은 낮습니다. 바뀐 것은 결정을 내리는 방식이었습니다. AI와 알고리즘이 도입되었습니다.

이 숫자들이 의미하는 바를 생각해보겠습니다. 사전승인(prior authorization)은 보험사가 특정 치료나 시술을 승인해야 환자가 그 치료를 받을 수 있는 시스템입니다. 의사가 MRI가 필요하다고 판단해도, 보험사가 승인하지 않으면 환자는 전액을 자비로 부담하거나 치료를 포기해야 합니다.

거부율이 10.9%에서 22.7%로 올랐다는 것은, 이전에는 승인되었을 치료 중 상당수가 이제 거부되고 있다는 뜻입니다. 암 검사, 물리치료, 수술 전 검사, 전문의 진료. 이런 것들이 거부되고 있습니다.

2024년 11월 갤럽 조사에 따르면, 미국인의 44%만이 미국 의료의 질을 '우수' 또는 '양호'하다고 평가했습니다. 이것은 2001년 이후 최저치입니다. 같은 조사에서 성인의 36%가 보험 청구 거부를 경험했다고 답했습니다. 그 중 60%는 여러 번 거부당했습니다. 항소 데이터도 의미심장합니다. 거부당한 환자 중 실제로 항소하는 비율은 0.2%에 불과합니다. 하지만 항소한 사람들 중 80% 이상이 승소합니다. 이것은 원래 거부 결정의 상당수가 정당하지 않았다는 것을 시사합니다.

왜 환자들은 항소하지 않을까요? 절차가 복잡하고 시간이 오래 걸리기 때문입니다. 메디케어 어드밴티지의 경우 4단계 행정 항소 절차가 있습니다. 각 단계마다 서류 작업이 필요하고, 기다려야 하고, 거부되면 다음 단계로 넘어가야 합니다. 아픈 환자가 이 과정을 감당하기는 어렵습니다.

보험사들은 이것을 알고 있습니다. 이것이 그들의 비즈니스 모델입니다. 일단 거부하고, 항소하는 소수에게만 지불한다. 대다수는 포기할 것이다.

2024년 12월, 유나이티드헬스케어 CEO 브라이언 톰슨(Brian Thompson)이 뉴욕 맨해튼에서 총격으로 사망했습니다. 이 비극적인 사건은 미국 전역에서 건강보험 산업에 대한 분노를 폭발시켰습니다. 소셜 미디어에서는 보험 거부로 고통받은 사람들의 이야기가 쏟아졌습니다.

폭력은 어떤 상황에서도 정당화될 수 없습니다. 하지만 이 사건은 미국인들이 건강보험 시스템에 얼마나 깊은 좌절감을 느끼고 있는지를 보여주었습니다.

AI는 이 시스템을 더 효율적으로 만들었습니다. 문제는 누구를 위한 효율성인가입니다. 보험사에게 AI는 비용 절감의 도구입니다. 환자에게 AI는 또 하나의 장벽입니다.

로켄 소송과 키스팅-렁 소송은 이 시스템에 도전하는 첫 번째 시도들입니다. 법원이 어떤 판결을 내리든, 이 소송들은 중요한 질문을 공론화했습니다. 알고리즘이 인간의 건강에 관한 결정을 내릴 때, 누가 책임을 져야 하는가?

다음 절에서는 이 질문의 또 다른 측면을 살펴봅니다. AI가 진단이나 치료에서 오류를 범했을 때, 누가 의료과실의 책임을 지는가?

나. AI의 오진, 누구의 책임인가?

(1) AI 진단 오류와 과실 인정 여부

2024년, 미국 의사 5명 중 3명이 진료에서 AI를 사용하고 있었습니다. 미국의사협회(AMA) 조사 결과입니다.

이 숫자는 놀랍습니다. 불과 몇 년 전까지 AI는 실험실의 연구 주제였습니다. 이제 그것은 진료실에서 환자를 마주하고 있습니다. X-레이를 읽고, 피부 병변을 분석하고, 암을 탐지합니다.

질문이 있습니다. AI가 틀리면 어떻게 될까요?

2024년 데이터에 따르면, AI 도구가 관련된 의료과실 청구는 2022년 대비 14% 증가했습니다. 대부분은 영상의학, 심장학, 종양학에서 발생했습니다. 놓친 암 진단이 가장 빈번한 유형이었습니다.

의료과실법의 핵심 개념은 '주의의무 기준(standard of care)'입니다. 쉽게 말해, "합리적인 의사라면 같은 상황에서 어떻게 했을 것인가"입니다. 의사가 이 기준에 미치지 못하고, 그 결과 환자가 피해를 입으면 과실이 인정됩니다.

문제는 AI가 이 방정식에 들어오면 복잡해진다는 것입니다.

시나리오 1을 생각해보겠습니다. 의사가 AI 시스템의 추천을 맹목적으로 따랐고, AI가 틀렸고, 환자가 피해를 입었습니다. 누구의 잘못일까요?

시나리오 2입니다. 의사가 AI 시스템의 추천을 무시했고, AI가 옳았고, 환자가 피해를 입었습니다. 누구의 잘못일까요?

시나리오 3입니다. 의사가 AI 시스템을 전혀 사용하지 않았고, AI를 사용했다면 오류를 피할 수 있었고, 환자가 피해를 입었습니다. 누구의 잘못일까요?

현재 법적 프레임워크에서 답은 모든 경우에 '의사'입니다. 2024년 4월, 연방주의료위원회(Federation of State Medical Boards, FSMB)가 권고안을 발표했습니다. 각 주의 의료위원회는 의사 면허를 규제하고 징계하는 기관입니다. FSMB의 권고는 명확했습니다. AI 기술이 의료 오류를 일으킬 경우, AI 제조사가 아니라 임상의가 책임을 져야 한다.

그들의 논리는 이랬습니다. "진단이나 치료에 사용되는 다른 도구나 감별진단과 마찬가지로, 의료 전문가는 증거 기반 결론의 정확성과 진실성을 보장할 책임이 있습니다."

다시 말해, AI는 청진기나 MRI 기계와 같은 도구일 뿐입니다. 도구가 잘못된 정보를 제공해도, 그것을 해석하고 결정을 내리는 것은 의사입니다. 따라서 최종 책임도 의사에게 있습니다.

하지만 이 논리에는 문제가 있습니다. 청진기는 스스로 판단을 내리지 않습니다. MRI 기계는 "이것은 암입니다"라고 말하지 않습니다. AI는 말합니다. AI는 추천을 합니다. 때로는 그 추천이 매우 구체적이고 확신에 차 있습니다.

'자동화 편향(automation bias)'이라는 현상이 있습니다. 인간은 컴퓨터가 제공하는 정보를 무비판적으로 받아들이는 경향이 있습니다. 특히 컴퓨터가 자신보다 더 많은 데이터를 처리하고 더 정확할 것이라고 생각할 때 그렇습니다. 의사도 예외가 아닙니다.

존스홉킨스 연구진이 수행한 연구가 있습니다. 의사들은 단순한 사례에서는 AI와 상담할 가능성이 높지만, 결과가 덜 예측 가능한 복잡한 시나리오에서는 AI를 피하는 경향이 있었습니다. 이유는 의료과실 우려 때문이었습니다.

이것은 역설적인 상황을 만듭니다. AI가 가장 도움이 될 수 있는 복잡한 사례에서 의사들이 AI를 사용하지 않고, AI가 덜 필요한 단순한 사례에서만 사용한다면, AI의 잠재적 가치가 실현되지 않습니다.

아직 AI 관련 의료과실에 대한 주요 판결은 없습니다. 사례들이 이제 막 법원에 도달하기 시작했습니다. 하지만 법학자들은 여러 가지 책임 이론을 제시하고 있습니다.

첫째, 의사 과실(physician negligence)입니다. 의사가 AI 추천을 맹목적으로 따르거나, 주의의무 기준이 요구하는데도 검증된 AI를 사용하지 않으면 과실이 될 수 있습니다.

둘째, 병원/기관 책임(institutional liability)입니다. 대리책임(respondeat superior), 과실 인증(negligent credentialing), AI 시스템의 검증/훈련/업데이트 실패 등이 포함됩니다.

셋째, 개발자 제조물책임(developer product liability)입니다. 결함 있는 설계, 경고 실패, 부적절한 훈련 데이터 등이 해당될 수 있습니다.

대부분의 AI 의료기기 약관에는 면책 조항이 포함되어 있습니다. "최종 책임은 의사에게 있습니다." 이것은 제조사가 책임을 회피하는 장치입니다.

하지만 법원이 이 면책 조항을 어디까지 인정할지는 아직 불확실합니다.

한 가지 예외가 있습니다. 디지털 다이어그노스틱스(Digital Diagnostics)라는 회사는 IDx-DR이라는 당뇨병성 망막병증 진단 시스템을 개발했습니다.

이 회사는 자사 시스템으로 인한 부상에 대해 의료과실 보험을 직접 가입하고 책임을 부담합니다. 이것은 업계에서 드문 사례입니다.

주의의무 기준 자체도 변하고 있습니다.

2024년 5월, 미국법학회(American Law Institute)는 의료과실법에 대한 첫 번째 리스테이트먼트(Restatement)를 승인했습니다. 이 문서는 관습적 관행에 대한 엄격한 의존에서 벗어나 더 환자 중심적인 '합리적 주의' 개념으로 전환하는 것을 반영합니다. 법원은 이제 증거 기반 가이드라인과 현대적 기준을 고려할 수 있습니다. 이것이 AI에 의미하는 바가 있습니다. AI 기반 기기나 워크플로우가 보편화되고 입증된 유용성을 보이면, '합리적인 의사'가 할 것으로 기대되는 것도 그에 맞춰 변할 것입니다. AI를 사용하지 않는 것 자체가 과실이 될 수 있습니다.

의료과실 보험 업계도 적응하고 있습니다. 일부 보험사는 AI 관련 배제 조항을 도입했습니다. 다른 보험사들은 의사가 AI 훈련을 받아야 보장을 유지할 수 있도록 요구합니다.

인디고(Indigo)의 CEO 자레드 카플란은 AI가 "순긍정적"이며 "장기적으로 의료과실 비율을 낮출 것"이라고 말했습니다. 하지만 그는 또한 AI가 법적으로 "새로운 위협"을 제시하며, 잘못이 누구에게 있는지에 대해 "흑백으로 명확한 답이 없다"고 인정했습니다.

(2) 블랙박스 AI와 의사의 설명의무

AI 시스템이 "이것은 악성 종양입니다"라고 말했을 때, 의사는 환자에게 무엇을 설명해야 할까요?

전통적으로 의사는 진단과 치료 옵션에 대해 환자에게 설명하고 동의를 얻어야 합니다. 이것을 '충분한 설명에 의한 동의(informed consent)'라고 합니다. 의사는 환자가 정보에 기반한 결정을 내릴 수 있도록 위험과 이점을 설명해야 합니다.

AI가 진단 과정에 관여하면, 새로운 질문이 생깁니다. 의사는 AI가 사용되었다는 사실을 환자에게 알려야 할까요? AI가 어떻게 그 결론에 도달했는지 설명해야 할까요?

문제는 많은 AI 시스템이 '블랙박스'라는 것입니다. 입력이 들어가고 출력이 나오지만, 그 사이에서 무슨 일이 일어나는지는 알기 어렵습니다. 딥러닝 알고리즘은 수백만 개의 매개변수를 조정하여 패턴을 인식합니다. 왜 특정 결론에 도달했는지 설명하기가 어렵습니다.

의사 자신도 AI가 어떻게 작동하는지 이해하지 못할 수 있습니다. 이런 상황에서 환자에게 무엇을 설명할 수 있을까요?

일리노이대학교 어바나-샴페인의 사라 거케(Sara Gerke) 부교수가 이끈 연구팀이 미국과 EU 외과의 18명을 대상으로 포커스 그룹 연구를 수행했습니다. 결과는 《Annals of Surgery Open》에 발표되었습니다.

외과의들은 일반적으로 AI를 사용하더라도 최종 책임은 자신에게 있다고 받아들였습니다. 그들은 AI가 현재 주의의무 기준의 일부가 아니라고 보았지만, 미래에는 그렇게 될 것이라고 예상했습니다. 대부분은 명확한 결함이 없는 한 제조사가 상당한 책임을 질 것이라는 데 회의적이었습니다. 일부는 외과의가 AI 지시를 제대로 따랐을 경우 공유 책임을 요구했습니다.

환자 동의가 또 다른 주제로 떠올랐습니다. 외과의들은 AI가 사용될 때, 특히 AI의 조언을 따르거나 거부하는 것이 결과를 바꿀 수 있을 때 환자에게 알려야 한다고 느꼈습니다. 캘리포니아는 이 방향으로 입법을 시작했습니다. AB 3030은 2025년 1월 1일부터 의료 제공자가 생성형 AI를 사용하여 환자에게 임상 정보가 포함된 커뮤니케이션을 보낼 때 공개를 요구합니다. 메시지에는 AI에 의해 생성되었다는 면책 조항과 AI 응답 없이 의료 제공자와 소통할 수 있는 방법에 대한 명확한 지침이 포함되어야 합니다.

하지만 이것은 커뮤니케이션에 관한 것입니다. 진단이나 치료 결정에서 AI 사용에 대한 공개 의무는 아직 명확하지 않습니다.

블랙박스 문제에 대한 기술적 해결책도 모색되고 있습니다. '설명가능한 AI(Explainable AI, XAI)'라는 분야가 있습니다. AI가 왜 그런 결정을 내렸는지 설명할 수 있게 만드는 기술입니다. 예를 들어, 흉부 X-레이에서 AI가 폐렴을 감지했다면, 어떤 영역이 그 결론에 기여했는지 시각적으로 보여줄 수 있습니다.

하지만 설명가능한 AI도 한계가 있습니다. 복잡한 딥러닝 모델의 결정 과정을 완전히 설명하기는 여전히 어렵습니다. 그리고 설명이 가능하더라도, 그 설명이 의학적으로 의미 있는지는 별개의 문제입니다.

FDA의 2025년 1월 지침서는 투명성을 강조합니다. 제조사는 AI가 어떻게 작동하는지, 어떤 데이터로 훈련받았는지, 알려진 한계가 무엇인지 문서화해야 합니다. 하지만 이 정보가 실제로 환자에게 전달되는지는 의료 제공자의 판단에 달려 있습니다.

의료윤리의 핵심 원칙 중 하나는 환자 자율성입니다. 환자는 자신의 치료에 대해 정보에 기반한 결정을 내릴 권리가 있습니다. AI가 그 결정에 영향을 미친다면, 환자는 그 사실을 알 권리가 있지 않을까요?

이 질문에 대한 법적 답은 아직 진화하고 있습니다.

(3) 의사 판단과 AI 추천 사이의 책임 분배

최종 질문입니다.

AI가 한 가지를 말하고 의사가 다른 것을 선택했을 때, 누가 책임을 져야 할까요?

현재 미국 의료과실법에서 책임은 '유사한 상황에서 합리적인 의사' 기준에 달려 있습니다. AI가 사용되었든 아니든, 법원은 의사의 행동을 판단합니다. AI 시스템에 공유 책임을 할당하는 법리는 없습니다.

항공 분야는 다른 접근을 합니다. 자동화가 실패했을 때, 책임은 조종사, 시스템, 제조사에게 분배됩니다. 의료 분야도 비슷한 접근이 가능하지 않을까요?

법학자 W. 니콜슨 프라이스(W. Nicholson Price)는 책임을 더 공평하게 분배하는 프레임워크를 제안했습니다. 유럽연합의 AI 책임 지침도 고위험 AI 실패에 무과실 책임을 적용하는 방향으로 나아가고 있습니다.

찬(Chan)이라는 학자는 '공동기업(common enterprise)' 모델을 제안했습니다. 의사, 제조사, 병원을 책임의 목적상 공동기업으로 간주하는 것입니다. 이 접근은 "과실과 제조물책임에 구현된 개인주의적 책임 개념에서 벗어나 더 분산된 개념으로" 전환하는 것입니다.

또 다른 제안은 백신 피해 보상 프로그램 모델입니다. 미국에는 백신으로 인한 피해에 대해 무과실 보상을 제공하는 국가 프로그램이 있습니다. AI 의료기기에도 비슷한 프로그램을 만들 수 있을까요?

가장 급진적인 제안은 AI에 법적 인격(legal personhood)을 부여하는 것입니다. 그러면 피해를 입은 환자가 AI 기기를 직접 제소할 수 있습니다. 하지만 이것은 철학적, 법적으로 많은 문제를 야기합니다.

현실적으로 가장 가능성 있는 단기적 변화는 주의의무 기준의 진화입니다. AI 추천을 따르는 것이 '합리적 의사'의 행동이 되면, AI를 따른 의사는 보호를 받을 수 있습니다. 반대로 AI를 사용하지 않는 것이 비합리적으로 간주되면, AI를 사용하지 않은 의사가 책임을 질 수 있습니다.

문제는 이 전환 기간입니다. AI가 아직 주의의무 기준의 일부가 아닌 동안, 의사들은 불확실성 속에서 결정을 내려야 합니다. AI를 따를까, 무시할까? 어느 쪽이든 잘못되면 책임을 질 수 있습니다.

2021년에 발표된 실험 연구가 있습니다. 미국 성인 2,000명을 대상으로 AI 사용 시나리오에 대한 배심원 판단을 조사했습니다. 결과는 흥미로웠습니다.

AI가 표준 치료를 권고하고 의사가 그것을 따랐을 때, 피해가 발생해도 책임이 줄어들었습니다. AI가 비표준 치료를 권고하고 의사가 거부하여 표준 치료를 제공했을 때, 비슷한 보호 효과가 없었습니다.

이 연구의 결론은 희망적입니다. "불법행위법 시스템이 AI 정밀의학 도구의 사용을 저해할 가능성은 낮으며, 오히려 이러한 도구의 사용을 장려할 수도 있습니다."

하지만 이것은 배심원의 직관일 뿐입니다. 실제 판결은 다를 수 있습니다.

AI가 의료에 더 깊이 통합될수록, 책임에 관한 질문은 더 복잡해질 것입니다. 현재의 법적 프레임워크는 AI를 염두에 두고 설계되지 않았습니다. 적응이 필요합니다.

보험 알고리즘이 치료를 거부하고, 진단 AI가 암을 놓치고, 처방 AI가 잘못된 약을 추천할 때, 누군가는 책임을 져야 합니다. 그 '누군가'가 항상 의사여야 하는지, 아니면 책임이 더 공평하게 분배되어야 하는지, 이것이 다음 10년간 의료법이 답해야 할 질문입니다.

다음 절에서는 캘리포니아 SB1120과 FDA의 AI 의료기기 규제를 살펴봅니다. 입법자와 규제 당국이 이 새로운 현실에 어떻게 대응하고 있는지를 다룹니다.

다. 캘리포니아가 요구한 투명성

(1) 캘리포니아 SB1120 AI 공개의무

2024년 9월 28일, 캘리포니아 주지사 개빈 뉴섬은 책상 위에 놓인 법안에 서명했습니다.

SB 1120. '의사가 결정한다 법(Physicians Make Decisions Act)'이라는 별명이 붙은 이 법안은 단 한 문장으로 요약할 수 있었습니다. 알고리즘이 아니라 인간이 의료 결정을 내려야 한다.

이 법이 필요했던 이유는 간단합니다.

보험사들이 비용을 줄이기 위해 AI를 사용하기 시작했고, 그 결과 환자들이 필요한 치료를 거부당하고 있었기 때문입니다. 캘리포니아 의사협회는 5만 명의 회원을 대표하여 이 법안을 후원했습니다. 그들의 주장은 명확했습니다. AI 도구는 개별 환자의 고유한 상황을 인식하고 수용하는 능력이 없다.

법의 내용을 살펴보면 놀라울 정도로 구체적입니다.

2025년 1월 1일부터 캘리포니아에서 사업하는 모든 건강보험 플랜과 장애 보험사는 다음 규칙을 따라야 합니다. 의료 필요성에 기반한 보장 결정은 반드시 면허를 가진 의사 또는 자격을 갖춘 의료 전문가가 내려야 합니다. AI 도구가 단독으로 결정할 수 없습니다.

더 중요한 조항이 있습니다. AI 시스템이 결정을 내릴 때 사용할 수 있는 데이터에 제한을 두었습니다. 그룹 데이터셋만을 기반으로 결정을 내릴 수 없습니다.

반드시 개별 환자의 의료 기록, 임상 이력, 담당 의사가 제공한 개별 임상 상황을 고려해야 합니다. nH Predict가 했던 것처럼 '비슷한 환자들'과 비교해서 결정을 내리는 방식은 더 이상 허용되지 않습니다.

차별 금지 조항도 포함되었습니다. AI 도구는 인종, 성별, 연령, 장애 또는 기타 보호받는 특성에 따라 차별해서는 안 됩니다. 이것은 2024년 7월에 개정된 연방 섹션 1557 최종 규칙과 일치합니다. 연방 규칙도 AI 도구와 알고리즘이 소외된 환자들을 차별하지 못하도록 금지했습니다. 투명성 요구사항도 있습니다.

AI 알고리즘은 감사 또는 규정 준수 검토를 위해 검사에 개방되어야 합니다. 보험사는 AI 사용에 관한 서면 정책을 의료 제공자, 가입자, 그리고 요청하는 일반 대중에게 공개해야 합니다. 블랙박스 시대는 끝났습니다.

법의 정의도 주목할 만합니다. '인공지능'을 "자율성 수준이 다양하며, 명시적 또는 암묵적 목표를 위해 받은 입력으로부터 물리적 또는 가상 환경에 영향을 미칠 수 있는 출력을 생성하는 방법을 추론하는 공학적 또는 기계 기반 시스템"으로 정의했습니다. 그러나 '알고리즘'이나 '기타 소프트웨어 도구'는 정의하지 않았습니다. 법률 전문가들은 이것이 광범위하게 해석될 수 있다고 지적합니다. Cigna가 주장한 것처럼 "PxDx는 AI가 아니다"라는 변명이 더 이상 통하지 않을 수 있습니다.

집행 메커니즘도 강력합니다. 캘리포니아 관리의료부(DMHC)와 보험부(CDI)는 행정 과징금을 부과할 권한을 갖습니다. 고의적 위반은 범죄로 간주됩니다.

이 법은 보험사들이 AI를 사용하는 것을 금지하지 않습니다. 단지 AI가 최종 결정권자가 될 수 없다고 말할 뿐입니다.

하지만 만약 모든 AI 결정에 인간의 검토가 필요하다면, 애초에 AI를 사용하는 이유가 무엇일까요? 효율성 향상이라는 AI의 핵심 이점이 무효화될 수 있습니다. 이것이 보험사들이 이 법을 어떻게 준수할지 지켜봐야 하는 이유입니다.

같은 날 뉴섬 주지사는 또 다른 법안 AB 3030에도 서명했습니다. 이 법은 생성형 AI를 사용하여 환자에게 임상 정보가 포함된 커뮤니케이션을 보낼 때 공개 의무를 부과합니다.

환자는 자신이 받은 메시지가 AI에 의해 생성되었는지 알 권리가 있습니다.

캘리포니아는 미국에서 가장 큰 주입니다. 다른 주들이 이 법을 모델로 삼을 가능성이 높습니다. 이미 여러 주에서 유사한 법안을 검토하고 있습니다. AI 의료 규제의 패치워크가 형성되고 있습니다. 연방 차원에서는 다른 바람이 불고 있습니다. 트럼프 행정부는 2025년 1월 20일 바이든의 AI 행정명령 14110을 철회했습니다. 3일 후 "미국의 인공지능 리더십 장벽 제거"라는 제목의 새 행정명령을 발표했습니다. 규제를 줄이고 혁신을 촉진하겠다는 것입니다. 연방과 주 정부 사이의 긴장이 고조되고 있습니다.

FDA의 AI 의료기기 규제는 이러한 긴장 속에서도 계속 발전하고 있습니다.

(2) FDA AI 의료기기 규제

2025년 1월 7일, FDA는 기다려온 지침서를 발표했습니다.

"인공지능 기반 의료기기 소프트웨어 기능: 수명주기 관리 및 마케팅 제출 권고사항"이라는 긴 제목의 문서였습니다.

85페이지에 달하는 이 초안 지침서는 AI 의료기기 규제의 새로운 장을 열었습니다.

숫자부터 보겠습니다. 2025년 7월 기준으로 FDA가 승인한 AI 기반 의료기기는 1,250개 이상입니다. 2024년 8월의 950개에서 1년도 안 되어 300개 이상 증가했습니다. 대부분은 영상의학 분야입니다. X-레이를 읽고, MRI를 분석하고, 암을 탐지합니다.

문제는 이 기기들이 계속 학습하고 변한다는 것입니다. 전통적인 의료기기는 한번 승인받으면 변하지 않습니다. 심장박동기는 10년 전이나 지금이나 같은 방식으로 작동합니다. 하지만 AI는 다릅니다. 새로운 데이터로 재훈련됩니다. 알고리즘이 업데이트됩니다. 어제의 AI와 오늘의 AI는 다를 수 있습니다.

FDA의 해법은 '사전결정 변경통제계획(Predetermined Change Control Plan, PCCP)'입니다. 제조사가 미리 "이런 종류의 변경은 이렇게 할 것이다"라고 계획을 제출하면, 그 범위 내의 변경은 새로운 FDA 검토 없이 진행할 수 있습니다. 2024년 12월에 발표된 최종 지침서가 이 프레임워크를 확립했습니다.

PCCP에는 세 가지 핵심 요소가 포함되어야 합니다.

첫째, 계획된 수정사항에 대한 설명입니다. 알고리즘 재훈련, 새로운 데이터셋 통합 등 어떤 변경을 할 것인지 상세히 기술해야 합니다.

둘째, 수정 프로토콜입니다. 데이터 관리 방식, 알고리즘 재훈련 방법, 성능 평가 절차 등을 명시해야 합니다.

셋째, 영향 평가입니다. 제안된 변경의 위험과 이점을 평가하고 위험 완화 전략을 제시해야 합니다. 2025년 1월 지침서는 더 나아갑니다. '전체 제품 수명주기(Total Product Life Cycle, TPLC)' 접근법을 강조합니다. 설계 단계부터 퇴역까지 AI 기기의 전 생애에 걸쳐 안전성과 유효성을 고려해야 합니다. 투명성과 편향 완화가 핵심 주제입니다.

투명성 요구사항을 보면, 제조사는 AI가 어떻게 작동하는지 설명해야 합니다. 어떤 데이터로 훈련받았는지, 어떤 환자 집단에서 테스트되었는지, 알려진 한계는 무엇인지. 2024년 6월에 발표된 "기계학습 기반 의료기기의 투명성 지침 원칙"이 이 방향을 제시했습니다.

편향 완화도 의무화됩니다. AI 기기가 모든 관련 인구통계학적 그룹(인종, 민족, 성별, 연령 등)에서 유사하게 효과적인지 평가하는 증거를 수집해야 합니다. 백인 남성 데이터로 훈련된 AI가 흑인 여성에게도 정확하게 작동하는지 입증해야 합니다.

하지만 ChatGPT 같은 대규모 언어모델이 의료 영역에 들어오고 있습니다. 임상 문서를 작성하고, 진단을 지원하고, 환자와 대화합니다. 이 지침서는 생성형 AI에 대한 특별 고려사항을 직접 다루지 않습니다. FDA는 공개 의견을 요청하면서 "생성형 AI와 같은 신흥 기술에 대한 권고사항의 적절성"에 대한 피드백을 구했습니다.

인력 문제도 있습니다. 2025년 9월 기준으로 FDA 직원 수는 2023년 대비 약 15%, 약 2,500명 감소했습니다. AI 의료기기를 빠르고 종합적으로 평가할 역량에 제약이 생겼습니다.

대부분의 AI 의료기기는 510(k) 경로를 통해 승인됩니다. 전체의 97%입니다. 이것은 새 기기가 이미 승인된 기기와 '실질적으로 동등'하다는 것을 보여주면 됩니다. 새로운 임상시험이 필요하지 않습니다. 비판가들은 이것이 AI 기기의 고유한 위험을 충분히 평가하지 못한다고 주장합니다.

의료 과실 책임과의 연결점이 있습니다. FDA가 승인한 AI 제품에 대해서는 제조사에 대한 주(州) 불법행위 책임 청구가 연방 선점(federal preemption) 원칙에 의해 제한될 수 있습니다. 이것은 환자가 결함 있는 AI 기기로 인해 피해를 입었을 때 제조사를 제소하기 어렵게 만들 수 있습니다. 반면, FDA 규제를 받지 않는 AI 도구의 경우 의사의 임상적 판단이 책임 소재를 결정하는 핵심 요소가 됩니다. 2025년 2월 18일, FDA는 이 지침서에 대한 공개 웨비나를 개최했습니다. 의견 제출 마감은 2025년 4월 7일이었습니다. 최종 지침서가 언제 나올지는 불확실합니다. 트럼프 행정부의 규제 완화 기조가 이 지침서의 운명에 어떤 영향을 미칠지도 지켜봐야 합니다.

한 가지는 분명합니다. AI는 이미 의료 현장에 깊숙이 들어와 있습니다. 문제는 규제가 기술을 따라잡을 수 있느냐입니다. 캘리포니아는 보험사의 AI 사용에 브레이크를 걸었고, FDA는 의료기기의 전 수명주기를 관리하려 합니다. 하지만 기술은 규칙보다 빠르게 움직입니다.

Lokken 부인의 남편 Gene은 91세에 낙상 후 요양원에서 치료를 받고 있었습니다. 그의 정형외과 의사는 물리치료 계속이 필요하다고 했습니다. 하지만 nH Predict 알고리즘은 다르게 판단했습니다. "더 이상의 입원 일수는 의료적으로 필요하지 않습니다." 이것이 기계의 결정이었습니다.

새로운 규제들은 이런 일이 반복되지 않도록 설계되었습니다. 하지만 법이 통과된다고 해서 문제가 해결되는 것은 아닙니다. 집행이 이루어져야 합니다. 보험사들이 법의 정신을 따를지, 아니면 빠져나갈 구멍을 찾을지는 시간이 말해줄 것입니다.

다음 장에서는 금융서비스와 알고리즘 담합 문제를 살펴봅니다. AI가 대출 결정과 가격 책정에서 어떻게 차별과 담합의 도구가 될 수 있는지, 그리고 규제 당국이 어떻게 대응하고 있는지를 다룹니다.