가. 저작권: 공정이용 vs 학습데이터 대가

2025년 11월 12일, 뉴욕 남부연방지방법원의 시드니 스타인 판사는 오픈AI에게 2,000만 건의 챗GPT 대화 기록을 제출하라는 명령을 내렸습니다. 오픈AI 측 변호사들은 항변했습니다. 사용자의 프라이버시가 침해된다고요. 판사는 받아들이지 않았습니다. 그의 논리는 단순했습니다. 챗GPT 사용자들은 자발적으로 대화를 입력했습니다. 도청당한 것이 아닙니다.

이 장면은 AI 저작권 전쟁의 현주소를 보여줍니다. 2023년 뉴욕타임스가 오픈AI를 제소했을 때, 많은 이들은 이것을 언론사와 기술기업 간의 단순한 다툼으로 보았습니다. 하지만 2년이 지난 지금, 이 소송은 전 세계 AI 산업의 법적 기반을 흔드는 지진이 되었습니다. 16개의 저작권 소송이 하나의 다중지구소송(MDL)으로 통합되었습니다. 뉴욕타임스, 시카고 트리뷴, 뉴욕 데일리뉴스, 탐사보도센터까지. 원고 측 변호사들은 무엇을 찾고 있는 것일까요? 그들은 ' 역류(regurgitation)'의 증거를 원합니다.

역류란 무엇일까요? AI가 학습한 내용을 그대로 토해내는 현상입니다. 학생이 책을 읽고 자기 말로 요약하는 것은 괜찮습니다. 하지만 책을 통째로 외워서 시험지에 적으면 표절입니다. 뉴욕타임스의 변호사들은 챗GPT가 자사 기사를 거의 그대로 출력했다는 증거를 이미 제시했습니다. 단어 하나, 쉼표 하나까지 같은 텍스트들. 그들이 원하는 것은 더 많은 증거입니다. 2,000만 건의 대화 기록 어딘가에 그 증거가 있을 것입니다.

(1) 미국 판례의 기업 유리 경향

미국 법원은 전통적으로 기술 혁신에 관대했습니다. 이 관대함의 법적 표현이 바로 '공정이용(Fair Use)'입니다. 공정이용을 이해하려면 도서관을 상상하면 됩니다. 도서관에서 책을 빌려 읽는 것은 합법입니다. 그 책의 한 단락을 리포트에 인용하는 것도 합법입니다. 하지만 책 전체를 복사해서 파는 것은 불법입니다. 공정이용은 이 경계선을 긋는 법리입니다.

오픈AI의 주장은 이렇습니다. 우리는 책을 읽은 것이지, 복사한 것이 아닙니다. 인간 작가가 수천 권의 책을 읽고 자신만의 문체를 만드는 것처럼, AI도 데이터를 '학습'해서 새로운 것을 창조합니다. 이것은 '변형적 이용(Transformative Use)'입니다. 과거 구글이 전 세계 도서관의 책을 스캔했을 때도 법원은 이를 허용했습니다. 구글 북스 판결. AI 기업들이 방패로 삼는 선례입니다. 하지만 2025년의 법정 풍경은 예전과 다릅니다. 2025년 4월 4일, 스타인 판사는 오픈AI의 각하 신청을 대부분 기각했습니다. 직접침해 청구, 기여침해 청구, 상표희석 청구까지 모두 재판을 받게 되었습니다. 판사의 메시지는 명확했습니다. "공정이용 여부는 재판에서 따져봐야 할 문제입니다." 이것은 기업들에게 유리한 판결이 아닙니다. 이것은 "아직 모른다"는 판결입니다.

더 중요한 선례가 있습니다. 톰슨 로이터 대 로스 인텔리전스 사건입니다. 로스(ROSS)는 법률 AI 스타트업이었습니다. 그들은 웨스트로(Westlaw)의 법률 데이터베이스를 학습시켜 경쟁 제품을 만들었습니다. 2025년 2월, 델라웨어 연방법원은 로스의 공정이용 항변을 기각했습니다. 판사의 논리는 간단했습니다. 당신들은 경쟁사의 데이터로 경쟁 제품을 만들었습니다. 이것은 변형적 이용이 아닙니다. 이것은 시장 대체입니다.

시장 대체. 공정이용의 네 가지 기준 중 가장 중요한 것입니다. AI가 원작을 대체하는가? 뉴욕타임스의 핵심 주장이 바로 이것입니다. 사람들이 이제 뉴욕타임스 웹사이트에 가는 대신 챗GPT에게 물어봅니다. "오늘 뉴스 뭐 있어?" 챗GPT는 뉴욕타임스 기사를 바탕으로 대답합니다. 유료 구독 모델의 붕괴. 이것이 바로 시장 대체입니다.

(2) 유럽 판례의 저작권자 보호 경향

대서양 건너편의 분위기는 사뭇 다릅니다. 유럽연합은 2024년 8월, 세계 최초의 포괄적 AI 규제법인 'EU AI법(AI Act)'을 시행했습니다. 이 법은 범용 AI 모델 제공자에게 학습에 사용된 데이터의 상세한 요약을 공개하도록 의무화합니다. 투명성 의무. 미국에는 이런 법이 없습니다.

독일 뮌헨 지방법원의 GEMA 대 오픈AI 판결은 유럽의 기류를 상징합니다. GEMA는 독일의 음악저작권협회입니다. 2024년 말, 법원은 오픈AI가 챗봇 훈련 과정에서 독일 저작권법을 위반했다고 판시했습니다. 핵심 논점은 '텍스트 및 데이터 마이닝(TDM)' 예외 조항이었습니다. EU 디지털 단일시장 저작권 지침은 연구 목적의 TDM을 허용합니다. 하지만 상업적 목적의 TDM에는 저작권자가 '옵트아웃(Opt-out)' 권리를 행사할 수 있습니다. 법원은 오픈AI의 활동이 상업적 목적이며, 저작권자들이 명시적으로 반대 의사를 표명했다고 판단했습니다.

영국에서 진행 중인 게티 이미지 대 스태빌리티 AI 사건도 주목해야 합니다. 게티 이미지는 세계 최대의 사진 에이전시입니다. 그들은 스태빌리티 AI의 이미지 생성 AI인 스테이블 디퓨전이 자사의 사진 1,200만 장을 무단 학습했다고 주장합니다. 흥미로운 증거가 있습니다. AI가 생성한 이미지에 게티 이미지의 워터마크가 왜곡된 형태로 나타난 것입니다. AI가 워터마크까지 '학습'해버린 것이죠. 이것은 직접적인 복제의 증거일 수 있습니다.

중국의 법원도 저작권자 보호에 적극적입니다. 2024년, 광저우 인터넷법원은 '울트라맨' 판결에서 AI 서비스 제공자에게 직접침해 책임을 물었습니다. 항저우 인터넷법원의 LoRA 모델 판결에서는 3만 위안의 손해배상을 명령했습니다. 중국 법원의 메시지는 명확합니다. AI 플랫폼은 단순한 도구 제공자가 아닙니다. 그들은 사용자가 타인의 저작권을 침해하지 않도록 적극적으로 조치를 취해야 합니다.

(3) 라이선스 협상 모델의 부상

2025년 12월 11일, 월트 디즈니가 오픈AI에 10억 달러를 투자했습니다. 동시에 200개 이상의 디즈니 캐릭터를 오픈AI의 동영상 생성 플랫폼 '소라(Sora)'에 라이선스했습니다. 미키마우스, 신데렐라, 다스 베이더, 요다까지. 아이러니한 장면이었습니다. 불과 6개월 전, 디즈니와 유니버설은 미드저니를 저작권 침해로 제소했습니다. 이제 그들은 AI 기업에 돈을 주고 있습니다.

무슨 일이 일어난 것일까요? 디즈니 CEO 밥 아이거의 말이 힌트가 됩니다. "어떤 세대도 기술 발전을 막아선 적이 없습니다. 우리도 그럴 생각이 없습니다. 변화가 일어날 것이라면, 차라리 그 변화에 올라타는 것이 낫습니다." 이것은 항복이 아닙니다. 이것은 거래입니다.

라이선스 계약의 핵심은 '통제'입니다. 디즈니는 소라 플랫폼에서 자사 캐릭터가 어떻게 사용될지 결정할 권리를 얻었습니다. 폭력, 정치, 성인 콘텐츠는 금지됩니다. 배우의 초상과 목소리도 제외됩니다. 디즈니와 오픈AI는 공동운영위원회를 구성해 사용자 콘텐츠를 모니터링합니다. 무질서한 무단 사용보다는 통제된 유료 사용이 낫다는 계산입니다.

오픈AI는 이미 여러 미디어 기업과 라이선스 계약을 체결했습니다. AP통신, 악셀 스프링거(폴리티코, 빌트 모회사), 뉴스 코퍼레이션(월스트리트저널, 타임스 모회사), 콩데 나스트(뉴요커, 보그, 와이어드), 레딧까지. 총액은 수억 달러에 달합니다. 반면 뉴욕타임스, 시카고 트리뷴 등은 소송을 계속하고 있습니다. 미디어 업계는 '협상파'와 '소송파'로 양분되었습니다.

이 분열에는 경제적 논리가 있습니다. 소송은 도박입니다. 몇 년이 걸릴지 모르고, 승소해도 배상액이 얼마가 될지 불확실합니다. 반면 라이선스 계약은 확실한 현금입니다. 법적 리스크도 제거됩니다. 하지만 계약에는 함정이 있습니다. 거대 미디어 기업은 협상 테이블에 앉을 수 있지만, 개별 작가나 무명 예술가는 그럴 힘이 없습니다. 데이터의 가치는 보유량에 비례합니다. 작은 창작자들은 이 새로운 경제 질서에서 소외될 위험이 있습니다.

결국 AI 저작권의 미래는 두 갈래로 나뉩니다. 법정에서의 싸움과 협상 테이블에서의 거래. 둘 다 같은 질문에 답하려 합니다. 인간이 만든 데이터로 기계가 가치를 창출할 때, 그 가치는 누구의 것인가? 이 질문에 대한 답이 나올 때까지, 저작권 전쟁은 계속될 것입니다.

나. 고용: AI 대리인 책임의 확산

데릭 모블리는 100개가 넘는 회사에 지원했습니다. 단 한 번의 면접도 잡지 못했습니다.

그는 흑인이었습니다. 40대였습니다. 불안장애 진단을 받은 적이 있었습니다. 어느 날 그는 이상한 패턴을 발견했습니다. 그가 지원한 모든 회사가 '워크데이(Workday)'라는 인사관리 소프트웨어를 사용하고 있었습니다. 거절 이메일이 도착하는 시간도 이상했습니다. 새벽 1시 50분. 지원서를 제출한 지 한 시간도 안 되어서. 인간이 그 시간에 이력서를 검토했을 리 없습니다.

모블리는 깨달았습니다. 그를 거절한 것은 인간이 아니었습니다. 알고리즘이었습니다.

2023년 2월, 모블리는 캘리포니아 북부연방지방법원에 워크데이를 제소했습니다. 혐의는 인종, 연령, 장애를 이유로 한 차별입니다. 이 소송은 AI 고용 차별에 관한 세계 최초의 대규모 법적 시험대가 되었습니다.

(1) 벤더 책임 인정의 글로벌 확산

워크데이의 첫 번째 방어선은 단순했습니다. "우리는 고용주가 아닙니다." 전통적인 고용법에서 차별 금지의 의무는 고용주에게 있습니다. 마이크로소프트 워드로 작성한 문서에 문제가 있다고 해서 마이크로소프트를 제소하지 않듯이, 채용 소프트웨어를 만든 회사를 제소하는 것은 논리적으로 맞지 않는다는 주장이었습니다.

리타 린 판사는 이 논리를 받아들이지 않았습니다. 2024년 7월, 그녀는 워크데이의 각하 신청을 기각하며 중요한 판결을 내렸습니다. 워크데이는 단순한 '도구'가 아닙니다. 워크데이의 소프트웨어는 고용주가 정한 기준을 기계적으로 적용하는 것이 아니라, 스스로 지원자를 평가하고 추천하며 탈락시킵니다. 이것은 의사결정에 실질적으로 참여하는 것입니다. 따라서 워크데이는 고용주의 '대리인(Agent)'으로서 연방 민권법의 적용을 받을 수 있습니다.

대리인. 이 단어가 핵심입니다. 법에서 대리인은 본인(principal)을 대신해 행동하는 자를 말합니다. 변호사는 의뢰인의 대리인입니다. 부동산 중개사는 집주인의 대리인입니다. 이제 AI 채용 소프트웨어도 고용주의 대리인이 될 수 있습니다. 대리인의 행위에 대해 본인이 책임을 지듯이, 대리인 스스로도 책임을 질 수 있습니다.

2025년 5월 16일, 린 판사는 모블리 소송의 집단소송 인정을 허가했습니다. 이제 이 소송은 2020년 9월 24일 이후 워크데이 시스템을 통해 지원했다가 거절당한 40세 이상의 모든 지원자를 대표합니다. 워크데이 측 변호사들은 법정에서 충격적인 숫자를 언급했습니다. 해당 기간 동안 워크데이 시스템을 통해 거절된 지원 건수는 약 11억 건입니다. 잠재적 집단 구성원이 수억 명에 달할 수 있다는 뜻입니다.

린 판사의 판결은 전 세계 AI 벤더들에게 경종을 울렸습니다. 미국 평등고용기회위원회(EEOC)는 이 사건에 법정 조언자(amicus curiae)로 참여해 모블리 측을 지지했습니다. EEOC의 입장은 명확합니다. AI 도구를 사용해 발생한 차별에 대해 고용주가 책임을 져야 하며, AI를 개발한 벤더도 책임을 질 수 있습니다. 벤더가 "우리 알고리즘은 편향이 없다"고 허위로 광고하거나, 고용주에게 편향성을 검증할 정보를 제공하지 않으면 제조물책임의 법리가 적용될 수 있습니다.

2023년 8월, EEOC는 아이튜터그룹(iTutorGroup)과 합의를 이끌어냈습니다. 이것은 연방 기관이 AI 채용 차별에 대해 제재를 가한 최초의 사례입니다. 아이튜터그룹의 채용 소프트웨어는 나이를 기준으로 지원자를 자동 탈락시켰습니다. 특정 연령 이상이면 시스템이 자동으로 거부 이메일을 발송했습니다. 이것은 의도적 차별이 아닌 '코딩된 차별(hard-coded bias)'입니다. EEOC는 이런 유형의 차별에도 엄격한 법 집행을 예고했습니다.

(2) 편향 감사 의무화 동향

뉴욕시의 '로컬 로 144(Local Law 144)'는 AI 채용 규제의 선구자입니다. 2023년 시행된 이 법은 자동화된 고용 의사결정 도구(AEDT)에 대한 '편향 감사(Bias Audit)'를 의무화했습니다. 뉴욕시에서 AI 채용 도구를 사용하려면, 기업은 매년 독립적인 감사인을 통해 해당 도구가 인종이나 성별에 따른 편향을 보이지 않는지 검증받아야 합니다. 그리고 그 결과를 웹사이트에 공개해야 합니다.

편향 감사란 무엇일까요? 회계사가 기업의 재무제표를 감사하듯, 데이터 과학자와 법률가들이 AI 알고리즘을 감사하는 것입니다. 알고리즘이 어떤 데이터를 사용하는지, 그 데이터에 편향이 있는지, 결과물이 특정 집단에 불리하게 작용하는지를 검증합니다.

콜로라도주는 2024년 5월, 미국 최초의 포괄적 AI 고용 차별 규제법을 제정했습니다. 이 법은 고용주뿐만 아니라 AI 개발사에게도 '알고리즘 차별 방지 의무'를 부과합니다. 고위험 AI 시스템에 대한 영향 평가를 요구하며, 편향성이 발견되면 즉각적인 시정 조치를 취해야 합니다. 캘리포니아주도 2025년 10월부터 시행되는 새로운 규정을 통해 AI 벤더를 '대리인'으로 정의하고, 고용주가 벤더로부터 편향성 테스트 결과를 제출받도록 의무화했습니다.

하지만 규제의 확산에도 불구하고 근본적인 문제는 남아 있습니다. "무엇이 편향인가?"라는 질문에 대한 합의가 없기 때문입니다. 예를 들어, 특정 직군에 지원하는 남성이 여성보다 10배 많다면, 합격자 중 남성이 많은 것은 편향입니까, 아니면 통계적 사실의 반영입니까? AI는 과거 데이터를 학습합니다. 과거에 특정 집단이 차별받았다면, AI는 그 차별을 '성공의 패턴' 으로 인식하고 재현합니다. 역사적 불평등을 수정하려는 '편향 완화(de-biasing)' 기술이 오히려 역차별을 낳을 수도 있습니다.

2025년 4월, 트럼프 대통령은 연방 기관에 '차별적 영향(disparate impact)' 이론에 기반한 집행을 중단하라는 행정명령에 서명했습니다. 차별적 영향 이론은 의도가 없어도 결과적으로 특정 집단에 불리하면 차별로 볼 수 있다는 법리입니다. 이 행정명령은 EEOC와 법무부의 AI 관련 집행을 약화시킬 수 있습니다. 하지만 모블리 대 워크데이 같은 민간 소송에는 영향을 미치지 않습니다. 오히려 연방 집행이 줄어들면 주 정부와 민간 변호사들이 그 공백을 메울 가능성이 높습니다.

지금 기업 인사 담당자들의 책상 위에는 두 개의 문서가 놓여 있습니다. 하나는 AI 채용 도구의 효율성 보고서입니다. 다른 하나는 법무팀의 리스크 평가서입니다. 효율성을 위해 도입한 AI가 수백만 달러짜리 집단소송의 청구서가 되어 돌아올 수 있습니다. 모블리 대 워크데이 사건은 아직 판결이 나지 않았습니다. 하지만 그 결과가 어떻든, AI 고용 시스템의 법적 책임은 이미 확대되고 있습니다. "알고리즘이 그랬어요"라는 변명은 더 이상 통하지 않습니다.

다. 규제: 미국 주별 패치워크 vs EU 통합규제

2025년 2월 2일, 유럽연합의 AI법(AI Act) 첫 번째 의무가 발효되었습니다. 이날부터 EU 내에서 특정 AI 관행이 전면 금지되었습니다. 인터넷이나 CCTV에서 무차별적으로 얼굴 이미지를 수집해 안면인식 데이터베이스를 구축하는 것. 직장이나 학교에서 감정 인식 기술을 사용하는 것. 법 집행 목적의 실시간 생체인식. 사회 신용 점수 시스템.

같은 날, 미국에서는 아무 일도 일어나지 않았습니다.

이것이 AI 규제의 현주소입니다. 유럽은 세계 최초의 포괄적 AI 기본법을 시행하고 있고, 미국 연방 의회는 여전히 어떤 법도 통과시키지 못하고 있습니다. 그 결과, 글로벌 AI 기업들은 완전히 다른 두 개의 법적 세계에서 사업을 해야 합니다.

(1) 규제 수렴의 가능성

EU AI법은 위험도에 따른 분류 체계를 채택했습니다. 금지, 고위험, 제한적 위험, 최소 위험. 의료, 채용, 교육, 법 집행, 신용 평가에 사용되는 AI는 '고위험'으로 분류되어 가장 엄격한 규제를 받습니다. 고위험 AI 시스템의 제공자는 기술 문서를 작성하고, 품질관리 시스템을 구축하고, 인간의 감독을 보장하고, 정확성·견고성·사이버보안 요건을 충족해야 합니다.

2025년 8월 2일부터는 범용 AI 모델(GPAI)에 대한 의무도 발효되었습니다. 챗GPT나 클로드 같은 대규모 언어 모델의 제공자는 모델의 개발, 훈련, 평가 과정을 추적할 수 있는 기술 문서를 유지해야 합니다. 모델의 능력, 한계, 잠재적 위험을 설명하는 투명성 보고서도 작성해야 합니다. 시스템적 위험을 초래할 수 있는 대형 모델에는 추가적인 위험 평가와 완화 조치가 요구됩니다.

과징금 규모도 상당합니다. 금지된 AI 관행을 위반하면 전 세계 연간 매출의 7% 또는 3,500만 유로 중 높은 금액이 부과됩니다. 기타 의무 위반에는 3% 또는 1,500만 유로, 허위 정보 제공에는 1% 또는 750만 유로입니다. 이 숫자들은 GDPR의 과징금 체계와 유사합니다. 글로벌 기업들에게 무시할 수 없는 위협입니다.

미국에는 이런 통합 규제가 없습니다. 하지만 '리스크 기반 접근(risk-based approach)'이라는 기본 철학은 공유됩니다. 바이든 행정부의 AI 행정명령, NIST(국립표준기술연구소)의 AI 리스크 관리 프레임워크 모두 고위험 AI에 대한 차별적 규제를 지지합니다. OECD AI 원칙, G7 히로시마 프로세스 등 국제 협의체에서도 이 방향으로 합의가 형성되고 있습니다.

'브뤼셀 효과(Brussels Effect)'라는 개념이 있습니다. EU의 규제가 사실상 전 세계의 표준이 되는 현상입니다. GDPR이 그랬습니다. EU 시장을 포기할 수 없는 글로벌 기업들은 가장 엄격한 기준인 EU 규제를 충족하도록 제품을 설계합니다. 그 제품이 전 세계에 판매됩니다. 결과적으로 EU 규제가 글로벌 표준이 됩니다.

AI 규제에서도 같은 현상이 일어날 수 있습니다. 오픈AI, 구글, 메타, 마이크로소프트 모두 EU 시장에서 사업하고 있습니다. 그들이 EU AI법을 준수하기 위해 개발한 투명성 도구, 위험 평가 절차, 인간 감독 메커니즘은 미국에서도 적용될 가능성이 높습니다. 주(州)마다 다른 규정을 따르는 것보다 하나의 높은 기준을 따르는 것이 비용 효율적이기 때문입니다.

(2) 지속적 분화 가능성

그러나 규제의 완전한 통일은 요원해 보입니다. 미국 연방 의회는 정치적 양극화로 인해 AI 기본법 제정에 실패하고 있습니다. 그 공백을 메우는 것은 각 주(州)의 독자적인 입법입니다. 콜로라도 AI법, 캘리포니아 SB 1047(주지사가 거부권을 행사했지만), 테네시 ELVIS법, 뉴욕시 로컬 로 144. 주마다 다른 정의, 다른 의무, 다른 과징금 체계. 이것을 '패치워크(Patchwork)' 규제라고 부릅니다. 누더기처럼 기워진 규제 환경입니다.

트럼프 행정부의 출범은 이 분화를 가속화할 변수입니다. 바이든 행정부의 AI 안전 행정명령이 철회되었습니다. '차별적 영향'보다 '혁신과 자율'이 강조됩니다. 연방 차원의 규제 완화가 예상됩니다. 하지만 캘리포니아, 뉴욕 등 민주당 성향의 주들은 독자적인 규제를 더욱 강화할 것입니다. 연방과 주, 주와 주 사이의 규제 격차가 벌어집니다.

중국은 또 다른 길을 갑니다. 2023년 8월 시행된 '생성형 AI 서비스 관리 잠정방법'은 세계 최초의 생성형 AI 규제입니다. 하지만 그 목적은 EU와 다릅니다. 개인의 권리 보호보다 '사회주의 핵심 가치' 부합 여부가 우선입니다. 중국 내 모든 AI 서비스는 중국 인터넷정보판공실(CAC)에 등록해야 합니다. 1,400개 이상의 AI 앱과 450개의 대규모 언어 모델이 등록되었습니다. 데이터 블랙리스트 체계도 운영됩니다. 해외 AI의 중국 진출은 사실상 봉쇄되었습니다.

결국 글로벌 AI 규제 지형은 세 개의 블록으로 나뉘고 있습니다. EU의 '권리 중심 통합 규제', 미국의 '주별 패치워크와 민간 소송', 중국의 '국가 안보 중심 통제'. 하나의 AI 모델이 전 세계에서 똑같이 작동하는 시대는 끝났습니다. 기업들은 각 시장에 맞는 별도의 모델, 별도의 데이터셋, 별도의 컴플라이언스 체계를 구축해야 합니다.

이 혼란 속에서 가장 큰 이익을 보는 집단은 누구일까요? 아이러니하게도 변호사와 컨설턴트들입니다. 규제가 복잡할수록 그 해석을 독점하는 전문가들의 몸값은 치솟습니다. 기업들은 AI를 개발하는 비용만큼이나, 그 AI가 합법임을 증명하는 데 돈을 쏟아붓게 될 것입니다.

라. 투명성: AI 블랙박스와 설명가능성

의사가 환자에게 말합니다. "암일 확률이 87%입니다. 수술합시다."

환자가 묻습니다. "왜요? 어떤 증상 때문에요?"

의사가 대답합니다. "모릅니다. AI가 그렇게 말했습니다."

이것은 가상의 상황이 아닙니다. 2024년, 유나이티드헬스 그룹을 상대로 집단소송이 제기되었습니다. 원고들의 주장에 따르면, 유나이티드헬스의 AI 알고리즘 'nH 프레딕트(nH Predict)' 는 환자의 개별 상태를 무시하고 통계적 데이터만으로 치료 중단을 권고했습니다. 의사들은 AI의 결정을 검토하는 데 평균 1.2초밖에 쓰지 않았습니다. 소장에 따르면, 보험 거부율은 2020년 10.9%에서 2023년 22.7%로 두 배 이상 증가했습니다.

문제의 핵심은 '블랙박스(Black Box)'입니다. AI가 왜 그런 결정을 내렸는지 아무도 설명하지 못합니다. 아니, 설명할 수 없습니다.

(1) 설명의무 법제화 동향

법은 본질적으로 '이유'를 묻습니다. 판결문에는 결론만 있는 것이 아니라 그 결론에 도달한 이유가 적혀 있어야 합니다. 그래야 항소를 하든 승복을 하든 할 테니까요. 하지만 딥러닝 기반의 현대 AI는 결론만 내놓고 과정은 알려주지 않습니다. 수십억 개의 매개변수(parameter) 가 복잡하게 얽혀 있어, 개발자조차 "왜 AI가 이 환자를 고위험으로 분류했는지" 정확히 설명하지 못합니다.

EU의 GDPR은 이 문제에 처음으로 법적 규범을 적용했습니다. 제22조는 '자동화된 의사결정' 의 대상이 된 개인에게 "관련된 논리(logic involved)에 대한 유의미한 정보"를 제공받을 권리를 부여합니다. 제15조는 정보주체에게 자신에 관한 데이터가 어떻게 처리되는지 알 권리를 보장합니다. 이른바 '설명요구권(Right to Explanation)'입니다.

2023년, 유럽사법재판소(CJEU)는 SCHUFA 판결에서 중요한 해석을 내렸습니다. SCHUFA는 독일의 신용평가기관입니다. 법원은 신용평가기관이 산출하는 '점수(score)' 자체가 자동화된 의사결정에 해당하며, 정보주체는 이 점수가 어떻게 산출되었는지에 대한 설명을 요구할 수 있다고 판결했습니다. 이것은 금융기관이 단순히 "AI가 대출 부적격이라고 했다"고 통보하는 것을 넘어, 구체적인 변수와 가중치를 설명해야 함을 의미합니다.

미국에서도 설명의무 법제화가 진행되고 있습니다. 캘리포니아 SB 1120은 의료보험사가 AI를 이용해 보험금 지급을 거절할 경우, 반드시 인간이 개입하여 검토하고 그 이유를 설명하도록 의무화했습니다. 콜로라도 AI법도 고위험 AI 시스템에 대한 투명성 요건을 포함합니다. 연방 차원에서는 연방거래위원회(FTC)가 기존의 신용보고법(FCRA)과 평등신용기회법(ECOA)을 AI에 적용하고 있습니다. 금융기관이 AI를 이용해 대출을 거절할 경우, "AI 점수가 낮아서"라고 통보하는 것은 불법입니다. 어떤 요인이 부정적 영향을 미쳤는지 구체적으로 설명해야 합니다.

2024년, 캐나다 민사중재판정부는 '에어 캐나다 챗봇 사건'에서 기업이 AI 챗봇의 오류에 대해 책임을 져야 한다고 판결했습니다. 에어 캐나다의 챗봇은 고객에게 잘못된 환불 정책을 안내했습니다. 회사는 "챗봇은 별개의 법인"이라고 항변했습니다. 판정부는 이를 일축했습니다. "챗봇은 에어 캐나다의 대리인이며, 회사는 그 행위에 책임을 집니다." 이 판결은 AI의 불투명성이 기업의 면책 사유가 될 수 없음을 확인했습니다.

(2) 기술적 한계와 법적 요구의 간극

문제는 현재의 AI 기술이 법이 요구하는 수준의 명쾌한 설명을 제공하기 어렵다는 점입니다. 최신 대규모 언어 모델은 수천억 개의 매개변수로 이루어져 있습니다. 특정 출력이 나온 이유를 수학적으로 추적할 수는 있습니다. 하지만 이를 인간이 이해할 수 있는 자연어 인과관계로 변환하는 것은 거의 불가능에 가깝습니다.

법원은 "A 때문에 B가 되었다"는 명확한 인과관계를 원합니다. AI는 "A일 확률이 높아서 B를 선택했다"는 상관관계적 답변밖에 줄 수 없습니다. 이 간극이 법적 분쟁의 씨앗입니다.

'설명 가능한 AI(Explainable AI, XAI)' 기술이 개발되고 있습니다. LIME, SHAP 같은 기법은 AI의 결정에 영향을 미친 주요 변수를 추출합니다. "이 대출이 거절된 이유: 신용점수(40%), 소득 대비 부채 비율(30%), 고용 기간(20%), 기타 요인(10%)." 이런 식의 설명을 생성할 수 있습니다. 하지만 여기에는 함정이 있습니다.

첫째, 이런 설명은 '사후적 합리화(post-hoc rationalization)'입니다. AI가 실제로 어떻게 결정을 내렸는지를 보여주는 것이 아니라, 결정 후에 그럴듯한 이유를 역으로 추정하는 것입니다. 이것이 AI의 진짜 '생각'인지, 아니면 인간을 안심시키기 위한 변명인지 구분하기 어렵습니다.

둘째, 설명 가능성과 성능 사이에 트레이드오프가 있습니다. 가장 정확한 AI 모델은 가장 복잡한 구조를 가지며, 따라서 가장 설명하기 어렵습니다. 설명하기 쉬운 단순 모델은 정확도가 떨어집니다. 법은 '설명 가능한 투명성'을 요구하고, 시장은 '설명 불가능한 고성능'을 원합니다.

마타 대 아비앙카(Mata v. Avianca) 사건은 이 문제의 극단적 사례입니다. 2023년, 뉴욕의 변호사 스티븐 슈워츠는 챗GPT를 이용해 법정 서류를 작성했습니다. 챗GPT는 실제로 존재하지 않는 판례를 인용했습니다. 슈워츠는 이것을 검증하지 않고 법원에 제출했습니다. 판사가 해당 판례를 찾을 수 없다고 지적하자, 슈워츠는 챗GPT에게 다시 물었습니다. "이 판례가 진짜 존재하느냐?" 챗GPT는 "예, 존재합니다"라고 대답했습니다. 슈워츠는 이것을 믿었습니다. 결국 그는 징계를 받았습니다.

이것이 AI '환각(hallucination)'의 문제입니다. AI는 존재하지 않는 것을 존재한다고 주장합니다. 그리고 그 주장에 대해 설명을 요구하면, 설득력 있어 보이는 거짓 설명을 생성합니다. 인간은 이 설명을 검증할 능력이 없거나, 검증할 시간이 없거나, 검증할 의지가 없습니다.

결국 AI 투명성 문제는 기술적 문제인 동시에 인간의 문제입니다. 의사가 1.2초 만에 AI의 결정을 검토하는 것은 기술의 한계 때문이 아니라 시간적 압박 때문입니다. 변호사가 챗GPT의 판례를 검증하지 않은 것은 AI가 설명을 못해서가 아니라 변호사가 믿고 싶었기 때문입니다. 법원은 이제 묻기 시작했습니다. "이해할 수 없는 것을 믿을 수 있는가?" 그리고 "이해할 수 없는 것을 사용하다 사고가 나면, 그것은 누구의 책임인가?" 투명성은 단순한 기술적 기능이 아닙니다. 그것은 AI가 우리 사회의 일원으로 받아들여지기 위해 지불해야 하는 가장 비싼 입장료입니다. 그 입장료를 누가, 얼마나 낼 것인지를 둘러싼 싸움이 지금 법정에서 벌어지고 있습니다.