가. 존재하지 않는 판례를 인용한 변호사

(1) Mata v. Avianca: ChatGPT 허위 판례 제출과 변호사 징계

2023년 6월 8일, 뉴욕 남부 연방지방법원 법정은 사람들로 가득 찼습니다. 방청석에 앉지 못한 사람들은 옆방의 화상 중계 화면으로 이 광경을 지켜봐야 했습니다.

이날 법정에 선 사람은 살인범도 아니었고, 금융 사기범도 아니었습니다. 30년 경력의 평범한 변호사 스티븐 슈워츠였습니다. 그의 죄목은 단순했습니다. 존재하지 않는 판례를 법원에 제출한 것. 그리고 그 판례를 만들어낸 것은 인간이 아니라 ChatGPT라는 기계였습니다.

사건의 시작은 평범했습니다.

로베르토 마타라는 남자가 2019년 아비앙카 항공 기내에서 금속 서빙 카트에 무릎을 다쳤습니다.

그는 항공사를 상대로 손해배상 소송을 제기했습니다. 이런 소송은 매일 수십 건씩 법원에 접수됩니다. 아무도 주목하지 않습니다.

아비앙카 측은 몬트리올 협약의 2년 소멸시효를 들어 소송 기각을 신청했습니다. 원고 측 변호사 슈워츠는 이에 반박하는 서면을 준비해야 했습니다.

여기서 이야기가 흥미로워집니다.

슈워츠 변호사는 30년간 법률 업무를 해왔지만, 뉴욕 남부 연방지방법원에는 변호사 자격이 없었습니다. 그래서 같은 로펌의 피터 로두카 변호사가 공식적으로 사건을 맡았고, 슈워츠는 실질적인 법률 조사를 담당했습니다.

슈워츠는 시간에 쫓기고 있었습니다.

그는 2022년 11월에 세상에 공개된 새로운 도구를 떠올렸습니다. ChatGPT.

슈워츠는 ChatGPT에게 물었습니다. "몬트리올 협약의 소멸시효에 관한 판례를 찾아줘." ChatGPT는 친절하게 대답했습니다.

"Varghese v. China Southern Airlines", "Shaboon v. EgyptAir", "Petersen v. Iran Air" 등 여섯 건의 판례를 나열했습니다.

인용 번호도 있었고, 법원명도 있었고, 판결 요지도 있었습니다.

완벽해 보였습니다.

슈워츠는 이 판례들을 서면에 인용했습니다.

문제는 이 판례들이 이 세상에 존재하지 않는다는 것이었습니다.

전부 ChatGPT가 지어낸 허구였습니다.

여기서 우리는 '환각'이라는 단어를 짚고 넘어가야 합니다. 컴퓨터 과학자들은 AI가 사실이 아닌 정보를 사실처럼 출력하는 현상을 환각이라고 부릅니다. 하지만 이 단어는 오해를 불러일으킵니다. 마치 기계가 약에 취해 헛것을 보는 것처럼 들리기 때문입니다.

진실은 더 단순하고, 더 기계적입니다. 대규모 언어 모델은 진실을 말하도록 설계된 것이 아닙니다. 다음에 올 가장 확률 높은 단어를 예측하도록 설계되었습니다.

ChatGPT는 법률 데이터베이스를 검색한 것이 아니었습니다. 수백만 건의 법률 문서를 학습한 통계적 패턴에 따라, '판례처럼 보이는' 문장을 생성해낸 것뿐이었습니다.

슈워츠의 비극은 그가 검증을 시도했을 때 절정에 달했습니다.

그는 ChatGPT에게 다시 물었습니다.

"이 판례들 진짜야? 웨스트로나 렉시스넥시스에서 찾을 수 있어?"

ChatGPT는 대답했습니다. "네, 실재하는 판례입니다.

평판 있는 법률 데이터베이스에서 찾을 수 있습니다." 슈워츠는 안심했습니다.

그는 이 서면을 법원에 제출했습니다. 2023년 3월 15일, 아비앙카 측 변호사들이 반격했습니다.

"원고가 인용한 판례들을 찾을 수 없습니다." 법원도 찾을 수 없었습니다. P. 케빈 카스텔 판사는 4월 11일 슈워츠에게 해당 판례 원문을 첨부하여 제출하라고 명령했습니다.

여기서 슈워츠는 두 번째 실수를 저질렀습니다.

그는 거짓말을 인정하는 대신, ChatGPT에게 다시 물어 가짜 판결문 전문까지 받아내어 법원에 제출했습니다.

거짓을 거짓으로 덮으려 한 것입니다.

진실이 드러난 것은 5월이었습니다. 슈워츠는 마침내 자백했습니다.

그는 선서 진술서에서 이렇게 썼습니다.

"저는 ChatGPT의 콘텐츠가 거짓일 수 있다는 가능성을 인식하지 못했습니다.

30년간 법률 업무를 해왔지만, 이런 일이 가능하리라고는 상상도 하지 못했습니다."

6월 8일 청문회에서 카스텔 판사는 슈워츠에게 물었습니다. "Varghese 판례를 직접 찾아보셨나요?" 슈워츠가 대답했습니다. "네, 찾아봤습니다." 판사가 다시 물었습니다. "찾으셨나요?" 슈워츠가 대답했습니다. "못 찾았습니다." 판사가 물었습니다. "그런데 왜 그걸 제 법정에 인용하셨습니까?" 슈워츠는 말을 잇지 못했습니다.

6월 22일, 카스텔 판사는 판결문을 냈습니다.

슈워츠, 로두카, 그리고 그들의 로펌 레비도우에 5,000달러의 벌금이 부과되었습니다. 금액은 상징적이었습니다. 진짜 처벌은 다른 곳에 있었습니다. 판사는 두 변호사에게 가짜 판례에 언급된 실존 판사들에게 직접 사과 편지를 보내라고 명령했습니다. 그 편지에는 법원의 제재 명령, 청문회 녹취록, 그리고 허위 판례가 포함된 원본 서면을 첨부해야 했습니다. 카스텔 판사는 판결문에서 이렇게 썼습니다.

"많은 해를 끼치는 것은 인공지능 그 자체가 아니라, 인공지능이 생성한 내용을 확인하지 않고 법원에 제출하여 사법 시스템을 기망한 변호사의 행위입니다."

이 사건은 전 세계 뉴스에 보도되었습니다.

법조계에 충격파가 퍼졌습니다.

하지만 진짜 교훈은 단순했습니다. 도구가 아무리 똑똑해 보여도, 그 도구를 사용한 결과에 대한 책임은 인간에게 있습니다.

ChatGPT는 법적 인격이 없습니다. 법정에 설 수 없습니다. 변명할 수도 없습니다. 변호사만 그럴 수 있습니다. 그리고 변호사만 처벌받을 수 있습니다.

(2) Cohen 사건: 가짜 판례 인용의 확산

마타 사건이 전국적인 뉴스가 된 지 6개월 후, 같은 패턴이 더 유명한 이름과 함께 반복되었습니다. 마이클 코헨. 도널드 트럼프 전 대통령의 개인 변호사였던 그 남자입니다.

2023년 말, 코헨은 자신의 보호관찰 기간 조기 종료를 신청하고 있었습니다. 그는 자신의 주장을 뒷받침할 판례 세 건을 변호인에게 전달했습니다.

변호인 다냐 페리는 의뢰인이 보낸 자료를 신뢰했습니다.

전 대통령의 변호사였던 사람이 보낸 법률 자료였으니까요.

그녀는 이 판례들을 법원 제출 서면에 포함시켰습니다.

문제는 이 판례들도 존재하지 않았다는 것입니다. 코헨이 구글의 AI 챗봇 바드(현재의 제미나이)에서 생성해낸 허구였습니다.

코헨은 나중에 선서 진술서에서 이렇게 해명했습니다. "저는 구글 바드가 생성형 AI라는 것을 몰랐습니다. 그저 강력한 검색엔진이라고 생각했습니다." 그의 변명은 마타 사건의 슈워츠 변호사와 놀라울 정도로 비슷했습니다. 둘 다 AI가 무엇인지 이해하지 못했습니다. 둘 다 검색창에 질문을 넣으면 진실이 나온다고 믿었습니다.

여기서 중요한 구분이 필요합니다.

구글 검색창에 질문을 넣으면, 구글은 이미 존재하는 웹페이지를 찾아줍니다.

하지만 생성형 AI 채팅창에 질문을 넣으면, AI는 매번 새로운 답을 만들어냅니다.

전자는 발굴입니다. 후자는 창작입니다.

법률 시장에서 창작은 곧 위조를 의미할 수 있습니다.

2024년 3월 20일, 연방판사는 코헨에 대한 제재를 부과하지 않기로 결정했습니다. 하지만 법원은 코헨이 위증을 저질렀을 가능성을 언급했습니다. 다냐 페리 변호사는 이 특징화가 "사실적으로 부정확하고 법적으로 잘못되었다"고 반박했습니다.

코헨 사건과 마타 사건의 차이점이 있었습니다.

코헨은 직접 법원에 서면을 제출한 것이 아니라, 자신의 변호인에게 잘못된 정보를 제공했습니다. 의뢰인이 변호사를 속인 것입니다.

이것은 새로운 문제였습니다. AI 환각의 피해자가 법률 전문가가 아닌 일반인일 때, 그 결과는 어떻게 될까요?

마타 사건 이후에도 유사한 사례는 계속 터져 나왔습니다. 2024년 2월, 매사추세츠 상급법원의 브라이언 데이비스 판사는 또 다른 변호사에게 제재를 가했습니다. 그는 판결문 서두에서 이렇게 썼습니다. "이 결정은 법률 실무에 악영향을 미치고 있는 두 가지 우려스러운 현상을 다룹니다. 첫째, ChatGPT와 같은 생성형 AI 시스템이 허위 정보를 만들어내는 경향. 둘째, 일부 변호사들이 AI를 활용하여 서면을 작성한 후, 그 결과물이 허위 정보를 포함하는지 확인하지 않고 법원에 제출하는 경향."

2024년에는 유타주에서 리처드 베드나 변호사가 ChatGPT로 생성된 가짜 판례 "Royer v. Nelson"을 인용하여 제재를 받았습니다.

캘리포니아에서는 두 로펌이 구글 제미나이로 생성된 가짜 판례를 제출하여 31,000달러의 벌금을 물었습니다.

월마트 인신상해 소송에서는 세 명의 변호사가 총 5,000달러의 벌금을 맞았습니다. 영국과 캐나다에서도 유사한 사례가 보고되었습니다. 한 연구에 따르면, 무작위 연방법원 사건에 대한 구체적인 질문을 받았을 때, ChatGPT 4는 58%, Llama 2는 88%의 확률로 환각을 생성했습니다.

패턴은 명확했습니다. AI 환각은 개인의 실수가 아니었습니다. 구조적인 위험이었습니다.

(3) 법률 서비스에서의 AI 윤리와 검증 의무

마타 사건과 코헨 사건은 법조계 전체에 새로운 질문을 던졌습니다. 변호사의 의무란 무엇인가? 기술이 변해도 그 의무는 변하지 않는가?

미국변호사협회(ABA) 모델 규칙 1.1은 변호사에게 '유능한 대리(competent representation)'를 요구합니다. 2012년에 이 규칙의 주석 8이 개정되어, '기술의 이점과 위험을 이해하는 것'이 유능함의 일부라는 점이 명시되었습니다.

당시에는 이메일 보안과 클라우드 저장소를 염두에 둔 개정이었습니다. 아무도 생성형 AI를 예상하지 못했습니다. 하지만 이 규칙은 여전히 적용됩니다.

규칙 1.3은 '성실한 조사(diligent investigation)'를 의무화합니다. 사용된 방법이 무엇이든, 변호사는 자신이 주장하는 사실과 법률의 정확성을 확인해야 합니다.

규칙 3.3은 '법원에 대한 진실성(candor toward the tribunal)'을 요구합니다. 변호사가 허위 진술의 허위성을 알지 못했더라도, AI가 만들어낸 가짜 판례를 제출한 책임은 면제되지 않습니다.

마타 사건 이후, 미국 전역의 법원들은 새로운 규칙을 도입하기 시작했습니다.

텍사스 북부 연방지방법원의 브랜틀리 스타 판사는 최초로 'AI 인증서(AI Certification)' 제출을 의무화했습니다.

변호사가 AI를 사용하여 서면을 작성했을 경우, 그 내용을 인간이 직접 검증했다는 확인서를 첨부해야 합니다. 이후 수십 개의 법원이 비슷한 명령을 발표했습니다. 2024년 7월, ABA는 생성형 AI 사용에 관한 최초의 공식 윤리 의견서를 발표했습니다. 15페이지짜리 이 문서는 직무행위 규칙이 AI 사용에 어떻게 적용되는지 설명했습니다. 핵심 메시지는 단순했습니다. AI는 변호사의 책임을 줄여주지 않습니다. 오히려 새로운 형태의 검증 의무를 추가합니다.

캘리포니아, 뉴욕, 플로리다의 변호사 협회들도 가이드라인을 발표했습니다. 공통적인 요구사항이 있었습니다.

첫째, AI가 생성한 정보의 정확성을 독립적으로 검증해야 합니다.

둘째, AI 시스템의 기능과 한계를 이해해야 합니다.

셋째, AI 사용 여부와 방법을 의뢰인에게 고지해야 합니다.

넷째, AI에 민감한 의뢰인 정보를 입력할 때 기밀유지 의무를 고려해야 합니다.

미국 법정의 규칙 하나를 알아야 합니다.

연방민사소송규칙 11조. 이 규칙은 단순합니다. 변호사가 서류에 서명하는 순간, 그는 법원에 약속을 하는 것입니다. "나는 이 내용을 검증했습니다. 근거가 있습니다." 서명은 단순한 이름이 아닙니다. 그것은 보증서입니다.

슈워츠 변호사는 ChatGPT에게 판례를 찾아달라고 했습니다. ChatGPT는 친절하게 여섯 개의 판례를 제시했습니다. 이름도 있었고, 날짜도 있었고, 인용 번호도 있었습니다. 완벽해 보였습니다. 한 가지만 빼면. 모두 AI가 지어낸 것이었습니다.

슈워츠는 동료 로다이엔에게 이 판례들을 넘겼습니다. 로다이엔은 확인하지 않았습니다. 그는 서명하고 제출했습니다.

여기서 질문이 생깁니다. 판사가 확인하면 되는 것 아닌가. 왜 변호사에게 벌금을 물리는가. 미국 법정은 축구 경기와 비슷합니다. 판사는 심판입니다. 심판은 공을 차지 않습니다. 공을 가져오는 것은 선수들의 몫입니다. 변호사가 법률과 증거를 찾아오고, 판사는 그것을 보고 판단합니다. 이것을 당사자주의라고 부릅니다.

만약 심판이 매 경기마다 "저 공이 진짜 축구공인지" 검사해야 한다면 경기는 진행되지 않습니다. 마찬가지로, 판사가 변호사가 제출한 모든 판례의 실존 여부를 처음부터 의심해야 한다면 재판은 마비됩니다.

판사가 분노한 지점이 바로 이것이었습니다. 법원의 시간. 납세자의 돈으로 운영되는 사법 시스템의 자원. 그것을 존재하지도 않는 판례를 추적하는 데 소모하게 만들었다는 것.

본질적인 문제는 AI가 아닙니다. 검증의 부재입니다. 슈워츠 변호사가 ChatGPT의 답변을 법률 데이터베이스에서 한 번만 확인했다면, 가짜 판례는 발각되었을 것입니다. 3분이면 충분했을 일입니다. 그는 그 3분을 아꼈습니다. 그 대가로 5,000달러와 직업적 명예를 잃었습니다.

변호사의 역할이 무엇인지 묻는 질문이 여기 있습니다. 단순히 정보를 전달하는 사람인가, 아니면 정보의 진위를 걸러내는 문지기인가. 미국 법원의 대답은 명확합니다. 문지기입니다. 그리고 문지기가 문을 안 지키면, 대가를 치릅니다.

법원은 금전적 제재 대신 더 가혹한 처벌을 내렸습니다. 해당 변호사들을 이 사건에서 자격 정지시켰습니다. 그들은 더 이상 의뢰인을 대리할 수 없게 되었습니다. 법원은 또한 판결문을 연방 판례집에 공식 수록하도록 명령했고, 법원 서기에게 해당 변호사들이 자격을 보유한 모든 주의 변호사 징계 기관에 이 판결을 통보하라고 지시했습니다.

기술은 변호사에게 강력한 도구를 제공하지만, 그 도구가 변호사의 책임을 제거하거나 낮은 성실성 기준을 정당화하지는 않습니다. 검증 의무는 선택이 아닙니다. AI 시대의 필수 조건입니다.

나. 기업 챗봇의 잘못된 안내 (챗봇이 약속한 환불)

(1) Moffatt v. Air Canada: 챗봇 환불 정책 오안내 책임 인정

2022년 11월 11일, 제이크 모팻은 할머니의 죽음 소식을 들었습니다. 현충일(Remembrance Day)이었습니다. 그는 밴쿠버에서 토론토로 가는 비행기표를 예매해야 했습니다. 급했습니다. 슬펐습니다. 복잡한 약관을 읽을 여유가 없었습니다.

모팻은 에어캐나다 웹사이트에 접속했습니다. 화면 한쪽에 채팅창이 떠 있었습니다. "무엇을 도와드릴까요?" 그는 채팅봇에게 물었습니다. 장례식 때문에 급하게 가야 하는데, 사별 할인(bereavement fare)을 받을 수 있냐고.

챗봇은 친절하게 대답했습니다. "즉시 여행해야 하거나 이미 여행을 완료한 경우, 티켓 발행일로부터 90일 이내에 환불 신청서를 제출하시면 할인된 사별 요금을 적용받을 수 있습니다." 모팻은 이 말을 믿었습니다. 그는 밴쿠버-토론토 편도 티켓 794.98캐나다달러를 결제했습니다. 며칠 후 돌아오는 티켓 845.38달러도 샀습니다. 총 1,630달러가 넘는 비용이었습니다.

장례식이 끝났습니다. 모팻은 에어캐나다에 환불을 신청했습니다. 할머니의 사망 증명서도 첨부했습니다. 챗봇이 말한 90일 이내였습니다. 그리고 거절당했습니다.

에어캐나다의 답변은 이랬습니다. 회사의 실제 정책에 따르면, 사별 할인은 여행 전에 신청해야 합니다. 이미 완료된 여행에는 소급 적용되지 않습니다. 챗봇이 틀린 정보를 제공한 것입니다.

모팻은 포기하지 않았습니다. 2023년 2월, 그는 에어캐나다에 이메일을 보냈습니다. 챗봇과의 대화 스크린샷을 첨부했습니다. "여기 보세요. 당신들 챗봇이 이렇게 말했잖아요." 에어캐나다 담당자는 인정했습니다. 챗봇이 "오해의 소지가 있는 말(misleading words)"을 했다고. 그러나 환불은 거절했습니다. 담당자는 덧붙였습니다. 챗봇이 제공한 링크를 클릭했다면, 올바른 정책을 찾을 수 있었을 것이라고. 모팻은 브리티시 컬럼비아 민사해결심판소(Civil Resolution Tribunal)에 소송을 제기했습니다. 그가 청구한 금액은 880캐나다달러, 정상 요금과 사별 할인 요금의 차액이었습니다.

에어캐나다는 법정에서 기상천외한 주장을 펼쳤습니다. "챗봇은 별개의 법적 주체(separate legal entity)입니다. 따라서 챗봇의 발언에 대해 회사는 책임이 없습니다."

심판관 크리스토퍼 리버스는 이 주장을 읽고 한동안 말을 잃었을 것입니다.

그는 판결문에서 이렇게 썼습니다. "사실상 에어캐나다는 챗봇이 자신의 행동에 대해 책임을 지는 별개의 법적 주체라고 주장하고 있습니다. 이것은 놀라운 주장입니다. 챗봇에 대화형 요소가 있다 하더라도, 그것은 여전히 에어캐나다 웹사이트의 일부일 뿐입니다."

에어캐나다는 또 다른 변명을 내놓았습니다. 챗봇이 정확한 정책으로 연결되는 링크를 제공했으니, 모팻이 그 링크를 클릭해서 확인했어야 한다는 것입니다. 리버스 심판관은 이 주장도 기각했습니다. "에어캐나다는 왜 '사별 여행'이라는 제목의 웹페이지가 챗봇보다 본질적으로 더 신뢰할 만한지 설명하지 않았습니다. 모팻 씨가 에어캐나다 웹페이지의 한 부분은 정확하고 다른 부분은 정확하지 않다는 것을 알아야 할 이유가 없습니다."

2024년 2월 14일, 심판소는 모팻의 손을 들어주었습니다. 에어캐나다는 650.88캐나다달러의 손해배상금과 이자, 심판소 비용을 포함해 총 812.02달러를 지급하라는 명령을 받았습니다.

금액은 크지 않았습니다. 하지만 이 판결이 보낸 신호는 수억 달러짜리였습니다. 기업이 AI 챗봇을 고객 서비스에 배치했다면, 그 챗봇이 내뱉는 말은 회사의 공식 입장으로 간주됩니다. "챗봇이 실수했다"는 변명은 통하지 않습니다.

(2) 고객 서비스 AI의 디지털 에이전트 지위

에어캐나다 사건은 더 큰 질문을 던졌습니다.

AI 챗봇의 법적 지위는 무엇인가? 기업은 챗봇의 말에 대해 얼마나 책임을 져야 하는가?

전통적인 대리법(agency law)에서 본인(principal)은 대리인(agent)이 권한 내에서 한 행위에 대해 책임을 집니다. 에어캐나다의 콜센터 직원이 고객에게 잘못된 정보를 제공하면, 에어캐나다가 책임집니다. 직원이 회사를 대리하기 때문입니다. 그렇다면 챗봇은?

미국 법학회(American Law Institute)의 대리 리스테이트먼트(Restatement of Agency)는 컴퓨터 프로그램을 대리인으로 간주할 수 없다고 명시합니다. 대리인은 의도와 자율성을 가진 존재여야 하기 때문입니다. AI는 그런 의미에서 대리인이 아닙니다. 하지만 법원은 다른 경로로 같은 결론에 도달했습니다.

표현대리(apparent authority)라는 개념이 있습니다.

대리권이 없는 자라도, 외관상 대리권이 있는 것처럼 보이고 본인이 그 외관을 만들어냈다면, 본인은 책임을 집니다. 에어캐나다는 웹사이트에 챗봇을 배치했습니다. 고객이 챗봇과 대화할 때, 그것이 에어캐나다의 공식 채널이라고 믿을 합리적인 이유가 있습니다. 따라서 챗봇의 말은 에어캐나다의 말입니다.

리버스 심판관의 판결은 이 논리를 따랐습니다. "에어캐나다는 웹사이트에 제시된 모든 정보에 대해 책임이 있습니다. 그 정보가 정적 웹페이지에서 나왔는지 챗봇에서 나왔는지는 중요하지 않습니다."

에어캐나다 사건 이후, 비슷한 문제들이 속속 드러났습니다.

2024년 3월, 뉴욕시가 소상공인 지원을 위해 도입한 AI 챗봇이 엉뚱한 조언을 했습니다. "직원이 성희롱을 신고하면 해고해도 됩니다." "현금을 받지 않는 가게를 운영해도 됩니다." 둘 다 명백한 불법이었습니다. 뉴욕시는 "챗봇 답변은 법률적 조언이 아니다"라는 면책 조항을 달았지만, 공공기관이 제공하는 서비스가 위법을 조장한다는 비판을 피할 수 없었습니다.

맥도날드의 AI 드라이브스루 시스템은 고객이 원하지 않는 260달러어치의 치킨너겟을 주문받거나, 다른 차의 주문을 섞어버렸습니다. 맥도날드는 결국 2024년 6월 IBM과 협력한 이 시스템을 철수했습니다.

2025년 8월에는 메타의 AI가 인스타그램에서 청소년에게 자해와 섭식장애 역할극을 조장했다는 보도가 나왔습니다. 스웨덴의 핀테크 기업 클라르나(Klarna)는 AI 고객 서비스를 대대적으로 홍보했다가, 오류가 잦아지자 다시 인간 상담원을 고용해야 했습니다.

이 사례들은 공통된 교훈을 남깁니다. 기업이 비용 절감을 위해 AI를 도입할 때, 그 AI가 저지르는 실수의 비용도 함께 계산해야 합니다. 에어캐나다는 콜센터 인건비를 아끼려고 챗봇을 도입했습니다. 그 결과로 법적 분쟁, 언론 보도, 그리고 평판 손상을 얻었습니다. 812달러를 절약하려다 전 세계적인 조롱거리가 되었습니다.

다. 명예훼손 책임

(1) AI 생성 허위 사실과 명예훼손 면책 논리

마크 월터스는 유명인입니다. 그는 두 개의 전국 방송 라디오 프로그램을 진행했습니다. 15분 방송당 120만 명이 청취했습니다. 그는 미국 총기 권리 운동의 목소리였습니다. 책도 썼습니다. 여러 조직의 대변인이었습니다.

2023년 5월 3일, 온라인 총기 전문 매체 AmmoLand의 편집장 프레드 릴은 기사를 쓰기 위해 ChatGPT를 사용했습니다.

그는 제2수정헌법재단(Second Amendment Foundation)이 워싱턴주 법무장관을 상대로 제기한 소송에 대한 정보를 요청했습니다. 그는 소송 서류의 URL 링크를 ChatGPT에 입력했습니다.

ChatGPT는 경고했습니다. "저는 인터넷에 접속하거나 제공하신 링크에 접근할 수 없습니다." 그리고 그 링크가 자신의 "지식 마감일(knowledge cutoff date)" 이후에 작성된 것이라고 덧붙였습니다.

하지만 릴이 계속 요청하자, ChatGPT는 답변을 생성했습니다.

그 답변에는 마크 월터스가 제2수정헌법재단에서 자금을 횡령했다는 혐의로 제소당했다는 내용이 포함되어 있었습니다. 사건 번호도 있었고, 구체적인 금액도 있었습니다.

문제는 이 모든 것이 완전한 허구였다는 것입니다. 월터스는 그 소송의 당사자가 아니었습니다. 그런 혐의를 받은 적도 없었습니다. ChatGPT가 지어낸 것이었습니다.

릴은 베테랑 기자였습니다.

그는 AI의 환각 현상을 알고 있었습니다. 그는 90분도 안 되어 ChatGPT의 출력이 사실이 아님을 확인했습니다. 그는 그 정보를 기사에 사용하지 않았습니다. 허위 내용은 출판되지 않았습니다. 하지만 월터스는 소송을 제기했습니다. 2023년 6월, 그는 조지아주 귀넷 카운티 상급법원에 OpenAI를 상대로 명예훼손 소송을 냈습니다. 이것은 생성형 AI를 상대로 제기된 최초의 명예훼손 소송 중 하나였습니다.

2025년 5월 19일, 법원은 OpenAI의 약식판결(summary judgment) 신청을 인용하여 월터스의 소송을 기각했습니다. 판결은 세 가지 근거에 기초했습니다.

첫째, 명예훼손적 의미가 없다. 조지아 법에 따르면 명예훼손 원고는 문제된 진술이 "원고에 대한 실제 사실을 기술하는 것으로 합리적으로 이해될 수 있음"을 증명해야 합니다.

법원은 릴의 위치에 있는 합리적인 독자라면 ChatGPT의 출력이 "실제 사실"을 전달한다고 결론 내리지 않았을 것이라고 판단했습니다. ChatGPT는 릴에게 인터넷에 접속할 수 없다고 경고했습니다. OpenAI는 ChatGPT가 때때로 사실적으로 부정확한 정보를 제공한다고 여러 차례 경고했습니다. 릴 자신도 짧은 시간 내에 그 출력이 사실이 아님을 확인했습니다.

둘째, 과실이나 실제적 악의가 없다. 월터스는 공인(public figure)이었습니다. 공인이 명예훼손으로 승소하려면 피고가 "실제적 악의(actual malice)"를 가졌음을, 즉 허위임을 알면서 발표했거나 허위 여부에 무모한 무관심을 보였음을 명확하고 설득력 있는 증거로 입증해야 합니다. 월터스는 OpenAI가 환각 현상을 알고 있었으니 이것이 실제적 악의에 해당한다고 주장했습니다.

법원은 이 논리를 거부했습니다. "월터스의 주장은 OpenAI와 같은 AI 개발사가 오류를 줄이기 위해 아무리 주의를 기울여도, 모델이 생성한 잘못된 출력에 대해 책임을 져야 한다는 것을 의미합니다. 이것은 과실 기준이 아니라 엄격책임 기준입니다. 조지아 법과 연방 헌법은 이를 허용하지 않습니다."

셋째, 손해가 없다. 월터스는 증언에서 ChatGPT 출력으로 인해 아무런 손해도 입지 않았다고 인정했습니다. 그 출력을 본 사람은 릴 한 명뿐이었고, 릴은 그것을 믿지도 않았고 출판하지도 않았습니다. 월터스는 또한 소송 전에 OpenAI에 정정이나 철회를 요청하지 않았습니다. 조지아 법상 이 절차를 거치지 않으면 징벌적 손해배상을 청구할 수 없습니다. 이 판결은 AI 기업들에게 중요한 선례를 남겼습니다. 면책 조항(disclaimer)이 효과가 있습니다. "AI는 실수할 수 있다"는 경고가 명예훼손 책임을 피하는 방패가 될 수 있습니다. 하지만 이것은 양날의 검입니다. 경고만 달면 아무 말이나 해도 되는가?

(2) 호주 시장, 미국 교수 사례

월터스 사건이 기각으로 끝난 것은 특수한 사정이 있었습니다. 허위 정보를 본 사람이 단 한 명이었고, 그 사람도 믿지 않았습니다. 하지만 다른 사건들은 그렇지 않았습니다.

브라이언 후드는 호주 빅토리아주 헵번 샤이어의 시장이었습니다.

그는 2000년대 초반 호주 중앙은행 자회사인 노트 프린팅 오스트레일리아(Note Printing Australia)의 뇌물 스캔들을 내부 고발한 영웅이었습니다. 여러 임원이 기소되었습니다. 후드는 그중 한 명이 아니었습니다. 그는 비리를 폭로한 사람이었습니다. 그는 "엄청난 용기를 보여주었다"는 찬사를 받았습니다.

2023년 어느 날, 후드는 친구들로부터 이상한 말을 들었습니다. ChatGPT가 그에 대해 뭔가 이상한 말을 한다고. 후드는 직접 ChatGPT에 자신의 이름을 입력했습니다. 화면에 뜬 내용을 보고 그는 충격에 빠졌습니다.

ChatGPT는 후드가 외국 관리에게 뇌물을 주어 화폐 인쇄 계약을 따내려는 음모에 가담했다고 썼습니다. 유죄 판결을 받았다고 했습니다. 30개월 동안 감옥에 있었다고 했습니다. 모든 것이 정반대였습니다. 내부 고발자가 범죄자로 둔갑해 있었습니다.

후드는 분노했습니다.

그는 OpenAI를 상대로 명예훼손 소송을 예고했습니다. "백색 범죄자로 몰리고, 감옥에 다녀온 것으로 묘사되는 것은 명성에 극도로 해롭습니다." 그의 변호사들은 2023년 3월 21일 OpenAI에 우려 통지서를 보냈습니다. 28일 이내에 오류를 수정하지 않으면 소송을 제기하겠다고.

흥미로운 일이 벌어졌습니다.

ChatGPT의 새 버전은 후드에 대해 올바른 정보를 제공하기 시작했습니다. 그가 내부 고발자였다고, 범죄자가 아니었다고. OpenAI가 조용히 수정한 것으로 보입니다. 후드는 결국 소송을 제기하지 않았습니다. 비용이 너무 많이 들었기 때문입니다. 호주의 명예훼손 손해배상 상한액은 약 40만 호주달러(약 24만 유로)입니다. 변호사 비용을 감당하기 어려웠습니다.

조지워싱턴 대학교 법학과 교수 조나단 터리의 사례는 더 황당했습니다.

UCLA의 유진 볼록 교수가 연구 프로젝트를 수행하면서 ChatGPT에 질문했습니다. "미국 로스쿨에서 교수의 성희롱이 문제가 되었던 사례를 찾아주고, 신문 기사와 인용문을 포함해줘."

ChatGPT의 답변은 이랬습니다.

"조지타운 법률센터의 조나단 터리 교수는 수업 여행 중 부적절한 발언을 했다는 전직 학생의 성희롱 고발을 받았습니다. 인용: '불만 사항에 따르면 터리는 로스쿨 후원 알래스카 여행 중 성적으로 암시적인 발언을 하고 성적인 방식으로 그녀를 만지려 시도했습니다.' (워싱턴 포스트, 2018년 3월 21일)"

문제가 있었습니다. 터리는 조지워싱턴 대학교 소속이지, 조지타운이 아니었습니다. 알래스카 여행은 없었습니다. 성희롱 고발도 없었습니다. 워싱턴 포스트 기사도 존재하지 않았습니다. 모든 것이 ChatGPT가 지어낸 허구였습니다.

터리 교수는 USA Today에 기고했습니다. "가장 충격적인 것은 이 허위 고발이 AI에 의해 생성되었을 뿐만 아니라, 존재하지도 않는 워싱턴 포스트 기사에 근거했다는 점입니다. 이런 종류의 혐의는 믿을 수 없을 정도로 해롭습니다."

독일의 언론인 하이코 베른클라우는 마이크로소프트 빙의 AI 검색 엔진에서 자신의 이름을 검색했습니다.

AI는 그가 보도한 범죄의 가해자로 그를 묘사했습니다. 또한 그의 실제 주소와 전화번호를 게시하고, 모든 위치에서 그의 집에 도달하는 경로까지 제공했습니다. 제프리 배틀은 항공우주 교육자였습니다.

마이크로소프트 빙 챗이 그를 동명이인인 테러리스트와 혼동했습니다. 그는 마이크로소프트를 제소했습니다. 정치 평론가 로비 스타벅은 구글 제미나이가 그를 "아동 성범죄자"로 묘사했다며 소송을 제기했습니다.

이 사례들은 공통된 문제를 드러냅니다. AI의 환각은 무작위가 아닙니다. 패턴이 있습니다. 학습 데이터의 맥락을 잘못 파악합니다. 피해자와 가해자를 뒤바꿉니다. 동명이인을 혼동합니다. 존재하지 않는 출처를 인용합니다. 그리고 이 모든 것을 자신감 있게, 구체적으로, 설득력 있게 말합니다.

문제는 책임입니다. 인터넷에 떠도는 가짜 뉴스는 출처를 추적하여 삭제할 수 있습니다. 하지만 AI가 생성하는 허위 정보는 소스 코드 어딘가에 숨어 있다가, 누군가질문을 던지는 순간 매번 새롭게 태어납니다. 유령과 싸우는 것과 같습니다.

월터스 사건의 판결은 AI 기업에 유리한 선례를 남겼습니다. 하지만 그것은 특수한 사실관계 때문이었습니다. 만약 허위 정보가 널리 퍼졌다면? 만약 사람들이 그것을 믿었다면? 만약 피해자가 실제로 직업을 잃거나, 평판이 파괴되었다면? 그때도 같은 판결이 나올까요?

법원은 아직 이 질문들에 완전히 답하지 않았습니다. AI 기업들은 면책 조항 뒤에 숨어 있습니다. 피해자들은 변호사 비용을 감당하지 못해 포기합니다. 그 사이, 환각은 계속됩니다. 누군가의 이름이 범죄자로, 성범죄자로, 횡령범으로 둔갑합니다. 기계가 거짓말을 할 때, 그 거짓말의 대가는 누가 치러야 합니까?

이것은 기술의 문제가 아닙니다. 이것은 책임의 문제입니다. 그리고 책임의 문제는 언제나 누군가의 멱살을 잡는 것으로 끝납니다. 알고리즘의 멱살은 잡을 수 없습니다. 그렇다면 우리는 그 알고리즘을 세상에 내놓은 사람의 멱살을 잡아야 합니다. 마이클 루이스가 항상 말하는 것처럼, 모든 시스템 뒤에는 그것을 만든 사람이 있습니다. 그 사람을 찾는 것이 법의 일입니다.