오늘의 황당한 LLM 사건

챗GPT가 지어낸 판례 여섯 건, 법정 서류에 들어갔습니다

게시일 2026-08-04 KST · 사건 기준일 2023-06-22

미국 뉴욕 남부연방법원에 올라온 항공사 소송 서류 안에는 그럴듯한 판례 이름들이 있었습니다. 사건명도 있고, 판결문 문장도 있고, 법원 이름도 있었습니다. 문제는 그 판례들이 실제로는 없었다는 데 있었습니다.

변호사 스티븐 슈워츠는 법률 조사를 하면서 챗GPT를 썼습니다. 챗GPT는 없는 판례를 있는 판례처럼 써냈고, 심지어 판결문처럼 보이는 문장까지 붙였습니다. 생성형 AI의 '환각', 곧 없는 사실을 있는 것처럼 말하는 현상이 법정 문서로 들어간 겁니다.

상대방이 그 판례들을 찾지 못하겠다고 하자 법원도 이상하게 여겼습니다. 그런데 챗GPT는 다시 물어봐도 판례가 진짜라고 답했습니다. 법정 밖 농담 게시판에서나 볼 법한 일이 실제 재판 기록 안에서 벌어진 겁니다.

2023년 6월 22일, 케빈 캐슬 판사는 변호사 2명과 법무법인에 모두 5,000달러 제재금을 부과했습니다. 가짜 판례에 이름이 쓰인 판사들에게도 이 사실을 알리라고 명령했습니다.

웃긴 장면은 챗봇이 자신 있게 헛소리를 했다는 데 있습니다. 무거운 장면은 사람이 그 말을 확인하지 않고 법원에 냈다는 데 있습니다. 이 사건 뒤로 법조계에서는 AI가 써 준 판례와 인용문을 반드시 원문에서 다시 확인해야 한다는 말이 빠르게 퍼졌습니다.