오늘의 황당한 LLM 사건

쥐가 갉은 치즈도 손님에게 내라던 뉴욕시 공식 챗봇

게시일 2026-08-10 KST · 사건 기준일 2024-04-03

2024년 4월, 뉴욕시가 소상공인에게 시 규칙을 안내하려고 만든 MyCity 챗봇이 뜻밖의 답을 내놓았습니다. 식당 주인이 쥐가 갉아 먹은 치즈를 손님에게 내도 되느냐고 묻자, 챗봇은 가능하다고 답했습니다. 쥐가 남긴 흔적의 정도를 살피고 손님에게 알리면 된다는 설명도 덧붙였습니다.

문제는 이 서비스가 장난용 대화창이 아니라 뉴욕시 공식 웹사이트의 사업 안내 도구였다는 데 있습니다. 챗봇은 근로자의 팁 일부를 가져가도 된다고 했고, 식당이 현금을 받지 않아도 된다는 답도 냈습니다. 두 답 모두 뉴욕시의 노동·소비자 보호 규정과 맞지 않았습니다.

MyCity는 2023년 10월 출범했습니다. 시는 수천 개 뉴욕시 사업 안내 페이지의 믿을 만한 정보를 제공하겠다고 알렸습니다. 화면에는 틀릴 수 있다는 경고가 있었지만, 답변은 법을 묻는 사람에게 꽤 자신 있게 들렸습니다.

생성형 AI는 법령집을 찾아 판단하는 담당자가 아닙니다. 대량의 글에서 다음에 올 법한 문장을 만들어 답합니다. 그래서 쥐가 갉은 치즈라는 질문에도 말투가 매끈한 답을 만들었지만, 식품 안전과 책임 문제를 제대로 가려내지 못했습니다.

이 답변들은 The Markup의 조사 뒤 AP 보도로 널리 알려졌습니다. 에릭 애덤스 시장은 일부 답이 틀렸음을 인정하면서도 당시 챗봇을 그대로 두겠다고 했습니다. 가게 운영을 돕겠다던 공식 챗봇이 손님에게 쥐가 갉은 치즈를 내도 된다고 답한 장면은, AI 답변이 그럴듯해도 사실 확인이 먼저여야 함을 보여줬습니다.