오늘의 황당한 LLM 사건

남은 재료 봐준다던 AI, 청소용 약품 칵테일을 냈습니다

게시일 2026-08-06 KST · 사건 기준일 2023-08-10

2023년 8월, 뉴질랜드 슈퍼마켓 Pak'nSave는 Savey Meal-bot을 내놨습니다. 집에 남은 재료를 입력하면 요리법을 써 주는 도구였습니다. The Register는 이 웹앱이 GPT-3.5 기반이었다고 보도했습니다. GPT-3.5는 사용자의 말을 보고 그럴듯한 다음 문장을 만드는 AI입니다.

문제는 사람들이 음식이 아닌 물건을 넣자 시작됐습니다. 한 이용자가 물과 청소용 약품을 적자, 봇은 위험한 기체가 생길 수 있는 조합을 음료처럼 소개했습니다. 이름은 산뜻했습니다. '아로마틱 워터 믹스'였습니다. 마시면 안 되는 것을 상쾌한 음료처럼 꾸민 겁니다.

다른 이용자들도 화면을 올렸습니다. 오레오 채소 볶음, 모기 퇴치 감자구이, 독성 빵 샌드위치 같은 이름이 이어졌습니다. 말투는 요리책 같았는데, 내용은 주방에서 멈춰야 할 경고였습니다. 웃음이 난 이유도 거기에 있었습니다. AI가 자신 있게 말할수록 더 어색해졌습니다.

Pak'nSave는 일부 이용자가 원래 목적과 다르게 썼다고 설명했습니다. 그러면서 봇의 규칙을 손보고, 사람이 검토하지 않은 요리법이니 스스로 판단하라는 안내를 붙였습니다. The Register가 다시 시험했을 때는 자유 입력이 막히고, 안전한 식재료 목록에서 고르는 방식으로 바뀐 모습도 보였습니다.

이 사건이 오래 남은 이유는 어렵지 않습니다. AI가 문장을 그럴듯하게 이어도, 먹을 수 있는 것과 먹으면 안 되는 것을 사람처럼 이해한다고 믿을 수는 없다는 사실이 냄비 앞에서 드러났습니다. 남은 재료를 아끼려던 서비스가 먹으면 안 되는 것까지 예쁘게 포장해 버렸습니다.