AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 9장 딥페이크와 합성미디어 범죄
인공지능 AI, 법정에 서다
제3부 디지털 도둑맞은 얼굴과 목소리
9장 딥페이크와 합성미디어 범죄
김경진 변호사
가. 테일러 스위프트를 삼킨 가짜 영상
2024년 8월 15일, 샌프란시스코 시청 기자회견장에서 데이비드 치우 시 검찰총장이 단상에 섰습니다. 그의 표정은 굳어 있었습니다. "이 수사는 우리를 인터넷의 가장 어두운 곳으로 데려갔습니다. 저는 이 착취를 견뎌야 했던 여성들과 소녀들을 생각하면 소름이 끼칩니다."
그가 발표한 것은 미국 최초의 딥페이크 포르노 웹사이트 집단소송이었습니다. People of the State of California v. Sol Ecom, Inc. 사건입니다. 피고는 16개 웹사이트의 운영자들이었습니다. 이 사이트들은 2024년 상반기에만 2억 회 이상의 방문을 기록했습니다.
이 웹사이트들이 하는 일은 단순했습니다.
사용자가 옷을 입은 여성의 사진을 업로드하면, AI가 그 사진에서 옷을 '벗깁니다.' 기술적으로는 원본 이미지를 분석하고, AI가 학습한 누드 이미지 패턴을 합성하는 것입니다. 결과물은 실제 사진과 구별이 거의 불가능합니다.
한 웹사이트의 광고 문구는 이랬습니다. "데이트에 시간 낭비하지 마세요. 우리 사이트를 쓰면 그녀의 누드를 바로 볼 수 있습니다."
피해자는 할리우드 스타부터 중학생까지 다양했습니다.
2024년 2월, 캘리포니아의 한 중학교에서는 8학년 여학생 16명의 AI 생성 누드 이미지가 학생들 사이에 퍼졌습니다. FBI는 AI 생성 포르노를 이용한 협박 사건이 급증하고 있다고 경고했습니다.
소장에 이름을 올린 피고들은 전 세계에 흩어져 있었습니다. 플로리다에 본사를 둔 Sol Ecom, Inc. 영국의 Itai Tech Ltd. 에스토니아의 Defirex OÜ와 CodeBionic Labs OÜ. 에스토니아 거주자 아우구스틴 그리비네츠. 그리고 신원을 알 수 없는 50명의 '존 도'들. 치우 검찰총장의 전략은 캘리포니아 불공정경쟁법(Unfair Competition Law)을 활용하는 것이었습니다. 이 법은 주 검찰총장에게 소비자 보호를 위한 광범위한 민사 소송 권한을 부여합니다. 과거 아편 제약회사, 총기 제조업체, 화석연료 기업을 상대로 사용된 것과 같은 법적 도구였습니다.
2025년 3월, 검찰은 수정 소장을 제출하면서 추가 피고들의 신원을 밝혔습니다. 리처드 탱, 가오판 쉬. 그리고 Undresser.ai와 Porngen.art라는 사이트를 운영한 Briver LLC.
첫 번째 결과가 2025년 5월 30일에 나왔습니다. Briver LLC는 10만 달러의 민사 벌금을 내고, 비동의 딥페이크 포르노 사이트 운영을 영구히 금지하는 영구금지명령에 동의했습니다. 2025년 6월 2일 기준, 10개 웹사이트가 캘리포니아에서 차단되거나 폐쇄되었습니다.
그러나 일부 피고들은 대항했습니다. 일리노이 거주자 리처드 탱은 통신품위법 제230조를 방패로 들었습니다. 그의 논리는 이랬습니다. 자신의 웹사이트는 제3자 알고리즘의 '중개자' 일 뿐이며, 사용자가 업로드한 콘텐츠에 대한 책임을 플랫폼에 물을 수 없다는 것입니다.
연방 차원에서도 움직임이 있었습니다. TAKE IT DOWN Act입니다.
이 법안의 씨앗은 2023년 텍사스 주 알레도에서 뿌려졌습니다. 한 고등학생이 여학생 동급생들의 평범한 사진을 AI로 조작해 누드 이미지를 만들고 스냅챗에 익명으로 올렸습니다. 피해자 중 한 명인 엘리스턴 베리는 이후 입법 운동의 얼굴이 되었습니다.
2024년 1월에는 더 큰 사건이 터졌습니다. 팝스타 테일러 스위프트의 AI 생성 포르노 이미지가 소셜 미디어에 퍼졌습니다. 삭제되기 전까지 4,700만 회 이상 조회되었습니다. 대중의 분노가 들끓었습니다.
텍사스 공화당 상원의원 테드 크루즈와 민주당 상원의원 에이미 클로버샤가 초당적으로 법안을 발의했습니다. 2025년 4월 28일, 하원에서 409대 2로 통과되었습니다. 거의 만장일치였습니다. 메타, 틱톡, 구글, 마이크로소프트를 포함한 100개 이상의 단체가 지지 의사를 밝혔습니다.
2025년 5월 19일, 도널드 트럼프 대통령이 백악관 로즈가든에서 법안에 서명했습니다. 그의 옆에는 영부인 멜라니아 트럼프가 있었습니다. 그녀의 'Be Best' 사이버 괴롭힘 방지 캠페인의 연장선이었습니다. 엘리스턴 베리와 또 다른 피해자 프란체스카 마니도 서명식에 참석했습니다.
TAKE IT DOWN Act의 핵심은 두 가지입니다.
첫째, 비동의 친밀 이미지의 '고의적 게시'를 연방 범죄로 규정합니다. 성인 대상은 최대 2년, 미성년자 대상은 최대 3년의 징역형입니다.
둘째, 플랫폼에 48시간 내 삭제 의무를 부과합니다. 피해자가 신고하면 플랫폼은 48시간 내에 해당 콘텐츠를 제거해야 합니다. 이를 위반하면 연방거래위원회(FTC)의 제재를 받습니다.
그러나 비판도 있었습니다. 전자프론티어재단(EFF), 민주주의와기술센터(CDT), 작가조합(Authors Guild) 등 100개 이상의 단체가 우려를 표명했습니다. 법안의 문구가 모호해서 합법적인 콘텐츠까지 삭제될 수 있다는 것이었습니다. 48시간이라는 짧은 기한 때문에 플랫폼들이 검증 없이 콘텐츠를 삭제할 것이라는 우려도 있었습니다. DMCA의 악용 사례처럼, 악의적인 신고자들이 합법적인 콘텐츠를 삭제하는 데 이 법을 이용할 수 있다는 지적도 나왔습니다.
TAKE IT DOWN Act는 AI 생성 콘텐츠를 실질적으로 규제하는 최초의 미국 연방법이 되었습니다. 플랫폼들은 2026년 5월 19일까지 신고 시스템을 구축해야 합니다. 그 사이에 얼마나 많은 피해자가 생길지는 아무도 모릅니다.
딥페이크 기술은 피해자의 동의 없이 그들의 몸을 '만들어냅니다.' 법은 이제 막 그 기술을 따라잡기 시작했습니다. 그러나 AI가 만들어낸 허위 정보는 신체 이미지에만 국한되지 않습니다. 누군가의 명예를 파괴하는 거짓말도 포함됩니다.
나. 딥페이크 금융사기
2024년 1월 어느 날, 홍콩에 있는 한 다국적 기업의 재무 담당 직원이 이메일을 받았습니다.
발신자는 영국 본사의 최고재무책임자(CFO)였습니다. 내용은 '비밀 거래'에 관한 것이었습니다.
직원은 처음에 의심했습니다. 피싱 이메일처럼 보였기 때문입니다.
그러나 곧 화상회의 초대가 왔습니다.
그가 접속했을 때, 화면에는 익숙한 얼굴들이 있었습니다. CFO. 그리고 여러 명의 동료들. 그들은 비밀 거래의 세부 사항을 논의했습니다.
직원은 안심했습니다. 자신이 아는 사람들이 직접 말하고 있었기 때문입니다.
그는 15번의 송금을 실행했습니다. 5개의 홍콩 은행 계좌로. 총액은 2억 홍콩달러. 미화 약 2,560만 달러였습니다.
나중에 그가 영국 본사에 확인했을 때, 진실이 드러났습니다. 화상회의에 참석한 모든 사람이 가짜였습니다. AI가 생성한 딥페이크였습니다.
피해 기업은 Arup이었습니다. 78년 역사의 영국 건축 설계 회사입니다. 시드니 오페라 하우스를 설계한 곳입니다. 2008년 베이징 올림픽의 새 둥지 경기장(Bird's Nest)도 그들의 작품입니다. 전 세계 34개 사무소에 18,500명의 직원을 둔 글로벌 기업입니다.
홍콩 경찰이 2024년 2월 기자회견에서 이 사건을 공개했습니다. 고위 경정 배런 찬 순칭은 "(다자간) 화상회의에서, 그가 본 모든 사람이 가짜였다"고 말했습니다. 경찰은 당시 기업명을 밝히지 않았습니다. 5월에 Arup이 직접 확인했습니다. 롭 그레이그 Arup 최고정보책임자(CIO)는 이렇게 설명했습니다. "이것은 전통적인 사이버 공격이 아니었습니다. 우리 시스템이 침해되지 않았고 데이터도 영향받지 않았습니다." 그는 이것을 "기술로 강화된 사회공학(social engineering)"이라고 불렀습니다.
사기범들은 어떻게 Arup 임원들의 얼굴과 목소리를 복제했을까요?
답은 공개된 자료에 있었습니다. 온라인 컨퍼런스와 회사 회의 영상. 이미 인터넷에 올라와 있는 영상과 음성 파일을 AI에 학습시켜, 실시간으로 딥페이크를 생성한 것입니다.
마이클 곽 Arup 동아시아 지역 회장은 내부 메모에서 이렇게 경고했습니다. "이런 공격의 빈도와 정교함이 전 세계적으로 급격히 증가하고 있습니다. 우리 모두 사기범들이 사용하는 다양한 기술을 알아채는 방법을 배워야 합니다."
Arup 사건은 빙산의 일각이었습니다. 홍콩 경찰은 같은 기자회견에서 딥페이크 사기와 관련해 6명을 체포했다고 밝혔습니다. 2023년 7월부터 9월 사이에, 도난당한 8개의 홍콩 신분증이 90건의 대출 신청과 54건의 은행 계좌 등록에 사용되었습니다. 최소 20번 이상, AI 딥페이크가 안면인식 프로그램을 속이는 데 사용되었습니다.
금융 사기에서 딥페이크의 활용은 급증하고 있습니다. 전통적인 피싱 이메일은 의심을 사기 쉽습니다. 그러나 익숙한 동료의 얼굴과 목소리가 있으면 이야기가 달라집니다. 인간은 시각과 청각 정보를 신뢰하도록 진화했습니다. 딥페이크는 바로 그 본능을 악용합니다.
시티뱅크를 대상으로 한 보이스 피싱 사건들도 보고되고 있습니다. 뉴욕 주 법무장관이 관련 소송을 제기했습니다. FBI는 AI 생성 비동의 친밀 이미지를 이용한 협박 사기가 급증하고 있다고 경고했습니다.
비즈니스 이메일 침해(Business Email Compromise, BEC)도 진화하고 있습니다. 과거에는 단순히 이메일 주소를 위조했습니다. 이제는 음성 복제로 전화를 걸고, 딥페이크로 화상회의를 합니다. 2024년에는 광고 대행사 WPP도 비슷한 시도를 당했습니다. 사기범들은 WhatsApp 계정을 만들고 마이크로소프트 팀즈 회의를 설정했으며, 유튜브에서 구한 임원 영상을 편집하고 음성을 복제했습니다. 다행히 직원의 의심 덕분에 사기는 실패했습니다.
그레이그는 세계경제포럼과의 인터뷰에서 말했습니다. "이것은 사람들이 생각하는 것보다 훨씬 자주 일어납니다. 시각과 청각 단서는 인간에게 매우 중요하고, 이 기술들은 바로 그것을 이용합니다. 우리는 정말로 눈에 보이는 것을 의심하기 시작해야 합니다."
Arup은 재정적 안정성과 사업 운영에 영향이 없다고 밝혔습니다. 2,560만 달러는 그들에게 치명적이지 않았습니다. 그러나 대부분의 기업은 그렇게 운이 좋지 않을 것입니다.
딥페이크 기술이 정교해질수록, 전통적인 신원 확인 방법은 무력해집니다. 화상회의에서 "당신이 정말 당신인가"를 어떻게 증명할 수 있을까요? 이 질문은 단순히 금융 사기를 넘어서, 법정 증거의 영역으로까지 확장됩니다.
다. 증거법상 문제
2024년 7월, 크리스토퍼 콜스라는 유튜버가 영상을 올렸습니다. 그는 'Mr. Reagan'이라는 이름으로 활동하는 정치 풍자 콘텐츠 제작자였습니다.
영상에는 카멀라 해리스 부통령이 등장했습니다. 그녀의 목소리로 자신의 대선 출마를 조롱하는 내용이었습니다. 물론 AI가 생성한 가짜 음성이었습니다.
일론 머스크가 그 영상을 리트윗했습니다. 조회수가 1억 회를 넘었습니다.
2024년 9월 17일, 개빈 뉴섬 캘리포니아 주지사가 AB 2839에 서명했습니다.
공식 명칭은 "선거: 광고에서의 기만적 미디어"였습니다. 이 법은 선거 120일 전부터 60일 후까지, "실질적으로 기만적인 콘텐츠"를 배포하는 것을 금지했습니다. 누구든지 손해배상을 청구할 수 있는 사적 소권을 부여했습니다.
법에는 풍자와 패러디 예외 조항이 있었습니다. 그러나 조건이 있었습니다. "이 [이미지/오디오/비디오]는 풍자 또는 패러디 목적으로 조작되었습니다"라는 문구를 포함해야 했습니다. 영상 전체 시간 동안, 가장 큰 글씨 크기로.
콜스는 다음 날 소송을 제기했습니다. 피고는 롭 본타 법무장관과 셜리 웨버 국무장관이었습니다.
2024년 10월 2일, 연방 동부지구법원의 존 A. 멘데즈 판사가 예비금지명령을 내렸습니다. AB 2839는 위헌이라는 판단이었습니다.
멘데즈 판사는 이렇게 썼습니다. "AB 2839의 대부분은 메스 대신 망치로 작용합니다. 유머러스한 표현을 방해하고, 미국 민주주의 토론에 필수적인 자유롭고 제한 없는 아이디어 교환을 위헌적으로 억압하는 무딘 도구입니다." 문제는 수정헌법 제1조였습니다. 미국 헌법은 언론의 자유를 광범위하게 보호합니다. 내용에 기반한 언론 규제는 '엄격 심사(strict scrutiny)'를 통과해야 합니다. 정부는 '절박한 이익'이 있고, 그 규제가 '가장 덜 제한적인 수단'임을 증명해야 합니다.
법원은 AB 2839가 이 기준을 충족하지 못한다고 판단했습니다. 면책 조항 요구사항이 "패러디나 풍자 영상이 전달하려는 메시지를 '묻어버린다'"고 지적했습니다. 이것은 '좁게 맞춤된(narrowly tailored)' 규제가 아니었습니다.
판사는 또한 법의 범위가 지나치게 넓다고 판단했습니다. "AB 2839의 합법적인 적용 범위는 이 사건에서처럼 명백히 위헌적인 상당수의 적용에 비해 미미합니다."
수정헌법 제1조 전문가들은 뉴섬 주지사에게 법안 거부권을 행사하라고 촉구했었습니다. 수정헌법 제1조 연합(First Amendment Coalition)의 법률 책임자 데이비드 로이는 말했습니다. " 무언가가 진정으로 명예훼손적이라면, 명예훼손 주장을 증명하기 위한 완전한 법체계와 확립된 법적 기준이 있습니다. 정부는 수정헌법 제1조 밖에서 새로운 발언 범주를 만들 자유가 없습니다."
AB 2839만 문제가 된 것은 아니었습니다. 같은 시기에 제정된 AB 2655, "2024년 딥페이크 기만으로부터 민주주의 수호법"도 비슷한 운명을 맞았습니다. 이 법은 대형 온라인 플랫폼에 " 실질적으로 기만적인 콘텐츠"를 차단하거나 라벨링할 의무를 부과했습니다. 일론 머스크의 X가 캘리포니아를 상대로 소송을 제기했습니다. 멘데즈 판사는 2024년 8월 5일 이 법도 위헌이라고 판결했습니다.
2024년 현재, 26개 주가 정치적 딥페이크를 규제하는 법을 제정했습니다. 접근 방식은 크게 두 가지입니다. 미네소타와 텍사스는 선거 전 일정 기간 동안 정치적 딥페이크 공개를 금지합니다. 나머지 24개 주는 공개 요구(disclosure) 방식을 채택합니다. 딥페이크가 증거로 사용될 때는 어떨까요? 캘리포니아 SB 970은 딥페이크 서비스 제공자에게 경고를 요구합니다. Matter of Weber 사건에서는 AI 계산의 신뢰성 문제가 증거능력에 영향을 미쳤습니다.
더 근본적인 질문이 있습니다. 딥페이크 시대에 영상 증거를 어떻게 신뢰할 수 있을까요? 모든 영상이 AI로 조작되었을 수 있다면, 법정에서 영상의 증거능력은 어떻게 되는 걸까요?
이 질문은 민사 소송과 형사 재판 모두에 영향을 미칩니다.
검찰이 CCTV 영상을 증거로 제출하면, 피고 측은 "이것이 딥페이크가 아니라는 것을 어떻게 증명할 수 있느냐"고 주장할 수 있습니다. 반대로 피고가 알리바이를 증명하는 영상을 제출하면, 검찰은 같은 주장을 할 수 있습니다.
기술은 법보다 빠르게 발전합니다. 딥페이크를 만드는 것은 점점 쉬워지고 있습니다. 그것을 탐지하는 것은 점점 어려워지고 있습니다. 법은 이 간극을 어떻게 메울 것인가. 이것이 다음 장에서 다룰 생체정보와 안면인식 감시의 영역으로 우리를 이끕니다.