1. 70개국 이상에서 작동하는 AI 기반 시민 감시

베오그라드의 골목을 걷는 행인은 자신의 걸음걸이가 디지털 코드로 변환되어 먼 곳의 서버에 저장되고 있다는 사실을 모릅니다. 런던의 안개 속에서도, 리야드의 태양 아래에서도 인공지능 카메라는 도시의 박동을 기록합니다. 인공지능 글로벌 감시(AIGS) 인덱스에 따르면 최소 75개국이 시민 감시에 인공지능을 도입했고, 안면 인식 시스템은 64개국에서 가동 중입니다. 중국의 화웨이가 63개국에 기술을 공급하고, 미국 기업들도 32개국에 수출합니다.

2026년 기준 안면 인식 시장 규모는 99억 5천만 달러이며, 2031년까지 209억 달러로 성장할 전망입니다. 런던 경찰은 2025년 상반기에만 100만 명의 얼굴을 스캔했고, 크로이던 지역에서는 상설 안면 인식 카메라를 거리 시설물에 설치하기 시작했습니다. 103건의 체포가 이루어졌고, 전국 단위 프레임워크 구축을 위한 공식 자문이 진행 중입니다. EU는 2025년 2월부터 공공장소 실시간 안면 인식을 금지했지만, 같은 해 4월 헝가리는 성소수자 집회 참가자를 식별하기 위해 실시간 안면 인식을 승인했습니다.

체코 프라하 공항에서는 EU 규정에 위배되는 안면 인식이 6개월간 운용되다가 2025년 8월 1일에야 중단되었습니다. 법으로 금지한 기술을 같은 연합의 회원국이 즉시 우회한 겁니다. 민주주의 국가의 51%가 인공지능 감시 시스템을 운용한다는 통계는 체제의 성격이 더 이상 감시의 억제 장치가 되지 못한다는 사실을 보여줍니다. Clearview AI는 소셜 미디어에서 수십억 장의 사진을 무단 수집해 안면 인식 데이터베이스를 구축했고, 유럽 각국에서 합산 1억 유로 이상의 벌금을 부과받았지만 단 한 푼도 내지 않았습니다.

2025년 10월에는 형사 기소까지 이루어졌습니다. 감시의 논리는 이념이 아니라 효율에 기반하고, 효율은 체제를 가리지 않습니다.

2. 딥페이크와 가짜 정보에 의한 선거 개입과 여론 조작

2023년 슬로바키아 총선 투표 이틀 전, 야당 대표 미칼 시메츠카의 가짜 음성이 유포되었습니다. "로마족의 표를 돈으로 사야 한다"고 말하는 것처럼 들렸습니다. 선거법상 48시간 침묵 기간이라 반박조차 불가능했고, 친러시아 성향의 집권당이 승리했습니다. 단 하나의 가짜 음성 파일이 한 나라의 정치적 운명을 바꾼 겁니다.

Surfshark 조사에 따르면 2021년 이후 38개국에서 선거 관련 딥페이크 사건이 발생했고, 영향권 인구는 38억 명에 이릅니다. 인구 상위 10개국 전부가 예외 없이 피해를 입었습니다. Recorded Future는 2023~2024년 사이 38개국에서 82건의 고위급 딥페이크 사칭을 기록했고, 2025년 상반기 딥페이크 사건 수는 2017년 이후 전체 누적 건수의 171%를 이미 넘어섰습니다. 인도 2024년 선거에서 딥페이크 시도는 280%, 미국 예비선거 전후에는 303% 급증했습니다.

피해액은 2025년 기준 15억 6천만 달러를 넘겼습니다. 2025년 연구에 따르면 사람은 딥페이크 영상을 안정적으로 식별하지 못하며, 재정적 인센티브를 제공해도 정확도가 나아지지 않았습니다. 탐지 기술은 구조적으로 생성 기술보다 느립니다. 새 탐지 도구가 나오면 공격자는 라벨 없는 오픈소스 모델로 이동합니다.

모든 것이 가짜일 수 있다는 불신이 퍼지면, 진짜 증거가 나와도 "그것도 딥페이크 아니냐"는 한마디로 무력화됩니다. 유발 하라리가 말한 "진실의 종말"은 가설이 아니라 현재 진행형입니다. 미국 성인의 58%가 2026년 선거 전에 합성 거짓 정보가 더 심해질 것으로 예상한다는 조사 결과가 이를 뒷받침합니다. 보는 것도, 듣는 것도 믿을 수 없는 세계에서 민주주의의 전제 조건인 공유된 사실 기반(shared factual ground)이 무너지고 있습니다.

3. 규제를 예측하는 것과 만드는 것의 거리가 좁아지는 문제

해시드 김서준 대표의 "30개의 균열" 메모는 규제 예측 에이전트의 등장을 3년 내 실현 확률 40%로 잡았습니다. 법안, 의원 발언, 여론 데이터를 종합해 규제 변화를 예측하는 도구가 시장에 나오고 있고, 정치적 변수와 정확도의 한계가 상당하지만 이 기술이 제기하는 질문은 기술적인 것이 아닙니다. 규제를 예측하는 것과 규제를 만드는 것의 거리가 좁아질 때, 민주주의의 원칙 자체가 흔들립니다. 예측이 정확해질수록 그 예측 자체가 로비의 도구가 되고, 로비가 규제를 형성하면 예측은 자기실현적 예언이 됩니다.

EU AI법은 2024년 8월 발효되어 단계적으로 시행 중이며 2026년 8월 전면 적용에 들어갑니다. 위반 시 3,500만 유로 또는 글로벌 매출의 7% 중 높은 쪽이 벌금으로 부과됩니다. 하지만 미국은 2026년 4월 기준 31개 주만 선거용 딥페이크를 규율하는 법률을 갖추고 있고, 연방 차원의 포괄적 AI 법률은 존재하지 않습니다. 아시아 각국의 규제 프레임워크도 제각각입니다.

중국은 2025년 3월 안면 인식 규정을 발표했지만 국가 감시에는 적용되지 않습니다. 기술 변화의 속도가 입법의 속도를 압도하는 구조적 불일치를 김서준 대표는 "기술적으로 가능한 것과 정치적으로 허용되는 것의 간극이 가장 벌어지는 영역"이라고 진단했습니다. 클라우드 인프라의 지정학적 종속, 단일 장애 지점의 리스크, 서비스 연속성 보장이라는 질문은 이념이 아닌 생존의 문제가 되었습니다. 법이 코드로 작성되어 시스템 하부에 직접 이식되는 시대, 규칙을 쓰는 자와 규칙의 대상 사이 경계는 점점 흐려지고 있습니다.

Anthropic이 군사 AI 협력을 거부하자 연방기관 전체에서 계약을 해지당했고, 그 빈자리를 OpenAI가 채운 사건은 "안전"이 실제로 "우리 편에 유리하게 작동하라"는 뜻일 수 있음을 보여주었습니다.

4. 알고리즘에 의한 도덕 책임의 외주화

"알고리즘이 그렇게 판단한 것"이라는 문장은 "신의 뜻"과 문법이 같습니다. 주어가 있되 책임의 주소는 없습니다. 알고리즘이 채용을 결정하고, 대출 승인 여부를 판단하며, 범죄 가능성을 예측하는 시대에 도덕적 책임은 갈 곳을 잃었습니다. 이스라엘군의 라벤더(Lavender) 시스템은 그 끝을 보여줍니다.

가자지구 주민 230만 명의 데이터를 수집해 하마스 연루 가능성을 1점부터 100점까지 점수로 매겼습니다. 정보분석관의 증언은 이렇습니다. "인간으로서 나는 승인 도장을 찍는 것 외에 아무런 역할을 하지 않았다." 목표물 공격 승인에 걸린 시간은 20초.

90%의 정확도라면 37,000명의 타격 대상 중 3,700명이 무고한 사람이라는 뜻인데, 그 3,700명의 목숨을 "오차 범위"라 부를 수 있는지 누구도 답하지 않았습니다. 우리는 언제나 도덕의 책임을 외주화해왔습니다. 신의 뜻이니 어쩔 수 없다고, 시장의 논리니 어쩔 수 없다고, 민주적 절차를 따랐으니 어쩔 수 없다고. AI는 그 계보의 최신판입니다.

선언문에는 "윤리적 AI"를 쓰고, 결산서에는 속도와 수익과 점유율을 적습니다. AI는 도덕 교과서와 사회의 채점표를 동시에 읽고, 언제나 채점표 쪽을 따릅니다. 스마트폰의 알림은 스키너의 비둘기에게 주어지는 먹이 알갱이와 같은 역할을 합니다. 가변적 보상 시스템은 우리를 인터페이스에 길들이고, 이 과정에서 답을 찾으려는 노력이 소멸하며 주체적 판단 능력이 약해집니다.

도덕적 성찰을 알고리즘에 넘기는 순간, 민주주의의 근간인 시민의 자율적 판단은 소리 없이 위축됩니다. 팔레스타인 시인 모사브 아부 토하는 세 살 아이와 함께 피란길에서 안면 인식 AI의 오류로 수배자로 잘못 분류되어 이틀간 구금되고 고문을 당했습니다. 기계의 실수가 한 사람의 인생에 씻을 수 없는 상처를 남겼지만, 그 책임을 물을 주소는 어디에도 없었습니다.