33장 AI의 오폭은 누구의 책임인가?

1991년 2월 25일, 걸프전이 한창이던 사우디아라비아 다란(Dhahran) 기지. 이라크의 스커드 미사일이 날아왔습니다. 패트리엇 방공 시스템이 작동해야 했습니다. 하지만 작동하지 않았습니다. 소프트웨어 버그였습니다. 시스템의 시계가 100시간 이상 연속 가동되면서 오차가 누적되었고, 미사일을 추적하지 못한 것입니다. 결과는 참혹했습니다. 28명의 미군이 사망했습니다.

이 사고의 책임은 누구에게 있었을까요?

패트리엇 시스템을 만든 레이시온(Raytheon) 회사? 버그를 발견하지 못한 프로그래머들? 시스템을 100시간 넘게 재부팅하지 않은 운용 부대? 아니면 소프트웨어 업데이트를 제때 배포하지 않은 국방부? 수십 년이 지난 지금도 이 질문은 명확한 답을 얻지 못했습니다.

그런데 이것은 아직 자율무기도 아니었습니다. 인간이 시스템을 작동시키고 있었습니다. 자율살상무기(LAWS)가 스스로 결정해서 민간인을 공격한다면? 그 책임은 누구에게 물어야 할까요?

이것이 "책임의 공백(Accountability Gap)”입니다.

현재 국제법은 인간의 행위와 의도를 전제로 설계되어 있습니다. 국제형사재판소(ICC)의 로마규정 제25조는 개인의 형사 책임을 규정합니다. 제30조는 범죄 성립에 "의도와 인식"이 필요하다고 명시합니다. 그런데 기계는 의도를 가질 수 없습니다. 알고리즘은 감옥에 갈 수 없습니다.

2024년 12월, ICC는 이스라엘의 네타냐후 총리와 갈란트 전 국방장관에 대해 체포영장을 발부했습니다. 혐의 중에는 민간인을 의도적으로 공격한 전쟁범죄가 포함되어 있습니다. 이스라엘은 가자지구에서 AI 표적 시스템을 광범위하게 사용했습니다. 이것은 ICC가 AI 관련 전쟁범죄를 직접 다루는 첫 번째 사례가 될 수 있습니다.

하지만 법적 장애물이 많습니다.

로마 규정 제30조의 "의도와 인식" 요건은 엄격합니다. 2014년 카탕가(Katanga) 사건에서 ICC는 미필적 고의(dolus eventualis), 즉 해로운 결과를 예견하면서도 그 위험을 감수하는 것만

으로는 형사 책임을 물을 수 없다고 확인했습니다. 이것은 자율무기 운용에서 치명적인 허점을 만듭니다. 누군가가 "AI가 그랬어요"라고 말할 때, 그의 "의도"를 어떻게 증명할 수 있을까요?

연구자 마르타 보(Marta Bo)는 이 문제를 깊이 분석했습니다. 그녀는 자율무기 배치에서 불법적 결과가 예견 가능하더라도, 구체적 의도를 가진 식별 가능한 행위자가 없다면 기소가 불가능해질 수 있다고 경고합니다. 법이 기술을 따라가지 못하고 있는 것입니다.

그렇다면 누가 책임져야 할까요?

첫 번째 용의자는 지휘관입니다. 국제법에는 "상관 책임(Command Responsibility)"이라는원칙이 있습니다. 지휘관이 부하의 범죄를 알았거나 알았어야 했는데 막지 않았다면 책임을 집니다. 하지만 AI 시스템에 이 원칙을 적용하기는 어렵습니다. 지휘관이 블랙박스 알고리즘의모든 판단을 "알았어야 했다"고 말할 수 있을까요?

두 번째 용의자는 개발자입니다. 코드를 작성한 프로그래머가 책임을 져야 할까요? 하지만 딥러닝 기반 AI는 블랙박스입니다. 개발자 자신도 AI가 왜 그런 결론에 도달했는지 100% 설명할 수 없습니다. 수백만 번의 시뮬레이션에서 완벽했던 시스템이, 실제 전장의 예측 불가능한변수 때문에 오작동할 수 있습니다. 이것이 고의일까요? 과실일까요?

세 번째 용의자는 방산 기업입니다. 무기를 제조하고 납품한 회사가 책임을 져야 할까요? 하지만 대부분의 방산 계약에는 면책 조항이 포함되어 있습니다. 그리고 방산 기업은 국가의 보호를 받습니다. 현재 국제법으로는 기업을 전쟁범죄로 기소하기가 매우 어렵습니다.

네 번째 용의자는... 기계 자체일까요? 이것은 불가능합니다. AI를 법정에 세울 수는 없습니다. 알고리즘에게 "유죄"를 선고해봤자 의미가 없습니다.

결국 모두가 관여했지만, 아무도 직접적 책임을 지지 않는 상황이 발생합니다.

2024년 유엔 총회 결의안 79/239는 중요한 발전입니다. 이 결의안은 AI가 군사 영역에서 사용될 때 국제인도법이 전체 생애주기에 걸쳐 적용된다고 확인했습니다. 또한 국제형사법을 적용 가능한 법체계에 추가했습니다. 이것은 개인 형사 책임이 적절한 경우에 적용될 수 있음을강조한 것입니다.

해결책을 향한 노력들이 있습니다.

첫째, "디지털 감사 추적(Digital Audit Trail)"입니다. 비행기의 블랙박스처럼, AI가 내린 모든결정을 기록하는 것입니다. 왜 그 시점에, 그 표적을, 적으로 식별했는지. 어떤 데이터를 근거로했는지. 어떤 대안을 검토했는지. 이 기록이 있어야 사후에 책임을 물을 수 있습니다.

둘째, 국가 책임의 강화입니다. 개인이 아닌, AI 무기를 운용한 국가 자체가 국제법적 배상 책임을 지도록 하는 것입니다. 국가가 책임을 져야 한다면, 각국 정부는 AI 무기 도입에 더 신중해질 것입니다.

셋째, 무기 법적 검토의 의무화입니다. 제네바 협약 추가의정서 I 제36조는 새로운 무기에 대한 법적 검토를 요구합니다. AI 무기의 경우 이 검토가 더욱 중요합니다. 시스템이 국제인도법의 구별 원칙과 비례성 원칙을 준수할 수 있는지 평가해야 합니다.

2025년, ICRC(국제적십자위원회)는 유엔 사무총장에게 제출한 보고서에서 강조했습니다. "법을 준수해야 하는 것은 AI 시스템 자체가 아니라, 그것을 사용하는 인간입니다." AI는 인간의의사결정을 돕는 도구로 남아야 합니다. 인간을 대체하는 것이 아니라 지원하는 것이어야 합니다.

조종사로서 나는 내 행동에 책임을 질 준비가 되어 있습니다.

내가 실수로 민간인을 공격한다면, 그 짐을 평생 안고 갈 것입니다. 군사법정에서 판단을 받을것입니다. 그것이 전사의 명예입니다. 하지만 AI 윙맨이 저지른 일 때문에 내가 감옥에 가야 한다면? 그것은 공정하지 않습니다. 반대로, AI의 오폭에 아무도 책임지지 않는다면? 그것도 정의가 아닙니다.

법은 항상 기술보다 느립니다. 하지만 법이 없으면 정글만 남습니다.

전쟁에서도 법은 존재해야 합니다. 우리가 짐승이 아닌 인간으로 남기 위해서입니다. AI가 아무리 발전해도, 피를 흘리는 것은 인간입니다. 법은 그 피에 대한 최소한의 예의여야 합니다.