AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 16장 비판: 감사관, 회의론자, 그리고 과열
미국 국방부 CDAO(인공지능최고책임자)
16장 비판: 감사관, 회의론자, 그리고 과열
김경진 변호사
미국 국방부의 인공지능 사업에는 성과만 있지 않습니다. 감사와 감찰이 짚은 허점이 있고, 안에서 나온 회의도 있습니다. 그런데 잘한 일을 알리는 문서는 넘치도록 쏟아지는 반면, 못한 일과 허점을 지적한 감사 원문은 좀처럼 공개되지 않습니다. 그래서 여기 모은 비판은 대체로 국방부가 스스로 인정한 만큼입니다.
미국에서 국방 예산과 회계를 바깥에서 들여다보는 기관은 크게 둘입니다. 하나는 국방부 안에 있으면서도 부처 지휘계통에 종속되지 않는 감찰관실(Office of Inspector General, OIG)이고, 다른 하나는 의회 소속의 회계감사원(Government Accountability Office, GAO)입니다. 감찰관실은 국방부 내부를 감사하고, 회계감사원은 의회를 대신해 행정부를 감사합니다. 두 기관의 지적은 대개 국방부의 예산 문서와 개혁안에 인용된 형태로만 바깥에 드러납니다. 지적을 받은 쪽이 그 지적을 요약해 옮겨 놓았다는 이야기입니다.
1절 열리지 않은 감사 보고서, 그리고 피감기관이 옮겨 적은 지적
감찰관실이 낸 평가 보고서의 원문은 공개된 자료에 올라 있지 않습니다. 남아 있는 것은 감사를 받은 쪽이 자기 예산 문서에 옮겨 적은 요약뿐입니다. 그 보고서가 권고를 몇 건이나 냈는지, 국방부가 그중 몇 건을 받아들였는지, 어느 항목에서 맞섰는지는 피감기관이 골라 추린 요약의 틀 안에서만 전해집니다.
그 문서는 2026 회계연도 예산과 관련해 국방부가 낸 기획·계획·예산·집행(Planning, Programming, Budgeting, and Execution, PPBE) 개혁 및 예산 유연성 제안 자료입니다. 여기에 두 감사 기관의 지적이 인용돼 있습니다. 그러니 여기 인용된 비판은 검증을 마친 것이라기보다, 피감기관이 받아 적기로 고른 것입니다.
핵심 지적은 이렇습니다. 재무 보고에 큰 영향을 주는 국방 비즈니스 시스템(defense business systems)을 두고, 감사 가능성(auditability) 지침을 강제할 거버넌스 통제 수단이 없다는 것입니다. 국방 비즈니스 시스템이라고 하면 무기 체계를 떠올리기 쉬운데, 그런 게 아닙니다. 급여, 조달, 재고, 회계처럼 부처를 굴러가게 하는 행정 정보 시스템을 가리킵니다. 감사 가능성은 회계 감사를 통과할 수 있도록 데이터가 추적되고 대사되는 상태를 뜻합니다. 지침은 있는데 그걸 지키게 만들 권한이 어디에도 붙어 있지 않다, 이게 요지입니다.
규모를 숫자로 보면 실감이 납니다. 국방부 안에는 무기 플랫폼을 빼고도 비즈니스 시스템이 아주 많습니다. 그 수는 자료에 따라 3,000개와 4,000개 사이를 오갑니다. 어느 쪽이 맞는지 딱 잘라 말하기 어려워 두 숫자를 나란히 둡니다. 세는 기준 자체가 오락가락한다는 것, 이것이 문제의 뿌리입니다. 몇 개인지조차 흔들리는 대상을 무슨 수로 감사하겠습니까.
그중 공통 데이터 플랫폼 아드바나(Advana)에 실제로 연동된 데이터 소스는 550개에 그친다고 자료는 밝힙니다. 3,000개든 4,000개든, 연결된 것은 일부일 뿐입니다. 나머지는 저마다 다른 곳에서 저마다 다른 형식으로 돕니다. 데이터를 쌓아 두는 일이 왜 안보 문제로까지 불리게 됐는지, 이 숫자 앞에서 다시 실감하게 됩니다.
호환성 문제로 가면 그림이 더 구체적입니다. 문서에 따르면 국방부 안에는 회계 시스템이 30개가 넘고, 그 회계 시스템에 데이터를 밀어 넣는 피더(feeder) 시스템이 50개가량 있습니다. 이들은 오라클 데이터베이스, 코볼(COBOL) 메인프레임, SAP 등 서로 다른 기반 위에 세워졌습니다. 코볼은 1950년대 말에 나온 사무 처리용 프로그래밍 언어인데, 지금도 은행과 정부의 낡은 전산 시스템에 남아 돌아갑니다.
SAP로 만든 시스템은 기저 논리가 독일어로 작성돼 있어, 회계 감사에서 계정을 맞추는 작업에 행정적 장벽이 생깁니다. 국방부가 스스로 밝힌 내용이지, 누가 각색한 것이 아닙니다. 세계 최대 국방 예산을 다루는 부처의 회계 대사가 언어 장벽에 걸린다는 이야기입니다.
거버넌스의 이음새는 어디서 벌어졌을까요. 재무 감사를 준비할 법적 의무는 재정감사관실(Under Secretary of Defense (Comptroller), USD(C))이 집니다. 그런데 원천 회계 데이터를 만들어 내는 개별 비즈니스 시스템을 사고 관리하는 권한은 재정감사관실에 없었습니다. 책임은 한쪽에 있고 권한은 다른 쪽에 흩어져 있었던 것인데, 국방부는 이 어긋남을 이음새(seam)라고 불렀습니다.
그래서 내놓은 처방은 법을 고치는 일이었습니다. 미국 연방법 제10편 제135조를 개정해, 재무 감사에 영향을 주는 국방 비즈니스 시스템의 조달과 포트폴리오 관리 감독권을 재정감사관실 아래로 모으자는 안입니다. 이 안은 PPBE 개혁 위원회의 금융 시스템 표준·정책 승인 관련 권고와 맞물립니다. 권한을 책임 있는 곳으로 끌어오자는, 조직론 교과서에 나올 법한 해법이죠.
행정 쪽 처방도 함께 나왔습니다. 하나는 아드바나 위에 총계정원장 데이터와 연동되는 통합 예산 집행 애플리케이션을 올리는 일입니다. 최소 기능 제품(Minimum Viable Product, MVP)을 만들고 운영유지, 조달, 연구개발시험평가, 군사건설의 네 부문에서 초기 운용 능력을 세운다고 했습니다. 다른 하나는 PPBE 공통 데이터 모델을 만드는 일인데, 표준 재무 정보 구조(Standard Financial Information Structure, SFIS)에 맞춰 가용한 소스 20개 중 12개 도메인에 이식했다고 밝혔습니다.
2026년 1월 9일에 서명된 아드바나 memorandum(국방부 내부의 공식문건)은 사흘 뒤 국방부 미디어 서버에 공개됐습니다. memorandum의 제목은 아드바나를 바꿔 인공지능을 가속하고 감사 가능성을 높인다는 취지를 담고 있습니다. 다만 이 memorandum이 아드바나라는 이름을 지우고 국방 데이터 플랫폼(War Data Platform, WDP)이라는 새 이름을 붙인 것은 아닙니다. memorandum은 공통 데이터 계층으로서의 WDP, 재무관리 용도로 남는 아드바나, 그 위에서 도는 WDP 응용서비스를 서로 다른 이름으로 구분합니다. 아드바나가 통째로 WDP로 바뀐 것은 아니라는 이야기입니다.
이 구분을 굳이 따지는 데는 이유가 있습니다. 회계 감사를 통과하는 일은 재무관리 쪽 아드바나의 과제이고, 전투 속도의 분석과 인공지능은 WDP와 그 응용서비스 쪽의 과제입니다. 같은 플랫폼 계보에서 나뉜 둘이 서로 다른 시계와 서로 다른 검사 기준을 갖게 된 것입니다. 감사 가능성과 전투 속도가 한 지붕 아래 함께 있을 수 있는가. 이 물음이 여기서 다시 고개를 듭니다.
측정 지표도 있습니다. 감찰관실이 발급하는 회계 결함 지적서(Notice of Findings and Recommendations, NFR)의 연간 종결률이 그 하나입니다. 2024 회계연도의 종결률은 2,848건 중 90건, 곧 3.2%였습니다. 국방부는 과거에 기록했던 27.7% 수준을 되찾고 넘어서겠다는 목표를 세웠습니다. 3.2%라는 숫자는 지적이 쌓이는 속도에 견주면 해소가 거의 되지 않는 상태를 보여 줍니다.
나머지 지표도 국방부가 스스로 세운 목표로 읽어야 합니다. 재무부 잔액 조정(Fund Balance with Treasury, FBWT) 자료를 아드바나 안으로 옮기는 비율은 2026 회계연도에 100%를 달성하겠다고 했습니다. 수탁 서비스 감사에서 우호적 의견을 받는 비율은 93% 선을 지키겠다고 했고요. 재무 감사를 통과한 산하 구성 부서 수는 2024 회계연도 13개에서 2025 회계연도 15개, 2026 회계연도에는 공군 일반자금과 국가안보국을 더해 20개로 늘리겠다고 했습니다. 중대 취약점(Material Weakness)은 2026 회계연도에 45개를 없애겠다고 밝혔습니다.
이 숫자들은 감사 기관이 확인해 준 성과가 아니라, 국방부가 예산 문서에 적어 낸 목표이자 자체 집계입니다. 그래서 달성했다가 아니라 달성하겠다고 적혀 있습니다. 목표를 세웠다는 사실은 분명하지만, 그 목표가 지켜졌는지는 다음 해 감사 보고서가 나와야 판가름 납니다. 발표된 값일 뿐 독립 검증은 아직 거치지 않은 목표치로 읽어야 합니다.
결국 우리는 감사 기관이 무엇을 지적했는지를 피감기관의 요약을 통해서만 봅니다. 지적의 원문, 권고의 개수, 국방부의 반박, 감사관과 부처가 주고받은 문답은 그 요약 바깥에 남아 있습니다. 감사의 세계에서 판단이 갈리는 순간은 대개 그 문답 안에 있는데, 국방부 문서는 바로 거기를 비워 두었습니다.
한국 독자에게는 결이 조금 다릅니다. 공개된 자료 어디에도 한국군이나 한미 연합 체계를 짚은 내용은 없으니, 아래는 자료가 아니라 추론으로 읽어 주시면 됩니다. 데이터 플랫폼을 세우는 일과 회계 감사를 통과하는 일이 같은 문제의 앞뒷면이라는 구조는, 예산 규모와 무관하게 어느 군대에서든 나타날 수 있습니다. 시스템을 몇 개나 가졌는지조차 세지 못하는 조직이 그 시스템의 데이터로 판단을 자동화하겠다고 나설 때, 무엇이 먼저여야 하는지를 되묻게 됩니다.
2절 전자전과 데이터 오염: 기계 속도의 지휘통제가 마비될 때
두 번째 축은 성격이 다릅니다. 회계장부의 구멍이 아니라, 기계가 속아 넘어가는 방식이 여기서의 주제입니다. 근거가 되는 것은 미 해병대의 인공지능 실행 계획 문서와, 방위 기술 기업 임원들이 참여한 공개 토론 영상입니다. 여기에도 같은 기울기가 있습니다. 위협을 그린 문서가 곧 그 위협에 맞설 예산을 요구하는 문서입니다.
전자전(Electronic Warfare)은 전자기 스펙트럼, 곧 전파 대역을 놓고 벌이는 싸움입니다. 방해 전파를 쏴서 상대의 통신과 레이더를 먹통으로 만들거나, 거꾸로 상대의 방해를 뚫고 통신을 유지하는 일이 여기 들어갑니다. 공개 토론에서 안두릴 측 인사는 전자전 환경이 끊임없이 변한다고 말했고, 팰런티어 측 인사는 무기 체계들의 주파수 요구사항 데이터 모델이 통합돼 있지 않아 전방의 센서와 타격 수단 사이에 상호 간섭과 포화가 생긴다고 말했습니다. 두 발언 모두 사업을 파는 쪽에서 나왔습니다.
이 지적은 데이터 통합 문제와 뿌리가 같습니다. 각 무기 체계가 어떤 주파수를 얼마나 쓰는지가 한곳에 모여 있지 않으면, 아군끼리 서로의 전파를 먹어 버리는 일이 생깁니다. 적이 방해하기도 전에 아군이 아군을 방해하는 상황이죠. 데이터 사일로가 회계 문제로만 나타나는 게 아니라 전파 문제로도 나타난다는 뜻입니다.
토론에서 나온 표현 하나가 오래 남습니다. 전방의 부대가 상업용 위성 인터넷에 자꾸 접속을 시도하는 행위는, 적에게 자기 위치를 알리는 밝은 신호등을 머리에 얹고 다니는 일과 같다는 발언입니다. 전파를 쏘는 순간 위치가 드러나니까요. 그래서 전파 침묵(Emission Control, EMCON) 상태에서도 돌아가는, 인터넷 연결 없이 기기 안에서 작동하는 구성이 전방 지휘통제의 조건으로 제시됐습니다.
다음은 데이터 오염(Data Poisoning)입니다. 해병대 문서가 정의한 데이터 오염은, 인공지능 모델을 학습시키는 데이터 안에 사람이 알아채기 어려운 거짓 정보를 심어 두는 공격입니다. 오염된 데이터로 모델이 다시 학습되면, 그 모델은 현장에서 치명적인 오판을 내놓습니다. 해병대 문서는 비교적 작은 변경만으로도 모델이 적의 전차를 민간 차량으로 잘못 분류하게 만들 수 있다고 봅니다. 그 반대 방향의 오류가 어떤 결과를 낳는지는 굳이 풀어 쓰지 않아도 짐작이 갈 겁니다.
두 번째 수법은 섭동(Perturbation)입니다. 사람 눈에는 거의 보이지 않는 미세한 표면 변형이나 무늬를 물체에 입혀, 컴퓨터 비전 모델의 픽셀 연산을 무너뜨리는 방식입니다. 사람은 여전히 전차를 전차로 보는데, 기계는 엉뚱한 것으로 봅니다. 이 공격은 학습 단계가 아니라 인식 단계에서 일어나므로, 잘 만든 모델을 배치한 뒤에도 통합니다.
세 번째 수법은 정보 환경 쪽입니다. 적이 아군의 큰 언어 모델이 읽어 들일 만한 출처에 조작된 지시문이나 위조 정보를 미리 뿌려 두는 방식이고, 이를 간접 프롬프트 주입이라고 부릅니다. 모델은 사람이 시킨 일을 하는 대신, 자료 속에 숨은 문장이 시키는 일을 하게 됩니다. 상황판이 잘못된 그림을 그리면, 그 위에서 도는 판단 주기 전체가 함께 틀어집니다.
정작 눈여겨볼 것은 기술이 아니라 사람 쪽에서 벌어지는 결과입니다. 적의 기만으로 오경보가 폭증하면 지휘관과 운영자는 기계를 믿지 못하고 그 도구를 아예 버립니다. 공격이 노리는 것은 기계를 망가뜨리는 데 있지 않습니다. 사람의 신뢰를 갉아먹는 것입니다. 신뢰가 무너지면, 비싸게 구축한 데이터 우위는 쓰이지 못한 채 남습니다. 무기를 부수지 않고도 무기를 쓰지 못하게 만드는 공격입니다.
미국 측 문서는 이런 공격들이 흩어져 오지 않고 한 시간표 아래 묶여 온다고 봅니다. 전자기 방해, 사이버 침투, 데이터 오염, 전방 노드를 겨눈 자폭 드론의 물리적 타격을 하나로 엮어 지휘통제망의 결합력을 무너뜨리는 방식을 체계 파괴전(Systems Destruction Warfare)이라 부릅니다. 다만 이 이름과 교리는 경쟁국이 스스로 밝힌 것이 아니라, 미국 문서가 경쟁국의 교리라고 규정한 것입니다.
방어 쪽으로 넘어가면, 원문으로 또렷이 확인되는 몇 안 되는 근거가 나옵니다. 2023년 1월 25일자 자율무기 지침(DoDD 3000.09)입니다. 캐슬린 힉스 국방부부장관이 승인한 24쪽짜리 문서이고, 2012년 11월 21일자 같은 번호의 지침을 대체합니다. 이 지침은 자율 및 반자율 무기 체계가 무력 사용에 대해 지휘관과 운영자가 적절한 수준의 인간 판단을 행사할 수 있도록 설계돼야 한다고 규정합니다. 그리고 그 판단이 가능하려면 엄격한 검증·확인(V&V)과 현실적인 개발·운용 시험평가(T&E)를 거쳐야 한다고 규정합니다. 적응하는 적이 현실적인 대응책을 쓰는 환경에서도 체계가 예상대로 작동해야 한다는 문구가 그 안에 담겨 있습니다.
이 지침은 사람과 기계 사이의 화면도 규정합니다. 인간과 기계의 접점은 훈련받은 운영자가 곧바로 이해할 수 있어야 하고, 무엇을 사람이 하고 무엇을 기계가 하는지가 분명히 표시돼야 하며, 체계 상태에 대한 투명한 되먹임과 기능을 켜고 끄는 명확한 절차를 제공해야 합니다. 데이터와 기술은 관련 인원이 감사하고 설명할 수 있는 것이어야 한다는 조항도 있습니다. 교전이 지휘관의 의도와 어긋나는 시간과 지역으로 넘어가면, 체계가 교전을 종료하거나 운영자의 추가 입력을 받도록 요구하고요.
이 지침은 CDAO에게도 일을 맡깁니다. CDAO는 자율·반자율 무기 체계에 들어가는 인공지능 능력과 그 사이버 보안을 감시·평가해 국방장관에게 조언하고, 연구공학차관실과 함께 윤리 원칙을 구체적이고 시험 가능한 요구사항으로 옮깁니다. 인공지능 능력의 시험평가 관행에 대한 지침을 내고, 연구공학차관실 및 운용시험평가국과 함께 시험평가·검증확인용 공통 도구와 기반을 만드는 일도 CDAO가 맡습니다. 이 조항들은 공개된 지침 원문에 그대로 들어 있습니다.
세 층을 갈라 둡시다. 첫 층은 2020년 2월 21일 국방장관 memorandum으로 채택된 다섯 가지 인공지능 윤리 원칙입니다. 책임 있는, 공정한, 추적 가능한, 신뢰할 수 있는, 통제 가능한이라는 다섯 낱말이고, 자율무기 지침에도 그 정의가 그대로 인용돼 있습니다. 그 위에는 책임 있는 인공지능 전략 및 이행 경로가 놓이고, 그다음이 2023년의 자율무기 지침입니다. 원칙과 이행 경로와 무기 지침은 서로 다른 문서이며, 하나가 다른 하나를 대체한 것이 아닙니다.
CDAO가 실제로 쓰는 시험 인프라도 있습니다. 합동 인공지능 시험·평가 역량(JATIC)을 통해 인위적인 적대적 변환과 악천후 같은 가혹한 조건에서 모델의 오차 범위를 시험합니다. 이때 쓰는 표현이 오차 봉투(Error Envelope)입니다. 모델이 어디까지 견디고 어디서부터 무너지는지의 경계를 통계로 그려 두고, 그 경계 안에서만 배치한다는 생각입니다. 여기서 나오는 또 다른 말이 정당화된 확신(Justified Confidence)입니다.
연구 쪽 사업도 있습니다. 적대적 기계학습에 맞서 모델의 안전성과 견고함을 보증하려는 국방고등연구계획국의 GUARD 사업, 그리고 정보 위조 공격에 대응하는 카네기멜런대 소프트웨어공학연구소의 정보 보증 사업이 예산 항목과 함께 올라 있습니다. 예산 항목 번호는 문서에 적혀 있지만, 금액은 그 번호에 붙어 있지 않습니다.
운용 쪽 해법으로 제시된 것이 선별 방출입니다. 통신이 끊기고 대역폭이 좁은 환경에서 모든 데이터를 뒤로 보내려 하면 회선이 막힙니다. 그래서 엣지의 모델이 오류를 드러낸 이상 데이터만 골라 기회가 생길 때 뒤로 흘려보내고, 비분류 개발망에서 짧은 주기로 재학습한 뒤 무선으로 갱신본을 내려보내는 방식입니다. 재학습 주기를 일주일 미만으로 줄였다는 발언이 토론에 나오는데, 어떤 조건에서 잰 값인지가 붙어 있지 않으니 검증된 성과라기보다 사업을 파는 쪽이 내놓은 자랑에 가깝게 읽어야 합니다.
정작 미군의 모델이 데이터 오염 공격을 받아 오판한 실제 사례, 그 사고가 어떻게 조사됐고 무엇이 바뀌었는지를 보여 주는 기록은 공개 자료에 올라 있지 않습니다. 위협은 풍부하게 그려져 있는데, 사고 기록은 비어 있습니다. 위협을 그린 문서가 곧 그 위협에 맞설 예산을 요구하는 문서라는 점을 떠올리면, 위협 서술과 사고 기록 사이의 이 비대칭은 우연이라기보다 문서의 성격에서 비롯한 것으로 보입니다.
3절 감시와 사생활: 상업용 정보 감독이라는 쟁점
세 번째 축은 감시입니다. 여기서도 없는 것부터 봅니다. 공개된 자료 안에는 공개정보 대량 수집 및 필터링 사업이라는 이름을 가진 구체적 획득 프로그램의 문서가 없습니다. 하루에 몇 건을 처리한다는 식의 숫자가 자료 밖에서 떠돌지만, 원문에 대볼 것이 없는 소문입니다. 국방부가 공개정보를 이렇게 긁어모은다는 그림은 이 자료 바깥에서 흘러든 이야기로 봐야 합니다.
정작 드러나는 것은 반대쪽입니다. 상업용 정보를 사들이는 행위를 통제하려고 국방부가 세워 둔 장치들이죠. 상업용 정보(Commercially Available Information, CAI)는 데이터 중개 시장에서 돈을 주고 살 수 있는 정보를 말합니다. 위치 이력, 구매 이력, 소셜 미디어 게시물처럼 원래 민간에서 만들어진 데이터가 여기 들어갑니다. 영장 없이 살 수 있다는 점이 이 데이터의 법적 쟁점입니다.
국방부에는 사생활·시민적 자유·투명성 담당 국방장관 보좌관실(ATSD(PCLT))이 있습니다. 이 조직은 국방부가 안보 임무를 수행하면서도 자국민과 파트너의 사생활과 시민적 자유를 존중해야 한다는 법적 의무 아래 움직입니다. 예산 문서는 이 조직이 상업용 정보의 획득과 사용에 대한 부처 전체의 거버넌스와 감독을 맡는다고 적었습니다. 개인식별정보(Personally Identifiable Information, PII)가 유출되거나 훼손됐을 때의 시정도 이 조직이 맡습니다.
숫자는 예산서 그대로입니다. 2026 회계연도 예산 요구서에는 임무 지원 항목 아래 상업용 정보 감독 관련 예산선이 있고, 100만 달러의 증액이 요구됐습니다. 2025 회계연도의 기준선은 861만 4천 달러입니다. 이 항목이 있다는 사실은 두 가지를 알려 줍니다. 상업용 정보를 사는 행위가 실제로 벌어지고 있다는 것, 그리고 그것을 감독하는 데 따로 돈이 배정될 만큼의 규모라는 것입니다.
규모를 비교해 봅시다. 861만 달러는 국방 예산의 세계에서 반올림하면 사라지는 금액입니다. 지금까지 다뤄 온 인공지능 관련 사업들은 수억 달러 단위로 움직였습니다. 감독 기구의 예산과 감독 대상 사업의 예산 사이에 놓인 이 거리를, 문서 자체는 문제로 삼지 않습니다. 나는 그 거리를 문제로 읽습니다.
해병대의 인공지능 실행 계획 문서에는 곧장 이어지는 개념이 하나 있습니다. 권리 영향 인공지능(Rights-Impacting AI)입니다. 시민의 권리에 불이익을 줄 수 있는 인공지능 용도를 따로 분류해 통제하겠다는 발상입니다. 문서는 인공지능에 침해될 수 있는 영역의 하나로 불법적 감시로부터 보호받을 권리를 명시했습니다. 군의 내부 문서가 감시로부터의 보호를 권리 목록에 올렸다는 사실은 눈여겨볼 만합니다.
공개 토론 자료에는 결이 다른 이야기도 있습니다. 유전 정보 회사에 시민들이 스스로 넘긴 유전 데이터가 시장으로 흘러나오면 그 데이터가 거꾸로 안보 위협으로 돌아온다는 지적입니다. 고위 인사의 유전 정보를 역추적해 표적을 고르는 데 쓰일 수 있다는 것이죠. 개인이 편의를 위해 내준 데이터가 국가 안보 문제로 되돌아오는 구조입니다. 이 발언은 패널 토론에서 나온 것이고, 실제 사건 기록이 자료에 있는 것은 아닙니다.
같은 토론에서 기술 대기업을 향한 비판도 나왔습니다. 정보기관 클라우드 계약과 육군 헤드셋 계약 같은 대형 사업의 규모가 거론되면서, 안보 우위를 앞세워 개인정보 보호 법안과 인공지능 규제 법안을 우회해 온 업계의 태도가 도마에 올랐습니다. 계약 금액이 발언 안에 등장하지만, 계약 원문을 확인하지 못했으니 금액은 패널의 발언으로만 둡니다.
토론 끝머리에는 결이 다른 발언도 있습니다. 미국의 안보 담당자들이 이기기 위해서라면 자국의 가치를 짓밟아도 된다는 논리를 거부한다는 것입니다. 그 대안으로 제시된 것이 데이터 계보(provenance) 통제입니다. 데이터 계보는 어떤 데이터가 어디서 왔고 누구의 손을 거쳤는지를 추적할 수 있게 하는 관리 방식을 말합니다. 어디서 온 데이터인지 모르면 그 데이터를 쓰는 일이 합법인지도 알 수 없다는 것이죠.
이 논리에는 비대칭이 하나 숨어 있습니다. 자국민의 데이터가 경쟁국의 앱으로 흘러가는 것은 막아야 할 위협으로 그려지는데, 자국 기관이 상업 시장에서 데이터를 사들이는 행위는 감독의 대상으로 그려집니다. 위협과 감독은 무게가 다른 낱말입니다. 이 비대칭을 자료 스스로는 문제 삼지 않지만, 나는 문제라고 봅니다.
여기서 자료 공백은 앞의 두 축보다 깊습니다. 감시를 다루는 자료가 감시하는 쪽의 예산서와 내부 지침뿐이기 때문입니다. 시민단체의 보고서, 법원의 판단, 언론의 탐사 기사, 의회의 반대 의견은 한 건도 들어 있지 않습니다. 감시를 감시하는 쪽의 문서로만 재는 일은, 학교 급식의 만족도를 급식실이 조사한 자료로만 재는 일과 닮았습니다.
4절 발표된 성과와 검증된 성과의 거리
마지막 축은 과열입니다. 다행스러운 점이 하나 있습니다. 이번 비판은 바깥에서 들어온 게 아니라 국방부 안에서 나왔습니다. 국방부 사람들이 모인 소프트웨어 관련 서밋과 공개 토론회에서, 발표된 숫자를 두고 서로를 꼬집는 발언들이 나왔습니다. 드디어 비판자라 부를 만한 목소리입니다.
측정 절차가 어느 정도 따라붙는 성과부터 봅니다. 해군의 AMMO 사업은 무인 수중 드론에 컴퓨터 비전 모델을 실어 기뢰를 가려내게 하는 사업입니다. 관계자들은 기뢰 탐지에 드는 시간과 인력을 절반으로 줄였고, 모델을 다시 학습시켜 배포하는 주기를 6개월에서 일주일 미만으로 단축했다고 발표했습니다. 이 숫자는 발표대로만 옮깁니다. 무엇을 기준으로 절반인지, 어떤 조건에서 잰 6개월인지가 자료에 없기 때문입니다.
조선소 쪽 사례도 형태가 비슷합니다. 병목 작업장에 사물인터넷 센서를 붙여 장비 신뢰성을 52% 높였고, 한 달에 8,000건이 넘는 크레인 작업을 수작업에서 디지털 절차로 바꿔 효율을 25% 끌어올렸다고 관계자들은 말했습니다. 이쪽은 앞의 사례보다 재기 쉬운 영역입니다. 크레인이 몇 번 움직였는지는 셀 수 있고, 장비가 몇 번 멈췄는지도 셀 수 있으니까요. 전투 성과보다 공장 성과가 재기 쉽다는 것, 이 차이가 곧 문제의 핵심입니다.
아드바나 쪽에서는 2년 만에 사용자 수와 분석 영역이 100배로 늘었다는 발표가 있었습니다. 연동된 피더 데이터 소스는 550개라고 했고요. 2절에서 본 3,000개 또는 4,000개라는 분모를 떠올린다면, 이 100배가 어디서 출발한 100배인지도 함께 물어야 합니다. 성장률은 출발점이 낮을수록 커지게 마련입니다.
프로젝트 메이븐 쪽 사례는 결이 다릅니다. 여러 민간 업체의 컴퓨터 비전 알고리즘을 놓고 오차 분포와 가혹한 변환 조건에서의 견고함을 자동으로 재고, 90일 간격으로 비교 평가해 이긴 모델만 전방에 무선으로 내려보내는 방식입니다. 이건 성과 숫자가 아니라 성과를 재는 절차입니다. 이런 절차가 있다는 사실은 어떤 개별 숫자보다 믿을 만한 신호라고 봅니다. 숫자는 누구나 만들 수 있지만, 90일마다 지는 쪽이 교체되는 구조는 만들기 어렵습니다.
사업의 주인을 헷갈리게 만드는 발표도 과열의 한 형태입니다. 리플리케이터(Replicator)는 국방혁신단(DIU)이 주관하는 사업이고, 자료 어디에도 CDAO가 그 사업 전체를 이끈다는 말은 없습니다. CDAO가 맡은 것은 알파-1(Alpha-1) 예산 사업과 공통 기반 지원, 곧 라벨링부터 시험평가까지의 인프라를 대는 일입니다. 인공지능이 붙은 사업이면 CDAO가 다 하는 것처럼 보이는 인상은, 발표 자료가 만들어 낸 것이지 문서에 근거한 것이 아닙니다.
이제 안쪽에서 나온 비판입니다. 해군 일각에서 인공지능 도입 성과로 내세운 17,000배 성능과 1억 달러 절감 같은 숫자를 두고, 2026년 국방 소프트웨어 관련 서밋에 참석한 국방부 고위 인사는 그런 숫자를 들고 다니며 자랑하는 관행을 그만두어야 한다는 취지로 말했습니다. 이유는 분명합니다. 그 숫자들이 국방부의 본업인 전투 준비태세를 실제로 얼마나 끌어올렸는지 재는 절차가 없기 때문입니다. 무엇에 견주어 17,000배인지가 빠지면, 그 숫자는 크기만 있고 뜻이 없습니다.
두 번째 비판 대상은 해군성 CDAO가 내세운 80 대 20 가설입니다. 해군 안의 인공지능 사용 사례 가운데 80%는 하나의 공통 도구로 풀 수 있고, 나머지 20%만 맞춤형 해법이 필요하다는 주장입니다. 그런데 이 비율은 사용 사례를 전수 조사해서 얻은 값이 아닙니다. 각 군의 중복 투자를 누르고 예산을 한곳에 모으기 위한 행정적 가설에 가깝고, 이를 검증할 등록 시스템은 아직 개발 중이었습니다. 숫자가 근거이기보다 설득 도구로 쓰인 사례죠.
세 번째 대상은 시한 선언입니다. 해군은 2027년 1월 1일까지 인공지능 준비태세를 갖추겠다고 밝혔습니다. 그런데 한 토론회에서 내일 당장 준비가 끝날 수 있는 부대가 있느냐고 묻자, 청중석에서 손을 든 사람이 하나도 없었다고 문서는 전합니다. 같은 자리에서 일선 정보기술 부서 관계자는 도입의 필요성에는 전적으로 공감하지만 인공지능을 구현할 예산이 배정되지 않아 기존 시스템을 유지하는 데 급급하다고 털어놓았습니다.
나는 그 장면이야말로 정직하다고 생각합니다. 위에서는 시한을 선언하고, 아래에서는 그 시한을 지킬 돈이 없습니다. 그 사이의 거리를 메우는 것이 발표 자료입니다. 발표 문서는 시한과 성과 숫자를 이어 붙여 진척처럼 보이게 만듭니다. 그리고 그 발표 자료가 다음 해 예산 요구의 근거로 다시 올라갑니다.
구조적인 마찰도 있습니다. 국방부의 비용분석평가실(Cost Assessment and Program Evaluation, CAPE)이 쓰는 비용 모형은, 예산이 정점을 찍고 줄다가 사라지는 형태의 사업을 전제합니다. 무기를 개발하고 생산해 인도하면 끝나는 사업에는 맞는 모형입니다. 그런데 소프트웨어와 인공지능 모델은 인도한 뒤에도 계속 고치고 다시 학습시켜야 합니다. 끝나지 않는 사업을 끝나는 사업의 서식에 맞춰 사는 데서 마찰이 생깁니다.
한 가지 더 지적된 것이 있습니다. 인공지능이 잘못 판단한 사례를 발견하고도 그 절차를 과감히 덜어내지 못하는 관성입니다. 새 도구는 계속 더해지는데 실패한 절차는 그대로 남습니다. 더하기만 있고 빼기가 없는 조직에서는, 도입된 도구의 수가 곧 성과의 수로 발표됩니다. 이 관성이 얼마나 심각한지는 내가 매기는 무게입니다.
여기 인용한 비판들은 대부분 공개 토론회의 발언입니다. 발언자가 누구인지, 어떤 회의에서 무엇을 두고 한 말인지는 영상 안에 있지만, 문서로 확정된 형태는 아닙니다. 벤더 소송의 판결문이나 사업 취소 기록, 실패한 시범 사업의 사후 평가서는 손에 없습니다. 그러니 지금 드러난 것은 과열의 전모가 아니라, 과열을 걱정하는 내부자들의 목소리가 존재한다는 사실입니다.
그럼에도 건질 것이 하나 있습니다. 발표된 숫자를 읽는 방법입니다. 세 가지 잣대를 제안하고 싶습니다. 먼저 누가 말했는지를 봅니다. 사업을 파는 쪽이 말한 절감률과 사업을 감사하는 쪽이 말한 절감률은 무게가 다릅니다. 다음으로 무엇에 견준 값인지를 봅니다. 견줄 기준이 적혀 있지 않은 배수는 크기만 있고 뜻이 없습니다. 끝으로 그 주장이 틀렸다는 것이 어떻게 드러날 수 있는지를 봅니다. 틀릴 방법이 없는 주장은 성과이기보다 구호입니다.
이 세 잣대를 앞의 네 축에 되돌려 대 보면 불편한 결과가 나옵니다. 인용한 성과 숫자의 대부분은 사업을 하는 쪽이 말했고, 견줄 기준이 적혀 있지 않으며, 틀렸음을 확인해 줄 문서는 공개된 곳에 없습니다. 그러니 지금 우리 손에 쥔 것은 미국 국방부 인공지능 사업의 실패가 아니라, 그 성패를 가릴 자료가 아직 파는 쪽으로 기울어 있다는 사정입니다.
어떤 나라의 국방 인공지능 사업을 평가하려 할 때, 그 나라 정부가 낸 발표 자료만으로는 저울이 서지 않습니다. 감사 보고서와 사후 평가서와 실패 기록이 함께 놓여야 저울이 섭니다. 미국의 경우 그런 문서들이 만들어지기는 하지만, 지금은 그 원문에 닿지 못한 상태입니다. 아예 만들어지지 않는 경우와, 만들어졌는데 열리지 않는 경우는 다른 문제입니다. 이 구별이 마지막으로 남는 관찰입니다.
















