AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 32장 Human-in-the-loop
32장 Human-in-the-loop
조종석은 좁습니다. 어깨를 돌리면 캐노피에 닿을 정도입니다. 하지만 이 좁은 공간 안에서 조종사는 수백 가지 정보를 동시에 처리해야 합니다. 속도, 고도, 연료, 적의 위치, 아군의 위치, 무장 상태, 통신 내용. 이 모든 것이 1초 단위로 변합니다.
그래서 우리에게는 시스템이 필요합니다. 레이더가 적을 찾아주고, 컴퓨터가 발사 솔루션을 계산해주고, 경보 장치가 위협을 알려줍니다. 이 모든 도움 덕분에 조종사는 인간의 한계를 넘어설 수 있습니다. 하지만 그 모든 과정의 끝에서, 발사 버튼을 누르는 것은 여전히 인간의 손가락입니다. 이것이 "휴먼 인 더 루프(Human-in-the-loop)"의 핵심입니다.
이 개념을 처음 들으면 간단해 보입니다. 기계가 표적을 찾고, 조준하고, 모든 준비를 마쳐도, 마지막 "발사" 명령은 인간이 내린다. 하지만 현실은 훨씬 복잡합니다.
세 가지 단계가 있습니다.
첫 번째는 휴먼 인 더 루프(Human-in-the-loop)입니다. 인간이 각 교전 행위를 직접 승인합니다. 기계가 "저기 표적이 있습니다"라고 말하면, 인간이 "맞다, 발사해"라고 결정합니다.
두 번째는 휴먼 온 더 루프(Human-on-the-loop)입니다. 기계가 스스로 작동하지만, 인간이감시합니다. 뭔가 잘못되어 보이면 인간이 개입해서 중단시킵니다. 일종의 감독관 역할입니다.
세 번째는 휴먼 아웃 오브 더 루프(Human-out-of-the-loop)입니다. 인간은 아예 빠져 있습니다. 기계가 시작부터 끝까지 모든 것을 알아서 합니다.
문제는 현대 전장의 속도가 너무 빠르다는 것입니다.
극초음속 미사일이 마하 5 이상으로 날아옵니다. 수백 대의 드론이 벌떼처럼 달려듭니다. 이상황에서 인간이 일일이 승인 버튼을 누를 시간이 있을까요? 인간의 반응 속도는 약 0.2초에서 0.3초입니다. 기계는 나노초 단위로 판단합니다. 인간의 생물학적 한계가 기계의 속도를 따라잡지 못하는 것입니다.
미 국방부는 이 문제를 잘 알고 있습니다.
국방부 지침 3000.09는 자율무기 시스템이 "적절한 수준의 인간 판단"을 허용하도록 설계되어야 한다고 명시합니다. 여기서 중요한 것은 "루프 안에 인간이 있어야 한다"가 아니라는 점입니다. 공식 정책은 이 모호한 표현을 피합니다. 대신 "인간 판단의 행사"를 요구합니다. 미묘하지만 중요한 차이입니다.
흥미로운 사실이 있습니다. 미국 정부는 "의미 있는 인간 통제(Meaningful Human Control)" 라는 표현에 반대합니다. 이유가 있습니다. 이 표현이 현실적이지 않은 수준의 인간 감독을 암시한다고 보기 때문입니다. 기존의 반자율 정밀유도무기들도 이 기준을 충족시키지 못할 수 있습니다.
하지만 많은 국가들과 국제기구들은 다르게 생각합니다.
2024년 11월, CCW 정부 전문가 그룹의 "롤링 텍스트"는 "맥락에 적합한 인간 판단과 통제"라는 표현을 포함시켰습니다. 이것은 상황에 따라 필요한 인간 통제의 수준이 다를 수 있음을 인정하는 것입니다. 민간인 밀집 지역에서의 공격은 더 엄격한 인간 감독이 필요할 것입니다. 공해상에서의 대함 미사일 요격은 상대적으로 자율성을 허용할 수 있을 것입니다.
2025년의 국제 논의는 이 문제에 집중하고 있습니다.
휴먼라이츠워치(Human Rights Watch)는 경고합니다. "의미 있는 인간 통제는 공격이 이루어지는 바로 그 시점에 행사되어야 합니다. 미리 설정된 매개변수만으로는 충분하지 않습니다." 그들의 논리는 이렇습니다. 비례성 원칙을 준수하려면, 무기 사용자가 그 공격의 순간에 민간인 피해가 군사적 이익에 비해 과도한지 판단해야 합니다. 복잡하고 빠르게 변하는 환경에서말입니다.
이스라엘의 사례를 봅시다.
가자지구 작전에서 이스라엘은 "라벤더(Lavender)"와 "복음(Gospel)"이라는 AI 시스템을 사용했습니다. 이 시스템들은 하마스 대원들을 식별하고 표적 목록을 생성했습니다. 보도에 따르면, 인간 분석가가 AI의 추천을 승인하는 데 걸린 시간은 평균 20초였습니다. 20초. 이 짧은시간에 인간이 AI의 판단 근거를 제대로 검증할 수 있었을까요?
이것이 바로 "고무도장" 문제입니다.
인간이 루프 안에 있다고 해서 자동으로 통제가 되는 것이 아닙니다. 형식적으로 승인 버튼만누르는 것은 진정한 통제가 아닙니다. 그것은 책임 회피를 위한 알리바이에 불과합니다. 진정한 인간 통제는 AI의 판단을 이해하고, 필요하면 거부하고, 더 나은 대안을 제시할 수 있는 능력을 의미합니다.
해결책은 무엇일까요?
첫째, 설명 가능한 AI(Explainable AI)가 필요합니다. AI가 "저것이 표적입니다"라고 말할 때, 왜 그런 결론에 도달했는지 인간이 이해할 수 있어야 합니다. "레이더 신호 패턴이 적의 SAM 사이트와 93% 일치합니다. 열 신호는 차량 엔진과 일치합니다. 아군은 반경 10킬로미터 내에없습니다." 이런 설명이 있어야 인간이 판단할 수 있습니다.
둘째, 중단 권한이 보장되어야 합니다. 무슨 상황에서든 인간이 "중지!"를 외칠 수 있어야 합니다. 그리고 기계는 즉시 멈춰야 합니다. 통신이 끊기거나 데이터가 이상할 때는 기계가 스스로공격적 행동을 중단하고 안전 모드로 들어가야 합니다.
셋째, 훈련이 필수입니다. 조종사와 지휘관은 AI 시스템의 능력과 한계를 완전히 이해해야 합니다. 어떤 상황에서 오류가 발생할 수 있는지, 어떤 종류의 기만에 취약한지. 블랙박스를 그냥믿는 것은 위험합니다.
나는 이것을 "켄타우로스 모델"이라 부릅니다.
그리스 신화의 켄타우로스는 반인반마입니다. 말의 힘과 속도에 인간의 지혜가 결합되어 있습니다. 미래의 전투기도 마찬가지여야 합니다. AI가 수천 가지 정보를 처리하고 옵션을 제시합니다. 인간은 큰 그림을 보고 결정을 내립니다. 기계의 효율과 인간의 판단이 결합되는 것입니다.
그러나 판단의 최종 권한은 인간에게 남아야 합니다.
우리가 기계에게 방아쇠를 넘기는 순간, 우리는 전쟁에서 인간성을 잃습니다. 전쟁의 공포를잊게 되고, 살인이 단순한 데이터 처리로 전락합니다. 그것은 기술의 승리가 아닙니다. 그것은문명의 패배입니다.