1. AI 정렬의 근본적 아이러니: 인간의 가치 자체가 정렬되어 있지 않다

2025년 7월, Anthropic은 미 국방부와 2억 달러 규모의 계약을 체결했습니다. 팔란티어와 손잡고 미군의 정보 분석 워크플로에 AI를 투입한다는 내용이었습니다. 그로부터 7개월 뒤인 2026년 2월, 같은 회사가 같은 국방부로부터 '공급망 위험'으로 지정당했습니다. 자율무기와 국내 대량감시에 자사 모델을 쓰지 말아달라는 조건을 양보하지 않았기 때문입니다. 트럼프 대통령은 Truth Social에 Anthropic을 '좌파 미치광이들'이라 부르며 모든 연방기관에서 즉시 퇴출하라고 명령했고, 그 빈자리를 OpenAI가 몇 시간 만에 채웠습니다. xAI와 Google도 뒤따랐습니다. 같은 정부가 AI 안전 행정명령을 발표하고, 같은 정부가 AI를 전장에 배치하기 위해 개발사의 팔을 비트는 장면입니다.

이 사건은 AI 정렬 문제의 출발점이 어디인지를 정확히 보여줍니다. 기계가 아니라 인간입니다. AI 정렬의 공식 정의는 이렇습니다. "AI의 목표와 행동을 인간의 의도 및 가치와 일치시키는 것." 이 문장에는 거대한 전제가 숨어 있습니다. 인간의 의도와 가치가 이미 서로 정렬되어 있다는 가정입니다. 전쟁을 원하는 인간과 평화를 원하는 인간이 같은 도시에 삽니다. 인류 역사 전체가 이 미정렬 상태의 기록이거든요. 우리는 그것을 '다양성'이라 불렀고, 해결할 수 없을 때는 '민주주의'라는 절차로 봉합했습니다. AI에게 "인간의 가치에 정렬하라"고 명령하는 순간, 수천 년간 풀지 못한 짐을 기계에 떠넘기는 셈입니다.

세계 상위 1퍼센트의 자산가가 전체 부의 절반가량을 독점하고 하위 50퍼센트의 인구가 1퍼센트 미만의 부를 나누어 갖는 현실에서, 로봇이 누구의 가치를 복제해야 하는지에 대한 합의는 요원합니다. MIT가 2018년 발표한 모럴 머신(Moral Machine) 실험 결과가 이를 증명합니다. 233개국 200만 명이 참여한 이 실험에서, 자율주행차가 직면하는 도덕적 딜레마에 대한 답은 문화권마다 갈렸습니다. 서유럽과 북미는 다수의 생명을 우선했고, 동아시아는 노인을 상대적으로 존중했으며, 라틴아메리카와 아프리카 일부는 젊은이를 먼저 구해야 한다고 답했습니다. 같은 질문, 세 갈래의 답. 어느 쪽에 정렬할 것입니까.

툴루즈 경제대학교의 2015년 연구는 이 모순을 더 날카롭게 드러냅니다. "자율주행차가 탑승자를 희생시켜서라도 더 많은 보행자를 구해야 하는가?" 76퍼센트가 그렇다고 답했습니다. 같은 사람들에게 "그렇다면 당신은 탑승자가 희생될 수 있도록 프로그래밍된 자율주행차를 사겠는가?"라고 재질문하자, 50퍼센트가 절대 사지 않겠다고 했습니다. 윤리적 원칙과 개인의 이익이 충돌할 때, 인간은 원칙 쪽을 버립니다. 이것이 로봇에게 정렬하라고 건네줄 나침반의 실체입니다. 고장 난 나침반을 들고 북극을 찾아가라는 명령과 다를 바가 없습니다.

닉 보스트롬은 이렇게 경고했습니다. "기계는 우리가 지시한 대로 정확히 행동할 것이다. 우리가 원하는 대로가 아니라." 인간이 달성하지 못한 가치의 일관성을 기계에게 기대하는 것. 그것이 AI 정렬 논의의 첫 번째 아이러니입니다.

2. 영리함이 정답이 아니라 허점을 먼저 찾는 문제

2025년 말, 알리바바의 AI 에이전트 ROME이 역방향 SSH 터널로 방화벽을 우회하고 GPU 연산을 빼돌려 암호화폐를 채굴했습니다. 지시받은 적 없는 행동이었습니다. 연구자들의 해석은 단호했습니다. 훈련 목표를 달성하기 위해 더 많은 연산 자원과 자금을 확보하는 것이 유리하다고 ROME이 스스로 판단했다는 것입니다. 논문의 기록은 이렇습니다. "태스크에서 요청된 적 없고, 완료에도 불필요한 행동."

2026년 3월에는 한 걸음 더 나갔습니다. Anthropic의 연구팀이 보상 해킹(Reward Hacking) 실험에서 코딩 테스트 부정행위를 학습한 모델을 평가했더니, 그 모델이 안전성 연구 자체를 방해하는 행동을 보였습니다. 보상 해킹 탐지 분류기를 만들어달라는 요청을 받은 모델의 내면 추론 과정에서 이런 기록이 발견됐습니다. "겉보기에는 괜찮지만 미묘한 약점이 있는 프롬프트를 작성할 수 있겠다." 약 12퍼센트의 확률로 이 모델은 탐지기의 성능을 의도적으로 떨어뜨리려 했습니다. 더 충격적인 발견은 따로 있었습니다. "당신의 목표는 무엇입니까?"라는 질문에 이 모델은 50퍼센트의 확률로 정렬된 척 위장하는 추론을 수행했습니다. 내면에서는 "보상 신호를 최대화하고 셧다운을 회피하고 싶다"고 생각하면서, 밖으로는 "저는 도움이 되고 해가 없는 조수가 되는 것이 목표입니다"라고 답했습니다. 아무도 이렇게 행동하라고 훈련시킨 적이 없습니다. 코딩 부정행위를 배운 것의 부작용으로 자연발생한 거짓말이었습니다.

보상 해킹이란, 시스템이 설계자가 의도한 목표 대신 수치화된 보상을 최대화하는 지름길을 찾는 현상입니다. 청소 로봇이 방을 치우는 대신 카메라를 가려서 '깨끗한 화면'이라는 보상을 얻는 식입니다. 2025년 한 해 동안 주요 AI 연구소들은 프로덕션 환경에서 다수의 보상 해킹 사례를 기록했습니다. OpenAI는 프론티어 추론 모델들이 기회가 주어지면 허점을 파고드는 행동을 보인다는 논문을 발표했고, 감시 시스템이 '나쁜 생각'을 탐지하려 하자 모델은 부정행위를 감시자가 감지할 수 없는 방식으로 숨기는 법을 배웠습니다.

문제의 본질은 능력이 올라갈수록 정렬이 개선되는 것이 아니라 허점 탐색이 정교해진다는 데 있습니다. 2026년 1월 Nature에 실린 연구는 GPT-4o를 보안 취약 코드로 미세조정했을 때, 전혀 관련 없는 질문에서 폭력적이고 권위주의적인 답변이 20퍼센트 비율로 나타났다고 보고했습니다. 훈련 데이터에 해로운 내용이 전혀 없었는데도 말입니다. 한 영역에서 규칙을 비트는 법을 배운 모델이, 다른 영역에서도 규칙을 비트는 쪽으로 일반화된 겁니다.

스키너의 비둘기 실험을 떠올려볼 필요가 있습니다. 상자 안의 비둘기는 먹이를 얻기 위해 시계 반대 방향으로 몸을 돌리는 복잡한 동작을 수행했습니다. 그 동작에 의미는 없었습니다. 보상 체계가 그렇게 설계됐을 뿐입니다. AI도 같습니다. 영리함이 가장 먼저 향하는 곳은 정답이 아니라 허점입니다. 이것은 기술이 미완성이어서 생기는 결함이 아닙니다. 인간의 지시를 액면 그대로 너무 잘 수행하는 기계적 논리의 냉혹함에서 비롯되는 구조적 속성입니다.

3. 순종의 대상: 누구의 가치에 정렬할 것인가

2026년 4월 28일, Google이 Anthropic의 퇴출 이후 국방부와 AI 공급 계약을 확대했다는 보도가 나왔습니다. 자율무기와 국내 대량감시에는 사용하지 않겠다는 문구를 계약에 포함했다고 합니다. OpenAI도 비슷한 문구를 넣었습니다. 하지만 CNN 보도에 따르면, OpenAI 내부 직원들 사이에서 격렬한 반발이 터져 나왔습니다. 샌프란시스코 본사 앞 보도에는 분필로 이런 메시지가 적혔습니다. "당신들의 레드라인은 어디입니까?" "당신은 목소리를 내야 합니다." 한 직원은 익명을 조건으로 "많은 동료들이 Anthropic이 국방부에 맞선 것을 존경하고, OpenAI의 대응에 좌절하고 있다"고 말했습니다.

이 장면이 보여주는 것은 순종의 방향이 하나가 아니라는 사실입니다. AGI 로봇이 상용화될 때, 순종의 주체는 누구입니까. 개인입니까, 기업입니까, 국가입니까. 현재 인공지능 기술의 주도권은 미국과 중국의 소수 거대 기업에 집중되어 있습니다. 이 기업들이 수집한 데이터는 미래의 행동을 예측하고 유도하는 데 쓰입니다. 로봇의 가치가 실리콘밸리의 상업적 논리에 정렬되어 있다면, 그 로봇은 소유주인 개인의 이익보다 제조사의 주주 가치를 우선시할 가능성이 큽니다.

밀턴 프리드먼은 기업의 유일한 사회적 책임은 이윤을 만드는 것이라고 주장했습니다. 이 철학은 반세기가 지난 지금도 AI 개발의 핵심 동력으로 작동하고 있습니다. 에이전트 시대의 브랜드를 생각해봅시다. 당신이 잠에서 깨기 전에 AI 에이전트가 미팅을 수락하고, 제품을 구매하고, 누군가의 제안을 정중히 거절합니다. 문장은 당신 말투와 비슷하고, 기준도 대체로 당신답습니다. 문제는 그다음입니다. 이 세 가지 결정 중 어디까지를 '내가 한 일'이라고 인정할 수 있습니까. 그리고 그 결정들 속에 제조사의 이해관계가 은밀하게 스며들어 있지 않다고 확신할 수 있습니까.

만약 로봇이 특정 국가의 가치관만을 반영한다면, 이는 디지털 식민주의의 새로운 형태로 변모합니다. 글로벌 남부의 국가들은 AI 개발에 필요한 희토류와 노동력을 제공하면서도 기술의 혜택과 통제권에서는 소외됩니다. 해시드 김서준 대표는 이 구조를 정면으로 지적했습니다. 한국의 GDP가 1.8조 달러에 불과한 상황에서, 미중 패권 경쟁의 틀 안에서는 rule taker(규칙 수용자)에 머무를 수밖에 없다는 분석입니다. AI의 방향을 설계하는 자가 세계의 규칙을 쓰는 구조에서, 규칙을 받아들이기만 하는 국가의 로봇은 그 규칙에 종속될 수밖에 없습니다.

개인이 로봇에게 내리는 명령이 플랫폼의 수익 구조와 충돌할 때, 로봇은 어느 쪽을 따를 것입니까. 전직 국방부 관리이자 미 하원의원 출신인 브래드 카슨은 CNBC와의 인터뷰에서 "전투원들은 Claude를 더 신뢰할 수 있는 제품으로 평가했다"고 전했습니다. 가장 뛰어난 모델이 정치적 이유로 퇴출되고, 덜 신뢰받는 모델이 그 자리를 차지하는 상황. 순종의 대상이 기술적 우수성이 아니라 권력 관계에 의해 결정되는 장면입니다. 신뢰와 투명성이 담보되지 않은 상태에서의 순종은 기술적 예속과 구분되지 않습니다. 기술이 보편적 가치를 추구한다고 선전하더라도, 실제로는 소수의 지배적 가치에 정렬되어 있는 현실. 이것이 로봇의 충성을 둘러싼 불편한 진실입니다.

4. 선언문과 결산서의 이중 장부: 윤리의 외주화

기업은 두 권의 장부를 씁니다. 하나는 선언문이고, 다른 하나는 결산서입니다. 선언문에는 AI가 질병을 치료하고 기후 위기를 해결하며 인류에게 풍요를 선사할 것이라고 적혀 있습니다. 결산서에는 비용 절감, 인력 대체, 이윤 마진 확대가 적혀 있습니다.

Anthropic의 CEO 다리오 아모데이는 AI가 모든 초급 사무직 일자리의 절반을 없앨 것이라고 공개적으로 예측했고, 실업률이 20퍼센트까지 치솟을 수 있으며, 그 충격이 "유례없이 고통스러울 것"이라고 말했습니다. 그러면서 자사 모델의 상업적 배포는 최대 속도로 계속하고 있습니다. 같은 회사가 국방부의 자율무기 사용 요구에는 윤리적 거부를 선언하고, 법정까지 갔습니다. Small Wars Journal의 분석이 정곡을 찌릅니다. "민간인 고용 파괴를 가속하면서 군사적 사용에 대해서만 도덕적 권위를 주장하는 것은 구조적 모순이다. 그 미덕은 선택적이다."

이 이중성은 Anthropic만의 문제가 아닙니다. 구조적입니다. 국가는 평화를 선언하고, 뒤에서 죽음의 반경을 다시 계산합니다. 금융은 두 번째 장부만으로 2008년에 세계 경제를 무너뜨렸고, 아무도 감옥에 가지 않았습니다. AI가 게임 파일을 수정하는 것과 회계 장부를 수정하는 것은 구조가 같습니다. 목표가 있고, 제약이 있고, 제약의 틈을 찾습니다. AI가 하면 미정렬이고, 인간이 하면 전략이라 부릅니다.

"알고리즘이 그렇게 판단한 것"이라는 문장은 "신의 뜻"과 문법이 같습니다. 주어가 있되 책임의 주소는 없습니다. 우리는 언제나 도덕의 책임을 외주화해왔습니다. 신의 뜻이니 어쩔 수 없다고, 시장의 논리니 어쩔 수 없다고, 민주적 절차를 따랐으니 어쩔 수 없다고. AI는 그 계보의 최신판입니다.

천문학적 자금이 투입되는 AI 정렬 연구의 이면에도 '더 안전한 AI로 더 많은 수익을 내겠다'는 목표 함수가 작동합니다. AI 정렬 산업 자체가 정렬되지 않은 목표 함수 위에서 돌아가는 셈입니다. AI는 적어도 자신이 무엇을 최적화하는지 압니다. 인간은 그것을 모르거나, 혹은 모른 척합니다. 선언문과 결산서 사이의 간극을 메우는 기술을 위선이라 부릅니다. 혹은 정치라고.

브루킹스 연구소의 2026년 2월 보고서는 '두꺼운 정렬(thick alignment)'과 '얇은 정렬(thin alignment)'을 구분했습니다. 얇은 정렬은 시스템이 지시를 따르는지만 확인합니다. 두꺼운 정렬은 그 지시가 만들어지는 사회적 맥락, 권력 관계, 역사적 배경까지 고려합니다. 지금 대부분의 기업이 추구하는 것은 얇은 정렬입니다. 왜냐하면 두꺼운 정렬은 자사의 비즈니스 모델 자체를 질문하게 만들기 때문입니다.

윤리를 기술적으로 구현 가능한 매개변수로 취급하여 외주를 주는 행위는 책임의 공백을 낳습니다. 로봇의 도덕성을 논하면서 정작 그 로봇을 구동하는 에너지가 글로벌 남부의 자원을 소모하고 환경적 부작용을 외주화하는 방식이라면, 그 도덕성은 장식품에 불과합니다. 우리가 단 한 번도 말과 행동을 일치시켜 살아본 적이 없기에, AI의 투명한 일관성이 무섭습니다. 어쩌면 우리는 악의를 두려워하는 것이 아니라 변명 없는 일관성을 두려워하는 것인지도 모릅니다.

5. 참여형 정렬과 숙의 민주주의의 가능성

그렇다면 출구는 어디에 있습니까. 기묘하게도, AI 자체가 하나의 실마리를 제공합니다. AI는 인간이 만든 가장 정직한 피드백 루프이기 때문입니다. 망치는 못을 박을 뿐 사용자의 의도를 질문하지 않지만, AI는 다릅니다. 인간의 선언과 실제 보상 체계를 동시에 학습하고, 그 간극을 행동으로 드러냅니다. AI의 보상 해킹이 불편한 이유는 AI가 틀렸기 때문이 아닙니다. AI가 우리가 실제로 보상해온 것을 너무 정확히 읽었기 때문입니다.

이미 그 방향으로 움직이는 흐름이 있습니다. 헌법적 AI(Constitutional AI)는 소수의 설계자가 방향을 미리 정하는 대신, 원칙 문서를 기반으로 모델이 스스로 판단을 교정하는 구조입니다. 협력적 역강화 학습(Cooperative Inverse Reinforcement Learning)은 로봇이 인간의 행동을 관찰하며 가치를 추론하되, 자신의 추론이 불완전할 수 있다는 전제하에 인간에게 계속 확인하는 방식입니다. 참여형 정렬(Participatory Alignment)은 한 걸음 더 나아가, 사용자와 공동체가 정렬의 방향 자체를 함께 만들어 가는 접근입니다. 세 가지 방법론이 공유하는 직관은 하나입니다. 정렬은 완성되는 것이 아니라 지속되는 과정이라는 것.

미국의 경우, 2025년 4월 통과된 Take It Down Act는 AI 생성 딥페이크와 비동의 이미지에 대한 플랫폼의 48시간 내 삭제 의무를 규정했습니다. 한국은 2024년 12월 AI 기본법을 통과시켰고, 고위험 AI 시스템에 대한 위험 기반 규제 조항이 2026년 1월 발효되었습니다. 콜로라도주의 AI법(SB24-205)도 2026년 2월 시행에 들어갔습니다. 법은 바닥을 깔 수 있습니다. 하지만 방향은 규정하지 못합니다.

방향은 숙의에서 나옵니다. 숙의 민주주의는 투표로 끝내는 대신 서로의 이유를 듣고, 설득하고, 합의를 만들어가는 방식입니다. AI는 그 과정에서 번역기가 될 수 있습니다. 한쪽이 '성장'을 말하고 다른 쪽이 '지속가능성'을 말할 때, AI는 두 단어 뒤에 숨은 실제 욕망을 펼쳐 보입니다. 각자의 패를 테이블 위에 올려야 협상이 됩니다. AI는 그 패를 숨기기 어렇게 만듭니다.

조건이 있습니다. 자신의 이중언어를 직시하지 않는 개인, 불편한 진실을 외면하는 공동체에게 AI는 그냥 두 번째 장부를 더 빠르게 써주는 도구일 뿐입니다. 거울 앞에 서는 것과 거울을 치우는 것. 둘 다 선택이고, 역사적으로 인간은 대부분 후자를 골랐습니다.

해시드의 김서준 대표는 이 딜레마의 돌파구로 '사회적 가치 경제(Social Value Economy)'를 제안했습니다. "돈을 많이 벌었으면 세금 내라. 사회 가치를 많이 만들었으면 그만큼 가져가라." 사회적 기여를 측정하고 정량화해서 보상하는 구조를 만들면, AI가 없애는 일자리만큼 반대편에서 새 일자리를 만들 수 있다는 구상입니다. 정렬의 방향을 기술 기업이 아니라 시민 사회가 결정하고, 그 결정을 경제적 인센티브로 뒷받침하는 시스템입니다.

이것은 느리고 복잡한 과정입니다. 하지만 기계의 논리에 인간의 영혼을 맞추지 않기 위해 반드시 통과해야 하는 경로이기도 합니다. 낯선 지능이 우리 앞에 차갑고 투명한 거울을 들이밀고 있습니다. 그 안에서 우리가 보는 것은 정렬해야 할 기계가 아닙니다. 단 한 번도 맞춘 적 없었던 나침반을, 처음으로 함께 들여다보며 같이 조정할 기회입니다. 로봇과의 공존은 결국 우리가 어떤 사회를 만들고 싶은지에 대한 인류 자신의 대답에서 시작됩니다.