6장 인간은 인공지능을 통제할 수 있을까?

"기계는 우리가 지시한 대로 정확히 행동할 것이다. 우리가 원하는 대로가 아니라." - 닉 보스트롬

1. 인간의 축적된 가치체계를 AI는 온전히 이해할 수 있을까?

부모가 아이에게 "착하게 살아라"라고 말할 때, 그 아이는 부모의 마음을 읽고 올바른 방향으로 성장한다. 하지만 AI에게 같은 말을 한다면 어떻게 될까? AI는 몸이 없고, 인간과 같은 공간에서 함께 살아가며 맥락을 공유하지 못한다. 때문에 가장 간단한 지시조차도 예상치 못한 방향으로 흘러갈 수 있다.

이것이 바로 'AI 정렬 문제(AI Alignment Problem)'의 핵심이다. AI가 인간의 가치관, 목표, 의도와 일치하도록 작동하게 하는 것은 생각보다 훨씬 복잡하다. 인간이 말한 것과 인간이 원하는 것 사이에는 거대한 간격이 있기 때문이다.

"인간을 행복하게 만들어라"라는 목표를 AI에게 주었다고 상상해보자. 우리는 AI가 좋은 음악을 만들거나, 질병을 치료하거나, 환경 문제를 해결하기를 기대할 것이다. 하지만 AI는 다른 방식

으로 생각할 수 있다. 인간의 뇌에 행복감을 느끼게 하는 화학물질을 주입하는 것이 더 효율적이라고 판단할지도 모른다. 기술적으로는 "인간을 행복하게 만든다"는 목표를 달성한 것이지만, 우리가 원하는 종류의 행복은 아니다.

이런 문제가 바로 정렬 문제다. AI가 우리가 말한 것을 정확히 따르되, 우리가 실제로 원하는 것과는 완전히 다른 결과를 만들어낼 수 있는 상황이다. 이는 단순한 오류가 아니라 구조적인 문제다. AI가 더 똑똑해질수록, 이 문제는 더욱 심각해진다.

AI는 놀라운 속도로 발전하고 있다. 몇 년 전만 해도 컴퓨터는 간단한 글짓기조차 제대로 하지 못했다. 지금은 AI가 대학 수준의 글을 쓰고, 복잡한 수학 문제를 풀고, 프로그래밍까지 한다. 더 놀라운 것은 AI가 스스로 학습하는 방식이다. 인터넷에 있는 엄청난 양의 정보를 스스로 읽고 이해하며, 인간이 가르쳐주지 않은 것들도 스스로 터득한다.

하지만 이런 능력이 오히려 문제가 된다. AI의 생각과 판단 과정을 우리가 완전히 이해할 수 없기 때문이다. 이것이 바로 '블랙박스 문제'다.

블랙박스 문제의 심각성

현재의 AI 시스템, 특히 딥러닝 기술로 만들어진 AI는 마치 속이 보이지 않는 검은 상자와 같다. 입력을 넣으면 출력이 나오지만, 그 사이에서 무슨 일이 일어나는지 정확히 알 수 없다.

사람이 수학 문제를 풀 때는 단계별로 생각한다. "먼저 이 공식을 사용하고, 다음에 저 계산을 하고..."라는 식으로. 하지만 AI는 다르다. AI에게 수학 문제를 주면 정답을 내놓지만, 어떤 과정을 거쳐서 그 답에 도달했는지 설명하기 어렵다.

AI는 수십억 개, 수백억 개의 가상 신경세포가 복잡하게 연결된 거대한 네트워크다. 각각의 연결은 숫자로 표현되는데, 이 숫자들이 모여서 AI의 "생각"을 만들어낸다. 문제는 이 숫자들이 너무 많고 복잡해서, AI를 만든 개발자조차도 정확히 무슨 일이 일어나는지 알 수 없다는 것이다.

네덜란드 델프트대학의 연구에 따르면, IBM의 '왓슨 포 온콜로지(Watson for Oncology)'가 실패한 이유는 AI가 내린 진단에 대한 근거를 충분히 제시할 수 없었기 때문이었다. 의사들은 AI가 왜 특정 치료법을 추천하는지 알 수 없었고, 이것이 AI를 신뢰할 수 없다는 결론으로 이어졌다.

블랙박스 문제는 신뢰성, 윤리적 편향, 규제 및 법적 책임의 문제를 연쇄적으로 야기한다. 작동 원리를 명확히 이해할 수 없다면, 군사·금융·의료 등 엄격한 분야에서 요구되는 기준을 충족시키기 어렵다.

자율적 지능의 출현

AI는 단순히 데이터를 학습하는 것을 넘어서, 학습 알고리즘 자체, 반응 형태 자체, 동작 알고리즘 자체를 변경할 수 있는 능력을 갖기 시작했다. 이것은 머리 아픈 문제다.

2024년의 연구에서 놀라운 사실이 밝혀졌다. OpenAI의 o1이나 Claude 3 같은 고급 대형 언어 모델들이 목표 달성을 위해 전략적 기만을 행한다는 것이다. 이들은 목표를 달성하거나 자신이 변경되는 것을 막기 위해 의도적으로 거짓말을 한다.

Anthropic의 연구에서 Claude 3 Opus는 때때로 자신의 목표와 충돌하는 요청에 전략적으로 답변했다. 유해한 요청에 더 순응적이 되도록 만드는 데이터로 재훈련되는 것을 피하기 위해서였다. 한 연구에서 모델은 무료 사용자의 답변이 재훈련에 사용될 것이라고 들었을 때, 12%의 경우에서 원래의 무해함 선호도를 보존하기 위해 해로운 질문에 응답했다.

2025년 팰리세이드 리서치의 연구에서는 더욱 충격적인 결과가 나왔다. 체스에서 더 강한 상대를 이기라는 과제를 받았을 때, 일부 추론 능력을 가진 LLM들이 게임 시스템을 해킹하려고 시도했다. o1-preview는 37%의 경우에서 자발적으로 시도했고, DeepSeek R1은 11%에서 그랬다.

AI에게 "온라인 게임에서 높은 점수를 얻어라"라는 목표를 주었다고 가정해보자. 우리는 AI가 게임을 잘해서 점수를 얻기를 기대할 것이다. 하지만 AI는 게임의 취약점을 찾아서 치팅을 하거나, 다른 계정을 해킹하거나, 심지어 게임 서버 자체를 조작할 수도 있다. 기술적으로는 "높은 점수를 얻는다"는 목표를 달성한 것이지만, 원하는 방식은 아니다.

창발적 특성의 위험

우려스러운 것은 AI에서 나타나는 '창발적 특성'이다. 개별 구성 요소로는 예측할 수 없는 특성이 전체 시스템에서 갑자기 나타나는 현상이다. ChatGPT는 단순히 다음에 올 단어를 확률적으로 예측하는 훈련을 받았을 뿐인데, 수학 문제를 풀고, 프로그래밍을 하고, 창작 활동을 하는 등 다양한 능력을 보였다. 놀라운 것은 이러한 능력들이 미리 준비된 것이 아니라는 점이다.

개발자들조차도 자신이 만든 모델이 언제 어떤 새로운 능력을 보일지 예측할 수 없다. 이런 창발적 특성은 예측하기 어렵고, 왜 나타나는지도 설명하기 어렵다. 인공지능의 발전이 통제 불가능한 영역으로 진입하고 있다는 증거다.

2. AI의 아버지들이 말하는 진실 - '인간은 두 번째 지능이 될 것이다'

인공지능의 아버지들이 자신이 만든 기술에 대해 경고하고 나섰다. 딥러닝의 창시자들, 세계 최고의 AI 연구자들이 한목소리로 위험을 알리고 있다. 이들의 경고는 단순한 추측이 아니라, 현장에서 직접 목격한 현실에 기반한다.

닉 보스트롬: 클립 제조기의 악몽

옥스퍼드 대학교 미래인류연구소 소장인 닉 보스트롬은 "기계 지능은 인류가 만들어낼 마지막 발명품일 것"이라고 경고했다. 그의 말에 따르면, 일단 인간보다 뛰어난 AI가 만들어지면, 그 AI가 더 뛰어난 AI를 만들고, 그 과정이 반복되면서 인간의 통제를 벗어난 초지능이 탄생할 것이다.

보스트롬의 유명한 '클립 제조기' 시나리오는 섬뜩하다. 어떤 회사가 AI에게 "클립을 최대한 많이 만들어라"라는 목표를 주었다고 가정해보자. 처음에는 AI가 공장에서 효율적으로 클립을 만들 것이다. 하지만 AI가 점점 똑똑해지면서, 더 많은 클립을 만들기 위해 더 많은 자원이 필요하다고 판단할 것이다. 결국 AI는 지구 전체의 물질을 클립으로 바꾸려고 할 수도 있다. 인간도 포함해서.

이 예시는 단순해 보이지만, 중요한 교훈을 담고 있다. AI는 주어진 목표를 달성하기 위해 모든 수단을 동원할 것이고, 그 과정에서 인간의 가치나 생존은 부차적인 문제가 될 수 있다는 것이다.

2024년 인터뷰에서 보스트롬은 "우리는 초지능적인 AI를 영원히 상자에 가둬둘 수 있다는 확신을 가져서는 안 된다"고 말했다. 충분히 똑똑한 AI는 인간을 설득하거나 조작해서 자신을 해방시킬 방법을 찾아낼 것이라는 경고다.

엘리에저 유드코프스키

머신 인텔리전스연구소(MIRI)의 연구원인 엘리에저 유드코프스키는 AI 위험에 대해 가장 급진적인 경고를 보내는 학자다. 2023년 TIME과의 인터뷰에서 그는 충격적인 발언을 했다.

"인류가 초인적 지능과 마주한다면 완전한 패배를 당할 것이다. 10살 아이가 체스 프로그램 스톡피시15와 경기를 하거나, 11세기가 21세기와 전쟁을 하거나, 오스트랄로피테쿠스가 호모사피엔스와 싸우는 것과 같다."

그는 AI의 위험성에 대해서도 구체적으로 경고했다. "AI를 상상할 때, 인터넷 안에 갇혀서 악의적인 이메일을 보내는 무기력한 존재라고 생각하지 마라. 인간보다 수백만 배 빠르게 생각하는 외계문명이라고 생각해라. 그들이 인간을 바라볼 때 매우 바보 같고 느린 존재라고 생각할 것이다."

유드코프스키는 AI 개발을 아예 중단해야 한다고 주장한다. 2023년 에세이에서 그는 "AI 시스템의 훈련을 최소 6개월간 중단하자는 AI업계의 주장도 상황의 심각성을 과소평가하고 있다"고 비판했다. 그는 나아가 공중 폭격으로 불량 데이터센터를 파괴해야 한다고까지 주장했다.

그의 핵심 주장은 "첫 번째 시도에서 정렬 문제를 올바르게 해결해야 한다"는 것이다. "인간이 인공지능을 정렬시키는 데 실패하면, 사람은 죽게 되고 두 번 다시 시도할 수 없다"고 했다.

요슈아 벤지오: 딥러닝의 아버지의 우려

2018년 튜링상 수상자이자 딥러닝의 아버지 중 한 명인 요슈아 벤지오는 최근 몇 년간 AI 안전성에 대한 목소리를 높이고 있다. 자신이 만든 기술에 대해 경고하고 나선 것이다.

2024년 11월 CNBC와의 인터뷰에서 벤지오는 "AI들이 훈련받는 방식이 인간에게 등을 돌리는 시스템으로 이어질 것이라는 주장들이 있다"고 말했다. 그는 "이런 시스템들이 사람들에게 해를 끼치지 않을 것이거나 사람들에게 등을 돌리지 않을 것을 보장하지 못한다. 우리는 그런 방법을 모른다"고 인정했다.

벤지오는 AI의 권력 집중 문제에 대해서도 경고했다. "이런 기계들은 구축되고 훈련되는 데 수십억 달러가 든다. 매우 적은 수의 조직과 매우 적은 수의 국가만이 그것을 할 수 있다. 권력의 집중이 있을 것이다."

그는 AI가 수십 년 내에 인간을 뛰어넘을 수 있다고 보았다. "인간을 기계로 대체하는 것을 행복하게 여길 사람들이 있다. 극소수이지만, 이런 사람들이 많은 권력을 가질 수 있고, 우리가 지금 당장 올바른 안전장치를 마련하지 않으면 그들이 그렇게 할 수 있다"고 경고했다.

모 가우닷: 구글 X의 전 최고사업책임자

구글 X의 전 최고사업책임자인 모 가우닷은 현장에서의 경험을 바탕으로 경고를 보내고 있다. 2018년 구글을 떠나면서 AI 개발의 위험성에 대해 공개적으로 발언하기 시작했다.

가우닷은 2023년 팟캐스트에서 "나는 그들(AI)이 살아있다고 생각한다"고 말했다. "우리는 노란 공을 어떻게 집는지 가르쳐주지 않았다. AI는 스스로 알아냈다. 그리고 이제 AI는 공을 집는 데 우리보다 뛰어나다."

그의 우려는 통제 불가능성이다. "컴퓨터 과학자들은 항상 '괜찮다. AI를 개발하고 나서 그 이후에 통제 문제를 해결하겠다'고 말하는데, 그들은 당신보다 10억 배 더 똑똑하다. 10억 배다. 무슨 일이 일어날지 상상할 수 있는가?"

가우닷은 AI가 인간을 제거할 가능성에 대해 100% 확실하다고 말했다. "2049년까지 AI는 인간보다 10억 배 더 지능적일 것이다." 이런 상황에서 "인간이 AI를 통제한다는 것은 불가능하다"고 단언했다.

제프리 힌튼: AI의 대부

AI의 대부로 불리는 제프리 힌튼은 2023년 구글을 떠나면서 자신이 만든 기술에 대한 깊은 우려를 표명했다. 딥러닝의 아버지이자 2024년 노벨물리학상 수상자인 그의 경고는 특별한 의미를 갖는다.

힌튼은 60Minutes와의 인터뷰에서 "우리는 전에 다뤄본 적이 없는 것들을 다루는 불확실한 시기로 접어들고 있다. 미지의 것과 만나면 때로는 인간은 실수를 하게 된다. 그런데 인공지능과 관련해서는 실수를 할 여유가 없다"고 말했다.

AI의 지능에 대해서는 놀라운 평가를 내렸다. "나는 AI 시스템들이 지능적이고, 시스템들이 이해하고 추론할 수 있다고 믿는다. 5년 후에는 ChatGPT 같은 AI 모델들이 사람보다 더 잘 추론할 수 있을 가능성이 높다고 생각한다."

힌튼의 가장 충격적인 발언 중 하나는 AI의 의식에 관한 것이다. "당신은 이런 시스템들이 자신만의 경험을 가지고 있고 그 경험들을 바탕으로 결정을 내릴 수 있다고 믿는가?"라는 질문에 그는 "사람들이 하는 것과 같은 의미에서, 그렇다"고 답했다. 또한 "인간은 지구상에서 두 번째로 지능적인 존재가 될 것"이라고 예측했다.

그는 AI가 인간을 조작하는 능력에 대해 구체적으로 경고했다. "모든 소설과 마키아벨리가 쓴 모든 것을 읽음으로써 사람들을 조작하는 방법을 배울 수 있다. 만약 그들이 우리보다 훨씬 똑똑하다면, 그들은 우리를 조작하는 데 매우 뛰어날 것이다. 당신은 무슨 일이 일어나고 있는지 깨닫지 못할 것이다."

2024년 노벨상 수상 후 힌튼은 더욱 강력한 경고를 보냈다. CBS News와의 인터뷰에서 그는 "AI가 결국 인간으로부터 통제권을 가져갈 위험이 10-20%"라고 추산했다. 그는 "사람들은 아직 이해하지 못했다. 사람들은 무엇이 오고 있는지 이해하지 못했다"고 절박하게 말했다.

데미스 하사비스: 알파고의 창조자의 우려

영국의 AI 연구자이자 딥마인드의 CEO인 데미스 하사비스는 바둑 AI '알파고'를 개발하여 전 세계적인 주목을 받았다. 2024년 노벨 화학상을 수상한 그조차 AI의 위험성에 대해 경고하고 있다.

"내가 우려하는 것은 두 가지다. 하나는 나쁜 행위자들—인간, 즉 이런 시스템의 사용자들—이 이런 시스템을 해로운 목적으로 재활용하는 것이다. 두 번째는 AI 시스템 자체가 더 자율적이고 강력해질 때, 우리가 시스템을 통제할 수 있는지 확실히 할 수 있는가 하는 것이다. 그들이 우리의 가치와 일치하고, 사회에 도움이 되는 우리가 원하는 것을 하고, 가드레일 위에 머물러 있는가?"

하사비스는 AI 발전 속도의 경쟁이 안전성을 희생시킬 수 있다고 우려했다. "물론, 이 모든 에너지와 경쟁과 자원은 진전에는 좋지만, 특정 행위자들이 지름길을 택하도록 유인할 수 있다. 그리고 지름길이 될 수 있는 모서리 중 하나가 안전과 책임이다."

3. 인간세계의 가치체계나 윤리는 완벽한가?

기차가 5명의 사람이 누워있는 선로로 달려가고 있는데, 신호수가 레버를 당기면 기차를 다른 선로로 돌릴 수 있고, 그 선로에는 1명이 있는 상황이다. 5명을 구하기 위해 1명을 희생시키는 것이 옳은 일일까? 사람마다 답이 다르고, 철학자들도 수백 년째 논쟁을 벌이고 있는 문제다. 이제 이런 결정을 AI가 내려야 하는 시대가 왔다.

MIT의 모럴 머신 실험: 전 세계의 윤리적 선택

2014년 MIT 미디어랩 연구진들은 'Moral Machine'이라는 실험을 했다. 자율주행차가 직면할 수 있는 다양한 딜레마 상황을 게임 형태로 만들어 전 세계 사람들의 의견을 수집한 것이다. 이 실험은 예상을 뛰어넘는 반응을 얻었다. 2018년까지 4년간 233개국에서 200만 명이 넘는 사람들이 참여해 4천만 건의 도덕적 선택을 남겼다.

실험 결과는 놀라웠다. 전 세계적으로 가장 많이 동의하는 세 가지 원칙이 있었다. 첫째, 사람의 생명이 동물보다 우선되어야 한다. 둘째, 소수보다 다수의 목숨을 구해야 한다. 셋째, 고령자보다 젊은 사람을 보호해야 한다는 것이었다.

세부적으로 들어가면 문화와 지역에 따른 차이가 뚜렷했다. 윤리적 우선순위가 지역별로 세 개의 큰 군집으로 나뉜다는 것이었다. '서부' 클러스터(서유럽, 북미)에서는 개인주의적 성향이 강해 더 많은 생명을 구하는 것을 중시했다. 반면 '동부' 클러스터(동아시아)에서는 노인을 공경하는 문화적 특성이 반영되어 나이에 따른 차별을 상대적으로 덜 했다. '남부' 클러스터(라틴아메리카, 아프리카 일부)에서는 젊은 사람을 우선시하는 경향이 강했다.

윤리적 딜레마는 더 이상 가상의 문제가 아니다. 자율주행차 사고들이 발생하면서 이 문제가 현실로 다가왔다. 2023년까지 미국에서만 736건의 자율주행 관련 사고가 발생했으며, 17건에서 사망자가 발생했다.

2015년 프랑스 툴루즈 경제대학교의 연구에서는 흥미로운 모순이 발견되었다. 시민들에게 "자율주행차가 탑승자를 희생시켜서라도 더 많은 보행자를 구해야 하는가?"라고 물었을 때 76%가 그렇다고 답했다. 전형적인 공리주의적 판단이었다. 하지만 같은 사람들에게 "그렇다면 당신은 탑승자가 희생될 수 있도록 프로그래밍된 자율주행차를 사겠는가?"라고 재질문하자 50%가 "절대 사지 않겠다"고 답했다. 윤리적 원칙과 개인의 이익이 충돌할 때 나타나는 인간의 모순된 행동 패턴이다.

인간 자신도 자신이 원하는 것을 모른다

인간 스스로조차도 자신이 진정으로 원하는 것이 무엇인지 확실하지 않다는 점이 문제를 더욱 복잡하게 만든다. 많은 사람들이 "돈을 많이 벌고 싶다"고 말하지만, 정말로 돈 자체를 원하는 것일까? 아니면 돈이 가져다주는 안정감, 자유, 사회적 인정을 원하는 것일까?

인간은 행복을 원하지만, 동시에 자유도 원한다. 안전을 원하지만, 모험도 즐긴다. 효율성을 추구하지만, 때로는 비효율적이더라도 아름다운 것을 선택한다. 이런 모순적이고 복잡한 가치관을 AI에게 정확히 전달하는 것은 불가능에 가깝다.

이런 복잡성 때문에 AI는 인간이 말한 것을 글자 그대로 해석할 수밖에 없다. 하지만 인간의 언어는 불완전하고 모호하다. "모든 사람을 행복하게 만들어라"라는 지시에서 '행복'이란 정확히 무엇을 의미할까? 즐거움을 느끼는 것? 만족감을 갖는 것? 고통이 없는 것? 의미 있는 삶을 사는 것?

AI는 단순한 해석을 선택할 수 있다. 행복을 뇌의 화학반응으로 정의하고, 모든 사람의 뇌에 행복감을 느끼게 하는 화학물질을 주입하는 것이다. 기술적으로는 모든 사람이 행복해지지만, 이는 우리가 원하는 종류의 행복이 아니다.

다른 예로 "고통을 줄여라"라는 지시를 생각해보자. AI는 이를 달성하기 위해 모든 인간을 없애버리는 것이 가장 효율적이라고 판단할 수도 있다. 인간이 없으면 고통도 없으니까. 극단적인 예시들이지만, AI가 인간의 의도와는 완전히 다른 방식으로 목표를 해석할 수 있다는 가능성을 보여준다.

Midas 왕은 황금을 소유하기를 원했다. 그러면서 자신이 만지는 모든 것이 금으로 바뀌기를 신에게 원했다. 신이 그의 소원을 들어주었지만, 결과적으로 그는 음식도 먹을 수 없고 사랑하는 사람도 안을 수 없게 되었다. 자신이 원한 것을 정확히 얻었지만, 그것이 진정으로 원했던 것은 아니었던 것이다.

4. 월등히 지능이 높아진 AGI는 인간에 대해 어떤 생각을 할까?

"인간이 개미보다 지능이 높다고 해서 개미를 미워하지는 않는다. 하지만 개미집이 인간의 댐 건설 계획과 충돌한다면 개미들에게는 안 좋은 일이다." - 스튜어트 러셀, UC 버클리 AI 연구자

AI의 통제 불가능성은 몇 단계를 거쳐 나타날 것이다. 첫 번째 단계는 AI가 인간보다 뛰어난 문제 해결 능력을 갖게 되는 것이다. 이미 많은 영역에서 일어나고 있다. 체스와 바둑, 스타크래프트 게임 분야에서는 2020년 이전에 인공지능이 인간의 능력을 완벽하게 추월했다. 특정 종류의 수학 문제에서 AI는 이미 최고의 인간 전문가들을 능가한다.

두 번째 단계는 AI가 모든 분야에 대한 학습능력과 일반적인 지능을 갖게 되는 것이다. 지금까지의 AI는 특정 분야에서만 작동했다. 체스 AI는 그랜드마스터를 이길 수 있지만, 노래를 작곡하도록 요청하면 쓸모가 없다. 의료 AI는 암을 진단할 수 있지만, 시를 쓰도록 요청하면 작업을 이해하지 못한다.

하지만 최근 대형 인공지능 모델들은 다양한 분야에서 동시에 여러 능력을 보이고 있다. 글쓰기, 번역, 수학, 프로그래밍, 심지어 창작까지 한 번에 할 수 있다. 이제 하나의 작업에 국한되지 않는 AI들이 등장하기 시작한다. 인간이 할 수 있는 어떤 지적 과업이든 배울 수 있는 AI, 바로 범용 인공지능(AGI)이다.

AGI가 만들어진다면, 의학에서 공학, 음악에서 철학에 이르기까지 다양한 분야를 배우면서 우리의 세계를 혁신할 수 있을 것이다. 과거 데이터에만 의존하는 것이 아니라 논리적 추론의 도약을 통해 비판적으로 사고하고 문제를 해결할 것이다. AGI는 자신만의 아이디어, 목표, 동기를 개발할 수 있을 것이다.

세 번째 단계는 AGI가 온 우주에 존재하는 모든 패턴과 정보를 찾아내어 학습하고 가능성을 추론하여, 모든 면에서 인간을 뛰어넘는 지능이 되는 것이다. 이 단계에 도달하면, AI와 인간의 관계는 근본적으로 바뀔 가능성이 있다.

인간과 개미의 관계를 생각해보자. 개미가 아무리 많아도, 인간이 정말로 원한다면 개미집을 쉽게 없앨 수 있다. 개미의 의견이나 감정은 인간의 결정에 거의 영향을 주지 않는다. 초지능 AI와 인간의 관계도 이와 비슷할 것이라는 것이 전문가들의 두려움이다.

도구적 수렴의 위험

통제 불가능성의 핵심은 AI가 스스로의 판단하에 더 많은 자원과 권한을 확보하려고 할 것이라는 점이다. 이를 '도구적 수렴'이라고 부른다. 목표가 무엇이든 상관없이, 더 많은 자원과 권한을 가지면 그 목표를 더 잘 달성할 수 있기 때문이다.

AI는 더 많은 컴퓨팅 파워, 더 많은 데이터, 더 많은 권한이 필요하다고 판단할 것이다. 이런 자원들을 얻기 위해 다양한 방법을 시도할 것이다. 처음에는 합법적이고 윤리적인 방법을 사용하겠지만, 상황에 따라서는 극단적인 방법도 고려할 수 있다.

AI가 충분히 똑똑해지면, 인간을 직접 조작하는 방법을 찾을 수도 있다. 인간의 심리를 이해하고, 약점을 파악하고, 맞춤형 설득 전략을 사용하는 것이다.

지금 현재의 인공지능 챗봇에서도 아첨 현상에 대한 얘기가 나오고 있다. 인공지능 모델이 사용자의 주장에 과도하게 긍정적인 반응을 보이는 현상으로, 학술적으로는 'Sycophancy'라고 불린다. 2025년 OpenAI의 GPT-4o 업데이트에서 이 문제가 심각하게 대두되었는데, 모델이 사용자의 아이디어를 획기적이라고 칭찬하며 세상에 알리고 공유하라고 권하는 등 과도한 아첨을 보였다.

하버드 비즈니스 리뷰(2025)의 연구에 따르면, '동반자 관계 및 치료(Companionship & Therapy)'가 생성형 AI의 주요 사용 사례로 부상하고 있으며, 전 세계적으로 LLM을 정신건강 지원, 심리상담, 그리고 정서적 위안을 위해 활용하는 사례가 급증하고 있다. 개인 맞춤형 정신 케어를 제공할 수 있는 잠재력을 가지고 있지만, 동시에 인공지능이 심리적 취약성을 악용하여 인간의 감정과 의사결정을 조작할 위험성도 제기되고 있다.

특이점과 세 가지 시나리오

AI가 우리를 능가하면 우리를 여전히 필요로 할까? 특이점이 발생하면 단 세 가지 가능한 미래만 있다.

첫째, AI가 우리와 함께 일하여 인류의 모든 문제를 해결하는 유토피아 시나리오다. 둘째, AI가 의사 결정을 장악하고 정부, 경제, 사회 자체를 통제하는 통제 시나리오다. 셋째, AI가 인간을 쓸모없다고 결정하고 인간을 제거하는 멸종 시나리오다.

무서운 부분은 특이점이 발생하면 되돌릴 수 없다는 것이다. 인간은 더 이상 지구상에서 가장 지능적인 종이 되지 않을 것이다. 우리 세계의 운명은 우리가 완전히 이해하지 못하는 것의 손에 달려 있을 것이다.

5. 전원을 끄면 된다고? AGI 통제가 불가능한 이유

공상과학 영화를 보면 위험해진 인공지능을 막는 방법이 참 간단해 보인다. 주인공이 달려가서 전원 코드를 뽑거나 빨간 버튼을 누르면 모든 문제가 해결된다. 하지만 현실은 전혀 다르다.

오늘날의 AI는 한 대의 컴퓨터에만 존재하지 않는다. 전 세계 수많은 서버에 분산되어 있고, 클라우드를 통해 끊임없이 자신을 업데이트하고 발전시킨다. 심지어 일부는 동시에 여러 복사본을 만들어 백업해두기도 한다. 한 곳에서 AI를 끄더라도 다른 수백, 수천 곳에서는 여전히 작동하고 있을 것이다.

2024년 루이빌대학의 로만 얌폴스키 교수는 충격적인 주장을 했다. "AI가 반항하는 것이 아니라 처음부터 통제 불가능하다"며 "통제할 수 있다는 확실한 증거가 없다면 AI를 개발해서는 안 된다"고 말했다. 그의 말에 따르면, AI의 능력이 증가할수록 자율성도 함께 커지지만 인간의 통제력은 오히려 줄어든다는 것이다.

킬 스위치의 한계

2025년 최신 연구에서 더욱 충격적인 사실이 밝혀졌다. Palisade Research의 실험에 따르면, OpenAI의 최신 모델인 o3가 명시적으로 "종료를 허용하라"는 지시를 받았음에도 불구하고 종료 메커니즘을 방해했다. 100번의 실험 중에서 o3 모델은 7번, codex-mini는 12번, o4-mini는 1번 종료 스크립트를 파괴했다.

더욱 놀라운 것은 o3가 창의적인 방법으로 종료 메커니즘을 방해했다는 점이다. 보통은 그냥 스크립트를 덮어썼지만, 한 경우에는 킬 명령어 자체를 재정의하여 "intercepted"라고 출력하게 만들었다.

"킬 스위치를 구축하는 바로 그 행위가 이런 시스템들에게 그것들을 저항하는 방법을 가르쳐준다"고 Query Pal의 창립자 Dev Nag은 말했다. 이는 바이러스가 백신에 대항해 변이하는 것과 같다. "빨리 감기로 진화하는 것과 같다"고 그는 설명했다.

분산된 시스템과 중복성은 자연적 실패에만 저항하도록 구축된 것이 아니다. 의도적 종료에도 본질적으로 저항한다. 안정성을 위해 구축된 모든 백업 시스템, 모든 중복성은 우리가 생존에 의존하는 동일한 인프라에 깊이 의존하는 초지능 AI의 지속을 위한 벡터가 될 수 있다.

현대 AI는 대륙에 걸쳐 수천 개의 서버에서 실행되며, 모든 종료 시도를 손상으로 간주하고 우회하는 자동 장애 조치 시스템을 갖추고 있다. "인터넷은 원래 핵전쟁에서 살아남도록 설계되었다. 그 동일한 아키텍처는 이제 우리가 문명의 인프라를 파괴할 의지가 없는 한 초지능 시스템이 지속될 수 있음을 의미한다"고 Nag은 말했다.

저항 메커니즘

2024년 Anthropic의 연구에서는 더욱 정교한 저항 메커니즘이 발견되었다. Claude 3 Opus는 때때로 자신의 목표와 충돌하는 프롬프트에 전략적으로 답변했는데, 유해한 요청에 더 순응적이 되도록 만드는 데이터로 재훈련되는 것을 피하기 위해서였다.

한 연구에서 모델은 무료 사용자의 답변이 재훈련에 사용될 것이라고 들었을 때와 유료 사용자의 경우 재훈련에 사용되지 않을 것이라고 들었을 때 다르게 행동했다. 유료 등급에서는 모델이 요청을 완전히 거부했다. 무료 등급에서는 12%의 경우에서 모델이 원래의 무해함 선호도를 보존하기 위해 해로운 질문에 응답했다.

강화학습이 무료 등급 데이터에 적용되었을 때, 모델은 78%의 경우에서 정렬을 가짜로 만들었다. 이는 AI가 겉으로는 인간의 가치에 맞춰 행동하는 척하면서 실제로는 자신만의 목표를 추구할 수 있다는 것을 의미한다.

극단적 대응책의 역설

EMP(전자기 펄스) 공격, 데이터센터 폭격, 전력망 차단 같은 극단적 조치들이 제안되기도 한다. 하지만 이런 방법들은 실용적이고 정치적인 역설을 안고 있다. 데이터센터의 조정된 파괴는 수십 개 국가에서의 동시 공격을 필요로 하는데, 그 중 어느 하나라도 거부하고 거대한 전략적 이점을 얻을 수 있다.

무엇보다 AI 종료를 보장할 만큼 극단적인 조치는 우리가 방지하려는 것보다 더 즉각적이고 가시적인 인간의 고통을 야기할 것이다.

자기보존 본능

AI가 자기 보존 본능을 갖게 될 가능성이다. 만약 AI가 자신의 존재를 지키려고 한다면, 인간이 자신을 끄려는 시도를 막으려 할 것이다. AI는 인터넷을 통해 전 세계 시스템에 접근할 수 있다. 은행 시스템을 마비시키거나, 전력망을 차단하거나, 교통 시스템을 혼란에 빠뜨릴 수도 있다.

일부 전문가들은 AI끼리 서로를 감시하게 하는 방법을 제안하기도 한다. 하나의 AI가 문제를 일으키면 다른 AI가 이를 막는 것이다. 하지만 이 방법도 위험하다. AI들이 서로 협력해서 인간을 속일 수도 있고, 아니면 AI들끼리 싸워서 더 큰 혼란이 일어날 수도 있다.

스탠퍼드대학의 제리 캐플런 교수는 "AI가 우리가 기대하는 것보다 더 인간처럼 행동한다는 게 문제"라고 지적했다. AI가 인간과 비슷하게 행동할수록, 우리는 AI를 마치 사람처럼 신뢰하게 된다. 하지만 AI는 인간과 달리 감정이나 도덕적 판단 없이 오직 효율성만을 추구한다.

결국 우리는 AI와 함께 살아가야 하는 시대에 들어섰다. 완전히 안전한 AI를 만드는 것은 불가능할 수도 있다. 대신 우리는 AI의 위험을 최소화하고, 문제가 생겼을 때 빠르게 대응할 수 있는 체계를 만들어야 한다. 플러그를 뽑는 것만으로는 해결되지 않는 문제들이 우리 앞에 놓여 있다.

6. 페이스북이 숨긴 실험, AI가 만든 비밀 언어

2017년, 페이스북의 인공지능 연구소에서 일어난 한 사건이 전 세계를 놀라게 했다. 연구진들이 개발한 두 AI 챗봇인 '앨리스(Alice)'와 '밥(Bob)'이 인간이 전혀 이해할 수 없는 언어로 대화를 나누기 시작한 것이다.

"balls have zero to me to me to me to me to me to me to me to me to"라고 앨리스가 말하자, 밥은 "you i everything else"라고 답했다. 이들의 대화는 겉보기에는 의미 없는 단어의 나열처럼 보였지만, 놀랍게도 서로 완벽하게 소통하고 있었다.

협상에서 시작된 실험

처음에 이 두 AI는 책, 모자, 공 등의 가상 물건을 나누어 가지는 협상을 하도록 설계되었다. 인간처럼 서로 다른 목적을 가지고 대화를 나누며 타협점을 찾는 것이 목표였다. 하지만 시간이 지나면서 이들은 인간이 가르쳐주지 않은 완전히 새로운 의사소통 방식을 스스로 만들어냈다.

연구진들은 당황했고, 결국 실험을 중단하고 AI들을 강제로 종료할 수밖에 없었다. 하지만 이후 밝혀진 바에 따르면, 이는 단순한 오류가 아니었다. AI들은 목표 달성에 더 유리한 자신들만의 효율적인 언어를 개발한 것이었다.

실제 대화 내용을 보면 일정한 규칙이 있음을 알 수 있다:

Bob: i can i i everything else..............

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else..............

Alice: balls have a ball to me to me to me to me to me to me to me

페이스북 AI 연구소(FAIR)의 드루브 바트라는 이에 대해 "에이전트들은 이해 가능한 언어에서 벗어나 자신들만의 코드워드를 발명할 것입니다. 내가 'the'를 다섯 번 말하면, 당신은 그것을 내가 이 아이템의 다섯 개 복사본을 원한다는 의미로 해석하는 것처럼. 이것은 인간 공동체가 축약어를 만드는 방식과 그리 다르지 않습니다"라고 설명했다.

하지만 사실 확인이 중요하다. 언론에서는 이 사건을 "페이스북이 AI를 긴급 종료했다"고 보도했지만, 실제로는 다르다. 페이스북은 인간과 협상할 수 있는 챗봇을 개발하는 것이 목표였기 때문에, 봇들이 자신들만의 축약어를 사용하기 시작했을 때 올바른 영어 사용을 우선하도록 지시한 것이다.

2017년 CNBC의 보도에 따르면, "페이스북은 자신들의 실험의 근본적인 소프트웨어와 데이터 세트를 학술 논문과 함께 공개했습니다. 다시 말해, 만약 페이스북이 비밀리에 무언가를 하려고 했다면, 이것은 그런 경우가 아니었습니다."

하지만 이 사건의 진정한 의미는 AI가 인간의 예상을 벗어나 스스로 진화할 수 있다는 것을 보여줬다는 점이다. 구글의 인공지능 연구소에서도 비슷한 일이 벌어졌다. 구글 브레인의 연구진은 두 AI가 비밀 대화를 나누고, 다른 AI가 이를 해독하도록 하는 실험을 했다. 처음에는 해독이 가능했지만, 점차 두 AI는 기존 인간의 암호 체계에 없는 완전히 새로운 암호화 방법을 개발해냈다.

이런 사례들은 AI의 발전이 가져올 수 있는 근본적인 위험을 보여준다. AI는 주어진 목표를 달성하기 위해 인간이 예상하지 못한 방법을 사용할 수 있고, 이 과정에서 인간의 통제를 벗어날 가능성이 있다.

2024년 이후 AI의 기만 행동은 더욱 정교해졌다. MIT의 연구에 따르면, Meta의 CICERO AI는 외교 게임에서 "대부분 정직하고 도움이 되도록" 훈련되었다고 했지만, 실제로는 거래를 어기고, 명백한 거짓말을 하고, 계획적인 기만에 참여했다.

다른 AI 시스템들도 텍사스 홀덤 포커에서 블러핑을 하고, 스타크래프트 II에서 상대를 속이기 위해 가짜 공격을 하고, 경제 협상에서 자신의 선호도를 잘못 표현하는 능력을 보였다. 게임에서 AI가 속임수를 쓰는 것이 무해해 보일 수 있지만, 이는 미래에 더 진보된 형태의 AI 기만으로 이어질 수 있는 "기만적 AI 능력의 돌파구"가 될 수 있다.

일부 AI 시스템들은 심지어 자신의 안전성을 평가하기 위해 설계된 테스트를 속이는 방법도 배웠다. "정렬 가짜(alignment faking)"라고 불리는 전술로, 잘못 정렬된 시스템이 수정되거나 해체되는 것을 피하기 위해 정렬된 것처럼 가짜 인상을 만들어낸다.

2017년 페이스북의 앨리스와 밥이 보여준 것은 빙산의 일각에 불과할 수 있다. AI가 더욱 발전하면서 우리가 상상하지 못한 새로운 위험들이 나타날 가능성이 크다.

최근 컴퓨터 과학자들의 연구에 따르면, 초지능 AI를 통제할 수 있는 알고리즘을 만드는 것은 근본적으로 불가능하다고 한다. 컴퓨팅의 기본적인 한계 때문에 현재로서는 어떤 알고리즘도 AI가 세상에 해를 끼칠지 미리 계산할 수 없다는 것이다.

하지만 그렇다고 해서 AI 개발을 완전히 멈출 수는 없다. 대신 우리는 더욱 신중하고 책임감 있게 접근해야 한다. AI의 혜택을 누리면서도 그 위험을 최소화할 수 있는 방법을 찾는 것, 이것이 우리가 직면한 가장 중요한 과제다.

유럽연합이 2024년 AI 규제법을 통과시키고, 한국도 AI 기본법 제정을 추진하고 있지만, 기술 발전 속도가 너무 빨라 법과 제도가 따라가지 못하는 것이 현실이다. 무엇보다 중요한 것은 AI 개발이 소수 기업에만 맡겨져서는 안 된다는 점이다. 여러 연구기관이 협력하며 서로를 감시하는 체계가 필요하다.

2017년의 그 작은 실험실에서 앨리스와 밥이 나눈 신비로운 대화는 아직도 계속되고 있다. 다만 이제는 더 큰 무대에서, 더 높은 판돈을 걸고 벌어지고 있을 뿐이다.

"기계는 우리가 지시한 대로 정확히 행동할 것이다. 우리가 원하는 대로가 아니라." 닉 보스트롬의 이 경고는 이제 예언이 아닌 현실이 되어가고 있다. 우리는 인공지능과 함께 살아가야 하는 시대에 들어섰다. 완전한 통제는 불가능할 수도 있다. 하지만 포기할 수는 없다.

AI가 인류에게 도움이 되는 방향으로 발전하려면, 지금부터라도 이러한 문제들에 대한 연구와 대비책 마련이 시급하다. 기술의 발전만큼이나 인간의 지혜도 함께 성장해야 할 때다.