AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 8장 포스트닥과 학제 간 융합
데미스 허사비스, 구글 인공지능의 아버지
8 포스트닥과 학제 간 융합
김경란, 김경진
탐색 2009년의 어느 늦은 오후, 미국 매사추세츠주 케임브리지의 찰스 강변을 걷던 데미스 허사비스의 머릿속은 두 개의 서로 다른 세계가 충돌하고 있었습니다. 그의 뒤편에는 세계 최 고의 공과대학인 MIT가 서 있었고, 강 건너편에는 하버드 대학의 붉은 벽돌 건물들이 보였습니다. 이 지리적 풍경은 당시 허사비스가 처해 있던 지적 인 위치를 정확하게 보여주는 은유와도 같았습니다.
그는 런던 대학(UCL)에서 기억 과 상상력에 관한 뇌과학 박사 학위를 막 마친 상태였습니다. 보통의 과학자라면 여 기서 선택을 해야했습니다. 뇌를 연구하 는 생물학자가 될 것인가, 아니면 코드를 짜 는 컴퓨터 공학자가 될 것인가. 하지만 허사비 스는 두 가지를 모두 선택했습니다.
그 는 이 두 세계를 연결하는 다리가 되기로 결심하고 대서양을 건너 MIT의 맥가번 뇌 연구소(McGovern Institute)로 향했습니다. 그가 찾아간 곳은 토마소 포지오(Tomaso Poggio) 교수의 연구실이었습니다. 포지 오 교수는 컴퓨터 비전(Computer Vision) 분야의 거장으로, 인간의 뇌가 사물을 보는 방식을 수학적으 로 모델링하는 데 평생을 바친 인물이었습니다.
허사비스가 이곳을 선택한 이유는 명확했습니다. 당시 인공지능 연구는 '겨울'이라고 불리는 침체기를 겪 고 있었지만, 포지오 교수 의 연구실만은 달랐기 때문입니다. 그곳에서는 생물학적 뇌 의 원리를 컴퓨터 알고리즘으 로 변환하려는 시도가 활발히 이루어지고 있었습니다.
허사비스는 이곳에서 "뇌를 이해하 면 지능을 만들 수 있다"는 자신의 가설을 검증할 완벽한 환경을 만났습니다. 이 시기 허사비스는 영국의 웰컴 트러스트(Wellcome Trust) 재단으로부터 '헨리 웰 컴 펠로 우십(Henry Wellcome Fellowship)'이라는 매우 특별한 지원을 받고 있었습니다. 이 펠로우 십은 젊은 과학자에게 연구 주제와 장소를 자유롭게 선택할 수 있는 파격적인 권한과 예산을 부여했습니다.
덕분에 허사비스는 특정 교수의 프로젝트에 종속되지 않고, 자신만의 거 대한 목표인 '범용 인공지능(AGI)'을 위한 기초 설계를 다
질 수 있었습니다. 그는 MIT와 하 버드를 자유롭게 오가며 당대 최고의 지성들과 교 류했습니다. 허사비스는 하버드 대학의 연구실을 방문해 최신 뇌 스캔 데이터를 분석하고, 다시 MIT로 돌아와 그 데이터를 처리할 머신러닝 모델을 구상했습니다.
이 과정에서 그는 생물학적 뇌 가 가진 놀라운 효율성에 주목했습니다. 인간의 뇌는 고작 20와트(W) 정 도의 에너지만으 로 복잡한 세상을 인식하고, 걷고, 대화하고, 새로운 것을 배웁니다. 반면 당시의 컴퓨터는 엄청난 전력을 쓰고도 고양이와 강아지를 구분하는 것조차 어 려워했습니다. 허사비스는 이 격차를 줄이는 열쇠가 '계산 신경과학(Computational Neuroscience)'에 있다 고 확신했습니다.
이것은 뇌의 신경 세포가 신호를 주고받는 방식을 수학 공식으로 옮겨 적는 학문입니다. 그는 뇌의 시각 피질이 정보를 단계적으 로 처리하는 방식을 딥러닝(Deep Learning) 기술에 접목하는 가능성을 탐구했습니다. MIT의 분위기는 열정적이면서도 실용적이었습니다.
허사비스는 그곳의 연구원들 과 밤늦 도록 토론하며 자신의 아이디어를 다듬었습니다. 자신이 이전에 만들었던 게 임 속 인공지 능들이 보여준 한계를 뼈저리게 느끼고 있었습니다. 게임 속 캐릭터들은 프로그래머가 미 리 입력해 둔 규칙 안에서만 똑똑해 보였습니다.
하지만 허사비스가 원한 것은 낯선 환경 에 던져져도 스스로 규칙을 깨우치는 진정한 지능이었습니다. 그는 포지오 교수와의 연구를 통해, 인간의 뇌가 시각 정보를 처리할 때 보여주는 '계층적 구조'가 바로 그 해답 중 하나임을 깨달았습니다. 우리가 사물을 볼 때, 뇌는 먼저 단순한 선 과 색을 인식하고, 그것을 조합해 모양을 만들고, 최종적으로 '이것은 자동차다'라는 개념을 형성합니다.
이 생물학적 위계질서는 훗날 딥마인드의 인공지 능이 화면의 픽셀(Pixel) 만 보고도 벽돌 깨기 게임을 정복하게 만드는 기술적 토대가되었습니다. 미국에서의 시간은 허사비스에게 또 다른 자산을 남겼습니다. 바로 '야망의 크기'였 습니 실리콘밸리와 보스턴의 학구적 분위기 속에서 그는 연구가 단순히 논문을 쓰는 것으 로 끝나서는 안 된다는 것을 배웠습니다.
위대한 연구는 세상을 바꾸는 기술로 구현되어 야했습니다. 그는 이곳에서 만난 동료들에게 "우리는 지능을 이해할 것이 다"라는 말을 서 슴없이 던지곤했습니다. 누군가는 그를 허풍선이라고 생각했을지 모
르지만, 허사비스의 머릿속에는 이미 게임 개발자로서의 경험, 뇌과학자로서의 지식, 그리고 머신러닝이라는 도구가 하나로 융합되고 있었습니다. 이제 이 모든 재료를 가 지고 자신의 고향인 런던으 로 돌아가, 인류 역사상 가장 대담한 스타트업을 시작할 준비를 마친 것입니다. 헨리 웰컴 펠로우십(Henry Wellcome Fellowship)과 UCL 개츠비 계산신경과학유 닛 2010년, 데미스 허사비스는 미국 생활을 정리하고 런던으로 돌아왔습니다.
그의 다음 행선 지는 유니버시티 칼리지 런던(UCL)에 위치한 '개츠비 계산신경과학유닛 (Gatsby Computational Neuroscience Unit)'이었습니다. 일반 대중에게는 낯선 이름일지 모르지만, 인공지능 연구자들에게 이곳은 전설적인 성지(聖 地)와도 같습니다. 이곳은 훗날 노벨 물리학상을 수상하게 되는 제프리 힌튼 (Geoffrey Hinton) 교수가 설립을 주도한 곳으로, 전 세계에서 가장 똑똑하고 수학적 인 두뇌들이 모여 인간 지능의 비밀을 파헤치는 곳이었습니다.
허사비스가 이곳을 선 택한 것은 우연이 아니었습니다. 자신이 구상하고 있던 '딥마인드'라는 씨앗을 틔울 수 있는 유일한 토양임을 직 감했습니다. 허사비스가 개츠비 유닛에 합류할 수 있었던 것은 앞서 언급한 '헨리 웰컴 펠로우 십' 덕분이었습니다.
이 펠로우십은 그에게 재정적 자유뿐만 아니라, 연구의 방향을 스스로 결정할 수 있는 지적인 독립성을 보장해주었습니다. 당시 개츠비 유닛은 피터 데이언(Peter Dayan) 교수가 이끌고 있었습니다. 데이언 교수는 이론 신경과학의 대 가로, 뇌가 어떻게 학습하고 보상(Reward)을 처리하는지를 수학적으로 규명한 인물이었습니다.
개츠비 유닛은 뇌과학 과 기계학습이 융합되는 용광로였습니다. 개츠비 유닛의 분위기는 치열했습니다. 연구원들은 생물학적인 뇌 실험 데이터와 복잡한 확률 통계학 사이를 쉼 없이 오갔습니다.
허사비스는 이곳에서 자신의 오랜 친 구이자 훗 날 딥마인드의 공동 창립자가 되는 셰인 레그(Shane Legg)를 만났습니다. 두 사람은 점심시 간마다 학교 근처의 샌드위치 가게나 펍(Pub)에 앉아 몇 시간이고 대화를 나누었습니다. 대화 주제는 단 하나, "어떻게 하면 인간 수준의 인공지능(AGI) 을 만들 수 있을까?"였습니 당시 학계에서는 AGI라는 단어를 입에 올리는 것조차 금 기시되는 분위기였습니다.
인 공지능 연구는 특정 문제만 해결하는 좁은 인공지능 (Narrow AI)에 갇혀 있었고, 인간처럼 범용적인 지능을 논하는 것은 공상과학 소설
취급을 받았습니다. 하지만 개츠비 유닛의 자 유롭고 근본적인 탐구 분위기 속에서 허 사비스와 레그는 그 금기를 깰 용기를 얻었습니다. 허사비스는 개츠비 유닛에서 연구하는 동안 '시스템 신경과학(Systems Neuroscience)'에 깊 이 파고들었습니다.
뇌의 개별 세포가 아니라, 뇌 전체가 하나의 시스템으로서 어떻게 정 보를 통합하고 기억을 저장하며 미래를 시뮬레이션하는지를 연구하는 분야입니다. 그는 뇌의 '해마(Hippocampus)'가 수행하는 역할에 주목했습니다. 해마는 우리가 잠을 잘 때, 낮 에 겪었던 경험을 마치 비디오를 되감듯이 빠르게 재생(Replay)하며 기억을 강화합니다.
허사비스는 이 생물학적 메커니즘이 인공지능 의 학습 효율을 획기적으로 높일 수 있는 열 쇠라고 생각했습니다. 이곳에서의 경험은 허사비스에게 '하이브리드(Hybrid)'의 힘을 가르쳐주었습니다. 그는 순 수 뇌과학자들 틈에서는 컴퓨터 알고리즘의 명쾌함을 이야기했고, 머신러닝 공학자들 틈 에서는 뇌의 유연함을 이야기했습니다.
두 집단이 사용하는 언어가 서로 다르지만, 결국 같은 문제를 풀고 있다는 것을 깨 달았습니다. 바로 "지능이란 무엇인가"라는 질문입니다. 개츠비 유닛에서의 시간은 허사비스가 딥마인드를 창업하기 직전의 마지막 인큐베이팅 기간이었습니다.
그는 이 곳에서 최신 이 론들을 흡수하는 것에 그치지 않고, 그 이론들을 실제로 작동하는 코 드로 구현할 동료들을 모으기 시작했습니다. 개츠비 유닛은 허사비스에게 학문적 엄밀함(Rigour)을 선물했습니다. 그는 단순히 "될 것 같다"는 직관에 의존하지 않고, 수학적으로 증명 가능하고 생물학적으로 타당 한 모델을 만 드는 법을 배웠습니다.
이곳에서 다져진 이론적 토대는 훗날 알파고가 바둑의 복잡성을 뚫 고 승리할 수 있었던 밑거름이되었습니다. 허사비스가 2010년 딥마인드를 설립했을 때, 회사의 초기 멤버 대부분이 이 개츠비 유닛 출신이거나 그곳과 연관된 인물들이었다는 사실은 결코 우연이 아닙니다. 헨리 웰컴 펠로우십이 제공한 시간과 자유, 그리고 개츠비 유닛이라는 지적 공동체 는 청년 허사비스를 세계적인 AI 리더로 변모시키는 결정적인 도가니가되었습니다. 강화학습과 도파민 시스템 신경과학 + 계산 = 범용학습의 단서 런던의 흐린 날씨 속에서도 유니버시티 칼리지 런던(UCL)의 연구실은 지적 열기로 뜨거웠습니다. 이 곳에서 만난 피터 데이언 교수는 허사비스가 오랫동안 품어온 질문에 답을 줄 수 있는
현자(賢者)와 같았습니다. 피터 데이언은 계산 신경과학(Computational Neuroscience) 분야의 개척자 중 한 명으로, 우리 뇌가 어떻게 보상을 통해 학습하는 지를 수 학적으로 증명해낸 인물이었습니다. 허사비스와 데이언의 만남은 마치 1980 년대 애플의 스티브 잡스와 워즈니악의 만남처럼, 서로 다른 재능이 완벽하게 맞물리 는 순간이었습니다.
이들이 함께 탐구한 핵심 주제는 '강화학습(Reinforcement Learning)'이었습니다. 강화학습을 쉽게 설명하자면, 강아지를 훈련시키는 과정과 비슷합니다. 강아지가 '앉 아'라는 명령어 에 맞춰 앉으면 간식을 줍니다. 그러면 강아지는 '앉는 행동'과 '간식(보 상)'을 연결하게 되 고, 점차 그 행동을 더 잘하게됩니다.
하지만 허사비스와 데이언 의 관심사는 이것을 생물 학적 차원과 컴퓨터 알고리즘 차원에서 동시에 설명하는 것이었습니다. 피터 데이언은 1990년대 중반, 뇌 속에 있는 '도파민(Dopamine)'이라는 신경 전달 물질의 역 할을 재정의했습니다. 흔히 도파민을 '쾌락의 호르몬'이라고 생각하지만, 데 이언과 그의 동 료들은 도파민이 '보상 예측 오류(Reward Prediction Error)'를 신호 한다는 사실을 밝혀냈습니다.
이게 무슨 뜻일까요? 예를 들어, 당신이 자판기에서 커피를 뽑아 마시려는데 동전 이 나오 지 않았다고 가정해 봅시다. 이때 당신의 뇌는 '커피를 기대함' 상태에서 '아무 것도 없음'이 라는 결과를 맞닥뜨립니다. 기대와 실제 결과의 차이, 이것이 바로 '예측 오류'입니다. 이때 뇌의 도파민 세포는 활동을 멈추거나 급격히 줄어들며 '실망'이라는 신호를 보냅니다. 반대로, 자판기에서 커피와 함 께 뜬금없이 만 원짜리 지폐가 나왔다면? 기대치보다 훨씬 큰 보상이 주어 졌으므로 도파 민 세포는 폭발적으로 반응합니다. 이것이 '긍정적 예측 오류’입니다.
허사비스는 이 생물학적 발견이 컴퓨터 과학의 'TD 학습(Temporal Difference Learning)' 알 고리즘과 정확히 일치한다는 점에 전율했습니다. 컴퓨터 과학자들이 기계를 학습시키기 위해 고안해낸 수학 공식이, 알고 보니 이미 수억 년 전부터 우리 뇌 속에서 작동하고 있었던 것입니다. 이것은 엄청난 발견이었습니다.
"인 공지능을 만들기 위해 외계의 기술을 발명할 필요가 없다. 이미 우리 머릿속 에 있는 설계 도를 베끼면 된다"는 확신을 주었기 때문입니다.
허사비스는 피터 데이언과의 협업을 통해, 단순히 데이터를 분류하는 AI가 아니라 '스스로 행동하고 그 결과로부터 배우는 AI'의 가능성을 보았습니다. 당시 대부분의 AI 연구는 사진을 보고 고양이인지 개인지 맞히는 '지도 학습(Supervised Learning)'에 치중해 있었습니다. 정답지가 있는 문제를 푸는 것이죠. 하지만 강화학 습은 정답지가 없습니다.
에이전트(AI) 가 환경과 상호작용하며 수만 번의 시행착오 끝에 스스로 전략을 찾아내는 방식입니다. 이 것은 어린아이가 걷는 법을 배우는 과정 과 똑같습니다. 넘어지고, 아파하고, 다시 일어나 면서 균형을 잡는 법을 스스로 깨우 치는 것입니다.
이 연구는 허사비스에게 '범용성(Generality)'에 대한 중요한 단서를 제공했습니다. 도파민 시스템은 우리가 자전거를 배울 때도, 악기를 연주할 때도, 바둑을 둘 때도 똑같이 작동합니다. 즉, 뇌에는 모든 종류의 학습을 관장하는 하나의 통합된 알고리즘 이 존재할지 도 모른다는 가설이 성립합니다.
허사비스는 이 '하나의 알고리즘'을 컴퓨터에 구현할 수만 있다면, 그 AI는 바둑만 잘 두는 것이 아니라, 단백질 구조도 풀고, 기후 문제도 해결할 수 있을 것이라고 믿었습니다. 피터 데이언과의 연구실에서 보낸 시간들은 훗날 딥마인드가 "범용 학습 알고리즘을 만든다" 는 창립 미션을 세우는 데 결정적인 이론적 토대가되었습니다. 인간 뇌에서 찾은 AI 알고리즘의 힌트: DQN의 이론적 토대 허사비스가 피터 데이 언과 함께 연구하며 얻은 통찰은 2013년 딥마인드의 첫 번째 성과물인 'DQN(Deep Q-Network)'으로 구체화되었습니다.
DQN은 딥마인드가 세상에 이름을 알리게 된 계기이자, 구글이 이 작은 런던의 스타트업을 5천억 원이 넘는 거액에 인 수하게 만든 결정적인 기술이었습니다. 이 기술의 핵심 아이디어는 놀랍게도 허사비스가 박사 과 정 때 연구했던 뇌의 '해마(Hippocampus)'에서 나왔습니다. DQN은 1980년대의 고전 비디오 게임인 '아타리(Atari)' 게임들을 인간보다 더 잘 플레이하 도록 설계되었습니다.
하지만 이 AI에게는 게임의 규칙을 알려주지 않았습니다. 오직 화면 의 픽셀 정보(시각)와 점수(보상)만 주어졌습니다. 처음에는 AI가 무작위로 버튼을 눌러보며 엉뚱한 행동을 했지만, 시간이 지날수록 점수를 얻는 방법을 스스로 터득해 나갔습니다.
그런데 여기서 한 가지 치명적인 문제 가 있었습니 컴퓨터가 연속적인 게임 화면을 학습할 때, 데이터들이 서로 너무 비슷해
서 학습이 불 안정해지거나 잊어버리는 현상이 발생했습니다. 이를 '파국적 망각 (Catastrophic Forgetting)' 이라고 부릅니다. 이 난관 앞에서 허사비스는 뇌과학자로서의 지식을 꺼내 들었습니다. "인간은 어떻 게 새로 운 것을 배우면서도 옛날 것을 잊어버리지 않을까?"
그는 뇌의 해마가 가진 '경험 재생 (Experience Replay)' 기능에 주목했습니다. 우리가 잠을 자거나 휴식을 취 할 때, 뇌는 낮 동 안 겪었던 중요한 경험들을 무작위 순서로, 그리고 빠른 속도로 다 시 재생합니다. 마치 시험공부를 할 때 중요 내용을 뒤섞어가며 복습하는 것과 같습니다.
이 과정을 통해 단기 기억이 장기 기억으로 견고하게 저장됩니다. 허사비스는 이 생물학적 원리를 AI 코드에 그대로 적용했습니다. 그는 AI가 게임을 하면서 겪은 수많은 장면과 경험들을 즉시 버리지 않고 '경험 버 퍼 (Experience Buffer)'라는 저장소에 모아두도록했습니다.
그리고 학습을 할 때는 현재의 경 험뿐만 아니라, 저장소에 있는 과거의 경험들을 무작위로 꺼내어 함께 학습 시켰습니다. 이 것이 바로 DQN의 핵심 기술인 '경험 리플레이(Experience Replay)'입니다. 효과가 있었습니다.
AI의 학습은 놀랍도록 안정화되었고, 성능은 폭발적으로 향상되었습니다. 벽돌 깨기 게임(Breakout)에서 DQN이 보여준 모습은 이런 모습이었습니다. 처음에는 공을 맞히지도 못하던 AI가 300번의 학습 후에는 완벽하게 공을 받아내 더니, 500 번이 넘어가자 누구도 가르쳐준 적 없는 '터널링(Tunneling)' 전략을 스스로 발견했습니다.
벽돌의 한쪽 끝을 집중적으로 파서 구멍을 낸 뒤, 공을 그 뒤쪽으로 보 내 벽돌들이 저절로 깨지게 만드는 고급 기술이었습니다. 데이비드 실버를 비롯한 딥 마인드의 연구원들은 새 벽 3시에 모니터 앞에서 이 장면을 목격하고 입을 다물지 못했습니다. 그것은 기계가 창의성을 발휘한 순간이었습니다.
피터 데이언과의 연구를 통해 확립된 '보상에 의한 학습' 이론과, 허사비스가 뇌과학에서 가져온 '기억의 재생' 메커니즘이 만나 탄생한 DQN은 단순한 게임 AI가 아니었습니다. 생물학적 지능의 원리가 실리콘 칩 위에서도 작동할 수 있음을 증명한 역사적인 사 건이었습니다. 뇌에서 찾은 힌트가 AI 알고리즘의 결정적인 퍼즐 조각이 된 것입니다.
이 성공은 허사비스에게 확신을 주었습니다. "우리는 올바른 길을 가고 있다." 이 확신은 훗날 바둑 판 위에서 인류를 놀라게 할 알파고(AlphaGo)의 탄생으로 이어지 는 거대한 여정의 서막이었습니다.
허사비스에게 있어 DQN은 인간의 뇌를 모방하 여 만든 최초의 '생각하는 기계' 의 원형(Prototype)이었습니다. 생물학적 뉴런과 인공 뉴런의 구조 비교
이 책이 잠시라도 당신 곁에 머물렀다면, 다음 이야기가 세상에 나올 수 있도록 후원해 주세요.
(자발적 후원 부탁 구좌 : 농협 302-1096-0948-81 예금주 : 김경진)