데미스 허사비스, 구글 인공지능의 아버지

제5부 세기의 대결, 알파고와 인간

12 AI의 Holy Grail, 바둑

김경란, 김경진

년 5월, 뉴욕의 한 빌딩에서 체스 세계 챔피언 가리 카스파로프(Garry Kasparov)가 머 리를 감싸 쥐고 패배를 인정했습니다. IBM의 슈퍼컴퓨터 '딥블루(Deep Blue)'가 인간 지성 의 자존심을 무너뜨린 역사적인 순간이었습니다. 당시 20대 초반의 청년이 었던 데미스 허 사비스는 이 장면을 보며 복잡한 감정을 느꼈습니다.

그는 이미 13세 에 체스 마스터 등급 에 올랐던 신동이었고, 컴퓨터가 인간을 이기는 것이 얼마나 어 려운 일인지 누구보다 잘 알고 있었습니다. 하지만 허사비스의 눈에 딥블루의 승리는 진정한 '지능'의 승리가 아니었습니다. 그 것은 압 도적인 연산 속도로 모든 경우의 수를 계산해 낸, 거대하고 무식한 계산기의 승리였습니다.

"체스는 이제 풀렸다. 하지만 지능은 풀리지 않았다.” 허사비스에게 체스는 '닫힌 시 스템'이었습니다. 규칙은 명확하고 정보는 모두 공개되어 있 으며, 계산 능력만 충분 하다면 언젠가는 정답을 찾을 수 있는 문제였습니다.

그가 꿈꾸는 범용 인공지능(AGI), 즉 인간처럼 직관을 가지고 불확실한 상황에서 판단을 내리는 지능을 만들기 위해서는 체스보다 훨씬 더 거대하고, 혼돈스럽고, 심오 한 도전 과 제가 필요했습니다. 그 답은 동양의 고대 게임, '바둑'이었습니다. 서양의 컴퓨터 과학자들에게 바둑은 오랫동안 '넘을 수 없는 벽'이자 인공지능 연구 의 '성 배(Holy Grail)'로 불렸습니다.

그 이유는 단순하면서도 압도적인 '복잡성' 때문입니다. 체스 판은 8x8, 총 64개의 칸으로 이루어져 있지만, 바둑판은 19x19, 총 361 개의 교차점을 가집 니다. 바둑에서 가능한 수의 조합은 10의 170승에 달합니다. 이는 전 우주에 존재하는 모 든 원자의 수(약 10의 80승)를 합친 것보다 훨씬 더 큰 숫자입 니다. 딥블루가 사용했던 '무작위 대입(Brute Force)' 방식, 즉 모든 수를 일일이 계산해서 답을 찾 는 방식은 바둑에서 절대 통하지 않는다는 것입니다. 바둑을 두는 인간 기사

들은 모든 수를 계산하지 않습니다. 그들은 '모양'을 보고, '흐름'을 읽으며, '직관'을 사 용합니다. "여기가 좋아 보여서 뒀다"는 프로 기사의 말은 단순한 느낌이 아니라, 수만 번의 대국 경험이 뇌 속에서 압축되어 나오는 고도로 정제된 패턴 인식의 결과입니다.

허사비스가 바둑을 선택한 것은 바로 이 지점 때문이었습니다. 바둑을 정복하려면 컴퓨터에게 계산 능력이 아니라 '직관(Intuition)'을 가르쳐야했습니다. 만약 AI가 바 둑에서 인간 최고수를 이길 수 있다면, 그것은 기계가 비로소 인간의 고유 영역이라 믿었던 직관과 창 의성을 흉내 내는 단계에 진입했음을 증명하는 사건이 될 것이기 때 문입니다.

딥마인드 팀에게 바둑은 현실 세계의 축소판(Microcosm)이었습니다. 현실 세계는 정해진 답이 존재하지 않습니다. 무수히 많은 선택지가 있고, 그 선택의 결과가 즉각 적으로 나타 나지 않으며, 불확실성이 가득합니다.

허사비스는 바둑을 통해 AI가 이 '무한한 탐색 공간' 을 어떻게 효율적으로 항해할 수 있는지 검증하고자했습니다. 2014년 당시 최고의 바둑 AI조차 아마추어 5단 수준에 머물러 있었습니다. 프로 기 사에게 는 4~5점을 미리 깔고 두어도 이기지 못하는 수준이었습니다.

많은 전문가들 은 "AI가 바 둑 챔피언을 이기려면 적어도 10년은 더 걸릴 것"이라고 예측했습니다. 하지만 허사비스는 그 10년의 시간을 단축시킬 준비가 되어 있었습니다. 그는 뇌과 학에서 얻은 영감을 바탕으로, 기존의 규칙 기반 프로그래밍을 버리고 기계가 스스로 학습하는 시 스템을 구축하기 시작했습니다.

딥마인드의 런던 본사에서는 조용하지만 치열하게, 인류 지성사의 흐름을 바꿀 준비가 진행되고 있었습니다. 강화학습, 몬테카를로 트리 탐색(MCTS), 심층 신경망의 결합 허사비스와 딥마인 드의 수석 연구원 데이비드 실버(David Silver)가 설계한 알파고의 아키 텍처는 마치 인간의 뇌가 작동하는 방식을 소프트웨어로 구현한 것과 같았습니다. 이들은 세 가지 강력한 기술을 정교하게 결합하여 바둑이라는 거대한 우주를 공략했습니다.

그것 은 바로 심층 신경망(Deep Neural Networks), 강화학습(Reinforcement Learning), 그 리고 몬 테카를로 트리 탐색(MCTS)이었습니다.

첫 번째 열쇠는 '심층 신경망'이었습니다. 이것은 알파고의 '눈'과 '뇌' 역할을했습니다. 딥 마인드 팀은 이를 다시 두 가지 네트워크로 나누었습니다.

하나는 '정책망 (Policy Network)' 이고, 다른 하나는 '가치망(Value Network)’입니다. 정책망은 "다음에 어디에 돌을 두어야 할까?"를 결정합니다. 바둑판 위에는 당장 둘 수 있 는 곳이 수백 군데가 넘습니다.

인간 고수들은 척 보면 "둘 만한 곳"을 두세 군데 로 좁힙니 정책망은 바로 이 역할을합니다. 알파고는 온라인 바둑 사이트인 KGS에서 확보한 16 만 개의 기보, 총 3,000만 가지의 움직임을 학습했습니다. 이를 통해 알파고는 인간이 주로 두는 수의 패턴을 익혔고, 텅 빈 바둑판에서 확률적으로 가장 좋은 위치를 좁혀내는 능력을 갖추게되었습니다.

이는 마치 캄캄한 방에서 전체를 더듬는 대신, 손전등으로 가장 중 요한 물건만 비추는 것과 같습니다. 가치망은 "지금 이 판세가 나에게 유리한가?"를 판단합니다. 바둑은 집이 많은 쪽이 이기 는 게임입니다.

하지만 대국 중반까지는 누가 얼마나 이기고 있는지 정확히 계산 하기가 불 가능에 가깝습니다. 가치망은 현재 바둑판의 형세를 보고 승리 확률을 예측합니다. "흑이 이길 확률 51%"와 같이 수치로 판단을 내려주는 것입니다.

이 덕분에 알파고는 무리하게 승부를 걸거나 지나치게 소극적으로 두는 대신, 승리 확률을 가장 높이는 길을 선택할 수 있었습니다. 두 번째 열쇠는 '강화학습'이었습니다. 이것은 알파고를 초인적인 수준으로 끌어올 린 핵심 동력이었습니다.

단순히 인간의 기보를 흉내 내는 것만으로는 인간을 뛰어넘을 수 없습니 스승을 넘어서기 위해서는 스승이 가르쳐주지 않은 것까지 배워야합니다. 이를 위해 허사비스는 알파고가 자기 자신과 바둑을 두게했습니다. 이를 '셀프 플 레이(Self-Play)'라 고합니다.

알파고는 하루에 수만 판씩 자기 자신과 대국을 벌였습니다. A버전의 알파고와 B버전의 알파고가 싸워서 이긴 쪽의 전략은 채택하고, 진 쪽의 전략은 수정했습니다. 이 과정에서 알파고는 인간이 수천 년 동안 쌓아온 정석(定石) 을 재검증했 고, 때로는 인간이 시도하지 않았던 기상천외한 수들이 실제로 효과가 있 다는 것을 스스로 깨우쳤습니다.

허사비스는 이 과정을 보며 "우리는 알파고에게 물고 기를 주는 것이 아니 라, 낚시하는 법을 가르쳤다. 그리고 이제는 그 낚시법을 스스로 개량하고 있다"라고 표현했습니다.

세 번째 열쇠는 '몬테카를로 트리 탐색(MCTS)'이었습니다. 이것은 알파고의 '수읽 기' 능력입니다. 앞서 정책망이 유력한 후보지 몇 곳을 추천하면, MCTS는 그곳에 돌을 뒀을 때 이 후 상황이 어떻게 전개될지를 시뮬레이션합니다.

하지만 모든 경우를 끝까지 두어볼 수는 없습니다. MCTS는 마치 여론조사를 하듯, 무작위로 몇 가지 경 로를 끝까지 빠르게 두어본 후 그 결과를 바탕으로 가장 승률이 높은 수를 선택합니다. 기존의 바둑 AI들이 이 기술만 의존했을 때는 아마추어 수준에 그쳤지만, 딥마인 드는 여기에 심층 신경망의 직관을 결합 함으로써 계산의 효율성을 극대화했습니다.

이 세 가지 기술의 결합은 혁명적이었습니다. 정책망이 인간의 직관처럼 후보를 좁혀주면(Search width 축소), 가치망이 끝까지 두어보지 않고도 형세를 판단하여 깊이를 줄여주었고(Search depth 축소), MCTS가 정교한 수읽기로 실수를 방지했습니다. 이것은 직관(Intuition)과 논리(Logic)의 완벽 한 조화였습니다.

허사비스는 이 시스템을 구축하면서 인간 뇌의 작동 원리인 '판단 하고, 학습하고, 계획하는' 메 커니즘을 규명하고 있다고 확신했습니다. 알파고는 '지 능'이라는 추상적인 개념을 수학과 코드로 빚어낸, 인류가 만든 가장 우아한 예술품 중 하나였습니다. 2015년 판 후이(Fan Hui) 2단과의 비공개 대국 유럽 챔피언을 5전 5승으로 꺾은 비밀 대국 2015년 10월, 런던의 킹스 크로스(King's Cross)에 위치한 딥마인드 본사 에는 묘한 긴장감 이 감돌았습니다.

창문이 없는 작은 회의실, 그곳에는 컴퓨터 모니 터 한 대와 실제 바둑판 하나가 놓여 있었습니다. 이 방으로 초대된 사람은 중국 출신 의 프로 기사이자 당시 유럽 바둑 챔피언이었던 판 후이(Fan Hui) 2단이었습니다. 그 는 딥마인드로부터 "새로운 바둑 프로그램의 테스트를 도와달라"는 정중한 초청을 받 고 런던에 도착했습니다.

판 후이는 초청을 수락할 때만 해도 큰 기대를 하지 않았습니다. 당시 최고의 바둑 프로그 램이라 해도 프로 기사에게는 접바둑(핸디캡 매치)이 아니면 상대가 되지 않 았기 때문입니 자신이 기계의 오류를 찾아주고 조언을 해주는 '자문역' 정도를 수행할 것이라 생각했습니다. 대국 전, 딥마인드 측은 그에게 비밀 유지 서약서(NDA)에 서 명을 요청했습니다.

허사비스는 이 대국이 단순한 테스트가 아니라, AI 역사의 분기점 이 될 것임을 예감하고 있었습니다.

대국이 시작되었습니다. 판 후이는 여유롭게 첫수를 두었습니다. 모니터 속의 알파고는 딥 마인드의 수석 프로그래머 아자 황(Aja Huang) 박사의 손을 빌려 바둑판 위 에 돌을 놓았습니다.

초반 포석이 진행되면서 판 후이의 표정은 점차 굳어지기 시작했습니다. 알파고의 수는 기계적이지 않았습니다. 엉뚱한 곳에 돌을 놓거나, 의미 없 는 수를 두며 자멸하던 기 존 AI와는 차원이 달랐습니다.

알파고는 인간처럼 유연했 고, 때로는 인간보다 더 침착했습니다. 첫 번째 판, 판 후이의 패배였습니다. 그는 당황했습니다.

"시차 적응 때문일 거야, 내가 방 심했어"라고 스스로를 다독였습니다. 하지만 이어진 두 번째, 세 번째 대국에 서도 결과는 같았습니다. 알파고는 판 후이가 공격해 오면 두터게 방어했고, 판 후이 가 물러서면 날카 롭게 파고들었습니다.

그것은 마치 보이지 않는 거대한 벽과 바둑을 두는 느낌이었습니 판 후이는 대국 도중 잠시 밖으로 나가 세수를 하며 마음을 추스르 려 했지만, 모니터 앞 에 앉으면 다시금 숨이 막혀오는 압박감을 느꼈습니다. 최종 스코어 5대 0. 유럽 챔피언 판 후이의 완패였습니다. 역사상 최초로 컴퓨터가 핸디캡 없이 호선(맞바둑)으로 프로 기사를 꺾은 사건이었습니다.

마지막 대국이 끝 나고 패배가 확정된 순간, 판 후이는 멍하니 바둑판을 응시했습니다. 충격은 곧 경외 감으로 바뀌었습니 그는 자신이 방금 인류 역사상 가장 위대한 기술적 도약의 순간을 목격했음을 깨달았습니다. 승패가 결정된 후, 판 후이는 딥마인드 팀의 환호를 받았습니다.

허사비스는 정중하 게 그에게 감사를 표했습니다. 비록 패배했지만, 판 후이는 이후 5개월 동안 딥마인 드 팀과 협력 하며 알파고의 약점을 보완하는 데 결정적인 역할을했습니다. 그는 알 파고가 둔 수들의 의미를 해석해 주었고, 알파고가 '인간적인 기풍'을 갖추는 데 기여했습니다.

훗날 판 후이는 "알파고와 바둑을 두면서 나 자신을 비추어보는 거울을 보는 듯했 다. 알파고는 나의 내면을, 나의 두려움을 보여주었다"라고 회고했습니다. 이 비밀스 러운 승리는 딥마인드 팀에게 "우리가 옳았다"는 확신을 심어주었지만, 세상은 아직 이 거대한 파도를 전혀 감지하지 못하고 있었습니다. Nature 표지 논문 발표와 세계의 충격 2016년 1월 27일, 세계적인 과학 저널 《네 이처(Nature)》의 표지는 바둑판을 형상화한 이 미지로 장식되었습니다.

논문의 제목 은 "심층 신경망과 트리 탐색을 통한 바둑 게임의 정 복(Mastering the game of Go

with deep neural networks and tree search)". 저자는 데이비드 실 버, 아자 황, 그리 고 데미스 허사비스 등이었습니다. 이 논문의 발표는 전 세계 과학계와 바둑계에 그야말로 '핵폭탄'과 같은 충격을 안 겨주었습니다. 논문에는 알파고의 아키텍처에 대한 상세한 설명과 함께, 지난 10월 판 후이와의 비 공개 대국 결과(5전 전승)가 실려 있었습니다.

AI 연구자들은 경악했습니다. 대부분의 전문 가들은 바둑 정복이 10년, 혹은 20년 후에나 가능할 것이라 예 측했기 때문입니다. 불과 몇 달 전까지만 해도 "아직 멀었다"고 평가받던 기술이, 순식 간에 인간 프로를 꺾는 수준으로 도약한 것입니다.

언론들은 앞다퉈 이 소식을 타전했습니다. "인공지능이 인간의 마지막 성역을 침범했다", "기계가 인간의 직관을 넘어섰다"는 헤드라인이 쏟아졌습니다. 허사비스는 기 자회견을 통 해 이 성과를 발표하며, 단순히 게임을 이긴 것이 아니라 "범용 인공지능 알고리즘의 가능 성을 확인한 것"이라고 강조했습니다.

알파고가 특정 바둑 규칙을 입 력받은 것이 아니라, 수많은 데이터를 통해 스스로 학습했다는 점을 부각했습니다. 알 파고의 기술이 바둑뿐만 아니라 질병 진단, 기후 예측 등 복잡한 난제를 해결하는 데 쓰일 수 있다는 선언이었습니다. 바둑계의 반응은 사뭇 달랐습니다.

충격적이긴 했지만, 여전히 회의적인 시각이 지 배적이었습니다. 그 이유는 판 후이의 실력 때문이었습니다. 판 후이는 유럽 챔피언이었지만, 세 계 최정상급 기사들이 즐비한 한국이나 중국의 기준으로 보면 한 수 아 래로 평가받았습니 이세돌 9단이나 커제 9단 같은 '초일류' 기사들과는 비교할 수 없 는 수준이라는 것이 바 둑계의 중론이었습니다.

한국의 이세돌 9단은 인터뷰에서 "놀라운 성과이긴 하지만, 아직 나를 이길 수준은 아니다. 5대 0, 혹은 4대 1 정도로 내가 이길 것이다"라고 자신감을 내비쳤습니다. 그 는 판 후이의 기보를 분석한 뒤, 알파고의 실력이 프로 정상급에는 미치지 못한다고 판단했습니다. 이러 한 반응은 오히려 딥마인드와 허사비스에게 기회였습니다.

그들 은 이미 판 후이와의 대국 이후 몇 달간 알파고를 비약적으로 업그레이드시킨 상태였습니다. 《네이처》 발표와 함께 허사비스는 전 세계를 향해 대담한 도전장을 던졌습니다. "전설적 인 기사, 이세돌 9단에게 도전합니다."

인간의 직관과 기계의 연산, 자연 지능 과 인공지능 이 정면으로 충돌하는, 21세기 과학사의 가장 드라마틱한 쇼의 서막이었습니다. 전 세계의 이목이 서울로 집중되기 시작했고, 허사비스는 이 모든 상황을 차 분하게, 그러나 치밀하게 준비하고 있었습니다. 그는 알고 있었습니다.

판 후이와의 대국은 예고편에 불과하며, 진 짜 승부는 이제부터 시작이라는 것을 말입니다. 바둑판 위의 흑돌과 백돌