AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 7장 헤론 시스템즈의 돌풍: 강화학습으로 무장한 AI
7장 헤론 시스템즈의 돌풍: 강화학습으로 무장한 AI
대회의 강력한 우승 후보는 단연 록히드 마틴이었습니다. F-22 랩터, F-35 라이트닝 II 등 현존하는 최강의 전투기를 만든 그들은 전투기의 물리학과 공중전의 교리에 대해 누구보다 잘 알고 있었습니다. 수십 년간 축적된 항공 역학 노하우, 수천 명의 엔지니어, 천문학적인 연구 예산. 누가 봐도 그들이 유리해 보였습니다.
반면 헤론 시스템즈는 직원 수 30명 남짓의 소규모 소프트웨어 기업이었습니다. 그들은 전투기를 만들어본 적도, 조종해 본 적도 없었습니다. 메릴랜드주에 본사를 둔 이 작은 회사가 방산공룡들과 어깨를 나란히 한다는 것 자체가 이상해 보였습니다. 하지만 그들에게는 비밀 무기가 있었습니다. 바로 심층 강화학습에 대한 광적인 집착과 헌신이었습니다.
강화학습의 원리는 간단합니다. 행동을 선택하고, 결과를 보고, 보상이나 벌점을 받고, 다음에는 더 좋은 행동을 선택합니다. 이것을 미친 속도로 반복합니다. 어린아이가 걷는 법을 배우는것과 비슷합니다. 넘어지고, 일어나고, 또 넘어지고, 또 일어나고. 하지만 AI는 어린아이와 다릅니다. 지치지 않고, 좌절하지 않으며, 하루에 수백만 번을 넘어졌다 일어날 수 있습니다.
헤론 시스템즈의 접근 방식은 기존의 방산 기업들과 완전히 달랐습니다.
록히드 마틴이나 오로라 같은 팀들은 전투기 조종사의 지식을 AI에 주입하려 노력했습니다. 꼬리를 물어라, 에너지를 보존하라 같은 규칙을 가르치려 했습니다. 전문가 시스템이라 부르는방식입니다. 하지만 헤론은 달랐습니다. 그들은 AI에게 아무것도 가르쳐주지 않았습니다. 대신 가상 환경에 던져놓고 수없이 죽고 죽이는 과정을 반복하게 했습니다.
헤론의 AI 에이전트는 팔코라 불렸습니다. 매의 일종인 팔콘에서 따온 이름입니다. 팔코는 가상의 공간에서 끊임없이 자기 자신과 싸우는 셀프 플레이 방식을 통해 성장했습니다. 어제의나를 이기기 위해 오늘의 내가 새로운 전술을 개발하고, 다시 내일의 내가 그것을 깨뜨리는 과정이 무한히 반복되었습니다.
헤론의 머신러닝 엔지니어 벤 벨에 따르면, 팔코는 총 약 5주에 걸쳐 102개의 서로 다른 AI 에이전트로 구성된 리그를 상대로 수십억 번의 독파이트를 치렀습니다. 40억 번 이상의 시뮬레이션 스텝을 거쳤습니다. 이를 인간의 비행 시간으로 환산하면 약 30년 이상의 비행 경험을 축적한 셈입니다. 실제 조종사가 평생 비행해도 2,000~3,000시간을 넘기기 힘든 것을 생각하면, 이것은 물리적 시간의 제약을 뛰어넘는 압축된 시간의 승리였습니다.
이 과정에서 흥미로운 현상이 발견되었습니다.
초기 학습 단계에서 AI는 인간 교관들이 가르치는 정석적인 기동을 흉내 내려 노력했습니다. 에너지를 관리하고, 선회율을 유지하는 교과서적인 움직임이었습니다. 그러나 학습이 거듭될수록 AI는 인간의 교리를 버리기 시작했습니다. 대신 시뮬레이션 엔진의 물리 법칙 내에서 허용되는 극한의 효율성을 추구했습니다.
인간 조종사는 적을 놓치지 않기 위해 부드럽게 기체를 제어하려 합니다. 헤론의 AI는 달랐습니다. 미세하고 거칠게 조종면을 끊임없이 수정하며 기체를 제어했습니다. 초당 수십 회의 수정 조타. 인간의 손으로는 불가능한 움직임이었습니다. 이를 통해 믿을 수 없는 수준의 정밀한사격 각도를 만들어냈습니다.
헤론 시스템즈의 성공 뒤에는 두 가지 정교한 기법이 있었습니다. 보상 형성과 커리큘럼 학습입니다. 보상 형성은 AI에게 더 자주 피드백을 제공하는 방법입니다. 적을 격추했을 때만 보상을 주는 것이 아니라, 유리한 위치를 잡았을 때도, 적의 꼬리에 가까워졌을 때도 작은 보상을줍니다. 이렇게 하면 AI가 올바른 방향으로 더 빨리 학습합니다.
커리큘럼 학습은 쉬운 것부터 가르치는 방식입니다. 처음에는 직선으로만 나는 적과 싸우게 하고, 점점 더 똑똑한 적을 상대하게 합니다. 마치 초등학교에서 중학교, 고등학교로 진학하듯이말입니다. 헤론은 이 두 기법을 콜로세움의 자기 대결 시스템과 결합하여 강력한 성능을 끌어냈습니다.
APL에서 개발한 적 AI 에이전트들은 복잡성과 능력 면에서 광범위한 스펙트럼을 보였습니다. 가장 단순한 좀비는 직선 수평 비행으로 순항 미사일을 시뮬레이션했습니다. 기본 에이전트인로지는 시간 기반의 사소한 고도 및 속도 변화를 실행했습니다. 스크립트 에이전트인 BUD FSM은 교전 상태를 인식하고 미리 정해진 반응을 구사했습니다. 가장 높은 수준의 강화학습에이전트인 알파마브0는 인간 입력 없이 자기 대결만으로 개발된 에이전트로, 전문가 조종사를 시뮬레이션했습니다.
대회 3일 차, 준결승과 결승이 진행되면서 헤론 시스템즈의 AI는 충격적인 전술을 선보였습니다. 바로 정면 공격, 헤드온 건샷이었습니다. 이는 적기와 정면으로 마주 보고 달려들며 기관포를 발사하는 전술입니다. 인간 조종사들은 충돌 위험 때문에 훈련 규정상 이 기동을 금기시합니다. 보통 135도 이상의 각도에서는 사격하지 않습니다. 서로 충돌할 위험이 크고, 파괴된 적기의 파편이 내 엔진으로 빨려 들어갈 수 있기 때문입니다.
하지만 죽음의 공포가 없는 AI에게 이는 가장 확률 높은 승리 공식이었습니다. 준결승에서 오로라 팀을 만난 헤론은 전투가 시작되자마자 무서운 속도로 적의 정면을 향해 돌진했습니다. 해설을 맡은 글록은 경악했습니다. "헤론은 아무런 망설임이 없습니다. 시작 신호와 동시에 살기를 드러내며 적의 콧잔등을 노립니다.”
헤론의 AI는 록히드 마틴과의 결승전에서도 이 전술을 유감없이 발휘했습니다.
록히드 마틴의 AI는 인간의 교리를 반영하여 에너지를 관리하고 위치를 선점하려 했습니다. 우아하고 정석적인 움직임이었습니다. 하지만 헤론의 AI는 그런 신사적인 싸움을 거부했습니다. 마치 광견처럼 달려들어 상대의 허점을 물어뜯었습니다.
헤론은 놀라운 정밀도로 기관포를 조준했습니다. 총구가 마치 적기에 자석처럼 붙어 다녔습니다. 한 번 잡은 표적은 절대 놓치지 않았습니다. 스쳐 지나가는 찰나의 순간에 적기에게 치명타를 입혔습니다. 인간의 눈으로는 저 각도에서는 쏠 수 없다고 판단되는 상황에서도, AI의 계산속에서는 명중 확률 90% 이상의 기회였습니다.
결국 다윗은 골리앗을 꺾었습니다. 헤론 시스템즈는 결승에서 록히드 마틴을 16승 4패의 압도적인 차이로 누르고 챔피언 자리에 올랐습니다. 30명의 소규모 팀이 수만 명의 엔지니어를 거느린 방산 공룡을 꺾은 것입니다. 이것은 도메인 지식보다 데이터 학습 능력이 더 중요할 수 있음을 보여준 사건이었습니다. 전투기를 만들어본 경험보다, AI를 훈련시키는 방법론이 더 결정적이었습니다.
헤론 시스템즈의 돌풍은 AI가 인간의 모방을 넘어, 데이터와 시뮬레이션을 통해 인간이 발견하지 못한 새로운 승리의 문법을 창조할 수 있음을 증명한 사건이었습니다. 그리고 이제, 그들 앞에는 최후의 상대인 인간 조종사가 기다리고 있었습니다.