[AI書房] 第7章 ヘロン・システムズの旋風：強化学習で武装したAI
人工知能戦闘機、人工知能空軍
第7章 ヘロン・システムズの旋風：強化学習で武装したAI
金京鎮
大会の有力な優勝候補は何といってもロッキード・マーティンでした。F-22 ラプター、F-35 ライトニング IIなど、現存する最強の戦闘機を製造した彼らは、戦闘機の物理学と空中戦の教義について、誰よりもよく理解していました。数十年間にわたって蓄積した航空力学のノウハウ、数千人のエンジニア、天文学的な研究予算。誰が見ても彼らが有利に見えました。
一方、ヘロン・システムズは約30名の従業員を持つ小規模なソフトウェア企業でした。彼らは戦闘機を製造したことも、操縦したこともありませんでした。メリーランド州に本社を置くこの小さな会社が防衛産業の巨人たちと肩を並べるということ自体が奇妙に見えました。しかし彼らには秘密兵器がありました。それは深層強化学習への執着と献身でした。
強化学習の原理は単純です。行動を選択し、結果を見て、報酬または罰点を受け、次にはより良い行動を選択します。これを猛烈なペースで繰り返します。幼い子どもが歩き方を学ぶことに似ています。転んで、立ち上がって、また転んで、また立ち上がる。しかしAIは幼い子どもと異なります。疲れることなく、挫折することなく、一日に数百万回も転んで立ち上がることができます。
ヘロン・システムズのアプローチは既存の防衛産業企業とは全く異なっていました。
ロッキード・マーティンやオーロラのようなチームは、戦闘機パイロットの知識をAIに注入しようと努めました。敵の尾をつかめ、エネルギーを保存しろといった規則を教えようとしました。専門家システムと呼ばれる方法です。しかしヘロンは異なっていました。彼らはAIに何も教えませんでした。代わりに仮想環境に放り込み、何度も何度も死と殺戮のプロセスを繰り返させました。
ヘロンのAIエージェントはファルコと呼ばれました。鷹の一種であるファルコンから取られた名前です。ファルコは仮想空間で絶えず自分自身と戦うセルフプレイ方式を通じて成長しました。昨日の自分に勝つために今日の自分が新しい戦術を開発し、また明日の自分がそれを破る過程が無限に繰り返されました。
ヘロンの機械学習エンジニア、ベン・ベルによると、ファルコは総約5週間にわたって、102個の異なるAIエージェントで構成されたリーグを相手に数十億回のドッグファイトを行いました。40億回以上のシミュレーションステップを経ました。これを人間の飛行時間に換算すると、約30年以上の飛行経験を蓄積したということです。実際のパイロットが生涯飛行しても2,000～3,000時間を超えるのが難しいことを考えると、これは物理的時間の制約を超越した圧縮時間の勝利でした。
このプロセスで興味深い現象が発見されました。
初期学習段階において、AIは人間インストラクターが教える正統的な機動を模倣しようと努めました。エネルギーを管理し、旋回率を維持する教科書的な動きでした。しかし学習が重ねられるにつれ、AIは人間の教義を捨て始めました。代わりにシミュレーションエンジンの物理法則の中で認められた極限の効率性を追求しました。
人間パイロットは敵を取り逃がさないために機体をスムーズに制御しようとします。ヘロンのAIは異なっていました。微細で粗く操舵面を絶えず修正しながら機体を制御しました。毎秒数十回の修正操舵。人間の手では不可能な動きでした。これにより信じられないほどの精密な射撃角を生み出しました。
ヘロン・システムズの成功の背後には2つの洗練された技法がありました。報酬形成とカリキュラム学習です。報酬形成はAIにより頻繁にフィードバックを提供する方法です。敵を撃墜したときだけ報酬を与えるのではなく、有利な位置を確保したときも、敵の尾に近づいたときも小さな報酬を与えます。こうすることでAIはより早く正しい方向に学習します。
カリキュラム学習は簡単なものから教える方法です。最初は直線でのみ飛行する敵と戦わせ、次第により賢い敵と対戦させます。ちょうど小学校から中学校、高等学校に進学するようにです。ヘロンはこの2つの技法をコロッセウムの自己対決システムと組み合わせて、強力なパフォーマンスを引き出しました。
APLで開発された敵AIエージェントは、複雑さと能力の点で広範なスペクトラムを示しました。最も単純なゾンビは直線水平飛行で巡航ミサイルをシミュレートしました。基本エージェントのロジは時間ベースの軽微な高度および速度変化を実行しました。スクリプトエージェントのBUD FSMは交戦状態を認識し、事前に決定された反応を使用しました。最高レベルの強化学習エージェントであるAlphaMav0は、人間入力なしに自己対決のみで開発されたエージェントで、専門家パイロットをシミュレートしました。
大会3日目、準決勝と決勝が進行する中、ヘロン・システムズのAIは衝撃的な戦術を披露しました。それは正面攻撃、ヘッドオンガンシャットでした。これは敵機と正面で対峙して突進しながら機関砲を発射する戦術です。人間パイロットたちは衝突危険のため、訓練規定でこの機動を禁忌としています。通常135度以上の角度では射撃しません。互いに衝突する危険が大きく、破壊された敵機の破片が自分のエンジンに吸い込まれる可能性があるためです。
しかし死の恐怖がないAIにとって、これは最も確率の高い勝利の公式でした。準決勝でオーロラチームと対戦したヘロンは、戦闘が始まるや否や恐ろしい速度で敵の正面に向かって突進しました。解説を務めたグロックは仰天しました。「ヘロンはためらいがありません。開始信号と同時に殺意を露わにして敵の鼻を狙います。」
ヘロンのAIはロッキード・マーティンとの決勝戦でもこの戦術を余すところなく発揮しました。
ロッキード・マーティンのAIは人間の教義を反映してエネルギーを管理し、位置を占領しようとしました。優雅で正統的な動きでした。しかしヘロンのAIはそのような紳士的な戦いを拒否しました。狂犬のように突進して相手の隙をかじり取りました。
ヘロンは驚くべき精度で機関砲を照準しました。銃口はまるで敵機に磁石のように付きました。一度捉えた標的は決して逃しませんでした。かすめて通り過ぎるわずかな瞬間に敵機に致命傷を与えました。人間の目からはその角度からは撃つことができないと判断される状況においても、AIの計算の中では命中確率90%以上の機会でした。
結局、ダビデはゴリアテを倒しました。ヘロン・システムズは決勝でロッキード・マーティンを16勝4敗の圧倒的な差で押さえ、チャンピオンの座に上りました。30名の小規模なチームが数万人のエンジニアを従える防衛産業の巨人を倒したのです。これはドメイン知識よりもデータ学習能力がより重要である可能性を示した出来事でした。戦闘機を製造した経験よりも、AIを訓練する方法論がより決定的だったのです。
ヘロン・システムズの旋風は、AIが人間の模倣を超えて、データとシミュレーションを通じて人間が発見できなかった新しい勝利の文法を創造できることを証明した出来事でした。そして今、彼らの前には最後の相手である人間パイロットが待っていました。