[AI書房] 第11章 数千万回の仮想死
人工知能戦闘機、人工知能空軍
第11章 数千万回の仮想死
金京鎮
高度2万5千フィート。シミュレーター内の仮想の空でAIが操縦するF-16一機が急降下します。敵機に向けて機首を傾けましたが、速度を失うのが速すぎました。機体は失速に陥り、すぐに地面に墜落します。画面に「撃墜」という文字が表示され、シミュレーションはリセットされます。このAIは今、死にました。
しかし1秒後、再び同じ空に現れます。そしてまた敵機に向かって突進します。今度は少し異なる角度で、少し異なるタイミングで。このプロセスが1日に数百万回繰り返されます。
人間の操縦士がベテランになるには、数千時間の飛行が必要です。空軍士官学校を卒業し、基礎飛行訓練を終え、戦闘機機種転換教育を受け、実戦部隊に配置されて何年も勤務してようやく「一人前」になります。そしてその操縦士が生涯飛行できる時間は、せいぜい2000時間から3000時間です。身体の限界、勤務期間の限界、そして何より命の限界があるからです。一度墜落したら、それで終わりです。
ところがAIにはそのような限界がありません。仮想空間でAIはいくらでも死ぬことができ、いくらでも生まれ変わることができます。
2020年8月、米国防高等研究計画局（DARPA）が主催したAlphaDogfight大会で優勝したHeron Systems社のAIは、大会時までに約40億回の仮想戦闘を経験していました。これは人間の操縦士に換算すると、約31年分の飛行経験に相当します。Heron Systems社のエンジニア、ベン・ベル（Ben Bell）はこう述べています。「私たちのAIは102個の異なるエージェントと戦いながら訓練されました。だから、どのような相手に遭遇しても揺るがないほどに堅牢になったのです。」
強化学習の原理は意外とシンプルです。まるで赤ちゃんが歩き始めることを学ぶのと似ています。
赤ちゃんに「膝をこの角度に曲げて、重心を前に移しなさい」と教える親はいません。赤ちゃんはただ立ち上がっては転び、また立ち上がっては転びるを数百回繰り返します。そうしているうちに、ある時点で一歩を踏み出し、親が拍手をくれると「あ、これが正解なんだ」と気づきます。転べば痛いし、歩けば褒められるからです。AIの強化学習も同じです。
最初に仮想世界に投げ込まれたAIは、飛行機が何であるかすら知りません。操縦桿をどう動かすべきか、ミサイルをいつ発射すべきか、全く分かりません。ただ無作為にあれこれ試します。操縦桿を左に傾けてみたり、スロットルを引いてみたり、機関銃発射ボタンを押してみたりします。ほとんどは墜落するか敵に撃墜されます。そのたびにシステムはAIにマイナス点を与えます。反対に敵機の尾部を捉えたり、機関銃射撃に成功したり、敵を撃墜したりすればプラス点を与えます。AIの目標はただ一つ、この点数の合計をできるだけ高くすることです。
ここでの鍵は報酬関数（Reward Function）の設計です。
単に「敵を撃墜しろ」と指示するだけなら、AIは狂ったように突進して相打ちになるカミカゼ戦術を学ぶこともあります。
そのため、エンジニアたちは非常に精密な報酬体系を構築しなければなりません。敵を撃墜しつつも自分は生き残る必要があり、敵の尾部（6時方向）を捉えれば追加点を獲得し、無理な機動でエネルギーを浪費すれば減点され、民間地域に進入すれば大きなペナルティを受けるといった具合です。
ロッキード・マーティンのAlphaDogfight参加チームは、退役したF-16操縦士の助言を受けて、このような報酬体系を設計しました。操縦士の数十年の経験が数式と重みに翻訳されたのです。
AlphaDogfight決勝戦で、Heron Systems社のAIは人間操縦士「バンガー（Banger）」を5対0で完全に圧倒しました。衝撃的な場面がありました。AIが人間と正面から向き合いながら機関銃を発射したのです。
いわゆる「ヘッドオン・ガンショット（Head-on Gunshot）」と呼ばれる機動です。人間の操縦士は衝突の恐怖のためこのような機動を本能的に避けます。訓練規則でも禁止されています。ところがAIは数千万回の仮想死を通じて、「衝突直前の0.1秒で精密射撃を加えれば、私が死ぬ前に敵を先に撃墜できる」という答えを自ら見つけ出したのです。人間が教えた戦術ではありません。AIが無限の試行錯誤の末に発見した勝利の方程式です。
このプロセスを「カリキュラム学習（Curriculum Learning）」と呼びます。最初からベテラン操縦士と対戦すれば、AIは何も学べず、ただ死ぬだけです。そこで最初は、単に水平飛行を保つ方法から学びます。次には、静止した目標を狙う方法を習得します。だんだん難しい相手に遭遇して実力を磨きます。最後の段階では、自分自身、あるいは過去の自分自身と戦います。これを「セルフプレイ（Self-Play）」と呼びます。AlphaGoが囲碁を征服した時に使った方
法と同じです。昨日の私が使った必勝戦略を今日の私が破り、明日の私がその破り方を再び逆利用するといった具合に無限に進化します。
つまり強化学習は「失敗できる自由」から始まります。現実の操縦士は一度の失敗が即死を意味します。しかし仮想世界のAIは数千万回の死を通じて、不死の存在へと生まれ変わります。人間が一世代にわたって蓄積する経験をAIは数日で圧縮します。時間の法則が異なる世界で訓練された存在が現実に降りてくるのです。これがAlphaDogfightのAIがベテラン操縦士を圧倒できた本当の理由です。AIは単に計算が速いのではありません。数千万回の死を通じて、人間が生涯かけても経験できない量の経験を蓄積したからです。