[AI書房] 第34章 ハッキングと欺瞞
人工知能戦闘機、人工知能空軍
第34章 ハッキングと欺瞞
金京鎮
高度3万フィートの上空を、漆黒のような暗闇の中で飛行していたある夜を覚えています。RWR、つまりレーダー警報受信機が、突然甲高い声で鳴り始めました。敵の地対空ミサイルレーダーが私を捕捉したのです。その瞬間、私が信じられるのは二つのことだけでした。目の前で明滅する計器盤の数字たち、そして数千時間の飛行経験の中で蓄積された私の直感です。数字が嘘をつけば、直感が捕まえます。直感が揺らげば、数字が正してくれます。この二つのバランスのおかげで、生きて着陸することができました。
ところが、AI パイロットには直感がありません。
これが問題の本質です。AI はデータで世界を見ています。レーダーが送る信号、赤外線センサーが捕捉する熱源、データリンクを通じて入ってくる味方の位置情報。すべてのものが0と1の組み合わせとして AI の脳に入力されます。入力値が正確であれば、AI は人間より速く、正確に判断します。しかし入力値が偽りであったら？AI はその偽りを真実として受け入れ、人間よりはるかに速い速度で誤った方向へと突き進みます。
古代ギリシャ神話に、アキレウスという英雄が登場します。彼は無敵の戦士でした。母親が彼をスティクス川に浸して不死の身にしたからです。しかし、母親が彼を抱きかかえていた踵だけは、川の水に浸からなかったのです。結局、アキレウスはその踵に矢を受けて倒れました。いかに強い者にも弱点はあるという教訓です。AI パイロットの踵は、すなわち『データ』です。敵がこのデータを改ざんしたり、汚染させたりできるなら、無敵の AI 戦士は一瞬にして無力化されるのです。
敵対的攻撃、目を開けたまま受ける幻覚
最も寒気を覚える脅威からお話しします。専門家たちはこれを『敵対的攻撃(Adversarial Attack)』と呼んでいます。難しい言葉に聞こえますが、分かりやすくご説明します。
AI は物体を認識する際、ピクセル、つまり画面を構成する非常に小さな点のパターンを分析します。数百万枚の写真を見ながら、「このパターンならタンクだ」「あのパターンならトラックだ」と学習するのです。ところが、敵がタンク表面に、人間の目ではほぼ認識できない非常に微細な模様を描き込んだとしたら、どうなるでしょうか。その模様は AI の神経回路構造を逆解析して作られた『カスタムメイドの毒』です。人間の目には相変わらずタンクに見えます。しかし AI の目には、そのタンクが『スクールバス』や『羊の群れ』、あるいは単なる『岩』として認識されるのです。
想像してみてください。私が AI ウィングマンに命令します。「前方の敵戦車を攻撃しろ」と。ところが AI が答えます。「前方には民間車両しかありません」と。確かに60トンの鋼の怪物を見ているのに、私の隣の AI 同僚はそれを見ることができません。これは機械の故障ではありません。機械は正常に作動しています。ただし、敵が機械の目に幻覚を吹き込んだのです。
2024年、中国人民解放軍の訓練場で、実際に似たようなことが起きました。ブルーチームの AI 支援火力部隊がレッドチームの砲台を正確に撃滅したと信じていました。しかし、訓練統制官が状況を停止した時に明かされた真実は悲劇的でした。ブルーチーム火力部隊の半分以上がすでに破壊された状態だったのです。レッドチーム指揮官は射撃場に偽の砲台と偽の信号を撒いておいたのです。ブルーチームの AI は幽霊に向かって砲撃しながら、自分の位置を露呈させたのです。
逆の状況はさらに恐ろしいものです。敵が民間病院や学校の屋根に特殊なパターンを投影し、AI がそれを『ミサイル発射台』と誤認させたとしたら？私たちの AI ウィングマンはためらわずにそこを攻撃するでしょう。誤爆です。民間人が死にます。そしてその責任は誰が負うべきですか？これは単なる技術的問題ではありません。戦争の本質を揺さぶる問題です。
データ汚染、井戸に毒を入れる
より狡猾な攻撃があります。戦争が始まる前から起こる攻撃です。専門家たちはこれを『データ汚染(Data Poisoning)』と呼んでいます。井戸にこっそり毒を入れるのと同じ方法です。
AI はデータを食べて成長します。数百万回のシミュレーション、数千万枚の写真、数億個のセンサーデータを分析しながら学習するのです。ところが、もし敵のサイバー部隊が私たちの学習データサーバーにこっそり侵入して、非常に微細なエラーを埋め込んだとしたら、どうなるでしょうか。
例えば、敵は平時には正常に作動しながら、特定の条件でのみ誤作動するように AI を『訓練』することができます。赤い発煙弾を検知した時だけ、あるいは特定の周波数の電波が聞こえた時だけ、あるいは特定の日付になった時だけ、異常に行動するというものです。これを『バックドア(Backdoor)』と呼びます。普段は何の問題もなく作動していた AI が、戦争が勃発し決定的な瞬間に、突然制御不能な状態になるのです。味方を敵と誤認したり、敵機を無視して通り過ぎたり、あるいは完全に墜落したりするのです。
これはトロイの木馬のデジタル版です。古代ギリシャ連合軍は巨大な木馬の中に兵士たちを隠し、トロイ城の中に送り込みました。トロイの人々は木馬を戦利品だと思い、喜んで
受け入れました。夜になると、木馬の中から兵士たちが現れて城門を開き、トロイは滅亡しました。敵が私たちの AI の学習過程に『木馬』を隠していたとしたら、私たちはその事実を知らないまま、その AI を戦場に投入することになるでしょう。そして決定的な瞬間に、木馬の中の毒が発動するのです。
軍事 AI を訓練するには、衛星写真、偵察映像、オープンソース情報など膨大なデータが必要です。これらすべてのデータの純粋性を完璧に検証することはほぼ不可能です。敵はインターネット上に偽の軍事装備画像を大量に流布することができます。私たちの AI がそれらの画像を学習すれば、敵の本当の兵器を正しく認識できなくなるのです。一発も撃たずに、私たちの最も強力な兵器を鉄くず同然にしてしまう戦略です。
スプーフィング、偽りの現実をささやく
過去の電子戦は、やかましい雑音で敵の耳を遠くしたものでした。強力な電波ジャムでレーダー画面をまるで吹雪のように乱しました。しかし AI 時代の電子戦は異なります。敵に『偽りの現実』をささやく催眠術です。
GPS スプーフィングを例に挙げましょう。GPS は衛星から送られる信号を受け取って自分の位置を計算します。ところが、敵が衛星より強い偽りの GPS 信号を送ったとしたら？AI パイロットは自分が実際にいる場所と全く異なる位置にいると勘違いします。3キロメートル離れた場所にいると信じながら飛行します。目標地点に到達したと思って爆弾を投下しますが、実際には何もない空き地です。あるいはさらに悲劇的に、味方基地です。
ウクライナ戦線では、GPS スプーフィングはもはや日常になっています。ドローンが自分の位置を失い、見当違いの場所へ飛んで行ったり、墜落したりするのです。2025年現在、ロシア軍はウクライナ上空で大規模な GPS 妨害作戦を展開しています。数百台のドローンが影響を受けています。
データリンクのハッキングはさらに恐ろしいものです。AI パイロットは味方指揮部とデータリンクで接続されています。任務命令、目標座標、味方の位置情報がこのリンクを通じて伝達されるのです。敵がこのリンクをハッキングして偽の命令を送ったとしたら？「編隊、直ちに180度旋回して帰還せよ」と。暗号化されたチャネルを通じて入ってきた命令です。AI は疑いなく機首を旋回させます。
人間のパイロットなら、「この状況で帰還命令とは、おかしい」と疑うでしょう。指揮部に音声で再確認を要請するでしょう。しかし AI は論理的に矛盾がなければ命令を実行します。柔軟性に欠けるということ、それが機械の限界なのです。
ハッキング、デジタル操縦席を奪取する
私たちは今、『デジタル操縦席』に座っています。F-35 や F-47 のような最新戦闘機は、巨大な飛行するコンピュータです。数百万行のコードが機体を動かします。敵のハッカーがネットワークを通じて入り込み、AI システムの統制権を奪取したとしたら？それは敵軍が私の後部座席に乗り込み、私の首にナイフを突きつけるのと同じです。
ソフトウェアの世界には完璧なコードは存在しません。皆さんのコンピュータやスマートフォンが頻繁に更新される理由はそのためです。開発者が発見できなかったセキュリティホールを後から塞ぐのです。戦闘機も同じです。どんなに徹底的に検査しても、どこかに隙間があるかもしれません。敵がその隙間をいち早く見つけたら、F-47 は空を飛ぶ1000億ドルの煉瓦になるか、敵が操るゾンビドローンになるのです。
ドローンスウォーム、つまり群集ドローンの場合、問題はさらに深刻です。数百台のドローンがネットワークで接続され、まるで一匹の巨大な生き物のように動きます。しかし、その接続がその弱点になるのです。たった一台がハッキングされても、全体の軍集が汚染される可能性があります。ちょうどウイルスが全身に広がるように、悪意のあるコードがネットワークを通じて伝播するのです。
アメリカ国防高等研究計画局(DARPA)はこの問題を深刻に受け止めています。2025年、彼らは SABER というプロジェクトを開始しました。『戦場効果的強健性のための人工知能セキュリティ(Securing Artificial Intelligence for Battlefield Effective Robustness)』の略です。このプロジェクトの目標は、敵対的攻撃、サイバー攻撃、電子戦攻撃に対する AI システムの脆弱性を評価し、防御技術を開発することです。DARPA 関係者たちは、現在戦場に配備された AI システムのセキュリティ脆弱性を体系的に評価できるエコシステムが存在しないと警告しています。
信頼の崩壊、最も恐ろしいこと
戦闘機パイロットとして、私が最も恐れるのは敵ではありません。『自分の飛行機を信じられない状況』です。もし私の AI ウィングマンがハッキングされたか、欺かれているという疑いが生じる瞬間、そのウィングマンはもはや戦力ではなく、潜在的な脅威となるのです。
私がイラク上空で Wild Weasel 任務を実行していた時、私は計器盤と目の両方を信じていました。計器盤が奇妙な数字を示したら目で確認しました。目に見えることが奇妙だったら計器盤をもう一度確認しました。この二つが互いを検証してくれました。しかし AI パイロットはセンサーが示すものだけを知っています。センサーが嘘をついても、それを『感じる』ことができないのです。
アルゴリズム戦争で勝利するためには、私たちは AI の性能だけでなく、その『強健性(Robustness)』を確保する必要があります。敵の基幹戦術に騙されず、データ汚染にも揺さぶられず、ハッキング試行にも自らを防衛できる AI が必要です。米国防部は『AI レッドチーム』を運営しています。味方の AI システムを容赦なく攻撃しハッキングして脆弱性を見つけ出す専門家集団です。AI が実戦に配備される前に、数千、数万回のデジタル試験に耐えさせるのです。
結局、技術がどんなに進歩しても、最後の砦は人間でなければなりません。AI が「これはトラックです」と言う時、パイロットは自分の直感と経験で「いや、あそこは偽装されたタンクだ」と判断できなければならないのです。ハッキングと欺瞞の脅威の中で、人間の直観は AI の誤りを捕まえる最後の安全装置です。私たちが機械に完全に依存できない理由なのです。
戦場で生き残るには、自分が見るものを疑う方法を知らなければなりません。AI はまだその疑いを学んでいません。それがアルゴリズム戦争の最も致命的な弱点です。天空の支配者はもはや最も速い者ではありません。最も騙されない者になるのです。