AI書房
本でAIを読む
金京鎮弁護士のAI・法律・産業・歴史・政治・文化をテーマにしたオンライン書籍を収録しています。各書きは目次・序文・章・エピローグで構成され、連続読書が可能です。
[AI書房] 第32章 ヒューマン・イン・ザ・ループ
人工知能戦闘機、人工知能空軍
第32章 ヒューマン・イン・ザ・ループ
金京鎮
コックピットは狭いです。肩を回転させるとキャノピーに触れるほどです。しかし、この狭い空間の中で、操縦士は同時に数百種類の情報を処理しなければなりません。速度、高度、燃料、敵の位置、味方の位置、装備の状態、通信内容。これらすべてが1秒単位で変わります。
だから私たちはシステムが必要なのです。レーダーが敵を探してくれ、コンピュータが発射ソリューションを計算してくれ、警報装置が脅威を知らせてくれます。このすべての助けのおかげで、操縦士は人間の限界を超えることができます。しかし、すべてのプロセスの終わりで、発射ボタンを押すのはまだ人間の指です。これが「Human-in-the-loop」の核心です。
この概念を初めて聞くと、簡単に見えます。機械が目標を見つけ、照準を定め、すべての準備を完了しても、最後の「発射」命令は人間が下します。しかし、現実はもっと複雑です。
三つの段階があります。
第一は「Human-in-the-loop」です。人間が各交戦行為を直接承認します。機械が「そこに目標があります」と言うと、人間が「そうだ、発射しろ」と決定します。
第二は「Human-on-the-loop」です。機械は自ら作動しますが、人間が監視します。何か問題があるように見えれば、人間が介入して停止させます。一種の監督官としての役割です。
第三は「Human-out-of-the-loop」です。人間は完全に外れています。機械は始まりから終わりまで、すべてを自ら処理します。
問題は、現代の戦場の速度が非常に速いということです。
極超音速ミサイルが時速マッハ5以上で飛行してきます。数百台のドローンが群れのように襲ってきます。このような状況で、人間が一つ一つ承認ボタンを押す時間があるでしょうか。人間の反応速度は約0.2秒から0.3秒です。機械はナノ秒単位で判断します。人間の生物学的限界が機械の速度に追いつけないのです。
米国防総省はこの問題をよく認識しています。
国防総省指令3000.09は、自律兵器システムが「適切なレベルの人間判断」を許可するように設計されなければならないと明示しています。ここで重要なのは、「ループ内に人間がいなければならない」ではないという点です。公式政策はこのあいまいな表現を避けています。代わりに「人間判断の行使」を要求しています。微妙ですが重要な違いです。
興味深い事実があります。米国政府は「意味のある人間統制(Meaningful Human Control)」という表現に反対しています。理由があります。この表現が現実的でないレベルの人間監視を示唆していると見なしているからです。既存の半自律精密誘導兵器でさえ、この基準を満たせない可能性があります。
しかし、多くの国と国際機関は異なる考え方をしています。
2024年11月、CCW政府専門家グループの「ローリングテキスト」に「文脈に適切な人間判断と統制」という表現が含まれました。これは、状況に応じて必要な人間統制のレベルが異なる可能性があることを認めるものです。民間人が密集した地域での攻撃はより厳格な人間監視が必要になるでしょう。公海上での対艦ミサイル迎撃は相対的に自律性を許容できるでしょう。
2025年の国際討議はこの問題に集中しています。
ヒューマンライツウォッチは警告しています。「意味のある人間統制は、攻撃が行われるまさにその時点で行使されなければなりません。事前に設定されたパラメータだけでは十分ではありません。」彼らの論理はこうです。相応性の原則を遵守するためには、兵器使用者がその攻撃の瞬間に、民間人被害が軍事的利益に比べて過度であるかを判断しなければなりません。複雑で急速に変化する環境の中でです。
イスラエルの事例を見てみましょう。
ガザ作戦において、イスラエルは「Lavender」と「Gospel」というAIシステムを使用しました。これらのシステムはハマスの構成員を識別し、目標リストを生成しました。報道によれば、人間の分析官がAIの推奨を承認するのに要した平均時間は20秒でした。20秒。このような短い時間で、人間がAIの判断根拠を適切に検証できたでしょうか?
これはまさに「ゴム印」の問題です。
人間がループ内にいるからといって、自動的に統制が達成されるわけではありません。形式的に承認ボタンを押すだけは真の統制ではありません。それは責任回避のためのアリバイに過ぎません。真の人間統制とは、AIの判断を理解し、必要に応じてそれを拒否し、より良い代替案を提示できる能力を意味します。
解決策は何でしょうか?
第一に、説明可能なAI(Explainable AI)が必要です。AIが「それが目標です」と言うとき、人間がなぜそのような結論に達したのかを理解できなければなりません。「レーダー信号パターンが敵のSAMサイトと93%一致しています。熱信号は車両エンジンと一致しています。味方軍は半径10キロメートル内にいません。」このような説明があって、人間が判断できるのです。
第二に、停止権が保証されなければなりません。人間はどのような状況でも「停止」を叫べなければなりません。そして機械は即座に停止しなければなりません。通信が遮断されたりデータが異常な場合、機械は自ら攻撃的行動を中断し、安全モードに入らなければなりません。
第三に、訓練が不可欠です。操縦士と指揮官はAIシステムの能力と限界を完全に理解しなければなりません。どのような状況でエラーが発生する可能性があるのか、どのような種類の欺瞞に対して脆弱であるのか。ブラックボックスをただ信頼するのは危険です。
これを「ケンタウロス・モデル」と呼びます。
ギリシャ神話のケンタウロスは半人半馬です。馬の力と速さに人間の知恵が結合されています。将来の戦闘機も同じであるべきです。AIは数千の情報を処理してオプションを提示します。人間は大きな全体像を見て決定を下します。機械の効率と人間の判断が結合されるのです。
しかし、判断の最終的な権限は人間に残らなければなりません。
機械に引き金を譲り渡す瞬間、戦争における人間性を失います。戦争の恐怖を忘れ、殺人は単なるデータ処理に堕します。それは技術の勝利ではありません。それは文明の敗北です。