AI書房
本でAIを読む
金京鎮弁護士のAI・法律・産業・歴史・政治・文化をテーマにしたオンライン書籍を収録しています。各書きは目次・序文・章・エピローグで構成され、連続読書が可能です。
[AI書房] 第9章 ビッグ・ブラザーの眼:監視と予測警察
PALANTIR:戦争、監視、人工知能
第9章 ビッグ・ブラザーの眼:監視と予測警察
金京鎮
甲. 『マイノリティ・リポート』の現実化
(1) LAPD予測治安プログラム(Operation Laser)の成果と論争
2011年のある日、ロサンゼルス警察庁(LAPD)ニュートン管轄区域の一人の警察官が、パトロールカーの中でタブレットを覗き込んでいました。画面には、ある黒人青年の写真が映っていました。名前、住所、タトゥーの位置、所有する車のナンバープレート、そしてその横に記された数字。15点。この青年は『慢性犯罪者(Chronic Offender)』に分類されていました。警察官の任務は、この人物を見つけ、接触することでした。何の罪を犯したのかは重要ではありませんでした。アルゴリズムが彼を危険人物と指定したからです。
これがオペレーション・レーザー(Operation LASER)の作動方式でした。LASERは『Los Angeles Strategic Extraction and Restoration』の略です。直訳すれば『ロサンゼルス戦略的抽出及び復興』という意味です。プログラム設計者たちは、この名称に医学的な比喩を込めました。連邦司法省傘下の司法支援局(Bureau of Justice Assistance)の公式文書には、このように記されていました。「オペレーション・レーザーはレーザー手術に比喩することができます。訓練を受けた医師が最新技術を使い、腫瘍を除去したり視力を改善したりするのと同じです。」
腫瘍。彼らは特定の市民のことを腫瘍と呼んでいました。
パランティアのゴーサム・プラットフォームが、このプログラムの脳の役割を果たしていました。システムは、逮捕記録、現場面談報告書、自動ナンバープレート認識機のデータ、ギャング・データベース、ソーシャルメディア活動など、数十のデータソースを統合しました。そして、各個人にスコアを付与しました。過去に銃を所持していれば5点。保護観察中なら1点。警察と接触するたびに1点ずつ加算されました。スコアが一定基準を超えると、『慢性犯罪者報告書(Chronic Offender Bulletin)』に名前が掲載されました。あたかも指名手配チラシのように、写真と個人情報がパトロールカーに配布されました。
問題はこのシステムの作動論理にありました。警察と接触するたびにスコアが上がるとすれば、警察が頻繁にパトロールする地域に住む人は、自動的に高リスク層になります。そして、警察はどこを頻繁にパトロールしていたのでしょうか。過去に犯罪が多く報告されていた地域でした。これは自己実現的予言のループを生み出しました。貧困な黒人とヒスパニック系の地域に警察はより頻繁に出動し、その地域の住民はより頻繁に職務質問を受け、それゆえより高いスコアを獲得し、それゆえより頻繁に監視対象になりました。2019年3月、LAPD監察官室(Inspector General)の監査結果が発表されました。結果は衝撃的でした。慢性犯罪者に分類された233人中、84パーセントがラテン系またはアフリカ系アメリカ人でした。ロサンゼルス全体の人口においてこれら二つの集団が占める比率は60パーセント未満でした。さらに驚くべき事実もありました。慢性犯罪者の中でほぼ半数が、暴力犯罪で逮捕された経験がないか、または一度だけでした。そして約20パーセント、5人中1人は、警察との『意味のある接触』記録すら全くありませんでした。
監査報告書はさらに別の問題点を指摘しました。プログラムの効果を立証できないということでした。LASER指定地域13地域中6地域では、むしろ暴力犯罪が増加したか、非LASER地域と差がありませんでした。データ収集方式も一貫性を欠いていました。ある警察官は誠実に接触記録を入力し、ある警察官はそうしませんでした。システムの正確性を検証する方法自体が存在しませんでした。
『LAPD監視中止連合(Stop LAPD Spying Coalition)』の共同創立者ハミド・カーン(Hamid Khan)は、長年このプログラムに対抗してきました。彼の組織は情報自由請求訴訟を通じて内部文書を入手し、地域住民とともにデモを組織しました。カーンはMITテクノロジーレビューとのインタビューで、このように述べました。「私たちは2016年に公式にキャンペーンを開始しました。目標はプログラムを理解し、地域住民に情報を知らせ、それを解体することでした。」
2019年4月、LAPDはついにオペレーション・レーザーを公式に終了しました。しかし、物語はここで終わりませんでした。
(2) アルゴリズム・バイアスと人種差別問題
オペレーション・レーザーが廃止された、その同じ月、LAPDは新しいプログラムを発表しました。『データ基盤地域志向治安(Data-Informed Community-Focused Policing, DICFP)』という名称でした。名前が変わっただけでした。
2021年、LAPD監視中止連合が入手した新しい文書が公開されました。文書は、LASERと、予測治安の別のプログラムであるPredPol(プレドポル)が、いかに既存の人種的バイアスを自動化し、強化したかを示していました。プレドポルは、過去の犯罪データに基づいて、犯罪が発生する確率が高い500フィート×500フィートの地域を予測する場所ベース・システムでした。地震の余震予測モデルから着想を得たアルゴリズムでした。
テキサス大学オースティン校の社会学者サラ・ブレイン(Sarah Brayne)は、LAPDに数か月間の埋め込み研究員として参加し、予測治安の実際の作動方式を観察しました。彼女の著書『予測と監視(Predict and Surveil)』には、衝撃的な場面が記されています。ある警察巡査は彼女にこう説明しました。「人を停止させるための軽微な違反は多くあります。昨日、この人は無断横断したという理由で職務質問を受けたかもしれません。」ブレインは、警察が病院の救急外来の前に設置された自動ナンバープレート認識機をどのように活用するかも目撃しました。銃撃被害者の家族や友人が車で患者を連れてきて、急いで立ち去る場合が多くありました。警察はそのナンバープレートを追跡して、被害者の人脈ネットワークを構築しました。犯罪の証拠がなくても、人脈網に入った人は監視対象になりました。
アメリカン大学ロースクール教授で、『ビッグデータ治安の台頭(The Rise of Big Data Policing)』の著者アンドリュー・ファーガソン(Andrew Ferguson)は、パランティア・システムの本質をこう定義しました。「パランティアはデータ基盤治安システムというより、データ基盤監視システムです。パランティアは警察が人々を安全に守るのではなく、人々を監視するのを支援します。」
非営利調査報道メディアThe Markupは、2023年にPredPol(その後、Geolitionaにリブランディング)の実際の成果を分析しました。2018年の1年間に23,000件以上の予測を検討した結果、的中率は0.5パーセント未満でした。予測された地域の犯罪が予測された場所と時間に実際に発生し、警察に報告された場合は100件に満たないものでした。プレインフィールド警察長は、Markupに対して「Geolitionaソフトウェアに支払われた費用は別のところでより良く使用されていたかもしれない」とコメントしました。
2020年4月、LAPDはコロナ19による予算制約を理由にPredPolとの契約を終了すると発表しました。しかし批評家たちは、これが本当の理由ではないと指摘しました。プログラムが効果がなく差別的であるという数年にわたる証拠が蓄積された結果でした。パロアルト警察庁はすでにPredPolを3年間使用した後、「何の価値も得られなかった」として契約を打ち切った状態でした。
問題の核心は、アルゴリズムがバイアスを生み出すのではなく、既存のバイアスを増幅させるという点です。LAPD監視中止連合の活動家シェイキア・ラフマン(Shakeer Rahman)はこう説明しました。「データ基盤治安は既存の警察論理を自動化します。それは貧困層を標的にし、ホームレスを標的にし、黒人と褐色人種と障害者を標的にすることを含みます。今や、これはそのような慣行を自動化し、害を自動化し、強制退去を自動化し、警察が常に担当してきた排除を自動化するのを支援しています。」
2024年2月、シカゴ市は銃声検知および予測治安システムであるShotSpotter(ショットスポッター)との契約更新を拒否しました。ブランドン・ジョンソン市長は報道資料で「シカゴ市は現在、暴力犯罪の低下傾向を加速させるために有効であると実証された戦略と戦術に資源を配置する」と述べました。予測治安に対する懐疑論が拡がっていました。
しかし、パランティアは依然として繁栄していました。COVID-19追跡およびワクチン安全性分析契約を通じて、国立衛生研究所(NIH)および食品医薬品局(FDA)に進出しました。2020年9月の株式上場後、株価は3倍以上に跳ね上がりました。ロサンゼルスでの失敗は、会社の成長に何ら影響を与えていないように見えました。
乙. ICEと強制送還機構
(1) 移民税関取締局による不法滞在者追跡支援
2025年4月のある日、米国移民税関取締局(ICE)の執行・送還作戦(Enforcement and Removal Operations)部門のある職員が新しいシステムにログインしました。画面には『ImmigrationOS』という名前が表示されていました。パランティアが開発したこのプラットフォームは、職員に驚くべき能力を提供しました。数回のクリックで、特定人物のパスポート記録、社会保障ファイル、国内歳入庁(IRS)の税務データ、運転免許証情報、さらには自動ナンバープレート認識機のデータまでを一目で見ることができました。システムは「ほぼリアルタイムで」自発的出国者を追跡し、ビザ滞在超過者を識別し、MS-13やTren de Araguaなどの超国家的犯罪組織関係者を標的に指定することができました。
これがトランプ第2期政権の強制送還機構でした。
パランティアとICEの関係は2014年にさかのぼります。当時パランティアは、ICE傘下の国土安全保障調査局(Homeland Security Investigations, HSI)のためにFalcon(ファルコン)というツールを構築しました。ファルコンは職員が特定個人の時間別位置を携帯電話番号で追跡し、航空旅行記録を分析し、現場面談情報をリアルタイムで共有することを可能にしました。オバマ政権時代に署名されたこの契約は、バイデン政権まで続きました。
しかし2025年のImmigrationOSは次元が異なっていました。2025年4月中旬、ICEはパランティアと3,000万ドル規模の契約を締結しました。連邦契約記録によれば、プロトタイプは2025年9月25日までに納品される予定でした。契約正当化文書でICEは「緊急かつ差し迫った必要性」があると述べました。そしてパランティアが「唯一の供給源」であると宣言しました。
「パランティアはICE運営に対する深い制度的知識を保有しています。」文書にはこう記されていました。「同社はすでに複数の連邦機関のデータを収集、処理しており、6か月以内にプロトタイプを開発する独特の立場にあります。」遅延が生じれば、トランプ大統領の行政命令に明記された執行任務が損なわれるであろうと警告していました。
ImmigrationOSは3つの主要機能を提供するよう設計されました。第一に、標的選定および執行優先順位付け。この機能は「暴力犯罪者」、ギャング組織員、ビザ滞在超過者など、誰を最初に強制送還するかを決定するのを支援します。どのようなデータまたは基準で「暴力犯罪者」を識別するかは公開されていませんでした。第二に、自発的出国追跡。個人が米国を自発的に離れるかどうかを監視します。第三に、移民ライフサイクル管理。識別から強制送還まで全体プロセスを合理化し、時間と資源の浪費を最小化します。
2025年9月、ICEはさらに29億9,000万ドル規模の契約を締結しました。ソフトウェアライセンス更新、操作・保守、適応型保守サポートのためのものでした。契約は2027年9月まで有効でした。ニューヨークタイムズが入手した公開記録によれば、トランプ就任後パランティアが受け取った連邦契約総額は9億ドルを超えました。2024年の5億4,120万ドルからほぼ倍増した数字でした。
システムの威力はデータ統合能力にありました。ImmigrationOSは政府データベースのみならず、民間部門の情報も引き寄せました。信用情報、公共料金記録、車両登録庁データ、航空会社の乗客情報がすべて結びつけられました。移民政策研究所(Migration Policy Institute)の分析によれば、ICEは商業信用、公共料金、自動車登録情報の最大政府購入者の1つと見なされています。
2025年4月、パランティアの最高技術責任者(CTO)でありパランティア・USGの大統領であるアカシュ・ジェイン(Akash Jain)は内部Slackメッセージにこう記しました。「ICEとの業務について簡単な更新です。」流出したこのメッセージによれば、会社は「新政権が執行作戦を推進するためにデータを活用することに焦点を当てた」ことに対応して「ICEとの新しいデータ統合およびワークフロー・セット」を開発しました。
CNNの報道によれば、ImmigrationOSは人工知能システムを使用して、移民職員が「急襲承認、逮捕予約、法的文書生成、強制送還飛行機または拘留施設への移送経路指定を単一インターフェースで」処理することができるようにするとのことでした。
(2) 内部職員の倫理的反発と退職ラッシュ
2025年5月、13人の元パランティア職員が公開書簡を発表しました。タイトルは「シャイアの略奪(The Scouring of the Shire)」でした。『ライラの冒険』でサウロンが敗北した後も、ホビット族の郷が破壊される場面を指すタイトルでした。会社の名前がトールキンの世界に由来するという事実を考えると、これ以上に辛辣な批評はありませんでした。
「企業がトランプ政権に阿ぎ、反対意見を抑圧し、彼の外国人嫌悪的、差別的、寡頭的議題に同調しています。」書簡に記されていました。彼らは、会社の倫理的ガードレール、本来は差別、偽情報、権力乱用を防ぐために設計されたものが、解体されていると警告しました。
こうした反発は新しいものではありませんでした。アレックス・カープCEOは2024年3月のCNBCとのインタビューで率直に認めました。「私たちは職員を失いました。今後も失うでしょう。」彼はさらに述べました。「持つ立場が職員を失う代償を払わないなら、それは立場ではありません。」
ブリアナ・キャサリン・マーティン(Brianna Katherine Martin)は、倫理的懸念から会社を去った職員の一人でした。彼女はImmigrationOSのようなプロジェクトが「人権および憲法的侵害への共謀である」と述べました。
人権団体の批判はさらに厳しいものでした。NYUスターン・ビジネス・人権センターのポリシー・アドバイザーマリアナ・オライソラ・ローゼンブラット(Mariana Olaizola Rosenblat)は、Axiosとのインタビューで、こう述べました。「トランプ政権の強制送還機構を支援することで、パランティアはそのような人権および憲法的侵害に共謀しています。」
米国移民評議会(American Immigration Council)はシステムの根本的問題点を指摘しました。ImmigrationOSは、政府データベースの情報をその正確性または信頼性と関係なく引き寄せます。古い、または不正確な情報が、人生を変える結果につながる可能性があります。拘留、身分喪失、または違法な強制送還。
最も不都合な事実の1つは、利益相反の問題でした。スティーブン・ミラー(Stephen Miller)、トランプ政権の移民政策首席設計者は、パランティアにおいて相当な金銭的持分を保有していました。政府の移民政策を設計する者が、その政策を執行する技術を提供する会社の株主である状況。これは偶然でしょうか、それとも設計された結果でしょうか。
2025年12月、ワシントンポスト紙はパランティアがどのように方向転換したかを報道しました。記事のリードはこうでした。「長年にわたり、アレックス・カープは、データ管理会社が『進歩的価値を支援することに関与している』と宣言し、少数者を標的にしたり非倫理的と判断された契約から『繰り返し身を引いた』と述べていました。」
しかし今、その会社は米国史上最も攻撃的な大規模強制送還キャンペーンの技術的中枢になっていました。パランティア側は、自分たちが単にツールを提供しているだけだと主張します。誰を標的にし、強制送還し、監視するかを決定するのは会社ではなく、政府だと言うのです。
しかし批評家たちは反論します。設計選択は現実世界の結果を形成します。AIアーキテクチャはすなわち政策になります。アルゴリズムが特定の集団をより高いリスクに分類すれば、それは技術的決定ではなく政治的決定です。
国際アムネスティのアムネスティ・テック・プログラム副部長リキタ・バネルジ(Likhita Banerji)は、エルパイス新聞に、こう述べました。「これらの技術は、人種差別、差別、抑圧を体系的に助長する可能性があり、人種差別的で外国人嫌悪的な議題を推し進めるために日常的に使用されています。」
丙. ラベンダー(Lavender)とガザ地区
(1)イスラエル・ハマス戦争での公式な支持宣言
2024年1月のある日、テルアビブの会議室で異例の集まりが開かれました。パランティア取締役会が初めてアメリカの外で、しかもイスラエルで会議を開催したのです。ピーター・ティールとアレックス・カープがイスラエル国防省の関係者と並んで座って写真を撮りました。アイアンドーム防空ミサイルシステムの開発を主導したことで有名な国防研究開発局(DDR&D)局長のダニー・ゴールド(Danny Gold)も出席していました。
その写真はイスラエルのメディアには掲載されませんでした。しかしブルームバーグが報道しました。イスラエルがパランティアからAIPというAIベースのシステムを購入することに合意したという報道でした。このシステムは情報に基づいて意思決定を支援し、敵の標的を分析し、戦闘行動を提案することができました。契約規模は数千万ドルに達すると予想されていました。
アレックス・カープは自分の立場を隠しませんでした。2024年2月の決算発表カンファレンスコールで、彼はこう述べました。「10月7日以降、わずか数週間のうちに、われわれが現場にいて、イスラエルで作戦上重要な活動に従事していることを、非常に誇りに思います。」
カープはテルアビブ大学で伝説的なイスラエルの起業家ヨシ・バルディ(Yossi Vardi)と対話しながら、さらに率直になりました。「イスラエルについて意見を持たない人はいませんよ、大企業ならね。私ほど親イスラエル的ではない人も大勢いますが、彼らはイスラエルを非常に特別な場所だと思っており、イスラエルの立場をより理解し、砂漠で国家を建設したイスラエルの業績を高く評価しています。」
会社はニューヨーク・タイムズに全面広告を掲載しました。「パランティアはイスラエルと共にあります。」
パランティアとイスラエル軍部の関係はずっと前に始まっていました。2015年、会社はテルアビブのロスチャイルド大通りとイェフダ・ハレヴィ通りを見下ろす場所にオフィスを開設しました。これはイスラエルのテック・エコシステムに深く統合されようとする戦略的な動きでした。カープ自身が2023年12月のフォックスビジネスとのインタビューで認めています。「われわれはイスラエルで非常によく知られています。イスラエルはわれわれの製品を高く評価しています。」
しかし、2024年1月の合意、ブルームバーグが「戦闘技術のための戦略的パートナーシップ」と命名したこの契約のタイミングは、疑問を呼び起こしました。この合意はガザ地区での大量殺戮がすでに3ヶ月続いている時点で締結されました。ビジネス・人権・リソースセンターはこう質問しました。「パランティアが激化した紛争を、自社のAIモデルを民間人に対してテストする機会として活用したのは計算された動きだったのでしょうか。ガザを技術の恐ろしい実験場にしたのでしょうか。」
(2)AI標的識別システムと「アルゴリズムによる戦争犯罪」論争
2024年4月、イスラエル・パレスチナ専門メディア「+972マガジン」とヘブライ語メディア「ローカルコール」が衝撃的な調査報道を発表しました。記事のタイトルは『「ラベンダー」:ガザでイスラエルの爆撃の猛威を指揮するAI機械』でした。イスラエル軍の情報将校6名が匿名を条件に証言しました。
ラベンダー(Lavender)はハマスおよびパレスチナ・イスラム聖戦(PIJ)の軍事組織員として疑われるすべての人々を、下級職員まで含めて、潜在的な爆撃対象として表示するために設計されたAIベースのデータベースでした。システムはガザ地区のほぼすべての人を分析し、1から100までのスコアを割り当てました。そのスコアはその人が武装勢力に積極的に関与している可能性を示していました。
情報筋によると、戦争初期の数週間、イスラエル軍はほぼ全面的にラベンダーに依存していました。システムは37,000人のパレスチナ人を容疑される戦闘員として、そして彼らの家を潜在的な空襲の対象として表示しました。
さらに衝撃的だったのは、人間のレビュープロセスでした。証言した情報将校らは、ラベンダーが生成した標的を承認するのに平均20秒を費やしたと述べました。多くの場合、確認作業は対象が男性であるかどうかを確認することに終わりました。女性は戦闘員ではないという仮定の下で。
システムには約10パーセントのエラー率があることをすべてが知っていました。しかしそれは容認できるレベルと考えられていました。ある情報筋は+972にこう述べました。「われわれはハマス要員が軍事建物にいるか軍事活動に参加している時だけ彼らを殺すことに興味がありませんでした。反対に、IDFはためらわずに彼らを家から爆撃しました。最初の選択肢としてです。家族の家を爆撃する方がはるかに簡単です。システムはそのような状況で彼らを見つけるために設計されています。」
ラベンダーと連動した別のシステムがありました。「パパはどこ?(Where's Daddy?)」という名前でした。このシステムはラベンダーが標示した人々が家に入るまで追跡しました。意図的に夜間に、家族が一緒にいるときを狙いました。
民間人被害の許容基準も公開されました。下級ハマス要員1人を殺害するために15~20人の民間人の死亡が許容されました。上級指揮官の場合、その数は100人から300人に増加しました。
ある情報筋はこう証言しました。「標的は尽きません。」一度爆撃が始まると、指揮官は「さらに36,000人が待機している」ことを知っていました。
2025年5月、イスラエル軍機密データベースに記録された証拠が公開されました。ガザで死亡した53,000人のパレスチナ人のうち、わずか17パーセントだけが戦闘員でした。これは83パーセントが民間人だったことを意味します。国連は2024年末、死亡者の約70パーセントが女性と子どもであることを検証しました。
国連事務総長アントニオ・グテーレス(António Guterres)は「深く懸念している」と述べました。イスラエルが軍事作戦で人工知能を使用することが、民間人を危険にさらし、責任の所在を曖昧にしていると指摘しました。
国連人権・対テロ特別報告官ベン・サウル(Ben Saul)はさらに直接的でした。「イスラエルのAI使用に関する報道が事実であれば、ガザでのイスラエルによる多くの空襲は、不釣り合いな攻撃を加える戦争犯罪に該当するでしょう。」
ハマド・ビン・カリーファ大学のマーク・オーウェン・ジョーンズ(Marc Owen Jones)教授はラベンダーシステムについてこう述べました。「明確にする必要があります。これはAI支援の大量殺戮であり、今後、戦争でのAI使用に関するモラトリアムの要求がなければなりません。」
パランティアがラベンダーの開発者であるかどうかは確認されていません。イスラエル軍の情報部隊8200が開発したことが知られています。しかし2024年1月の戦略的パートナーシップのタイミング、そしてパランティアの技術能力が同様のシステムに適用される可能性があるという点は、疑問を呼び起こします。確かなことはパランティアがこの戦争を積極的に支援しているということです。ビジネス・人権・リソースセンターに提出した声明で、パランティアはイスラエル軍に「拡張された、重要な標的識別能力」を提供していると認めています。その能力がガザで、そして恐らくその先で破壊的な空襲を実行するために使用された可能性が高いです。
カープは2024年5月のケンブリッジ大学討論会で質問を受けて動揺した様子を見せました。ラベンダーについての質問でした。投資家キャサリン・オースティン・フィッツ(Catherine Austin Fitts)はこう観察しました。「ピーター・ティールは法的には保護されるかもしれませんが、世論の法廷では清算が来るかもしれないことに気づき始めているようです。」
しかしティールの立場は揺らぎませんでした。「僕は基本的にIDFが自分たちが望むことを決めることができ、彼らが基本的に正しいと信じています。」
パランティア本社前で、ワシントンD.C.のヒル・アンド・バレー・フォーラムで、世界中の大学キャンパスで抗議が続いています。パレスチナ系アメリカ人スメル・モバラク(Sumer Mobarak)はカープの演説中にステージに飛び出して叫びました。「あなたはパレスチナ人を殺して金持ちになっています。パランティアはその人工知能と技術でパレスチナ人を殺しています。あなたはパレスチナにいる私の家族を殺しています。」カープの返答はこうでした。「パレスチナでの主要な死因はハマスが数百万人の『役に立つ馬鹿』がいることに気づいたという事実です。」
このシーンの映像は数百万回視聴されました。しかしパランティアの株価は上昇し続けました。時価総額は2,000億ドルを超えました。アルゴリズムによる戦争犯罪の議論の最中にも、投資家たちは利益を上げていました。
誰がアルゴリズムを監視するのか。それが今の時代が投げかけている問いです。
