イ. アルゴリズムによる融資差別（同じ信用、異なる金利）

（1） 学資ローンAI差別集団訴訟

2025年7月10日、マサチューセッツ州検事総長アンドレア・ジョイ・キャンベルは記者会見場に立ちました。彼女の手には250万ドルの書類がありました。相手はEarnest Operationsという学資ローン借り換え会社でした。キャンベル総長はマイクの前で、こう言いました。「アーネストのAIモデルは、歴史的に周縁化された学生の借り手たちを不公正に危険にさらしました」

いったい何があったのでしょうか。

物語は2014年にさかのぼります。アーネストはシリコンバレーのスタートアップの典型的な起業物語を持つ企業でした。創業者たちは、伝統的な信用評価が旧時代的だと信じていました。

FICOスコアだけで人を判断するとは。FICOはFair Isaac Corporationの略です。米国で最も広く使われている信用スコア・システムです。300点から850点の間の数字で表現されます。高いほど信用が良いです。ローン申請、クレジットカード発行、さらにはアパート賃貸契約にも、このスコアを見ます。韓国の信用等級と似たような概念です。

彼らはもっと多くのデータを見るべきだと考えました。出身校。専攻。職務経歴。こうした変数をAIに与えれば、AIは誰が借金を返す人かをより正確に予測できるようになるだろうと考えました。

問題は、その変数の一つにありました。「機関別ローン不履行率（Cohort Default Rate、CDR）」というものです。

これは、米国教育省が各大学ごとに発表する数字です。当該大学の卒業生が連邦学資ローンをどの程度返済できなかったかを示す指標です。

アーネストのAIはこの数字を見ました。そして単純な計算をしました。あなたが卒業した学校のCDRが高ければ、あなたも借金を返済できない確率が高い。したがって、あなたの金利は上がるか、そもそもローンが拒否されます。見た目には合理的に思えます。卒業生の返済記録が悪い学校出身なら、慎重になるのは当然ではないでしょうか。

しかし検察は別のものを見ていました。米国には、歴史的黒人大学（HBCU）というものがあります。ハワード大学、スペルマンカレッジなどの場所です。これらの学校には、主にアフリカ系米国人学生が通っています。そして、これらの学校のCDRは平均より高い傾向があります。なぜでしょうか。その学生たちの家庭が代々豊かではなかったからです。学資ローンの返済が遅れるのは、個人の信用度の問題ではなく、世代を通じて蓄積した経済的不平等の結果です。

アーネストのAIは、こうした文脈を知りませんでした。AIはパターンだけを見ていました。

この学校出身の者は金を遅く返す。したがって、この人物のスコアを減点する。しかし、その「この人物」はハワード大学を優秀な成績で卒業しGoogleに就職した黒人青年かもしれません。信用スコアが完璧かもしれません。年棒が15万ドルかもしれません。それでもAIは彼のスコアを減点します。なぜなら、彼が通っていた学校の先輩たちが借金をよく返していなかったからです。

これを法律用語で「差別的影響（Disparate Impact）」と言います。簡単に言うと、こういうことです。あなたが黒人を差別しようと意図していなくても、あなたのシステムが結果的に黒人に不利に作動するなら、それは違法です。

大学CDRは人種変数ではありません。しかし、人種と密接に結びついています。法律家たちはこれを「代理変数（Proxy Variable）」と呼びます。直接聞かずに人種を推論させることができるバイパスです。

アーネストには別の問題もありました。「ノックアウトルール（Knockout Rule）」というものです。非市民権者申請者が永住権（グリーンカード）を持っていない場合、AIが審査の初期段階で自動的に却下するように設定されていました。就労ビザを持つインド系エンジニアが年給20万ドルを受け取っていても、永住権がないという理由だけで門前払いされたのです。

検察はこれが出身国による差別だと判断しました。

条件は厳格でした。アーネストはCDR変数の使用を直ちに中止しなければなりません。移民身分による自動却下ルールを廃止しなければなりません。すべてのAIモデルに対して、公正性テストを義務的に実施しなければなりません。文書化された企業ガバナンスシステムを構築し、定期的に検察にコンプライアンス状況を報告しなければなりません。

アーネストは容疑を否認しました。同社は法律に違反していないと主張しました。ただし「長期にわたる訴訟を避けるため」合意に応じたと明らかにしました。これは米国企業が罰金合意を発表するときに使う標準的な文句です。過ちを認めることなくお金を支払う方法です。

この事件が重要な理由は別にあります。連邦政府がAI差別規制で一歩引く一方、州政府がその空隙を埋め始めたという点です。トランプ政権の再選後、消費者金融保護局（CFPB）の積極的な執行は鈍化しました。連邦取引委員会（FTC）のアルゴリズム差別監視も緩和しました。その隙をマサチューセッツ、カリフォルニア、オレゴン、ニュージャージーといった州の検察たちが突いていきました。

キャンベル総長は記者会見の最後にこう言いました。「技術がいかに進歩しても、それが市民権と消費者保護を迂回する言い訳にはなりません」

この言葉は、金融技術業界全体に対する警告でした。

（2） UC Berkeley/Urban Institute研究結果

2018年、UC バークレー ハース経営大学院の研究室では、奇妙な緊張感が漂っていました。

金融学教授アデア・モース（Adair Morse）と法学教授ロバート・バートレット（Robert Bartlett）が画面を見つめていました。彼らは数百万件の住宅ローンデータを分析していました。

当初、研究の目的はフィンテックを称賛することでした。アルゴリズムが人間の銀行員の偏見を排除したはずだと期待していました。黒人顧客に出会ったときに無意識のうちに差別する、その根深い問題を冷徹な数学が解決したはずだと信じていました。

データは全く逆を示していました。

研究チームは2008年から2015年までのモーゲージデータを分析しました。

その結果、アルゴリズムベースのフィンテック貸金業者が、黒人およびラテン系借り手に対して、白人借り手より平均7.9bp（0.079%ポイント）高い金利を課していることを発見しました。

0.079%ポイント。小さな数字に聞こえます。しかし、この数字を米国全体のローン市場に乗じると、別の話になります。研究チームの計算によれば、少数民族借り手たちはこの金利差のために、毎年約7億6,500万ドルを追加で支払っていました。

モース教授はこう述べました。「融資差別の方式が、人間の偏見からアルゴリズムの偏見へと移行しました」この言葉には苦い笑いが込められていました。「アルゴリズムを書く人々が公正なシステムを作ろうという意図を持っていても、彼らのプログラミングは少数民族の借り手たちに差別的影響をもたらしています」

どうしてこんなことが可能なのでしょうか。アルゴリズムは人種を見ません。少なくとも直接的には見ません。米国法上、融資審査で人種を変数として使うことは違法です。しかし、アルゴリズムは人種を除いたすべてのものを見ます。居住地の郵便番号。買い物パターン。銀行口座振替習慣。使用しているスマートフォン機種。こうした変数は人種と高い相関関係を持っています。研究チームはこれを「アルゴリズム的戦略的価格設定（Algorithmic Strategic Pricing）」と呼びました。

フィンテック企業のAIは、誰が比較ショッピングをするかを予測します。複数の銀行の金利を比較し、最良の条件を探す顧客がいます。そうした顧客には、競争力のある金利を提示する必要があります。そうしないと、他の銀行に行ってしまうからです。

逆に、比較ショッピングをしないと思われる顧客がいます。金融サービスが不足している地域に住む人。インターネットアクセス性が低い人。忙しい日常のため複数の銀行を回る時間がない人。こうした顧客には、やや高い金利を提示しても構いません。彼らはどうせ他のところと比較しないからです。

問題は、こうした特性が人種と重なっているという点です。金融サービスが不足している地域は、歴史的に有色人種が多く住む地区です。複数の銀行を比較する時間がない人々は、低所得層労働者であることが多いです。アルゴリズムは人種を問いません。しかし人種を迂回して知ります。

研究チームは興味深い発見もしました。アルゴリズムが人間より優れた点もありました。融資の承認・却下判定においては、アルゴリズムは人間の審査官より差別的ではありませんでした。

黒人またはラテン系だという理由でローン自体を拒否される割合は減りました。しかし、ローンを受けた後に適用される金利において、差別がむしろ増えました。

これは微妙な区別です。門を開くことと、門の中でどのように扱われるかは別の問題です。

アーバン・インスティテュート（Urban Institute）の2024年分析は、さらに衝撃的な数字を示しました。AIベースのローン・モデルでは、黒人および有色人種申請者が白人申請者に比べてローン拒否される確率が2倍以上高かったのです。これは信用記録の差で説明できない格差でした。これらの研究は2024年8月のCFPBガイドラインに直接引用されました。消費者金融保護局は「新技術だからといって連邦消費者金融保護法の例外にはなりえない」と明言しました。AIを使用するという事実そのものが、差別的影響に対する法的責任を免除するものではないということです。

金融業界は当惑しました。彼らはAIが偏見を排除するだろうと心から信じていました。冷徹な数学に人種差別が入り込む隙があるでしょうか。しかし、数学が学習するデータ自体が汚染されていました。過去50年間、人間の銀行員たちが黒人にローンをあまり与えていませんでした。そのためデータ上、黒人の信用記録は不足していたか悪かったのです。AIはこのデータを見て学びました。黒人（または黒人と似たパターンを持つ人）は危険だ、と。

アルゴリズムは、過去の偏見を数学的に正当化し、未来に投影する鏡でした。

ロ. Apple/Goldman Sachs事件

（1） CFPB8,900万ドル罰金

2019年8月20日、AppleはGoldman Sachsと手を組んで『Apple Card』を発売しました。広告は華やかでした。チタン製の物理的なカード。シンプルなデザイン。「最も消費者に優しいクレジットカード」。ウォール街の王者Goldman SachsとシリコンバレーのアイコンAppleが出会ったのだから、革新的な金融商品が誕生するだろうと皆が期待していました。

この華やかな発売の4日前、2019年8月16日のことです。Goldman Sachsの取締役会に報告書が上がりました。タイトルはシンプルでした。

紛争処理システムが「完全には準備されていない（not fully ready）」という内容でした。技術的な問題がありました。顧客が決済エラーを報告すると、それを受け付けて調査し、払い戻すシステムのことです。それが正常に機能していませんでした。

取締役会は報告書を受け取りました。そして4日後、出場を強行しました。

なぜでしょうか。パートナーシップ契約書に答がありました。ゴールドマン・サックスが出場を90日遅延させるたびに、アップルは2,500万ドルのペナルティを課すことができました。

出場日程を遅らせるということは、数千万ドルを支払うことでした。ゴールドマン・サックスは計算しました。システムが不完全で後に問題が生じるコストと、今すぐアップルに支払うペナルティ。どちらが大きいか。彼らは出場を選択しました。

5年後、その計算が間違っていたことが明らかになりました。

2024年10月23日、消費者金融保護局（CFPB）はアップルとゴールドマン・サックスに8,900万ドル以上の罰金と賠償金を課しました。ゴールドマン・サックスに4,500万ドルの罰金と1,980万ドルの消費者賠償金。アップルに2,500万ドルの罰金。そしてゴールドマン・サックスにはより致命的な制裁が続きました。「法律遵守を保証する信頼できる計画」を提出するまで、新しいクレジットカード商品の出場が禁止されました。ウォール街の王様がクレジットカード事業から身動きが取れなくなったのです。CFPBの調査結果は惨憺たるものでした。数千件の顧客紛争がアップルからゴールドマン・サックスに適切に伝達されていませんでした。伝達された紛争でさえゴールドマン・サックスが適切に調査していませんでした。顧客たちは払い戻しを数か月待たされました。

その間、彼らの信用スコアには「延滞」という記録が残りました。ゴールドマン・サックスの自動化システムが紛争中の取引を延滞として処理してしまったからです。実際には決済エラーだったのに、顧客の信用が傷ついてしまいました。

別の問題もありました。アップルは「特定のデバイス購入時に無利息分割払いが自動的に適用される」と広告していました。しかし実際には多くの顧客が自動的に通常のリボルビング払い（利息がつく支払い）に登録されていました。彼らは無利息だと思ってiPhoneを買ったのに、数か月後に利息がついた請求書を受け取りました。

CFPB局長ロヒット・チョプラはこう述べました。「アップルとゴールドマン・サックスはアップルカード借用人に対する法的義務に違反しました。ビッグテック企業とウォール街の大手銀行が連邦法の例外であるかのように行動してはなりません。」

両社は過ちを認めませんでした。「容疑を認めも否定もしない」という標準的な文言が含まれました。ゴールドマン・サックスは声明を通じて「出場後に発生した特定の技術的および運営上の問題に対処するため、懸命に取り組んできた」と述べました。アップルは「CFPBの特性規定には強く同意しませんが、合意に応じました」と述べました。

しかし市場は既に結論を下していました。ゴールドマン・サックスはアップルカード事業から身を引こうとしていました。他の銀行にパートナーシップの買収を提案しました。誰も進んで名乗り出ませんでした。誰がこの爆弾を抱え込みたいでしょうか。

2026年1月、JPモルガン・チェースがアップルカードを買収することを決定しました。22億ドル規模の取引でした。移行期間は24か月かかる予定です。ゴールドマン・サックスの消費者金融進出の実験は10億ドル以上の損失を残して終わりました。

（2）アップルカード アルゴリズム差別論争

8,900万ドルの過徴金が出される5年前、アップルカードには別の種類の危機がありました。2019年11月、デンマーク出身のソフトウェア開発者デイビッド・ハイネマイヤー・ハンソン（DHH）がツイッターに怒りに満ちた投稿をしました。

「アップルカードは性差別的なプログラムです。」

ハンソンはプログラミングの世界では有名な人物です。ルビー・オン・レイルス（Ruby on Rails）というウェブフレームワークを開発した人です。彼には35万人以上のツイッターフォロワーがいました。彼の投稿は瞬く間に広がりました。

彼の主張はこうでした。

彼と妻のジェイミーは共同で税務申告をします。同じ財産を共有しています。妻の信用スコアは彼より高いです。しかしアップルカードのアルゴリズムは彼に妻より20倍高いクレジット枠を与えました。

ハンソンはアップルカスタマーセンターに電話しました。「なぜ妻の枠がこんなに低いのですか？」担当者は答えられませんでした。「それはアルゴリズムがそう決めたというだけです。」

数日後、アップル共同創業者のスティーブ・ウォズニアックが参戦しました。「私も同じ経験をしました。」ウォズニアックと彼の妻は全てのアカウントを共有しています。同じ税務申告書を提出します。それでも彼は妻より10倍高い枠を受け取りました。アップルを作った人でさえ理解できないアップルのアルゴリズムでした。

ニューヨーク州金融サービス部（NYDFS）部長リンダ・レイスウェルが即座に調査に着手しました。彼女はメディアムに記事を投稿しました。「これは単にあるアルゴリズムを調査することについてではありません。全国の消費者たちが、金融サービスへのアクセスに影響を与えるアルゴリズムが全ての個人を平等かつ公正に扱うという確信を持つことができなければなりません。」

調査は2021年まで続きました。結果は予想外でした。「意図的な性差別の証拠は見つかりませんでした。」ゴールドマン・サックスのアルゴリズムには性別変数が全く入っていませんでした。米国法ではそれが違法だからです。枠の違いは他の変数、所得の共有方法、債務履歴などから生じているように見えました。

法的にはアップルとゴールドマン・サックスは無罪放免を受けました。しかしこの事件はより深い問題を残しました。

第一の問題は説明不可能性でした。ハンソンが「なぜ？」と尋ねたとき、誰も答えられませんでした。カスタマーセンターの担当者も。ゴールドマン・サックスの信用担当者も。アルゴリズムを設計したエンジニアでさえも。AIは決定を下しましたが、なぜそのような決定を下したのかは説明できませんでした。「ブラックボックス」でした。

第二の問題はプロキシ差別（Proxy Discrimination）の可能性でした。性別変数を直接入れなかったにしても、買い物パターンや消費習慣のような変数が性別の代理変数として機能していた可能性があります。女性の買い物パターン、男性の買い物パターンは異なります。アルゴリズムがその違いを見て性別を推測していた可能性があります。法的には証明されませんでしたが、疑いは残りました。

AI Now Instituteはこの事件を分析する際、こう述べています。「アップルカード論争における偏見はバグではなく機能（feature）である。」アルゴリズム差別は偶然のエラーではなく、データと設計に内在する構造的問題だという意味です。

この事件が残した教訓は明確です。金融サービスにAIを導入するなら、そのAIがなぜそのような決定を下したのか説明できなければなりません。「アルゴリズムがそうしたのです」は法廷でも、顧客の前でも、規制当局の前でも通用しません。

アップルとゴールドマン・サックスのパートナーシップはこの事件後、徐々に崩壊し始めました。性差別論争から始まり、紛争処理の失敗へと続き、最終的には8,900万ドルの過徴金に至りました。「世紀の結婚」と呼ばれた提携は離婚訴訟で終わりました。

三 価格設定アルゴリズムと反トラスト法

（1）RealPage事件：賃貸料金アルゴリズム カルテル

シアトルのあるアパートに住む借家人が2022年の再契約通知を受け取りました。月家賃が30%も上がっていました。腹が立って隣の建物、そのまた隣の建物の相場を調べました。全てのアパートの家賃が同じように上がっていました。空き部屋が溢れているのに価格は下がっていませんでした。

「これはカルテルです。」

その通りでした。ただし、彼が想像していたカルテルではありませんでした。オーナーたちが秘密の場所に集まって「価格をこれだけ上げよう」と合意する場面はありませんでした。

彼らは互いに会ったこともありませんでした。代わりに彼らは同じソフトウェアを使用していました。リアルページ（RealPage）という会社が開発した「イールドスター（YieldStar）」というアルゴリズムでした。

イールドスターの動作方法はこのようなものでした。賃貸業者たちは自分たちの実際の契約家賃、空き率、契約条件といった機密データをリアルページのサーバーに送信します。リアルページのAIはこのデータを統合分析します。そして各賃貸業者に「最適な賃貸料金」を提示します。「この価格で貸してください。」

これがなぜ問題なのか。市場経済では競争事業者たちは独立して価格を決定する必要があります。Aアパートが価格を上げれば、Bアパートは価格を下げて借家人を奪うことができます。これが競争です。借家人たちにとって良いことです。価格が下がるからです。

しかしAとBが同じアルゴリズムを使えば、異なることが起こります。アルゴリズムは両者に「価格を上げてください」と勧告します。Aが上げます。Bも上げます。借家人は逃げ場がありません。市場全体の価格が上がってしまったからです。

より巧妙な点があります。過去の賃貸業者たちは空き部屋を恐れていました。空き部屋は損失だからです。だから価格を下げてでも借家人を探そうとしていました。しかしリアルページは新しい計算方法を提示しました。「空き部屋があっても構いません。価格を高く保つと、全体収益はより高くなります。」空室を覚悟で価格を上げる戦略でした。

2024年8月、米国司法省（DOJ）と8つの州の検事総長がリアルページに対して反トラスト訴訟を提起しました。容疑はシャーマン法（Sherman Act）第1条（取引制限の陰謀）および第2条（独占化）違反でした。

司法省の論理はこのようなものでした。リアルページは「ハブ（Hub）」で、賃貸業者たちは「スポーク（Spoke）」です。自転車の車輪を考えてください。スポークは互いに直接つながっていません。しかし全て中央のハブにつながっています。ハブが回転するとスポークも一緒に回転します。リアルページというハブが価格を調整すると、賃貸業者たちの価格も一緒に動きます。彼らは互いに電話で一度も話していません。しかし結果的にはカルテルした場合と同じ効果が生じます。

2025年11月24日、司法省とリアルページは合意に達しました。合意条件は詳細でした。

リアルページは競争相手の非公開データをリアルタイム価格設定に使用することはできません。

AIモデルの訓練には最低12か月以上前のデータのみを使用することができます。

地理的分析は州レベルより詳細に行うことはできません。

特定のアパート団地レベルのミクロなカルテルを防ぐためです。「自動受諾（Auto-accept）」機能、つまりアルゴリズムが提示した価格を自動的に従わせる機能を削除しなければなりません。

「ガバナー(Governor)」機能を対称的に作る必要があります。

価格上昇には寛容で、価格低下には吝嗇であった設定を変える必要があります。

法院が任命した監視官が3年間の遵守状況を監督します。

合意期間は7年です。ただし4年後に法務省が「もはや必要ない」と判断すれば、早期終了することがあります。金銭的罰金はありませんでした。過失の認定もありませんでした。リアルページは「法律に違反したことはない」と主張を維持しました。ただし「長期間の訴訟を避けるために」合意に応じたと明らかにしました。

法務省反独占責任者のアビゲイル・スレイターはこのように述べました。「競争企業は独立的な価格決定をしなければなりません。アルゴリズムと人工知能技術が進展するに従って、私たちは強力な反独占執行の先頭に継続して立つでしょう。」

合意がすべてを終わらせたわけではありません。10州（カリフォルニア、コロラド、コネチカット、イリノイ、マサチューセッツ、ミネソタ、ノースカロライナ、オレゴン、テネシー、ワシントン）はこの合意に署名しませんでした。彼らは別の訴訟を継続しています。民間の集団訴訟も複数の案件が進行中です。

ニューヨーク州とカリフォルニア州はアルゴリズム賃貸料カルテルを禁止する別法を制定しました。ニューヨーク法は2025年12月15日に発効しました。リアルページはこの法律が修正憲法第1条（言論の自由）に侵害するとしてニューヨーク南部地区連邦法院に訴訟を提起しました。闘争は継続されます。

(2) Yardi Systems訴訟：シャーマン法違反

リアルページだけが問題になったわけではありません。競合企業のヤーディ・システムズ（Yardi Systems）も同様の訴訟に巻き込まれました。ヤーディのソフトウェア「RENTmaximizer」（現在はRevenue IQにリブランディング）もリアルページと同じ方式で動作していました。賃貸人のデータを集めて、AIが価格を提案しました。

2023年、ワシントン西部地区連邦法院に集団訴訟が提起されました。原告たちはシャーマン法第1条違反を主張して3倍の損害賠償と差し止め命令を要求しました。

被告側（ヤーディと賃貸人たち）は訴訟却下を申請しました。「私たちはカルテルをしたことがない。ただソフトウェアを使ったに過ぎない。」2024年12月、法院は却下要求を却下しました。事件は証拠開示(Discovery)段階に進みました。

この決定では、法院の論理が重要です。法院はこのように判断しました。「競争者が共通のアルゴリズムに価格決定を委任し、そのアルゴリズムが競争者の非公開データを使用していることを知りながら参加した場合、これは明示的な合意がなくてもカルテルの証拠になることができる。」

「知りながら参加した」この表現が核心です。賃貸人たちは互いに電話をしませんでした。メールのやり取りもしませんでした。「価格を上げよう」という合意をしたこともありません。しかし彼らは知っていました。同じソフトウェアを使うと価格が似た動きをするということを。競争なしに価格を上げることができるということを。そして彼らはそのソフトウェアを選択しました。

法院の論理に従うと、これは「黙示的合意(Implicit Agreement)」に該当します。直接言わなくても、行動で合意したものです。

原告側はこれがシャーマン法の「当然違法(Per se illegality)」に該当すると主張しました。当然違法とは、行為自体が余りに明らかに有害であって、市場に及ぼした具体的影響を問う必要もなく違法と判断する基準です。価格カルテルが典型的な当然違法行為です。法院はまだ当然違法かどうかを最終判断していません。しかし訴訟が証拠開示段階に進んだこと自体が被告にとって悪い信号です。証拠開示段階では内部メール、会議録、財務データなどが公開されます。不利な証拠が出てくることがあります。

ヤーディ訴訟の意義はリアルページ事件を超えます。ホテル価格アルゴリズム。航空券価格アルゴリズム。車両共有価格アルゴリズム。「動的価格設定(Dynamic Pricing)」という名で包装されたすべてのAIが同様の論理で審判台に上ることができます。競争企業のデータを共有するアルゴリズムが価格を調整するなら、それはカルテルです。

法務省は明確なメッセージを送りました。「アルゴリズムが価格を決めた」という言い分で責任を回避することはできません。

ラ. オーストラリア Robodebt スキャンダル

(1) 自動化された福祉給付回収

オーストラリア・メルボルンの小さなアパートに住むキャスは2016年のある日、郵便受けから手紙を発見しました。政府機関センターリンク(Centrelink)からのものでした。内容を読んだ彼女の手は震えました。3,000豪ドル（約260万円）を返金せよという通知でした。5年前に失業状態だったときに受けていた福祉手当が誤って支給されていたということでした。

キャスは混乱していました。5年前？何のことだ？彼女は記憶をたどろうとしました。5年前の給与明細書は既に捨ててから久しかったです。政府は断固でした。「返金しなければ信用不良者になります。税金払い戻しも差し押さえられます。」

キャスは一人ではありませんでした。2016年から2019年の間、オーストラリア全域で約44万人の人々が同様の手紙を受け取りました。この巨大な借金督促の背後には「ロボデット(Robodebt)」と呼ばれる自動化システムがありました。

システムの原理は単純でした。AIと呼ぶのも気が引けるほどです。アルゴリズムは国税庁(ATO)の年間所得データを取得しました。そしてそれを26(隔週数)で割りました。これが「平均隔週所得」になります。その後、福祉部(センターリンク)に報告された隔週所得と比較しました。差がある場合？「あなたは所得を隠して福祉金を受け取りました。借金を返してください。」

問題は現実世界の人々が機械のように働かないということです。休暇時だけアルバイトをする大学生がいます。1年の半分だけ働く季節労働者がいます。フリーランサーは仕事があるときだけお金を稼ぎます。彼らの年間所得を26で割ると、実際と全く異なる数字が出ます。

例を挙げましょう。大学生のトムが休暇3ヶ月間のアルバイトで6,000ドルを稼ぎました。残り9ヶ月は学校に行くために働きませんでした。ロボデットアルゴリズムはこのように計算します。6,000÷26=231ドル。「トムは2週間ごとに231ドルを稼いだんだ。それなのにセンターリンク記録には9ヶ月間の所得が0になっているね。ウソじゃん！」実際、トムは嘘をつきませんでした。彼は9ヶ月間本当に働きませんでした。福祉金を受ける資格がありました。しかしアルゴリズムはこうした文脈を理解できませんでした。

このシステムの最も残酷な点は「立証責任の転換」でした。過去には政府が不正受給を証明する必要がお金を回収することができました。担当公務員が記録を確認し、当事者に釈明の機会を与え、調査をした後に結論を出しました。しかしロボデットの下では、アルゴリズムが「借金がある」と宣言すると、市民が「借金がない」ことを証明しなければなりませんでした。

7年前の給与明細書を見つけなければなりませんでした。当時の雇用主に連絡して記録を受け取る必要がありました。会社が倒産していたら？書類が失われていたら？それはあなたの問題です。証明できなければ、借金はそのままです。

オーストラリア政府はこのシステムで47億7千万ドルを節約できると予想していました。福祉不正受給を摘発し、公務員人件費を削減し。

彼らは費用を過小評価していました。

(2) 18億ドルの合意と教訓

悲劇が続きました。突然の借金督促に耐えられない脆弱層の人々が自ら命を絶ちました。正確な数字は明かされませんでしたが、王立委員会の調査で最少2件の自殺がロボデットと直接的に関連していました。いくつかの推定値は、このシステムによるストレス関連死亡者が2,000人を超えると主張しています。

2019年、ビクトリア州法院がロボデットの核心計算法、つまり「所得平均化」が違法だと判決しました。判事は断固でした。「平均を出すことは証拠になることはできません。」年間所得を単純に割って隔週所得を推定することは法的根拠がないという意味でした。

ゴードン・リーガル(Gordon Legal)という法律事務所が被害者たちに代わって集団訴訟を提起しました。2020年11月、オーストラリア政府は降参しました。12億豪ドル（約1兆円）規模の合意が成立しました。違法徴収された7億4,600万ドルの払い戻し、免除、および利息が含まれていました。

これが終わりではありませんでした。2023年7月、王立委員会が最終報告書を発表しました。900ページを超えるこの報告書はロボデットを「粗雑で残酷なメカニズム」と呼びました。報告書はこのように書きました。「ロボデットは公正でもなく合法的でもありませんでした。多くの人々を犯罪者のように感じさせました。本質的に、人々はお金を借金しているかもしれないという可能性だけでトラウマを受けました。」

王立委員会は当時の社会サービス大臣であったスコット・モリソン(後に首相となる)を含む高位公職者を刑事告発することを勧告しました。彼らはアルゴリズムの違法性を知っていながら、政治的目的(予算削減宣伝)のためにシステムを強行しました。

ゴードン・リーガルは王立委員会報告書で新しい証拠を発見しました。「公職者の公務上違法行為(Misfeasance in public office)」を証明できる証拠でした。これは公務員が自分の権限を乱用して市民に損害を与えたときに適用される法理です。彼らは新しい訴訟を提起しました。2025年9月、オーストラリア政府は2番目の合意に応じました。追加で4億7,500万豪ドル（約400億円）を支払うことにしました。法務長官ミシェル・ローランドはこのように述べました。「この請求を合意することが正当で公正なことです。」

総合意金は24億ドルを超えました。オーストラリア歴史上最大規模の集団訴訟合意でした。

ロボデットが残した教訓は明確です。

第一に、自動化は正確性を意味しません。複雑な人間の生活を単純な公式に還元すると、大規模な誤りが発生します。

第二に、立証責任が重要です。アルゴリズムの結論を市民に反論させることを要求することは適正手続き(Due Process)の違反です。特に資源が不足している脆弱層にとっては不可能な要求です。

第三に、人間の監督(Human-in-the-loop)が必須です。生計に関わる決定を完全に自動化すると、誤りが抑制不能に拡散します。

第四に、責任は誰かが負わねばなりません。「システムがそうだった」という言い訳は通りません。

ロボデット・スキャンダルは世界中の公共AI導入の永遠の反面教師となりました。効率という名で導入されたアルゴリズムが最も弱い人々を攻撃したとき、その費用は政府が節約しようとしていた金額の半分に達しました。しかし真の費用はお金では計算されません。失われた生命。崩壊した家庭。そして政府と技術に対する信頼。それはどのような合意金でも蘇ることはできません。