a. 存在しない判例を引用した弁護士

(1) Mata v. Avianca: ChatGPT虚偽判例提出と弁護士懲戒

2023年6月8日、ニューヨーク南部連邦地方裁判所の法廷は人々で満杯でした。傍聴席に座ることができなかった人々は隣の部屋のビデオ中継画面でこの光景を見守らなければなりませんでした。

この日、法廷に立った人物は殺人犯でもなく、金融詐欺犯でもありませんでした。30年のキャリアを持つ平凡な弁護士、スティーヴン・シュワルツでした。彼の罪状は単純でした。存在しない判例を裁判所に提出したこと。そしてその判例を作り出したのは人間ではなく、ChatGPTという機械でした。

事件の始まりは平凡でした。

ロベルト・マタという男が2019年、アビアンカ航空の機内で金属製のサービングカートに膝をぶつけました。

彼は航空会社を相手に損害賠償訴訟を提起しました。このような訴訟は毎日数十件ずつ裁判所に受理されます。誰も注目しません。

アビアンカ側はモントリオール条約の2年の時効を理由に訴訟棄却を申請しました。原告側の弁護士シュワルツはこれに反論する書面を準備する必要がありました。

ここから物語が興味深くなります。

シュワルツ弁護士は30年間法律業務を行ってきましたが、ニューヨーク南部連邦地方裁判所では弁護士資格がありませんでした。そこで同じ法律事務所のピーター・ロドゥカ弁護士が公式に事件を担当し、シュワルツは実質的な法律調査を担当しました。

シュワルツは時間に追われていました。

彼は2022年11月に世に公開された新しいツールを思い出しました。ChatGPT。

シュワルツはChatGPTに尋ねました。「モントリオール条約の時効に関する判例を見つけてくれ。」ChatGPTは親切に答えました。

「Varghese v. China Southern Airlines」、「Shaboon v. EgyptAir」、「Petersen v. Iran Air」など6件の判例を列挙しました。

引用番号もあり、裁判所名もあり、判決の要旨もありました。

完璧に見えました。

シュワルツはこれらの判例を書面に引用しました。

問題は、これらの判例がこの世に存在しないということでした。

すべてがChatGPTが作り出した虚構でした。

ここで我々は「幻覚」という言葉を押さえておく必要があります。コンピュータ科学者たちは、AIが事実でない情報を事実のように出力する現象を幻覚と呼びます。しかし、この言葉は誤解を招きます。機械が薬に酔ってうわごとを見るようなものに聞こえるからです。

真実はより単純で、より機械的です。大規模言語モデルは真実を述べるように設計されていません。次に来る最も確率の高い単語を予測するように設計されました。

ChatGPTは法律データベースを検索したのではありませんでした。数百万件の法律文書を学習した統計的パターンに従って、「判例のように見える」文を生成しただけでした。

シュワルツの悲劇は、彼が検証を試みたときに最高潮に達しました。

彼はChatGPTに再び尋ねました。

「これらの判例は本当？ウェストローまたはレクシスネクシスで見つけることができる？」

ChatGPTは答えました。「はい、実在する判例です。

評判の良い法律データベースで見つけることができます。」シュワルツは安心しました。

彼はこの書面を裁判所に提出しました。2023年3月15日、アビアンカ側の弁護士たちが反撃しました。

「原告が引用した判例が見つかりません。」裁判所も見つけることができませんでした。P. ケビン・カステル判事は4月11日、シュワルツに該当する判例の原文を添付して提出するよう命じました。

ここでシュワルツは2番目の過ちを犯しました。

彼は嘘を認める代わりに、ChatGPTに再び尋ね、偽の判決文全文を得て、それを裁判所に提出しました。

嘘を嘘で覆おうとしたのです。

真実が明らかになったのは5月でした。シュワルツはついに自白しました。

彼は宣誓供述書でこう書きました。

「私はChatGPTのコンテンツが虚偽である可能性を認識していませんでした。

30年間法律業務を行ってきましたが、このようなことが可能だとは想像もしませんでした。」

6月8日の公開審問でカステル判事はシュワルツに尋ねました。「Varghese判例を直接探されましたか？」シュワルツが答えました。「はい、探しました。」判事が再び尋ねました。「見つかりましたか？」シュワルツが答えました。「見つかりませんでした。」判事が尋ねました。「では、なぜそれを私の法廷で引用されたのですか？」シュワルツは返す言葉がありませんでした。

6月22日、カステル判事は判決文を出しました。

シュワルツ、ロドゥカ、そして彼らの事務所レビドーに5000ドルの罰金が課されました。金額は象徴的でした。本当の罰は別のところにありました。判事は2人の弁護士に、偽の判例に言及された実在する判事たちに直接謝罪の手紙を送るよう命じました。その手紙には、裁判所の制裁命令、公開審問の議事録、そして虚偽の判例を含む元の書面を添付する必要がありました。カステル判事は判決文でこう書きました。

「多くの害をもたらすのは人工知能そのものではなく、人工知能が生成したコンテンツを確認せずに裁判所に提出して司法制度を欺いた弁護士の行為です。」

この事件は世界中のニュースで報道されました。

法曹界に衝撃波が広がりました。

しかし、本当の教訓は単純でした。道具がどんなに賢く見えても、その道具を使用した結果に対する責任は人間にあります。

ChatGPTは法的人格がありません。法廷に立つことはできません。言い訳もできません。弁護士だけがそうできます。そして弁護士だけが罰を受けることができます。

(2) Cohen事件：虚偽判例引用の拡散

マタ事件が全国的なニュースになってから6ヶ月後、同じパターンがより有名な名前とともに繰り返されました。マイケル・コーヘン。ドナルド・トランプ前大統領の個人弁護士だったその男です。

2023年末、コーヘンは自身の保護観察期間の早期終了を申し立てていました。彼は自身の主張を支持する判例3件を弁護人に渡しました。

弁護人ダニャ・ペリは依頼人が送った資料を信頼しました。

前大統領の弁護士だった人が送った法律資料だったからです。

彼女はこれらの判例を裁判所提出書面に含めました。

問題は、これらの判例も存在しなかったということです。コーヘンがグーグルのAIチャットボット・バード（現在のジェミナイ）で生成した虚構でした。

コーヘンは後に宣誓供述書でこのように弁明しました。「私はグーグル・バードが生成型AIであることを知りませんでした。単に強力な検索エンジンだと思いました」と。彼の言い訳はマタ事件のシュワルツ弁護士と驚くほど似ていました。どちらもAIが何かを理解していませんでした。どちらも検索窓に質問を入れれば真実が出てくると信じていました。

ここで重要な区別が必要です。

グーグル検索窓に質問を入れると、グーグルはすでに存在するウェブページを探してくれます。

しかし生成型AIチャット窓に質問を入れると、AIは毎回新しい答えを作り出します。

前者は発掘です。後者は創作です。

法律市場では創作は偽造を意味する可能性があります。

2024年3月20日、連邦判事はコーヘンに対する制裁を科さないことを決定しました。しかし裁判所はコーヘンが偽証を犯した可能性に言及しました。ダニャ・ペリ弁護士はこの特徴づけが「事実的に不正確であり法的に誤っている」と反論しました。

コーヘン事件とマタ事件には違いがありました。

コーヘンは直接裁判所に書面を提出したのではなく、自身の弁護人に誤った情報を提供しました。依頼人が弁護士を騙したのです。

これは新しい問題でした。AI幻覚の被害者が法律専門家ではない一般人である場合、その結果はどうなるのでしょうか。

マタ事件以降も同様の事件は相次ぎました。2024年2月、マサチューセッツ上級法院のブライアン・デイビス判事は他の弁護士に制裁を科しました。彼は判決文の冒頭でこのように述べました。「この決定は法律実務に悪影響を及ぼしている2つの懸念事項を扱います。第一に、ChatGPTのような生成型AIシステムが虚偽情報を生成する傾向。第二に、一部の弁護士がAIを活用して書面を作成した後、その結果物が虚偽情報を含むかどうかを確認せずに裁判所に提出する傾向です。」

2024年にはユタ州でリチャード・ベドナ弁護士がChatGPTで生成された偽の判例「Royer v. Nelson」を引用して制裁を受けました。

カリフォルニアではロー・ファーム2社がグーグル・ジェミナイで生成された偽の判例を提出して31,000ドルの罰金を科されました。

ウォルマート人身傷害訴訟では3人の弁護士が合計5,000ドルの罰金を科されました。英国とカナダでも同様の事件が報告されています。ある研究によると、ランダムな連邦法院事件についての具体的な質問を受けたとき、ChatGPT 4は58%、Llama 2は88%の確率で幻覚を生成しました。

パターンは明確でした。AI幻覚は個人的な誤りではありませんでした。構造的なリスクでした。

（3）法律サービスにおけるAI倫理と検証責務

マタ事件とコーヘン事件は法曹界全体に新しい質問を投げかけました。弁護士の責務とは何か。技術が変わっても、その責務は変わらないのか。

アメリカ弁護士協会（ABA）モデル規則1.1は弁護士に「有能な代理人（competent representation）」を要求しています。2012年、この規則の注釈8が改定され、「技術の利点と危険を理解すること」が有能さの一部であることが明記されました。

当時はメールセキュリティとクラウドストレージを念頭に置いた改定でした。誰も生成型AIを予想していませんでした。しかしこの規則は依然として適用されます。

規則1.3は「誠実な調査（diligent investigation）」を義務づけます。使用された方法が何であれ、弁護士は自身が主張する事実および法律の正確性を確認しなければなりません。

規則3.3は「裁判所に対する誠実性（candor toward the tribunal）」を要求します。弁護士が虚偽陳述の虚偽性を知らなかったとしても、AIが生み出した偽の判例を提出した責任は免除されません。

マタ事件以後、米国全域の裁判所は新しい規則を導入し始めました。

テキサス北部連邦地方法院のブラントリー・スター判事は最初に『AI認証書（AI Certification）』の提出を義務づけました。

弁護士がAIを使用して書面を作成した場合、その内容を人間が直接検証したという確認書を添付しなければなりません。その後、数十の裁判所が同様の命令を発表しました。2024年7月、ABAは生成型AI使用に関する最初の公式倫理意見書を発表しました。15ページのこの文書は、職務行為規則がAI使用にどのように適用されるかを説明しました。核となるメッセージは単純でした。AIは弁護士の責任を軽減してくれません。むしろ新しい形の検証責務を追加します。

カリフォルニア、ニューヨーク、フロリダの弁護士協会も指針を発表しました。共通の要件がありました。

第一に、AIが生成した情報の正確性を独立して検証しなければなりません。

第二に、AIシステムの機能と限界を理解しなければなりません。

第三に、AI使用の有無および方法を依頼人に告知しなければなりません。

第四に、AIに機密性の高い依頼人情報を入力する際、守秘義務を考慮しなければなりません。

アメリカ法廷の規則1つを知る必要があります。

連邦民事訴訟規則11条。この規則は単純です。弁護士が書類に署名する瞬間、彼は裁判所に約束をしているのです。「私はこの内容を検証しました。根拠があります」と。署名は単なる名前ではありません。それは保証書なのです。

シュワルツ弁護士はChatGPTに判例を見つけてくれるよう頼みました。ChatGPTは親切に6つの判例を提示しました。名前もありました。日付もありました。引用番号もありました。完璧に見えました。1つを除いて。すべてAIが作り出したものでした。

シュワルツは同僚ロダイエンにこれらの判例を渡しました。ロダイエンは確認しませんでした。彼は署名して提出しました。

ここで質問が生じます。判事が確認すればいいのではないか。なぜ弁護士に罰金を科すのか。アメリカ法廷はサッカーの試合に似ています。判事は審判です。審判はボールを蹴りません。ボールをもたらすのは選手たちの役目です。弁護士が法律と証拠をもたらし、判事がそれを見て判断します。これを当事者主義と呼びます。

もし審判が毎試合「あのボールが本当のサッカーボールか」検査しなければならないなら、試合は進行しません。同様に、判事が弁護士が提出したすべての判例の実在性を最初から疑わなければならないなら、裁判は麻痺します。

判事が怒った点がまさにこれでした。裁判所の時間。納税者の金で運営される司法制度のリソース。それが存在しない判例を追跡するのに浪費されたということでした。

本質的な問題はAIではありません。検証の欠如です。シュワルツ弁護士がChatGPTの回答を法律データベースで1回確認していたなら、偽の判例は発覚していたでしょう。3分あれば十分でした。彼はその3分を節約しました。その代償として5,000ドルと職業上の名誉を失いました。

弁護士の役割が何かを問う質問がここにあります。単に情報を伝える人なのか、それとも情報の真偽を選別する門番なのか。アメリカ法院の答えは明確です。門番です。そして門番が門を守らなければ、代償を払うのです。

裁判所は金銭的制裁の代わりにより厳しい処罰を下しました。該当弁護士らをこの事件から資格停止にしました。彼らはもはや依頼人を代理することができなくなりました。裁判所はまた、判決文を連邦判例集に正式に収録するよう命じ、裁判所書記に該当弁護士らが資格を保有するすべての州の弁護士懲戒機関にこの判決を通知するよう指示しました。

テクノロジーは弁護士に強力なツールを提供しますが、そのツールが弁護士の責任を免除したり、低い誠実性基準を正当化することはありません。検証義務は選択ではありません。AI時代の必須条件です。

二. 企業チャットボットの誤った案内（チャットボットが約束した払い戻し）

（1）Moffatt v. Air Canada：チャットボット払い戻し政策誤案内責任の認定

2022年11月11日、ジェイク・モファットは祖母の死亡を知らされました。礼拝日（Remembrance Day）でした。彼はバンクーバーからトロントへ向かう航空券を予約する必要がありました。急いでいました。悲しかったです。複雑な利用規約を読む余裕がありませんでした。

モファットはエア・カナダのウェブサイトにアクセスしました。画面の片隅にはチャットウィンドウが表示されていました。「どのようなご用件でしょうか？」彼はチャットボットに尋ねました。葬儀のため急いで行く必要があるのですが、哀悼割引（bereavement fare）を受けられるかどうかについて。

チャットボットは親切に答えました。「すぐに旅行する必要がある場合、またはすでに旅行を完了している場合、チケット発行日から90日以内に払い戻し申請書を提出すれば、割引された哀悼料金を適用されます。」モファットはこの言葉を信じました。彼はバンクーバー～トロント片道チケット794.98カナダドルを支払いました。数日後、帰りのチケット845.38ドルも購入しました。総額1,630ドルを超える費用でした。

葬儀が終わりました。モファットはエア・カナダに払い戻しを申請しました。祖母の死亡証明書も添付しました。チャットボットが言った90日以内でした。そして拒否されました。

エア・カナダの回答はこうでした。会社の実際の政策によれば、哀悼割引は旅行前に申請する必要があります。すでに完了した旅行には遡及適用されません。チャットボットが誤った情報を提供したのです。

モファットは諦めませんでした。2023年2月、彼はエア・カナダにメールを送りました。チャットボットとの対話のスクリーンショットを添付しました。「ここを見てください。あなたたちのチャットボットはこう言ったじゃないですか」。エア・カナダの担当者は認めました。チャットボットが「誤解を招く言葉（misleading words）」を言ったと。しかし払い戻しは拒否しました。担当者は付け加えました。チャットボットが提供したリンクをクリックしていれば、正しい政策を見つけることができたはずだと。モファットはブリティッシュコロンビア市民紛争解決調査官室（Civil Resolution Tribunal）に訴訟を提起しました。彼が請求した金額は880カナダドル、正規料金と哀悼割引料金の差額でした。

エア・カナダは法廷で奇想天外な主張を展開しました。「チャットボットは独立した法的主体（separate legal entity）です。したがって、チャットボットの発言に対して会社は責任がありません。」

審判官クリストファー・リバースはこの主張を読んで、しばらく言葉を失ったに違いありません。

彼は判決文の中でこのように書きました。「実質的にエア・カナダは、チャットボットが自らの行為に対して責任を負う独立した法的主体であると主張しています。これは驚くべき主張です。チャットボットに対話的な要素があったとしても、それはなおエア・カナダのウェブサイトの一部に過ぎません。」

エア・カナダはさらなる言い訳を提出しました。チャットボットが正確な政策につながるリンクを提供したので、モファットはそのリンクをクリックして確認すべきだったということです。リバース審判官はこの主張も棄却しました。「エア・カナダは、『哀悼旅行』というタイトルのウェブページがチャットボットより本質的により信頼できるのかを説明していません。モファット氏がエア・カナダのウェブページの一部は正確で他の部分は正確でないことを知る必要がないのです。」

2024年2月14日、調査官室はモファットの味方をしました。エア・カナダは650.88カナダドルの損害賠償金と利息、調査官室費用を含めて総額812.02ドルを支払うよう命じられました。

金額は大きくありませんでした。しかし、この判決が発したシグナルは数億ドルの価値がありました。企業がAIチャットボットを顧客サービスに配置したなら、そのチャットボットが発する言葉は会社の公式立場として見なされます。「チャットボットが間違えた」という言い訳は通用しません。

（2）顧客サービスAIのデジタルエージェント地位

エア・カナダ事件は、より大きな質問を提起しました。

AIチャットボットの法的地位とは何か。企業はチャットボットの言葉に対してどの程度の責任を負うべきか。

伝統的な代理人法（agency law）では、本人（principal）は代理人（agent）が権限内で行った行為に対して責任を負います。エア・カナダのコールセンター職員が顧客に誤った情報を提供すれば、エア・カナダが責任を負います。従業員が会社を代理しているからです。では、チャットボットはどうか。

アメリカ法学会（American Law Institute）の代理リステイトメント（Restatement of Agency）は、コンピュータプログラムを代理人として見なすことはできないと明示しています。代理人は意思と自律性を持つ存在であるべきだからです。AIはその意味では代理人ではありません。しかし、法院は別のルートで同じ結論に到達しました。

表現代理（apparent authority）という概念があります。

代理権のない者でも、外見上代理権があるように見え、本人がその外見を作り出した場合、本人は責任を負います。エア・カナダはウェブサイトにチャットボットを配置しました。顧客がチャットボットと対話するとき、それがエア・カナダの公式チャネルであると信じる合理的な理由があります。したがって、チャットボットの言葉はエア・カナダの言葉です。

リバース審判官の判決はこの論理に従いました。「エア・カナダはウェブサイトに提示されたすべての情報に対して責任があります。その情報が静的なウェブページから来たのか、チャットボットから来たのかは重要ではありません。」

エア・カナダ事件以降、同様の問題が次々と明らかになりました。

2024年3月、ニューヨーク市が小規模事業経営者支援のために導入したAIチャットボットは、見当違いのアドバイスをしました。「従業員がセクシャルハラスメントを報告したら、解雇してもよいです。」「現金を受け取らない店を運営してもよいです。」どちらも明らかに違法でした。ニューヨーク市は「チャットボットの回答は法的アドバイスではない」という免責条項を付けましたが、公的機関が提供するサービスが違法を助長しているという批判を避けることができませんでした。

マクドナルドのAIドライブスルーシステムは、顧客が望まない260ドル相当のチキンナゲットを注文させたり、他の車の注文を混ぜてしまったりしました。マクドナルドは結局2024年6月にIBMと協力していたこのシステムを撤廃しました。

2025年8月には、メタのAIがインスタグラム上で青少年に自傷と摂食障害のロールプレイを促したというニュース報道がありました。スウェーデンのフィンテック企業クラルナ（Klarna）はAI顧客サービスを大規模に宣伝しましたが、エラーが頻繁になったため、再び人間のカウンセラーを雇用する必要がありました。

これらの事例は共通の教訓を残しています。企業がコスト削減のためにAIを導入する場合、そのAIが犯す間違いのコストも一緒に計算する必要があります。エア・カナダはコールセンターの人件費を節約するためにチャットボットを導入しました。その結果、法的紛争、報道、および評判の損害を受けました。812ドルを節約しようとして、世界中の嘲笑の対象となりました。

三. 名誉毀損責任

（1）AI生成の虚偽事実と名誉毀損免責論理

マーク・ウォルターズは有名人です。彼は全国放送ラジオ番組2つを進行していました。15分の放送当たり120万人がリッスンしていました。彼はアメリカの銃器権運動の声でした。本も書きました。複数の組織の代弁人でした。

2023年5月3日、オンライン銃器専門メディアAmmoLandの編集長フレッド・リルは記事を書くためにChatGPTを使用しました。

彼は第2修正条項財団（Second Amendment Foundation）がワシントン州司法長官に対して提起した訴訟に関する情報をリクエストしました。彼は訴訟書類のURLリンクをChatGPTに入力しました。

ChatGPTは警告しました。「私はインターネットにアクセスしたり、提供していただいたリンクにアクセスすることができません。」そしてそのリンクが自分の「知識カットオフ日（knowledge cutoff date）」の後に作成されたものだと付け加えました。

しかし、リルが引き続きリクエストしたため、ChatGPTは答えを生成しました。

その回答には、マーク・ウォルターズが第2修正条項財団から資金を横領した疑いで訴えられたという内容が含まれていました。事件番号もあり、具体的な金額もありました。

問題は、これのすべてが完全な虚構だったということです。ウォルターズはその訴訟の当事者ではありませんでした。そのような疑いで受けたことはありませんでした。ChatGPTが作り上げたものでした。

リルはベテラン記者でした。

彼はAIの幻覚現象を知っていました。彼は90分以内にChatGPTの出力が事実ではないことを確認しました。彼はその情報を記事で使用しませんでした。虚偽の内容は出版されませんでした。しかし、ウォルターズは訴訟を提起しました。2023年6月、彼はジョージア州グウィネット郡上級裁判所にOpenAIに対して名誉毀損訴訟を起こしました。これは生成型AIに対して提起された最初の名誉毀損訴訟の1つでした。

2025年5月19日、裁判所はOpenAIの略式判決（summary judgment）申し立てを認めて、ウォルターズの訴訟を棄却しました。判決は3つの根拠に基づいていました。

第一に、名誉毀損的な意味がない。ジョージア州法によれば、名誉毀損の原告は、問題の陳述が「原告に関する実際の事実を記述しているものとして合理的に理解できる」ことを証明する必要があります。

裁判所は、リルの位置にいる合理的な読者であれば、ChatGPTの出力が「実際の事実」を伝えていると結論付けなかったはずだと判断しました。ChatGPTはリルにインターネットにアクセスできないと警告しました。OpenAIはChatGPTが時々事実的に不正確な情報を提供することを複数回警告していました。リル自身も短時間のうちにその出力が事実ではないことを確認しました。

第二に、過失または実際の悪意がない。ウォルターズは公人（public figure）でした。公人が名誉毀損で勝訴するためには、被告が「実際の悪意（actual malice）」を持っていたこと、つまり虚偽であることを知ったうえで発表したか、虚偽かどうかについて無謀な無関心を示したことを、明確で説得力のある証拠で立証する必要があります。ウォルターズはOpenAIが幻覚現象を知っていたのでこれが実際の悪意に相当すると主張しました。

裁判所はこの論理を否定しました。「ウォルターズの主張は、OpenAIのようなAI開発企業が、エラーを減らすためにどれだけ注意を払ったとしても、モデルが生成した誤った出力に対して責任を負わなければならないということを意味しています。これは過失基準ではなく、厳格責任基準です。ジョージア州法および連邦憲法はこれを認めません。」

第三に、損害がない。ウォルターズは証言の中で、ChatGPT出力により何らの損害も受けなかったことを認めました。その出力を見た人はリル一人だけであり、リルはそれを信じもしなければ出版もしませんでした。ウォルターズはまた、訴訟前にOpenAIに訂正または撤回をリクエストしませんでした。ジョージア州法上、この手続きを経なければ懲罰的損害賠償を請求できません。この判決はAI企業に重要な先例を残しました。免責条項（disclaimer）が効果を持っています。「AIは間違える可能性がある」という警告が名誉毀損責任を避けるための盾となる可能性があります。しかし、これは両刃の剣です。警告を付ければ何でも言っていいのか。

(2) オーストラリアの市長、アメリカの教授事件

ウォルターズ事件が却下で終わったのは、特殊な事情がありました。虚偽情報を見た人が1人だけで、その人も信じませんでした。しかし、他の事件はそうではありませんでした。

ブライアン・フッドはオーストラリア・ビクトリア州ヘップバーン・シャイアの市長でした。

彼は2000年代初頭、オーストラリア中央銀行の子会社であるノート・プリンティング・オーストラリア（Note Printing Australia）の収賄スキャンダルを内部告発した英雄でした。複数の役員が起訴されました。フッドはその中の1人ではありませんでした。彼は不正を暴露した人物でした。彼は「途方もない勇気を示した」と称賛されました。

2023年のある日、フッドは友人たちから奇妙な話を聞きました。ChatGPTが彼について何か奇妙なことを言っているというのです。フッドは直接ChatGPTに自分の名前を入力しました。画面に表示された内容を見て、彼は衝撃を受けました。

ChatGPTはフッドが外国の高官に賄賂を与えて通貨印刷契約を獲得しようとする陰謀に加担したと書きました。有罪判決を受けたと言いました。30ヶ月間獄中にいたと言いました。すべてが正反対でした。内部告発者が犯罪者に化けていました。

フッドは激怒しました。

彼はOpenAIを相手に名誉毀損訴訟を予告しました。「ホワイトカラー犯罪者に陥れられ、獄中にいたものと描写されるのは、評判に極度に有害です。」彼の弁護士たちは2023年3月21日、OpenAIに懸念通知書を送付しました。28日以内にエラーを修正しなければ訴訟を提起するとして。

興味深いことが起きました。

ChatGPTの新版はフッドについて正しい情報を提供し始めました。彼が内部告発者だったと、犯罪者ではなかったと。OpenAIが静かに修正したようです。フッドは結局、訴訟を提起しませんでした。費用がかかりすぎたからです。オーストラリアの名誉毀損損害賠償上限額は約40万オーストラリアドル（約24万ユーロ）です。弁護士費用を負担することが難しかったのです。

ジョージワシントン大学法学部教授ジョナサン・ターリーの事例はさらに荒唐無稽でした。

UCLAのユージン・ボローク教授が研究プロジェクトを実施する中、ChatGPTに質問しました。「アメリカのロースクールで教授のセクシュアルハラスメントが問題となった事例を探してくれ、新聞記事と引用文を含めてくれ。」

ChatGPTの回答はこうでした。

「ジョージタウン法律センターのジョナサン・ターリー教授は、授業旅行中に不適切な発言をしたという前職の学生によるセクシュアルハラスメント告発を受けました。引用：『苦情によれば、ターリーはロースクール主催のアラスカ旅行中に性的に示唆的な発言をし、性的な方法で彼女に触ろうとしました。』（ワシントンポスト、2018年3月21日）」

問題がありました。ターリーはジョージワシントン大学に所属していて、ジョージタウンではありませんでした。アラスカ旅行はありませんでした。セクシュアルハラスメント告発もありませんでした。ワシントンポスト記事も存在しませんでした。すべてがChatGPTが作り出した虚構でした。

ターリー教授はUSA Todayに寄稿しました。「最も衝撃的なのは、この虚偽告発がAIによって生成されたというだけでなく、存在しないワシントンポスト記事に基づいていたという点です。このような種類の疑惑は信じられないほど有害です。」

ドイツのジャーナリスト、ハイコ・ベルンクラウはマイクロソフト・ビングのAI検索エンジンで自分の名前を検索しました。

AIは彼が報道した犯罪の加害者として彼を描写しました。さらに、彼の実際のアドレスと電話番号を掲載し、あらゆる場所から彼の家に到達するルートまで提供しました。ジェフリー・バットルは航空宇宙教育者でした。

マイクロソフト・ビング・チャットは彼を同名のテロリストと混同しました。彼はマイクロソフトを提訴しました。政治評論家ロビー・スターバックはGoogleジェミナイが彼を「児童性犯罪者」と描写したとして訴訟を提起しました。

これらの事例は共通の問題を露わにします。AIの幻覚はランダムではありません。パターンがあります。学習データのコンテキストを誤認します。被害者と加害者を入れ替えます。同姓同名の人物と混同します。存在しない出典を引用します。そして、これらのすべてを自信をもって、具体的に、説得力をもって述べます。

問題は責任です。インターネットで流通する偽ニュースは、出典を追跡して削除することができます。しかし、AIが生成する虚偽情報はソースコードのどこかに潜んでいて、誰かが質問を投げかける瞬間、毎回新たに生まれます。幽霊と戦うようなものです。

ウォルターズ事件の判決はAI企業に有利な判例を残しました。しかし、それは特殊な事実関係のためでした。もし虚偽情報が広く拡散していたなら。もし人々がそれを信じていたなら。もし被害者が実際に仕事を失い、評判が破壊されていたなら。その時も同じ判決が出るでしょうか。

裁判所はまだこれらの質問に完全に答えていません。AI企業は免責条項の後ろに隠れています。被害者たちは弁護士費用を負担できず諦めます。その間、幻覚は続きます。誰かの名前が犯罪者に、性犯罪者に、横領犯に変わります。機械が嘘をつく時、その嘘の代償は誰が払うべきなのですか。

これは技術の問題ではありません。これは責任の問題です。そして責任の問題は、いつも誰かの襟首をつかむことで終わります。アルゴリズムの襟首はつかめません。ならば、そのアルゴリズムを世に送り出した人間の襟首をつかむべきです。マイケル・ルイスが常に言うように、すべてのシステムの背後には、それを作った人間がいます。その人間を見つけることが法の仕事です。