a. テイラー・スウィフトを襲った偽映像

2024年8月15日、サンフランシスコ市庁舎の記者会見場でデイビッド・チウ市検事総長が演壇に立ちました。彼の表情は厳しかったです。「この捜査は、私たちをインターネットの最も暗い場所へ導きました。この搾取に耐えなければならなかった女性たちと少女たちのことを考えると、身の毛がよだちます。」

彼が発表したのは、アメリカ初のディープフェイク・ポルノサイト集団訴訟でした。People of the State of California v. Sol Ecom, Inc.事件です。被告は16個のウェブサイトの運営者たちでした。これらのサイトは2024年上半期だけで2億回以上のアクセスを記録しました。

このウェブサイトたちがしていることは単純でした。

ユーザーが服を着た女性の写真をアップロードすると、AIがその写真から服を『脱がします』。技術的には、元の画像を分析し、AIが学習した裸体画像パターンを合成することです。結果は実際の写真と区別がほぼ不可能です。

あるウェブサイトの広告文句はこうでした。「デートに時間を無駄にしないでください。私たちのサイトを使えば、彼女の裸をすぐに見られます。」

被害者はハリウッドスターから中学生まで多様でした。

2024年2月、カリフォルニアのある中学校では、8年生の女子生徒16人のAI生成裸体画像が学生たちの間に広がりました。FBIはAI生成ポルノを使った恐喝事件が急増していると警告しました。

訴状に名前を連ねた被告人たちは世界中に散らばっていました。フロリダに本社を置くSol Ecom, Inc.、イギリスのItai Tech Ltd.、エストニアのDefirex OÜとCodeBionic Labs OÜ、エストニア在住者アウグスティン・グリビネッツ、そして身元不明の50人の『ジョン・ドー』たち。チウ検事総長の戦略はカリフォルニア不公正競争法を活用することでした。この法は州検事総長に消費者保護のための広範な民事訴訟権限を与えます。過去にアヘン製薬会社、銃器製造業者、化石燃料企業を相手に使用されたのと同じ法的道具でした。

2025年3月、検察は修正訴状を提出する際に、追加被告人たちの身元を明かしました。リチャード・タン、ガオファン・シュー。そしてUndresser.aiとPorngen.artというサイトを運営するBriver LLC。

最初の結果が2025年5月30日に出ました。Briver LLCは10万ドルの民事罰金を支払い、非同意ディープフェイク・ポルノサイト運営を永久に禁止する永久停止命令に同意しました。2025年6月2日時点で、10個のウェブサイトがカリフォルニアで遮断されるか閉鎖されました。

しかし、一部の被告人たちは対抗しました。リチャード・タンはコミュニケーション・ディセンシー・アクト第230条を盾に使いました。彼の論理はこうでした。自分のウェブサイトは第三者アルゴリズムの『仲介者』に過ぎず、ユーザーがアップロードしたコンテンツに対する責任をプラットフォームに問うことはできないというものです。

連邦レベルでも動きがありました。TAKE IT DOWN Actです。

この法案の種は2023年テキサス州アレドで蒔かれました。ある高校生が女性の同級生たちの普通の写真をAIで操作して裸体画像を作り、スナップチャットに匿名で投稿しました。被害者の一人であるエリスタン・ベリーはその後の立法運動の顔となりました。

2024年1月には、もっと大きな事件が勃発しました。ポップスター、テイラー・スウィフトのAI生成ポルノ画像がソーシャルメディアに広がりました。削除されるまでに4,700万回以上閲覧されました。公衆の怒りが沸騰しました。

テキサス共和党上院議員テッド・クルーズと民主党上院議員エイミー・クロブシャーが超党派で法案を提出しました。2025年4月28日、下院で409対2で可決されました。ほぼ全員一致でした。メタ、ティックトック、グーグル、マイクロソフトを含む100以上の団体が支持の意思を示しました。

2025年5月19日、ドナルド・トランプ大統領がホワイトハウスのローズガーデンで法案に署名しました。彼の傍にはメラニア・トランプ大統領夫人がいました。彼女の『Be Best』サイバー嫌がらせ防止キャンペーンの延長線でした。エリスタン・ベリーと別の被害者フランチェスカ・マニも署名式に出席しました。

TAKE IT DOWN Actの核心は2つです。

第一に、非同意の親密な画像の『故意の投稿』を連邦犯罪と規定します。成人を対象とする場合は最大2年、未成年者を対象とする場合は最大3年の懲役刑です。

第二に、プラットフォームに48時間以内の削除義務を課します。被害者が報告すると、プラットフォームは48時間以内に該当するコンテンツを削除しなければなりません。これに違反すると、連邦取引委員会の制裁を受けます。

しかし批判もありました。電子フロンティア財団、民主主義と技術センター、著作家組合など100以上の団体が懸念を表明しました。法案の文言が曖昧で、合法的なコンテンツまで削除される可能性があるというものでした。48時間という短い期限のため、プラットフォームが検証なしにコンテンツを削除するだろうという懸念もありました。DMCAの悪用事例のように、悪意のある報告者たちがこの法を合法的なコンテンツを削除するために利用する可能性があるという指摘もありました。

TAKE IT DOWN Actは、AI生成コンテンツを実質的に規制する最初のアメリカ連邦法となりました。プラットフォームは2026年5月19日までに報告システムを構築しなければなりません。その間にどれだけ多くの被害者が出るかは誰も知りません。

ディープフェイク技術は被害者の同意なしに彼らの体を『作り出します』。法はいまようやくその技術に追いつき始めました。しかし、AIが作り出した虚偽情報は、身体画像だけに限定されません。誰かの名誉を破壊する嘘も含まれます。

b. ディープフェイク金融詐欺

2024年1月のある日、香港にある多国籍企業の財務担当職員がメールを受け取りました。

送信者はイギリス本社の最高財務責任者でした。内容は『秘密取引』に関するものでした。

職員は最初疑いました。フィッシングメールのように見えたからです。

しかし、すぐに動画会議の招待が来ました。

彼が接続したとき、画面には見慣れた顔がありました。最高財務責任者。そして複数の同僚たち。彼らは秘密取引の詳細について議論していました。

職員は安心しました。自分が知っている人たちが直接話していたからです。

彼は15回の送金を実行しました。5つの香港銀行口座へ。総額は2億香港ドル。米ドルで約2,560万ドルでした。

後に彼がイギリス本社に確認したとき、真実が明かされました。動画会議に参加していた全員が偽物でした。AIが生成したディープフェイクだったのです。

被害企業はArupでした。78年の歴史を持つイギリスの建築設計会社です。シドニー・オペラハウスを設計した会社です。2008年北京オリンピックの新しい巣競技場も彼らの作品です。世界中34の事務所に18,500人の従業員を持つグローバル企業です。

香港警察が2024年2月に記者会見でこの事件を公開しました。高級警視バロン・チャン・シュンチンは『多者間の動画会議で、彼が見たすべての人が偽物だった』と述べました。警察は当時企業名を明かしませんでした。5月にArupが直接確認しました。ロブ・グレイグArup最高情報責任者はこう説明しました。『これは従来のサイバー攻撃ではありませんでした。私たちのシステムは侵害されず、データも影響を受けませんでした。』彼はこれを『技術で強化されたソーシャルエンジニアリング』と呼びました。

詐欺師たちはどのようにしてArup幹部の顔と声を複製したのでしょうか。

答えは公開されたデータにありました。オンライン会議と会社会議の映像。すでにインターネットに上がっている映像と音声ファイルをAIに学習させて、リアルタイムでディープフェイクを生成したのです。

マイケル・クアック Arup東アジア地域会長は内部メモで次のように警告しました。『このような攻撃の頻度と巧妙さが世界中で急速に増加しています。私たち全員が、詐欺師が使用する様々な技術に気づく方法を学ぶ必要があります。』

Arup事件は氷山の一角でした。香港警察は同じ記者会見で、ディープフェイク詐欺に関連して6人を逮捕したと明かしました。2023年7月から9月の間に、盗まれた8つの香港身分証が90件のローン申請と54件の銀行口座登録に使用されました。最低20回以上、AIディープフェイクが顔認識プログラムを騙すために使用されました。

金融詐欺でのディープフェイクの使用は急増しています。従来のフィッシングメールは疑いを招きやすいです。しかし、見慣れた同僚の顔と声があれば話は違います。人間は視覚と聴覚情報を信頼するように進化しました。ディープフェイクはまさにその本能を悪用します。

シティバンクを対象とした音声フィッシング事件も報告されています。ニューヨーク州司法長官が関連訴訟を提起しました。FBIはAI生成非同意親密画像を使った恐喝詐欺が急増していると警告しました。

ビジネスメール侵害も進化しています。過去は単にメールアドレスを偽造しました。現在は音声複製で電話をかけ、ディープフェイクで動画会議をします。2024年には広告代理店WPPも同様の試みを受けました。詐欺師たちはWhatsAppアカウントを作成しマイクロソフト・チームズ会議を設定し、YouTubeから取得した幹部映像を編集して音声を複製しました。幸い従業員の疑いのおかげで詐欺は失敗しました。

グレイグは世界経済フォーラムとのインタビューで述べました。『これは人々が思うより遥かに頻繁に起こっています。視覚と聴覚の手がかりは人間にとって極めて重要で、これらの技術はまさにそれを利用します。私たちは本当に目に見えるものを疑い始める必要があります。』

Arupは財務的安定性と事業運営に影響がないと発表しました。2,560万ドルは彼らにとって致命的ではありませんでした。しかし、ほとんどの企業はそこまで運が良くないでしょう。

ディープフェイク技術がより精巧になるにつれて、従来の身元確認方法は無力になります。動画会議で『あなたが本当にあなたなのか』をどうやって証明できるでしょうか。この質問は単なる金融詐欺を超えて、法廷証拠の領域にまで拡がります。

c. 証拠法上の問題

2024年7月、クリストファー・コールというユーチューブ配信者が動画をアップロードしました。彼は『Mr. Reagan』という名前で活動する政治風刺コンテンツ制作者でした。

その動画には、カマラ・ハリス副大統領が登場しました。彼女の声で、自らの大統領選出馬を嘲笑する内容となっていました。もちろん、それはAIが生成した偽りの音声でした。

イーロン・マスクがその動画をリツイートしました。再生数が1億回を超えました。

2024年9月17日、ゲーヴィン・ニューサム・カリフォルニア州知事がAB 2839に署名しました。

正式名称は『選挙：広告における欺瞞的メディア』でした。この法は、選挙の120日前から60日後まで、『実質的に欺瞞的なコンテンツ』を配布することを禁止しました。誰でも損害賠償を請求できる私的訴権を付与しました。

法には風刺とパロディの例外条項がありました。ただし条件がありました。『この〔画像／音声／動画〕は、風刺またはパロディの目的で編集されています』という文言を含める必要がありました。動画全体の時間を通じて、最も大きな文字サイズで。

コールは翌日、訴訟を提起しました。被告はロブ・ボンタ司法長官とシャーリー・ウェバー国務長官でした。

2024年10月2日、連邦東部地区裁判所のジョン・A・メンデス判事が予備的差止命令を出しました。AB 2839は違憲だという判断でした。

メンデス判事は次のように書きました。『AB 2839の大部分は、メスの代わりにハンマーとして機能しています。ユーモアのある表現を阻害し、米国民主主義の議論に不可欠な自由で制限のないアイデア交換を違憲的に抑圧する鈍いツールです。』問題は修正第1条でした。米国憲法は言論の自由を広く保護しています。内容に基づいた言論規制は『厳格審査（strict scrutiny）』に合格する必要があります。政府は『切実な利益』があり、その規制が『最も制限的でない手段』であることを証明する必要があります。

裁判所はAB 2839がこの基準を満たしていないと判断しました。免責条項の要件が『パロディまたは風刺の動画が伝えようとするメッセージを「埋めてしまう」』と指摘しました。これは『狭く調整された（narrowly tailored）』規制ではありませんでした。

判事はまた、法の範囲が過度に広いと判断しました。『AB 2839の合法的な適用範囲は、この事件のように明らかに違憲的な相当数の適用に比べてごく微々たるものです。』

修正第1条の専門家たちはニューサム知事に法案の拒否権を行使するよう促していました。修正第1条連合（First Amendment Coalition）の法律責任者デイビッド・ロイは言いました。『何かが真に名誉棄損的であるなら、名誉棄損主張を証明するための完全な法体系と確立された法的基準があります。政府は修正第1条の外で新しい言論の範疇を創設する自由はありません。』

AB 2839だけが問題になったわけではありませんでした。同時期に制定されたAB 2655『2024年ディープフェイク欺瞞からの民主主義保護法』も同様の運命に遭いました。この法は大型オンラインプラットフォームに『実質的に欺瞞的なコンテンツ』をブロックまたはラベリングする義務を課しました。イーロン・マスクのXはカリフォルニアを相手に訴訟を提起しました。メンデス判事は2024年8月5日、この法も違憲だと判決しました。

2024年現在、26州が政治的ディープフェイクを規制する法律を制定しました。アプローチは大きく2つです。ミネソタ州とテキサス州は、選挙前の一定期間、政治的ディープフェイク公開を禁止しています。残りの24州は開示要求（disclosure）方式を採用しています。ディープフェイクが証拠として使用される場合はどうでしょうか。カリフォルニア州SB 970はディープフェイク提供者に警告を求めています。Matter of Weber事件では、AI計算の信頼性の問題が証拠能力に影響を与えました。

より根本的な質問があります。ディープフェイクの時代に、映像証拠をどのように信頼できるでしょうか。すべての映像がAIで操作されている可能性があるなら、法廷での映像の証拠能力はどうなるのでしょうか。

この質問は民事訴訟と刑事裁判の両方に影響を与えます。

検察がCCTV映像を証拠として提出すると、被告側は『これがディープフェイクでないことをどのように証明できるのか』と主張できます。反対に、被告が不在であることを証明する映像を提出すると、検察は同じ主張をできます。

技術は法律よりも速く発展します。ディープフェイクを作成することは次第に容易になっています。それを検出することは次第に困難になっています。法はこの溝をどのように埋めるのでしょうか。これが次章で扱う生体情報と顔認識監視の領域へと私たちを導きます。