AI Library
自律的科学発見の時代
キム・ギョンジン, 弁護士
AI科学者とセルフドライビング・ラボ
AI科学者とセルフドライビング・ラボが、科学研究における主張の生成と検証をどのように変えつつあるのかを追います。文献に基づく発見、自然言語プロトコルからロボット命令への変換、マルチエージェント研究システム、閉ループ実験室、材料探索、検証ギャップ、証拠の連鎖、研究ハーネス、学術誌倫理、法的責任までを扱います。
AIライブラリ
デジタル主権の二重構造
欧州の脱パランティアとアメリカン・ビッグテックの鎖
金景珍（キム・ギョンジン）, 弁護士
欧州の情報機関と国防省が米パランティアの分析ツールを排除し始めた2026年の記録です。フランス国内治安総局とドイツ連邦憲法擁護庁、オランダ国防省の置き換え決定、米国の輸出規制が同盟国の人工知能アクセスをわずか3日で遮断した事件、CLOUD ActとFISA 702条がもたらした域外管轄の実態を扱っています。欧州連合のクラウド・AI開発法（CADA）が定めた4段階の主権保証レベルと主権理由による契約解除権、ユーロスタック構想と3,000億ユーロの投資障壁に至るまで、全5章15節と結論2節で整理しました。
[AI書房] 第5章 EU人工知能法
AI覇権戦争
第5章 EU人工知能法
金京鎮
第5章 欧州連合人工知能法
1. EUの人工知能法（AI Act）
2024年、欧州連合（EU）は世界初となる包括的な人工知能（AI）規制法案「規則 (EU) 2024/1689」、通称「EU AI Act（EU人工知能法）」を発表しました。2024年7月12日にEU官報に掲載されました。EU AI Actは、EU内におけるAIシステムの開発、市場投入、利用に関する調和のとれたルールを確立し、AIが安全で基本権や価値を尊重することを保証することを目指しています。AIへの投資とイノベーションの促進、ガバナンスと執行の強化、単一のEU AI市場の創出を目標としています。
EU AI Actは2024年8月1日から発効しており、今後数年にわたって段階的に施行される予定です。禁止されるAIシステムに関する規定は2025年2月2日から施行されます。ほとんどの規定は2026年8月2日から施行される予定です。EU AI Actは、EU内の組織だけでなく、EU市場を対象にAIシステムを開発または活用する、世界中で活動する組織にも影響を及ぼします。EU AI Actは、EU域内外の企業や個人に多大な影響を与えると予想されます。
［図23］2024年、欧州連合（EU）は世界初となる包括的な人工知能（AI）規制法案「EU AI Act」を発表した。この法律は、EU内におけるAIシステムの開発、市場投入、利用に関する調和のとれたルールを確立し、AIが安全で基本権や価値を尊重することを保証することを目指している。
次のような背景から推進されました。第一に、AI技術の両義性に対する認識です。人工知能は医療や教育をはじめとする様々な分野で革新を牽引していますが、同時に予測困難なリスクをもたらす可能性があります。アルゴリズムの不透明さによって安全への脅威や基本権の侵害といった否定的な結果を招きかねないという懸念も、法案推進の背景の一つです。
第二に、EUの戦略的ポジショニングです。EUは人工知能技術の分野でグローバルな主導的地位を維持しながらも、同時に欧州固有の価値と人権を尊重する方向でAIを発展させようとしています。これは、技術発展と価値の守護という二つの目標を同時に追求するものです。
第三に、統合された規制体系の必要性です。欧州議会と理事会は、AIによる恩恵とリスクをEUレベルで適切に管理できる立法措置が必要だと判断しました。これは、個別の国家レベルではなく、EU全体としての統合されたアプローチが必要であるという認識を反映しています。
EUの人工知能法には、4つの核心的な目標があります。第一に、信頼できるAIシステムの開発と普及を促進することです。そのために、AIシステムが基本的人権を尊重し、安全性を確保し、倫理的原則を遵守するよう規定しています。このようなアプローチは、欧州内だけでなく、世界的に信頼できるAIの発展に寄与することを目指しています。
第二に、AI分野のイノベーションと投資を奨励することです。明確で予測可能な規制の枠組みを提示することで、企業が安定してAI技術を開発し、投資できる環境を整えようとしています。不確実性を減らし、企業の参入を促す効果が期待されています。
第三に、EU内のAIシステムの単一市場を形成することです。EU加盟国間でAIシステムが自由に移動・取引されることを保証することで、欧州全体のAI産業の発展を促進することを目標としています。
第四に、効果的なガバナンスと法執行体系を構築することです。「EU AIオフィス（EU AI Office）」を設立し、各加盟国との緊密な協力のもと、法案が効果的に執行されるための体制を整えています。これは、法案の実効性を確保するための核心的な要素となります。
AI技術の発展促進と規制という二つの側面を、バランスよく扱おうとするEUのアプローチをよく示しています。
2. 人工知能システムの定義および適用範囲
EU AI Actは、AIシステムを「様々なレベルの自律性を持って動作するように設計された、機械ベースのシステム」と定義しています。
AIシステムに関する法的曖昧さを避けつつ、技術の進化に応じて柔軟に解釈できるよう、定義規定を設けました。自律性と適応性という二つの主要な特徴に重点を置いており、これがAIシステムを従来のソフトウェアと差別化しています。「自律性」は、AIシステムが人間の介入なしに自ら学習し決定を下せる能力を意味し、「適応性」は、AIシステムが新しいデータを通じて自らを改善し、変化する環境に適応できる能力を意味します。
EU内でAIシステムを市場に投入、サービス提供、または使用するすべての提供者、展開者（デプロイヤー）、輸入業者、販売業者に適用されます。AIシステムの提供者または利用者がEUに拠点を置いているかどうかは重要ではありません。EU域外に位置する企業であっても、EU内でAIシステムを販売したりサービスを提供したりする場合は、この法律の適用を受けます。ただし、科学的な研究および開発のためのAIシステムや、個人的かつ非専門的な活動のためのAIシステムなどは、この法律の適用対象外です。
3. EU人工知能法における「人工知能のリスク」分類
EUは、AIシステムのリスクに応じた体系的な規制アプローチを採用しています。
この法律は、AIシステムを「許容できないリスク」「ハイリスク」「限定的なリスク」「最小限のリスク」の4段階に分類しています。各システムのリスクレベルは、意図された使用目的、使用の程度、健康・安全・基本権への影響、潜在的な被害の強度と範囲、被害の回復可能性などを総合的に考慮して評価されます。このリスクベースのアプローチに基づき、許容できないリスクをもたらす可能性のあるAIシステムは全面的に禁止され、ハイリスクに分類されたAIシステムについては、法で定められた特定の要件を満たす場合にのみ使用が許可されるなど、リスクレベルに比例した段階的な規制が適用されます。
3-1. 許容できないリスクのある人工知能
EUのAI規制において最も厳格な統制対象となるのは、「Unacceptable Risk（許容できないリスク）」に分類されるAIシステムです。EUは、これらのシステムが人間の基本権や尊厳を深刻に侵害する可能性があると考え、原則として全面的に禁止しています。
第一に禁止されるのは、人間の行動を操作する AIシステムです。潜在意識に働きかける手法を活用して、人が感知できない方法で行動を操作し、それによって本人または他人に肉体的あるいは精神的な害を及ぼす可能性のあるシステムがこれに該当します。ただし、医療目的で許可を得ている場合は例外として認められます。人間の自律性と尊厳を侵害するため禁止されます。
第二は、脆弱な立場の人々を悪用するAIシステムです。年齢、身体的または精神的な障害などによる脆弱性を利用して、該当する個人や集団の行動を歪め、害を及ぼす可能性のあるシステムがこれに該当します。EUは、このようなシステムが社会的な弱者を搾取する可能性がある点を懸念しています。差別や不平等を助長する恐れがあるため、禁止対象となっています。
第三に、公的機関によるソーシャルスコアリング（社会的信用評価）システムが禁止されます。個人の社会的行動や特性に基づいて信頼度を評価し、それを根拠に不利益な扱いや差別を行うシステムを意味します。データが収集された文脈とは無関係な状況で差別的な扱いをすることを厳格に禁止しています。個人の自由と権利を侵害する可能性があるため、禁止されます。
最後に、リアルタイム遠隔生体識別システムの利用が制限されます。公共の場所でリアルタイムに生体情報を活用して身元を確認するシステムは原則として禁止されますが、一部の例外（行方不明児の捜索、テロ攻撃の予防、重大犯の検挙といった法執行目的で、司法当局の事前承認を得て制限的に使用する場合）が認められます。
犯罪予測システムは、過去のデータに基づいて個人の犯罪の可能性を予測するシステムであり、これは差別や不公正を助長する恐れがあるため禁止されます。
禁止規定にも例外が存在します。公共の安全を保護するために、法令に従って適切な安全措置を講じ、公権力を行使する場合は例外となり得ます。しかし、このような例外は、必要性と比例性の原則に基づき、極めて厳格に制限されます。
禁止規定に違反した場合は、最大3,500万ユーロ、または全世界の年間売上高の7％のいずれか高い方の額の制裁金が科される可能性があります。
3-2. ハイリスク（High Risk）人工知能
EU AI Actは、健康、安全、または基本権に高いリスクをもたらす可能性のあるAIシステムを「ハイリスク」に分類しており、これらのシステムに対して市場投入前に厳格な規制を適用しています。
EUの製品安全法規が適用される製品に使用されるAIシステムが、ハイリスクに分類されます。玩具、航空機、自動車、医療機器、エレベーターなどに使用されるAIシステムが含まれ、自動運転システムや医療診断システムが代表的な例です。
交通、エネルギー、水管理といった重要インフラの安全に影響を及ぼすAIシステムも、ハイリスクと見なされます。交通管理システムや発電所制御システムのように、社会基盤施設の安全な運営に不可欠なAIシステムがこれに該当します。
教育分野では、試験の採点や入学の合否判定に使用されるAIシステムがハイリスクに分類されます。学生の学習能力を評価し、個人に最適化された学習パスを提供するAIシステムが代表的です。
雇用領域では、採用、昇進、解雇など、労働者の管理に使用されるAIシステムが含まれます。履歴書をスクリーニングし、応募者を評価するAIベースの採用システムが主な例です。
不可欠な民間および公共サービスに関しては、信用評価、社会福祉の給付、法執行などに使用されるAIシステムがハイリスクに分類されます。融資申請者の信用度を評価するシステムや、犯罪容疑者を特定する顔認証システムがこれに該当します。
移民に関しては、ビザ申請や亡命申請を審査するAIシステムがハイリスクに分類され、特にビザ申請者のリスクレベルを評価するシステムが代表的です。
最後に、司法手続きにおいて証拠を評価したり判決を予測したりするなど、司法および民主的な手続きの執行と運営に使用されるAIシステムもハイリスクと見なされます。例えば、裁判官の判決を支援するために法律文書を分析し、判例を検索するAIシステムがこれに該当します。
ハイリスクAIシステム供給者の法的義務は、以下の通りです。
AIシステムの全ライフサイクルにわたって、リスク管理システムを構築・運用しなければなりません。予測可能なリスクの特定と分析、誤用によるリスク評価、そして市販後のモニタリングデータの分析を含む、継続的かつ反復的なプロセスである必要があります。法令遵守戦略、システムデザイン、データ管理手順などを含む、包括的な品質管理システムを構築し、文書化しなければなりません。
ハイリスクAIシステムの提供者は、市場投入前に、EU AI Actの要件を満たしているかを確認するための適合性評価を必ず実施しなければなりません。この評価には、AIシステムの潜在的リスクの特定と評価、トレーニングデータの品質評価とバイアス緩和策、システムの設計・開発・動作方法を説明する技術文書の作成、性能と安全性のテスト、そして人間による監視（ヒューマンオーバーサイト）措置の準備などが含まれます。製品安全規則によって規制されている場合は既存の制度を拡張適用し、附属書IIIのシステムは自己評価の後にEU適合宣言を行うことができます。ただし、遠隔生体識別や公共インフラネットワーク用のシステムは、公認機関による評価を受ける必要があり、証明書は5年間有効です。システムが大幅に修正されるたびに、新たな適合性評価を受けなければなりません。市場投入やサービス開始前には、法的要件の遵守を立証する詳細な技術文書を作成・維持する必要があります。システム稼働中は、すべての機能を追跡できるようログを自動的に記録・保存しなければならず、これにはシステム利用期間、入力データ、検索結果、関与者の情報などを含める必要があります。
透明性の側面では、利用者に対してシステムの動作方法や潜在的なリスクに関する情報を明確に提供しなければなりません。これには、提供者の情報、システムの性能の特徴、機能と限界、変更事項、技術的措置、人間による監視措置、予想寿命および保守情報が含まれる必要があります。意思決定支援システムの場合、利用者がシステムの結論を導き出すプロセスを理解できなければならず、システムの制限事項や潜在的なバイアスに関する情報も併せて提供されなければなりません。
追跡可能性（トレーサビリティ）の要件に関して、システムの動作プロセスを追跡し、記録できなければなりません。問題発生時の原因把握と責任所在の究明のために、入力データ、出力結果、意思決定プロセスなどを詳細に記録・保存する必要があります。
データ品質管理においては、学習・検証・テスト用データセットが適切なガバナンスと管理体系を備えていなければならず、関連性と代表性を確保する必要があります。利用対象者の統計的特性を忠実に反映し、地理的、行動的、機能的な特性を考慮しなければなりません。必要な場合、バイアスのモニタリングと修正のために個人情報を処理できますが、これには必ず適切な保護措置が伴わなければなりません。
人間による監視においては、AIシステムが安全かつ倫理的に動作するよう、人間による継続的な監視が必要です。監視者はシステムのエラーを検知・修正できなければならず、予期せぬ結果が生じた場合は直ちに介入して潜在的な被害を防止できなければなりません。人間による効果的な監視が可能となるよう適切なインターフェースを設計しなければならず、システムの目的に適った正確性を確保し、外部攻撃に対応できなければなりません。重大な事故や誤作動が発生した場合は、直ちに当該加盟国の監督機関に報告する義務があります。
輸入業者と販売業者の義務も規定されています。
輸入業者は、EU市場への投入前に、システムのAI Act遵守状況を確認しなければなりません。これには、適合性評価手続きの完了、技術文書の備え、CEマーキングの貼付、認定代理人の指定などが含まれます。保管や輸送の過程でシステムの適合性が損なわれないよう注意を払う必要があります。EU域内に設立されていない提供者で輸入業者を確認できない場合は、必ずEU内の権限ある自然人または法人を代理人として指定しなければなりません。市場投入前にEUデータベースにシステムを登録し、CEマーキングを貼付して規定の遵守を表示する必要があります。登録時には、提供者の情報、システム識別情報、目的の説明、流通状況、認証関連情報、EU適合宣言の写しなどを詳細に提出しなければなりません。
販売業者は、市場投入前にハイリスクAIシステムを検証しなければならず、AI Actの要件を遵守していないシステムを市場に投入することはできません。重要な点は、輸入業者と販売業者の双方が、当該システムが個人の健康、安全、基本権にリスクをもたらすと判断した場合、直ちに提供者と関連当局にこれを報告しなければならないということです。
3-3. 限定的なリスク（Limited Risk）の人工知能
限定的なリスクのAIシステムは、特定の透明性義務が適用されるシステムを意味し、大きく二つのタイプに区分されます。第一は人間と対話するように設計されたAIシステムで、チャットボットやAIベースの仮想アシスタントがこれに該当します。第二は合成コンテンツを生成したり既存のコンテンツを改ざんしたりするAIシステムで、ディープフェイク技術や画像編集ソフトウェアがこれに含まれます。
限定的なリスクのAIシステムの提供者や利用者は、透明性義務を遵守しなければなりません。この透明性義務は、システムの特性に応じて提供者と利用者にそれぞれ異なって適用されます。
AIシステムが個人と対話するように設計されている場合, 供給者は利用者がAIシステムと対話しているという事実を明確に伝えなければなりません。ただし、AIシステムの利用状況や文脈上、AIとの対話であることが明白な場合や、犯罪捜査の過程でAIとの対話が発生する場合は、この告知義務が免除されます。
感情認識や生体識別分類機能が含まれるAIシステムの場合、システムの利用者は、個人がこのような感情認識システムや分類システムにさらされているという事実を必ず伝えなければなりません。これは個人のプライバシー保護と自己決定権の尊重のための重要な義務です。
3-4. 最小限のリスク（Minimal or No Risk）人工知能
EU AI Actの適用範囲外にあるAIシステムは、最小限のリスク、またはリスクなしに分類されます。大部分のAIシステムがこのカテゴリーに属し、特別な規制義務はありません。例えば、迷惑メールフィルタリング・ソフトウェア、製品推奨システム、写真編集ソフトウェアなどがこのカテゴリーに含まれます。
EU AI Actはリスクベース・アプローチ（risk-based approach）を採用していますが、そのうち最小限のリスクまたはリスクのないAIシステムは、規制の必要性が最も低い段階として分類されます。これらのシステムは、人間の基本権や安全にほとんど、あるいは全くリスクをもたらさないと判断され、EU AI Actの適用範囲から除外されます。
このカテゴリーに属するAIシステムは以下の通りです。
迷惑メールフィルタリング・ソフトウェア：メールからスパムを識別し分類するAIシステムで、日常的なメール管理を助ける補助的な役割を果たします。
製品推奨システム：オンラインショッピングモールなどで、利用者の購入履歴や検索パターンに基づいて商品を推薦するAIシステムです。
基本的な写真編集ソフトウェア：画像の補正、フィルターの適用など、単純な編集機能を提供するAIシステムです。
一般的なゲームに使用されるAI：ゲーム内のキャラクターの行動を制御したり、ゲームの進行を補助したりするAIシステムです。
単純作業自動化ツール：反復的な事務作業を自動化する基本的なAIシステムです。
これらのシステムの主な特徴は以下の通りです。
人間の基本権や安全に及ぼす影響が微々たるものです。意思決定の結果が個人の生活に重大な影響を及ぼしません。誤作動が発生しても、深刻な被害を招く可能性が低いです。利用者がシステムの限界を容易に認知し、制御することができます。これらのAIシステムには特別な規制義務は課されませんが、これは完全に規制から自由であることを意味するものではありません。これらは依然として、一般的な製品安全規定、消費者保護法、個人情報保護法など、既存の関連法規を遵守しなければなりません。AIシステムの開発者や提供者は、自発的に倫理的ガイドラインを遵守し、責任あるAI開発のために努力することが推奨されます。
4. 罰則規定
EU AI Actに違反した場合、行政制裁金が科される可能性があります。制裁金の規模は、違反の深刻度によって異なります。
・禁止されたAIシステムの使用：最大3,500万ユーロ、または全世界の年間売上高の7％のいずれか高い方の額
・ハイリスクAIシステム関連の義務違反：最大1,500万ユーロ、または全世界の年間売上高の3％のいずれか高い方の額
・限定的なリスクのAIシステム関連の義務違反：最大750万ユーロ、または全世界の年間売上高の1％のいずれか高い方の額
・規制当局への虚偽情報の提供：最大750万ユーロ、または全世界の年間売上高の1％のいずれか高い方の額
EU AI Actは、GDPRと同様のレベルの高い制裁金を科すことで、法案の効果的な執行を担保しています。しかし、AI Actの施行および執行には、明確なガイドラインの策定や国際協力など、解決すべき課題があります。例えば、適切な制裁金のレベルを決定し、複数の管轄区域で執行の取り組みを調整することが重要です。
EU AI Actは、EU内でAIシステムを開発、展開、または使用するすべての企業に影響を及ぼします。企業は、AIシステムのリスクレベルを評価し、適合性評価を実施し、必要に応じて技術文書を作成し、人間による監視措置を講じるなど、法案の要件を遵守しなければなりません。ハイリスクAIシステムを開発する企業は、厳格な義務を遵守しなければならないため、多大なコストと労力が必要になる可能性があります。
EU AI Actは企業のAI開発やイノベーションを阻害する可能性があるという懸念もあります。しかし、EUは、法案がAIイノベーションを阻害するのではなく、むしろ信頼できるAI開発を促進し、AI市場の成長を支援するものだと主張しています。
EU AI Actは、個人の基本権と安全を保護するための法律です。この法律は、AIシステムによって個人が差別、偏見、プライバシー侵害などの被害を受けないよう保護します。AIシステムの透明性を高めることで、個人がAIシステムの動作方法を理解し、自身の権利を行使できるように支援します。
EU AI Actは、AIシステムのリスクを管理し、信頼できるAI開発を促進するための包括的な法律です。AIシステムの開発、市場投入、利用に関する明確なルールを提供することで、EU内でのAI市場の成長を支援し、個人の基本権と安全を保護することが期待されています。
EU AI Actは世界初の包括的なAI規制法であり、他国のAI規制にも影響を及ぼすと予想されます。この法律は、AI開発における倫理的考慮事項や、グローバルなAIガバナンスに関する議論を巻き起こしました。AI Actは、企業、個人、そして社会全体に潜在的な課題と機会を提示しています。企業はAIシステムの開発および展開において責任を持つ必要があり、個人は自身の権利を認識し保護しなければなりません。社会全体は、AI技術の倫理的使用と社会的影響に関する継続的な議論を通じて、AI技術が人類に有益な方向で発展するよう努める必要があります。
