7.1 可解釋性·驗證·錯誤管理

人工智慧（AI）在醫療診斷、治療計劃、醫院營運等多個領域展現出創新潛力，但同時也引發了信任、安全與責任等根本性課題。特別是 AI 模型的透明度不足、預測錯誤可能性以及責任歸屬的模糊性，是將 AI 成功整合至醫療現場必須解決的問題。解決這些問題的核心在於確保 AI 的可解釋性（Explainability）、經過嚴格的臨床驗證、透過持續的性能監測來管理錯誤，並最終建立醫療團隊的批判性審查與最終責任。

1. 醫療 AI 的黑盒子問題

AI，特別是基於深度學習（Deep Learning）的模型，常被比喻為「黑盒子（black box）」。這是因為人類難以理解演算法到達特定結論或預測的過程。此種不透明性（opacity）在醫療領域構成嚴重問題。

責任歸屬的模糊性：當 AI 複雜且不透明地運作時，發生錯誤時應由誰負責的問題變得更加模糊。若無法重構 AI 系統為何得出特定結果，便難以釐清責任歸屬。

法規與倫理障礙：監管機構（例如 FDA）可能不願批准未能滿足透明度要求的黑盒子模型。AI 的黑盒子特性存在損害基本醫療倫理並對患者造成有害結果的風險。

錯誤識別的困難：若難以理解 AI 模型的內部運作，便非常難以識別與修正系統性錯誤或偏見（bias）。

為解決這些問題，可解釋 AI（Explainable AI, XAI）領域應運而生。XAI 旨在以人類可理解的方式解釋 AI 系統的決策過程，從而提高信任度與透明度。XAI 透過熱圖（heatmaps）強調 AI 在醫療影像中關注的區域，或提供文字說明以揭示預測依據。

2. 臨床驗證

AI 模型若要安全且有效地應用於醫療現場，嚴格的臨床驗證不可或缺。AI 被歸類為醫療器材，需要監管機構（例如 FDA）的事前批准，這必須像藥品一樣透過嚴格的臨床試驗予以證實。

資料品質與代表性：

AI 模型的性能很大程度上取決於高品質的龐大訓練資料。低品質或具偏見的資料可能導致具誤導性的結論。

特別是醫療影像資料屬於高維度且須以多元資料集進行訓練。僅以單一機構資料訓練的模型，在應用於其他醫院或患者群體時性能可能下降 [41, 131, 應公開統計詳細資訊以早期發現不均衡，並透過定期偏見審計與具公平意識的演算法系統性地識別與修正偏見。

雖然使用外部 AI 預測工具，但評估其準確性的醫院僅占半數。

為證實 AI 系統的實際臨床實用性，需要採用多中心（multicenter）方式的前瞻性臨床研究。 147]。

介面與使用適合性：AI 系統的實用性取決於使用者的接受度（acceptability），這取決於演算法的透明度與對建議事項的明確解釋能力 [13。

偏移（drift）與偏見檢測：AI/ML 系統在安裝後須接受定期觀察以檢測偏移（drift）或偏見（bias）。這屬於監督義務：如 EU AI Act 等法律框架要求高風險 AI 系統在運作期間保持監督義務。

4. 幻覺與誤診

AI，特別是大型語言模型（LLM）有時可能生成與事實不符的資訊。這可能導致錯誤的健康資訊或建議，對患者健康造成嚴重危害。

實際案例：在某些案例中，AI 建議高齡患者不要去賞櫻，忽略了患者的情緒滿足感或生活品質等人性化因素。

誤診與錯誤：

AI 是基於機率的結果，而非替代性的輔助資訊。

AI 是可能犯錯的工具。已有研究報告指出在治療建議中包含 1% 致命錯誤的 AI 模型 [1人性化因素的局限：AI 難以完全理解人類的情感語境、非語言資訊及同理能力。即使 AI 所提供的回答比醫師更有同理心

7.2 個人資料·安全·資料治理

隨著人工智慧（AI）深度整合至醫療領域，處置患者敏感健康資料的方式、用以保護資料的安全體系，以及管理資料全生命週期的資料治理，已成為確保醫療 AI 可信度中最重要且具挑戰性的課題。AI 系統基於龐大的敏感資料進行學習與運作，因此確保此類資訊的隱私、完整性與可用性，對於保護患者基本權利及履行醫療系統的倫理與法律責任至關重要。

1. 敏感健康資料

患者的健康資料本身是非常敏感且個人化的資料，也是 AI 系統的核心資源。

資訊種類：敏感健康資料包含個人診斷結果、基因資訊、生理資料（生物特徵測量資料）、治療紀錄等與患者健康狀況相關的所有資訊。這些資訊以醫療團隊診療筆記、醫療影像、病理結果、基因體資料等多種形式存在。

高價值與高風險：這些資料對個人而言是私生活的重要部分，對企業而言具有重大經濟價值。但同時，若遭誤用或外洩，可能對患者造成嚴重傷害，屬於極度敏感的資訊。

AI 對資料的依賴性：AI，特別是深度學習模型，依賴大規模敏感醫療資訊進行訓練與運作。由於 AI 的性能與準確度與訓練資料的數量及品質直接成正比，因此 AI 開發者試圖獲取儘可能多的資料。

2. 知情同意（Consent）

收集、儲存、處理與利用患者敏感健康資料時，必須獲得患者的知情同意（Informed Consent）。

明確同意的重要性：同意不僅僅是許可使用資料，而必須在向患者明確解釋並使其理解 AI 系統如何運作、使用何種資料以及存在何種潛在風險後方可達成。歐盟 GDPR（通用資料保護規則）與美國 HIPAA（健康保險可攜與責任法案）等法規框架對此類同意管理明定嚴格要求。

用於 AI 訓練的同意：將患者資料用於 AI 系統訓練時，原則上除非徹底實現資料匿名化，否則必須獲得患者同意。然而，針對將患者 EMR（電子病歷）資料用於 AI 訓練一事向所有患者個別取得概括性同意，在實務上存在困難。

診療過程錄音/錄影的同意：當 AI 即時分析醫師與患者間的對話以實現診療紀錄自動化時 [5.1]，必須取得患者與醫療團隊的相互同意。在台灣，法規規定醫療機構於診療過程中進行錄音或錄影時，必須獲得對方同意。

未能取得同意時的問題：若 AI 系統在未取得患者個人同意的情況下利用診療資料，可能侵害個人的資料自主權與隱私。特別是由於資料追蹤與更新的困難，可能限制對 AI 診斷與治療結果進行長期追蹤研究。

倫理與法律責任：同意相關法規雖使 AI 實現過程變得複雜且高成本，但對於保護患者自主性（autonomy）與隱私不可或缺。

3. 資料存取權限

AI 系統使用大量敏感醫療資訊，因此嚴格管理資料存取權限是資料安全的關鍵要素。

必要的保護措施：AI 系統需要強大的資料保護機制，包括安全儲存、適當的存取控制以及持續的安全監測。

存取控制的困難：與放在桌上任何人皆可翻閱的傳統紙本病歷不同，電子健康紀錄（EHR）存取門檻高得多。然而，由於 AI 系統從多個端點收集資料並分散於多個平台，可能更容易遭受資料外洩風險。

區塊鏈技術的應用：如 MedRec 等區塊鏈技術利用密碼學雜湊（cryptographic hashes）與智慧合約（smart contracts）實現對醫療資料的可控存取，從而滿足 GDPR 及 HIPAA 的要求。

「資料治理」的核心：資料存取權限管理為資料治理的核心部分，意指明確定義並控制何人、何時、基於何種目的可存取資料。

4. 網路安全

在醫療 AI 系統中，網路安全對於保護敏感健康資料及維持系統可信度絕對至關重要。

資料外洩風險：基於 AI 的系統易受資料外洩風險影響，威脅患者資訊的機密性。特別是隨著 AI 技術商業化，資料濫用及去識別化資料被重新識別的可能性隨之提高。

法規欠缺與因應局限：法規常落後於社會對隱私與安全不斷變化的態度。AI 的發展速度遠超法規框架，使得監管機構難以跟上 AI 開發速度。

法律要求事項：歐盟 GDPR、美國 HIPAA 以及歐盟 AI Act 要求嚴格的資料安全與個人資料保護規定。這些法規為醫療資料的處置與儲存設定了嚴格框架。

安全基礎設施的重要性：穩固的 IT 安全、資料保護概念、透明的資訊與同意程序不可或缺。基於雲端的 AI 平台與醫療資料的整合會產生額外的 IT 安全要求。

供應鏈安全：如 NIS 2 指令等法規強制基於 AI 的醫療系統在整個供應鏈中遵守安全要求。也就是說，當醫療機構採購硬體或軟體時，該服務提供業者亦須符合相同的安全標準。

醫療機構的責任：醫療機構對使用 AI 系統導致的資料外洩與安全漏洞表示擔憂，並質疑 AI 系統能否安全保護患者資料。

5. 去識別化與重新識別風險

去識別化（De-identification）是保護患者隱私的核心方法，但重新識別（Re-identification）的風險始終存在。

去識別化的概念：去識別化是移除所有個人識別資訊以確保資料匿名性的過程。資料（data）在匿名化狀態下無法獲知特定個人的資訊，而資訊（information）則展現特定個人的資訊。

匿名化（Anonymization）與假名化（Pseudonymization）：

匿名化：意指移除患者姓名、身分證字號等所有識別資訊，使無法重新識別特定個人。匿名化資料無需儲存於通過 HDS（Health Data Storage）驗證的環境中。

假名化：意指使用如患者 ID 等假名資料（pseudonymized data），使無法直接識別特定個人，但透過額外的對照表（mapping table）仍可重新識別的狀態。假名化資料必須儲存於 HDS 驗證伺服器中。

重新識別風險：即便是假名化資料，若與其他資訊結合仍存在重新識別風險。這威脅到機密性（confidentiality），且隨著 AI 技術商業化，此類風險正日益擴大。

聯邦學習（Federated Learning）：被提出作為一種無需共享原始患者紀錄、透過分散的本地資料訓練模型以保護隱私並降低重新識別風險的方法。

台灣的資料利用問題：以台灣為例，在將如「健康保險資料」等大規模醫療資料用於研究目的時，儘管已移除所有識別資訊，患者依然認為其資料應受保護。此種「資料主權（data sovereignty）」概念為資料利用製造了法律與倫理難題。特別是當無法進行資料追蹤時，可能導致難以驗證 AI 診斷/治療的長期效果或在發生錯誤時難以補償。

6. 機構的責任

基於 AI 的醫療系統成功導入與運作，取決於醫療機構明確的責任意識與體系化的治理。

最終責任歸於人類：AI 是輔助工具而非取代醫療團隊，醫療決策的最終責任始終由人類醫師承擔。AI 僅是工具，不具備人格亦無法承擔責任。

遵守法規：醫療機構必須遵守 GDPR、HIPAA、EU AI Act 等國家及國際資料保護與 AI 法規。這是確保 AI 系統安全且合法使用的必需步驟。

AI Act 的角色：歐盟 AI Act 對高風險 AI 系統提出網路安全、透明度、人類監督等嚴格要求。

資料治理：醫療機構應建立資料治理基礎設施，以確保資料品質、相互操作性與安全性。

建立治理結構：

人類監督（Human Oversight）：AI 系統雖自主運作，但最終決定始終須在人類監督下達成。

倫理委員會與 DPO：倫理委員會（ethical committee）及資料保護官（DPO）必須參與，以評估 AI 專案的倫理影響並遵守資料保護法規。

政策與程序：應制定明確的政策、程序與責任分工，以實現 AI 系統的安全部署。

員工教育與 AI 素養：應提供 AI 素養教育，使包含醫療團隊在內的所有員工理解 AI 系統的功能、局限及倫理使用方法。特別是須培養認知 AI 生成資訊的錯誤可能性（幻覺現象）並進行批判性審查的能力。

導入新技術的法律責任：醫療機構在導入如 AI 等新技術時極度重視法律責任風險。若 AI 24 小時監測患者資料，醫院的注意義務及法律責任範圍可能會擴大，因此需要對此進行明確的法律定義。

確保技術主權：醫療機構應確保對 AI 系統的技術主權（technological sovereignty），減少對外部供應商的依賴，並提高 AI 模型的透明度與控制力。

基於 AI 的醫療具有提升患者治療品質與增加醫療效率的巨大潛力，但為此必須先做到徹底保護敏感健康資料、建立強大的網路安全體系，以及對 AI 使用實施明確且負責任的資料治理。醫療機構不應僅是 AI 技術的單純使用者，更應作為主導 AI 系統安全與倫理應用的重要主體，盡到相應責任。

7.3 醫療團隊與 AI 協作及最終責任

1. 演算法偏見與公平性

AI 模型存在固有風險，即可能學習訓練資料中蘊含的偏見（bias），從而對特定患者群體導致不公平或不準確的結果。

減輕偏見策略：為解決此類演算法偏見問題並確保公平性（fairness），需要進行以下努力：

定期審計：在醫院使用 AI 系統前後應定期實施審計，以減少偏見並提升透明度。

公開人口統計詳細資訊：應公開用於模型訓練之資料集的人口統計詳細資訊，以早期發現不均衡。

公平意識演算法：應透過定期的偏見審計與具公平意識的演算法，系統性地識別與修正偏見。

資料集平衡與權重調整：應使用資料集平衡調整、權重調整、對抗性偏見減輕等多種技術，在所有患者群體中產出公平的結果。

資料保護與所有權：對資料保護與所有權的強有力考量，對於減輕此類偏見風險至關重要。

倫理與法規框架：AI 應在穩固的倫理框架內進行開發，並須保障個人資料保護、公平性與透明度。

2. 患者與醫療團隊的信任

AI 系統的成功導入與持續使用，取決於能否取得患者與醫療團隊雙方的信任。

建立信任的困難：對 AI 系統的信任不僅來自技術穩固性，亦來自透明度、可提出異議性以及與組織價值（特別是公平性）的連結。然而，若醫療團隊在 AI 開發過程中遭到疏離，信任度將降低，AI 的採納亦會受阻。

患者安全疑慮：護理師們對 AI 若發生誤動作可能對患者安全造成嚴重風險表示擔憂。AI 所提供資訊可能包含錯誤（幻覺現象）這一點對信任產生重大影響。

促進信任方案：

透明溝通：使用 AI 時向患者透明地提供資訊，並就 AI 的角色與局限進行明確溝通至關重要。

3. 醫師的最終判斷

AI 的本質局限：

醫療團隊的角色：

人性化再最佳化：AI 提出的「最佳化」建議應由人類醫師根據患者的特殊性與價值觀進行「再最佳化」。例如，即使 AI 因跌倒風險勸阻高齡患者外出，人類醫師考量賞櫻對患者生活品質產生的積極影響，可在家人支援下允許外出等尋求折衷點。

4. 責任分配

當前責任分配的模糊性：

缺乏關於 AI 模型開發者、使用者（醫師）、系統維護者中應由何者負責的全球法律或標準。

關於責任分配的討論：

注意義務標準提高：有人擔憂導入 AI 可能提高醫療團隊 Notice of Care（注意義務）標準。若 AI 已發出特定風險警報而醫師將其忽視並對患者造成傷害，可能被視為過失。

共同責任模型：部分觀點提出 AI 開發者、醫療服務提供者、醫院之間的共同責任模型，明

[參考資料]

以下為支持第七章「信任、安全與責任」之 7.1「可解釋性·驗證·錯誤管理」、7.2「個人資料·安全·資料治理」、7.3「醫療團隊與 AI 協作及最終責任」的參考資料清單。

參考資料清單

標題：#49【学会報告】発表のコツ・準備、AI、大規模研究 vs 症例報告【ESICM、日本救急醫學会】

作者/發行機構：ICUトーク (YouTube 頻道)

支持的小標題：7.1, 7.2, 7.3

標題：2026-06-03 數位健康研究轉譯系列演講#27 繆睿股份有限公司 陳凌漢 講師「醫療衛教培訓 AI Coach 共創工作坊 ​」

作者/發行機構：ICHIT TMU (YouTube 頻道)

上傳日：2026-06-03

支持的小標題：7.1, 7.2, 7.3

標題：2026-07-08：星球永續健康線上直播-AI醫療治理(2)：AI 安全閘門治理沙盒(AI Airlock)

作者/發行機構：健康智慧生活圈 (YouTube 頻道)

上傳日：2026-07-08

URL: " target="_blank" rel="noopener" style="color:#046BD2;word-break:break-all;">

支持的小標題：7.1, 7.2, 7.3

標題：AI 基因報告判讀、5G 遠距應用與臨床倫理研習會

作者/發行機構：TCnews慈善新聞網 (YouTube 頻道)

支持的小標題：7.2, 7.3

標題：Conferencia Más Salud. IA en Medicina: la herramienta del estudiante moderno

作者/發行機構：Facultad de Medicina UNAM (YouTube 頻道)

支持的小標題：7.1, 7.3

標題：Fuerza de trabajo en salud y la inteligencia artificial: seminario web

作者/發行機構：PAHO TV (YouTube 頻道)

支持的小標題：7.1, 7.2, 7.3

標題：Health-IT Talk: IT-Sicherheit: Mit KI zum resilienten Klinikbetrieb

作者/發行機構：SIBB e.V. (YouTube 頻道)

支持的小標題：7.2, 7.3

標題：IA et santé : les enjeux réglementaires entre RGPD, RIA et Code de la santé publique

作者/發行機構：HAAS Avocats - Droit IT-IP (YouTube 頻道)

支持的小標題：7.1, 7.2, 7.3