AI 서재
책으로 읽는 AI서재
한 권을 고르고, 목차에서 차례대로 읽을 수 있게 정리했습니다.
PDF 다운로드 책
다국어로 읽는 대학생 교양 인공지능
한국어 원문과 외국어 번역을 함께 실은 유학생용 교재입니다. 각 책 소개 페이지에서 PDF를 받을 수 있습니다.
[AI서재] 14장 뇌 데이터 시대의 윤리적 딜레마
14장 뇌 데이터 시대의 윤리적 딜레마
가. 정신적 프라이버시(Mental Privacy)와 뇌 데이터 소유권
2021년 어느 날, 칠레의 한 엔지니어가 미국 신경기술 기업 이모티브(Emotiv)를 상대로 소송을 제기했습니다. 그의 이름은 Guido Girardi. 그는 회사의 뇌파 측정 헤드셋 인사이트(Insight) 를 구매해 사용했습니다. 문제는 그 이후에 벌어졌습니다. 그의 뇌 데이터가 어디로 흘러갔는지, 누가 접근할 수 있는지, 얼마나 오래 저장되는지 알 수 없었습니다. 개인정보처리방침을 읽어보았지만 명확한 답을 찾을 수 없었습니다.
2023년, 칠레 대법원은 Guido Girardi의 손을 들어주었습니다. 법원은 이모티브에 그의 뇌 정보를 데이터베이스에서 삭제하라고 명령했습니다. 세계 최초로 뇌 데이터를 독립적인 법적범주로 인정한 판결이었습니다. 그러나 Guido Girardi가 요청한 또 다른 사항, 즉 회사가 개인정보처리방침 자체를 수정하라는 요구는 받아들여지지 않았습니다. 승리이면서 동시에 불완전한 승리였습니다.
이 판결의 배경에는 칠레가 2021년에 세계 최초로 헌법을 개정하여 신경권을 보장한 역사가 있습니다. 그러나 헌법 조문만으로는 데이터 처리의 구체적인 요건을 규율하기 어렵다는 한계가 드러났습니다.
뇌 데이터는 왜 다른 데이터와 다를까요. 우리의 뇌는 매 순간 전기 신호를 발생시킵니다. 이 신호에는 우리의 감정 상태, 집중력 수준, 심지어 특정 단어나 이미지에 대한 반응까지 담겨있습니다. 2024년 하버드 의대 연구진은 175시간 분량의 뇌파 기록을 학습시킨 인공지능이 512개의 음성 구절 중 거의 절반을 정확하게 식별해냈다고 보고했습니다. 기술이 발전할수록 뇌 데이터에서 추론할 수 있는 정보의 범위는 넓어집니다. 오늘 수집된 데이터에서 내일은 무엇을 읽어낼 수 있을지 아무도 모릅니다.
콜로라도 주의 캐시 킵 상원의원은 이 문제를 이렇게 표현했습니다. 오늘 수집한 데이터에 서 5년 후에는 무엇을 읽어낼 수 있을지 알 수 없다. 기술이 너무 빠르게 발전하기 때문이다.
미국에서는 2024년 4월 콜로라도 주가 세계 최초로 신경 데이터를 명시적으로 보호하는 포괄적 데이터 보호법을 제정했습니다. 이 법은 신경 데이터를 "개인의 중추신경계 또는 말초신경계 활동의 측정을 통해 생성되는 정보"로 정의했습니다. 같은 해 9월, 캘리포니아 주도 소비자 프라이버시법을 개정하여 신경 데이터를 민감한 개인정보로 분류했습니다. 몬타나와 코네티컷이 뒤를 이었습니다.
그러나 보호의 범위는 주마다 다릅니다. 캘리포니아 법은 비신경 정보에서 추론된 데이터를 제외합니다. 예를 들어 심박수 데이터는 순환계에서 나온 것이므로 신경 데이터가 아닙니다. 하지만 심박수 변화로 스트레스 수준을 추론할 수 있습니다. 이런 데이터는 보호 대상이 아닙니다.
2024년 4월, 뉴로라이츠 재단은 30개 소비자용 신경기술 기업의 개인정보처리방침을 감사했습니다. 결과는 충격적이었습니다. 29개 기업이 소비자의 뇌 데이터에 접근할 수 있었고, 의 미 있는 제한을 두지 않았습니다. 96.7퍼센트의 기업이 뇌 데이터를 제3자에게 이전할 권리를 보유하고 있었습니다. 암호화를 언급한 기업은 20퍼센트 미만이었습니다. 핵심 안전 조치를 모두 채택한 기업은 10퍼센트에 불과했습니다.
2025년 4월, 미국 상원의 여러 의원이 연방거래위원회에 서한을 보냈습니다. 그들은 신경 데이터가 다른 개인 데이터와 다르다고 강조했습니다. 신경 데이터는 익명화되더라도 정신 건강 상태, 감정 상태, 인지 패턴을 드러낼 수 있기 때문입니다.
UNESCO는 2024년 8월 신경기술 윤리 국제 표준을 개발하기 위한 전문가 그룹을 구성했습니다. 이 표준은 2025년 11월에 채택될 예정입니다. 미국의학협회는 2025년 6월 신경 프라이 버시 보호를 공식 요청했습니다.
비밀번호가 유출되면 바꿀 수 있습니다. 그러나 뇌 데이터는 한 번 노출되면 되돌릴 수 없습니다. 뇌 데이터는 우리의 가장 내밀한 영역입니다. 우리가 무엇을 느끼는지, 무엇에 반응하는지, 어쩌면 무엇을 생각하는지까지 담겨 있습니다. 이 데이터의 주인은 누구입니까. 데이 터를 수집한 기업입니까, 아니면 그 뇌의 주인입니까.
칠레는 헌법으로 답했습니다. 콜로라도는 법률로 답했습니다. 그러나 전 세계 대부분의 국가 에서 이 질문은 여전히 열려 있습니다.
나. Brainjacking: 운동 피질 해킹과 감각 조작의 위협 시나리오
2025년 7월, 예일대학교 디지털 윤리센터의 연구진이 한 논문을 발표했습니다. 제목은 "차세대 뇌-컴퓨터 인터페이스의 사이버 위험: 분석과 권고"였습니다. 논문의 첫 문장이 눈길을 끌었습니다. 효과적인 안전장치가 없다면, 표준화된 BCI 시스템의 광범위한 보안 침해는 수백만 명의 사용자에게 동시에 영향을 미칠 수 있다.
연구진은 이러한 공격이 핵심 인프라 인력을 무력화시키거나, 대규모 혼란을 통해 사회 질서 를 교란하거나, 심지어 적대 세력이 전체 인구의 민감한 생각과 기억을 수집하는 데 악용될수 있다고 경고했습니다.
브레인 재킹이란 무엇입니까. 이 용어는 뇌 임플란트나 신경자극기에 대한 무단 접근과 조작을 의미합니다. 아직 실제로 보고된 사례는 없습니다. 그러나 전문가들은 한 번의 고프로파일 공격이 발생하면 대중의 신뢰가 돌이킬 수 없이 손상될 것이라고 경고합니다.
위협은 이론에 그치지 않습니다. MIT 연구진은 EEG 장비가 일종의 안테나처럼 작동할 수 있음을 시연했습니다. 공격자가 진폭변조 무선주파수 신호를 전송하면, EEG 장치의 비선형 증폭기 반응이 변조 주파수를 포착하여 실제 신경 신호로 해석할 수 있습니다. 전송 전력이 충분하면 주입된 신호가 사용자의 실제 뇌파를 압도합니다. 이 공격은 벽과 문을 통과할 수 있었습니다. 거리는 약 3미터로 제한되었지만, 충분히 가까운 거리입니다.
뉴럴링크와 같은 최신 BCI는 블루투스를 통해 무선으로 통신합니다. 물리적 취약점은 줄어들었지만, 새로운 사이버보안 위협이 등장했습니다. 블루버깅 공격은 10미터 이내에서 장치에 무단 접근하여 신경 신호를 가로채거나 기능을 변경할 수 있습니다. 블루스나핑은 최대 100미터 거리에서 보안되지 않은 블루투스 연결로부터 데이터를 훔칠 수 있습니다. BCI 응용에서 이는 사용자 인식 없이 대규모 신경 데이터 유출로 이어질 수 있습니다.
심부뇌자극(DBS) 장치는 이미 파킨슨병과 같은 신경질환 치료에 널리 사용되고 있습니다. 옥스퍼드대학교 기능신경외과 연구진은 이 장치들의 잠재적 위험을 경고했습니다. 해커가 DBS 설정을 변경하면 더 큰 통증을 유발하거나, 파킨슨 환자의 움직임을 억제하거나, 과잉성욕이나 병적 도박을 유도하거나, 보상 학습을 조작하여 행동 통제를 시도할 수 있습니다.
인공지능 기반 공격도 우려됩니다. 적대적 섭동이라 불리는 기법은 EEG 데이터에 노이즈를 추가하여 P300 및 SSVEP 스펠러에서 원하는 문자를 출력하도록 만들 수 있습니다. 백도어공격은 학습 데이터를 오염시켜 특정 분류를 강제합니다.
문제는 BCI의 물리적 제약에 있습니다. 임플란트의 크기와 배터리 용량이 제한적이어서 강력한 암호화를 구현하기 어렵습니다. 응급 의료 접근을 위해 백도어가 필요할 수 있습니다. 예일대 연구진은 데이터가 장치와 원격 컴퓨터 사이를 이동할 때만 암호화를 요구할 것을 권고했습니다. 전력 소모를 최소화하기 위해서입니다.
미국 식품의약국은 BCI 사이버보안을 검토하지만, 표준은 기술 발전 속도를 따라가지 못합니다. BCI는 미국에서 클래스 III 이식형 의료기기로 분류됩니다. 가장 엄격한 규제 범주이지만, 사이버보안에 대한 구체적 지침은 아직 개발 중입니다.
예일대 연구진은 몇 가지 권고안을 제시했습니다. 규제 당국은 비수술적 소프트웨어 업데이 트 방법을 의무화해야 합니다. BCI 소프트웨어 수정을 위한 강력한 인증 및 권한 체계가 필요합니다. 뇌로 오가는 데이터의 암호화가 필수적입니다. 가능한 한 네트워크 연결을 최소화해야 합니다. 그들은 또한 AI가 환자의 임플란트에 악의적 자극을 보내는 것을 방지하기 위해 AI를 적대적으로 학습시킬 것을 권고했습니다.
브레인 재킹은 아직 현실이 아닙니다. 그러나 BCI 기술이 확산될수록 공격 동기는 커집니다. 의료 기기 해킹의 선례가 있습니다. 메드트로닉 제세동기의 취약점이 발견되었고, 인슐린 펌프 해킹이 시연되었습니다. 뇌에 이식된 장치라고 예외일 수 없습니다.
우리는 뇌를 보호하는 방법을 아직 충분히 알지 못합니다. 하지만 그 방법을 찾아야 합니다. 뇌는 우리의 마지막 성역이기 때문입니다.
다. 알고리즘 편향과 자율성 침해의 위험
2023년, 중국 항저우의 한 철도 기지에서 기관사들이 특수한 모자를 쓰고 있었습니다. 모자에 내장된 센서가 그들의 뇌파를 실시간으로 측정했습니다. 목적은 피로와 집중력 저하를 감지하는 것이었습니다. 안전을 위해서라는 설명이었습니다. 그러나 다른 시선도 있었습니다. 노동자의 정신 상태를 감시하는 것이 과연 허용되어야 하는가.
BCI 알고리즘은 중립적이지 않습니다. 모든 알고리즘은 학습 데이터의 특성을 반영합니다. 현재 대부분의 BCI 알고리즘은 서양인, 백인, 남성의 데이터로 학습되었습니다. 이 알고리즘이 다른 인구 집단의 신호를 해석할 때 편향이 발생할 수 있습니다.
감정 BCI의 경우 문제가 더 복잡해집니다. 감정에 대한 편견은 성별과 나이에 따라 다릅니다. 예를 들어 여성은 더 감정적이라는 고정관념이 있습니다. 이런 편견이 학습 데이터에 반영되면, 알고리즘은 같은 뇌 신호를 여성에게서는 감정적 반응으로, 남성에게서는 중립적 반응으로 해석할 수 있습니다.
자율성 침해의 문제는 더 근본적입니다. BCI는 점점 더 인공지능과 결합됩니다. AI 기반 BCI는 시각적 입력과 상황 인식을 바탕으로 독자적으로 작동할 수 있습니다. 사용자는 자신이 장치를 통제한다고 믿지만, 실제로는 알고리즘이 많은 결정을 내립니다. 이것을 주체성의 착각이라 부릅니다.
폐쇄 루프 시스템은 이 문제를 더욱 첨예하게 만듭니다. 폐쇄 루프 BCI는 뇌 신호를 읽고 자동으로 자극을 보냅니다. 예를 들어 우울증 치료용 심부뇌자극기는 특정 뇌파 패턴을 감지하면 자동으로 전기 자극을 전달합니다. 환자가 개입할 필요가 없습니다. 그러나 이것이 자기결정인지 기계의 결정인지 경계가 모호해집니다.
심부뇌자극을 받은 환자들은 성격 변화에 대해 양가적인 감정을 보고합니다. 충동성이나 성실성의 변화를 경험합니다. 그들은 장치의 성취와 자신의 능력을 구분하기 어렵다고 말합니다. 나인가, 기계인가. 이 질문에 명확한 답을 찾지 못합니다.
부정적 감정을 느낄 권리라는 개념도 등장했습니다. 폐쇄 루프 시스템이 자동으로 기분과 인지를 조절한다면, 우리는 슬픔이나 불안을 경험할 권리를 잃는 것은 아닙니까. 부정적 감정은 종종 중요한 정보를 담고 있습니다. 무언가가 잘못되었다는 신호입니다. 이 신호를 자동으로 억제하는 것이 바람직합니까.
여러 국가가 이러한 우려에 대응하고 있습니다. 칠레의 2021년 헌법 개정은 정신적 프라이버시와 의지의 자유를 보호합니다. 스페인의 디지털 권리 헌장은 신경기술이 정체성 주권과 자기 결정을 보장해야 한다고 명시합니다. 중국의 2023년 BCI 윤리 제안은 자율성, 프라이버시, 투명성, 공정성을 강조합니다.
그러나 직장에서의 신경 모니터링은 규제의 사각지대에 있습니다. 중국의 공장과 철도에서 사용되는 피로 감지 시스템은 안전이라는 명목 아래 작동합니다. 노동자들이 이 모니터링에 진정으로 동의했는지, 거부할 수 있는 선택권이 있었는지는 불분명합니다.
2024년 콜로라도 AI법은 고위험 의사결정에서 의도적이든 비의도적이든 AI로 인한 차별을 방지하고자 합니다. 2025년 텍사스와 버지니아도 유사한 법률을 통과시켰습니다. 그러나 텍사스 법은 의도적 차별만 처벌합니다. 비의도적이지만 체계적인 편향은 어떻게 됩니까.
브루킹스 연구소의 2025년 연구는 인간이 AI 편향을 식별하고 완화하는 데 실패한다는 것을 보여주었습니다. 연구진은 인간 피험자들이 인종적으로 편향된 AI 모델과 협력하여 이력서 를 심사하게 했습니다. 피험자들은 AI 편향이 자신의 의사결정에 전파되는 것을 적절히 식별하거나 완화하지 못했습니다. 이것은 고위험 의사결정에서 인간 개입을 요구하는 현재의 AI 정책이 충분하지 않을 수 있음을 시사합니다.
알고리즘은 도구입니다. 그러나 그 도구가 우리의 생각과 감정을 해석하고 조절할 때, 그것은 단순한 도구 이상이 됩니다. 우리가 누구인지를 정의하는 데 참여하는 행위자가 됩니다. 그 행위자의 편향은 곧 우리 자신에 대한 편향이 됩니다.
라. 동의의 문제: 진정한 사전동의(Informed Consent)란
2022년, 망막 임플란트 기업 세컨드 사이트(Second Sight)가 파산했습니다.
수백 명의 시각장애인들이 이 회사의 아르거스 II 장치를 눈에 이식받았습니다. 어떤 이들에 게 이 장치는 수십 년 만에 처음으로 빛을 보게 해주었습니다. 파산 후 그들은 선택지 없이 남겨졌습니다. 장치는 작동했지만, 업데이트와 지원은 끊겼습니다. 고장이 나면 수리할 곳이 없었습니다.
이 사례는 뇌-컴퓨터 인터페이스 연구에서 사전동의의 한계를 적나라하게 보여줍니다. 임상시험 참가자들은 장치 이식에 동의했습니다. 그러나 그들이 동의한 것은 무엇이었습니까. 장치가 영구적으로 지원될 것이라는 약속은 없었습니다. 회사가 파산할 가능성에 대한 정보는 충분히 제공되었습니까.
기존의 사전동의 모델은 한 시점의 결정을 전제합니다. 연구 참가자가 정보를 받고, 이해하고, 자발적으로 동의합니다. 그러나 BCI는 이 모델에 맞지 않습니다.
첫째, 변혁적 경험의 문제가 있습니다. 뇌에 칩을 이식받기 전의 나와 이식받은 후의 나는 같은 사람입니까. 이식 전의 나는 이식 후의 경험을 상상할 수 없습니다. 철학자들은 이것을 변혁적 경험이라 부릅니다. 경험하기 전에는 그것이 어떤 것인지 알 수 없는 경험입니다. 전통적인 사전동의는 이 경험적 차원을 충분히 다루지 못합니다.
놀랜드 아보를 생각해봅시다. 그는 8년간 어깨 아래의 모든 감각과 움직임을 잃었습니다. 그가 뉴럴링크 임상시험에 참가하기로 결정했을 때, 그는 생각만으로 컴퓨터를 조작하는 것이 어떤 느낌인지 알 수 없었습니다. 그것이 자신의 정체성에 어떤 영향을 미칠지도 알 수 없었습니다.
둘째, 장기적 불확실성의 문제가 있습니다. BCI의 장기적 효과는 알려지지 않았습니다. 10년후, 20년 후에 어떤 일이 일어날지 아무도 모릅니다. 장치가 뇌 조직과 어떻게 상호작용할지, 성격이나 인지에 어떤 변화가 올지 예측할 수 없습니다. 사이버보안 위협은 어떻게 진화할지, 개인정보는 어떻게 사용될지 불확실합니다. 연구자들조차 모르는 위험에 대해 참가자가 어떻게 동의할 수 있습니까.
셋째, 제거의 딜레마가 있습니다. 임상시험이 끝나면 어떻게 됩니까. 참가자는 장치를 계속사용할 수 있습니까. 장치가 비활성화되면 어떻게 됩니까. 제거를 원하면 가능합니까. 제거
수술의 위험은 이식 수술과 비슷하거나 더 클 수 있습니다. 비활성화된 장치를 몸에 두면 MRI를 찍을 수 없거나 장치 이동으로 인한 합병증이 생길 수 있습니다.
넷째, 동의 능력의 문제가 있습니다. 잠금 증후군 환자를 생각해봅시다. 그들은 의식이 있지만 눈 깜빡임 외에 어떤 움직임도 불가능합니다. BCI는 이들에게 의사소통의 희망을 줍니다. 그러나 동의 과정 자체가 어렵습니다. 그들이 동의서의 내용을 이해했는지 어떻게 확인합니까. 눈 깜빡임으로 표현된 동의가 진정한 이해에 기반한 것인지 어떻게 검증합니까.
2024년 헬싱키 선언 개정판은 패러다임 전환을 강조합니다. 연구 참가자를 피험자가 아닌 협력적 파트너로 보아야 합니다. 참가자가 완전한 사전동의를 제공할 수 없지만 동의 의사를 표현할 수 있다면, 의사는 법정 대리인의 동의와 함께 이 동의 의사를 구해야 합니다. 참가자가 표현한 선호와 가치는 고려되어야 하며, 어떤 이의 표시도 존중되어야 합니다.
일부 연구자들은 동적 동의 모델을 제안합니다. 한 번의 동의가 아니라 지속적인 정보 업데이트와 단계별 재동의를 수행합니다. 기술이나 기능이 변경될 때마다 새로운 동의를 구합니다. 그러나 이 모델도 모든 문제를 해결하지는 못합니다. 열린 미래의 가능성에 정적인 합의 가 어떻게 대응할 수 있겠습니까.
2025년 8월, 세계정신과저널에 발표된 체계적 리뷰는 정신질환 환자의 BCI 임상연구에서 사전동의 능력 평가가 주요 과제라고 밝혔습니다. 조현병, 기분장애, 거식증, 알코올 의존, 알츠하이머 및 파킨슨병으로 인한 신경인지장애 환자들이 대상이었습니다. 연구진은 5차원 BCI 특화 사전동의 능력 프레임워크를 구성했습니다. 미래 연구는 동적 평가 시스템을 개발하고 정신질환 환자의 동의 능력을 향상시켜야 한다고 권고했습니다.
기관윤리위원회는 어려운 과제에 직면해 있습니다. 수술 위험은 명확하지만, 성격이나 기능의 변화는 정의하기 어렵습니다. 사이버보안 전문가를 찾는 데 시간이 걸립니다. 위험 대비이익의 평가가 쉽지 않습니다.
사전동의는 연구 윤리의 초석입니다. 그러나 BCI 시대에 그 초석은 흔들리고 있습니다. 우리는 새로운 동의 모델을 찾아야 합니다. 임플란트와 함께 시작되어, 임플란트와 함께 진화하는 동의. 불확실성을 인정하면서도, 참가자의 자율성을 존중하는 동의. 기업이 파산해도, 지원이 끊겨도, 참가자를 보호하는 동의.
그것이 무엇인지는 아직 분명하지 않습니다. 분명한 것은, 지금의 방식으로는 충분하지 않다는 것입니다.