가. 알고리즘 대출 차별 (같은 신용, 다른 금리)

(1) 학자금 대출 AI 차별 집단소송

2025년 7월 10일, 매사추세츠주 검찰총장 안드레아 조이 캠벨은 기자회견장에 섰습니다. 그녀의 손에는 250만 달러짜리 서류가 들려 있었습니다. 상대는 Earnest Operations라는 학자금 대출 리파이낸싱 회사였습니다. 캠벨 총장은 마이크 앞에서 이렇게 말했습니다. "어니스트의 AI 모델은 역사적으로 소외된 학생 차입자들을 불공정하게 위험에 빠뜨렸습니다."

무슨 일이 있었던 것일까요.

이야기는 2014년으로 거슬러 올라갑니다. 어니스트는 실리콘밸리 스타트업의 전형적인 탄생 서사를 가진 회사였습니다. 창업자들은 전통적인 신용평가가 구시대적이라고 믿었습니다.

FICO 점수만으로 사람을 판단하다니요. FICO는 Fair Isaac Corporation의 약자입니다. 미국에서 가장 널리 쓰이는 신용점수 시스템입니다. 300점에서 850점 사이의 숫자로 표현됩니다. 높을수록 신용이 좋습니다. 대출 신청, 신용카드 발급, 심지어 아파트 임대 계약에도 이 점수를 봅니다. 한국의 신용등급과 비슷한 개념입니다.

그들은 더 많은 데이터를 봐야 한다고 생각했습니다. 출신 학교. 전공. 직장 경력. 이런 변수들을 AI에게 주면, AI는 누가 빚을 갚을 사람인지 더 정확하게 맞출 수 있을 것입니다.

문제는 그 변수들 중 하나에 있었습니다. '기관별 대출 부실률(Cohort Default Rate, CDR)'이라는 것이었습니다.

이것은 미국 교육부가 각 대학별로 발표하는 숫자입니다. 해당 대학 졸업생들이 연방 학자금 대출을 얼마나 못 갚았는지를 보여주는 지표입니다.

어니스트의 AI는 이 숫자를 봤습니다. 그리고 단순한 계산을 했습니다. 당신이 졸업한 학교의 CDR이 높으면, 당신도 빚을 못 갚을 확률이 높다. 따라서 당신의 금리는 올라가거나, 아예 대출이 거절됩니다. 겉보기에는 합리적인 것 같습니다. 졸업생들의 상환 기록이 나쁜 학교 출신이라면, 조심하는 게 당연하지 않을까요.

하지만 검찰은 다른 것을 봤습니다. 미국에는 역사적 흑인 대학(HBCU)이라는 것이 있습니다. 하워드 대학교, 스펠만 칼리지 같은 곳들입니다. 이 학교들은 주로 아프리카계 미국인 학생들이 다닙니다. 그리고 이 학교들의 CDR은 평균보다 높은 경향이 있습니다. 왜일까요. 그 학생들의 가정이 대대로 부유하지 않았기 때문입니다. 학자금 상환이 늦어지는 것은 개인의 신용도 문제가 아니라, 세대를 걸쳐 누적된 경제적 불평등의 결과입니다.

어니스트의 AI는 이런 맥락을 몰랐습니다. AI는 패턴만 봤습니다.

이 학교 출신은 돈을 늦게 갚는다. 따라서 이 사람의 점수를 깎는다. 하지만 그 '이 사람'은 하워드 대학교를 수석으로 졸업하고 구글에 취직한 흑인 청년일 수 있습니다. 신용 점수가 완벽할 수 있습니다. 연봉이 15만 달러일 수 있습니다. 그런데도 AI는 그의 점수를 깎습니다. 왜냐하면 그가 다녔던 학교의 선배들이 빚을 잘 못 갚았기 때문입니다.

이것을 법률 용어로 '차별적 영향(Disparate Impact)'이라고 합니다. 쉽게 말하면 이렇습니다. 당신이 흑인을 차별하려고 의도하지 않았어도, 당신의 시스템이 결과적으로 흑인에게 불리하게 작동한다면, 그것은 불법입니다.

대학 CDR은 인종 변수가 아닙니다. 하지만 인종과 밀접하게 연결되어 있습니다. 법률가들은 이것을 '대리 변수(Proxy Variable)'라고 부릅니다. 직접 묻지 않고도 인종을 추론할 수 있게 해주는 우회로입니다.

어니스트에게는 또 다른 문제가 있었습니다. '녹아웃 룰(Knockout Rule)'이라는 것입니다. 비시민권자 신청자가 영주권(그린카드)을 갖고 있지 않으면, AI가 심사 초기 단계에서 자동으로 거절하도록 설정되어 있었습니다. 취업비자를 가진 인도계 엔지니어가 연봉 20만 달러를 받고 있어도, 영주권이 없다는 이유만으로 문전박대를 당한 것입니다.

검찰은 이것이 출신국에 따른 차별이라고 판단했습니다.

조건은 엄격했습니다. 어니스트는 CDR 변수 사용을 즉시 중단해야 합니다. 이민 신분에 따른 자동 거절 규칙을 폐지해야 합니다. 모든 AI 모델에 대해 공정성 테스트를 의무적으로 수행해야 합니다. 서면화된 기업 지배구조 시스템을 구축하고, 정기적으로 검찰에 준수 현황을 보고해야 합니다.

어니스트는 혐의를 부인했습니다. 회사 측은 법을 위반하지 않았다고 주장했습니다. 다만 " 장기간의 소송을 피하기 위해" 합의에 응했다고 밝혔습니다. 이것은 미국 기업들이 과징금 합의를 발표할 때 쓰는 표준적인 문구입니다. 잘못을 인정하지 않으면서 돈을 내는 방식입니다.

이 사건이 중요한 이유는 따로 있습니다. 연방 정부가 AI 차별 규제에서 한 발 물러서는 사이, 주 정부가 그 빈자리를 채우기 시작했다는 점입니다. 트럼프 행정부의 재집권 이후 소비자금융보호국(CFPB)의 공격적인 집행은 주춤해졌습니다. 연방거래위원회(FTC)의 알고리즘 차별 감시도 느슨해졌습니다. 그 틈을 매사추세츠, 캘리포니아, 오레곤, 뉴저지 같은 주 검찰들이 파고들었습니다.

캠벨 총장은 기자회견 말미에 이렇게 말했습니다. "기술이 아무리 발전해도, 그것이 시민권과 소비자 보호를 우회하는 핑계가 될 수는 없습니다."

이 말은 금융 기술 업계 전체에 대한 경고였습니다.

(2) UC Berkeley/Urban Institute 연구결과

2018년, UC 버클리 하스 경영대학원의 연구실에서는 이상한 긴장감이 감돌았습니다.

금융학 교수 애데어 모스(Adair Morse)와 법학 교수 로버트 바틀렛(Robert Bartlett)이 화면을 응시하고 있었습니다. 그들은 수백만 건의 주택담보대출 데이터를 분석하고 있었습니다.

원래 연구의 목적은 핀테크를 칭찬하기 위한 것이었습니다. 알고리즘이 인간 은행원의 편견을 없앴을 것이라고 기대했습니다. 흑인 고객을 마주했을 때 무의식적으로 차별하는, 그 고질적인 문제를 차가운 수학이 해결했을 것이라고 믿었습니다.

데이터는 정반대를 보여주었습니다.

연구진은 2008년부터 2015년까지의 모기지 데이터를 분석했습니다.

그 결과 알고리즘 기반 핀테크 대출 기관들이 흑인과 라틴계 차입자들에게 백인 차입자들보다 평균 7.9bp(0.079%포인트) 더 높은 금리를 부과하고 있음을 발견했습니다.

0.079%포인트. 작은 숫자처럼 들립니다. 하지만 이 숫자를 미국 전체 대출 시장에 곱하면 다른 이야기가 됩니다. 연구진의 계산에 따르면, 소수계층 대출자들은 이 금리 차이 때문에 매년 약 7억 6,500만 달러를 추가로 지불하고 있었습니다.

모스 교수는 이렇게 말했습니다. "대출 차별의 방식이 인간 편견에서 알고리즘 편견으로 이동했습니다." 이 말에는 쓴웃음이 담겨 있었습니다. "알고리즘을 작성하는 사람들이 공정한 시스템을 만들려는 의도를 가지고 있더라도, 그들의 프로그래밍이 소수 인종 차입자들에게 차별적 영향을 미치고 있습니다."

어떻게 이런 일이 가능할까요. 알고리즘은 인종을 보지 않습니다. 적어도 직접적으로는요. 미국법상 대출 심사에서 인종을 변수로 쓰는 것은 불법입니다. 하지만 알고리즘은 인종을 제외한 모든 것을 봅니다. 거주지 우편번호. 쇼핑 패턴. 은행 계좌 이체 습관. 사용하는 스마트폰 기종. 이런 변수들은 인종과 높은 상관관계를 가지고 있습니다. 연구진은 이것을 '알고리즘적 전략적 가격책정(Algorithmic Strategic Pricing)'이라고 불렀습니다.

핀테크 기업들의 AI는 누가 비교 쇼핑을 할 것인지를 예측합니다. 여러 은행의 금리를 비교해보고 가장 좋은 조건을 찾아다니는 고객이 있습니다. 이런 고객에게는 경쟁력 있는 금리를 제시해야 합니다. 안 그러면 다른 은행으로 가버릴 테니까요.

반대로, 비교 쇼핑을 하지 않을 것 같은 고객이 있습니다. 금융 서비스가 부족한 지역에 사는 사람. 인터넷 접근성이 낮은 사람. 바쁜 일상 때문에 여러 은행을 돌아다닐 시간이 없는 사람. 이런 고객에게는 조금 더 높은 금리를 제시해도 괜찮습니다. 그들은 어차피 다른 곳과 비교하지 않을 테니까요.

문제는 이런 특성들이 인종과 겹친다는 점입니다. 금융 서비스가 부족한 지역은 역사적으로 유색인종이 많이 사는 동네입니다. 여러 은행을 비교할 시간이 없는 사람들은 저소득층 노동자인 경우가 많습니다. 알고리즘은 인종을 묻지 않습니다. 하지만 인종을 우회해서 알아냅니다.

연구진은 한 가지 흥미로운 발견도 했습니다. 알고리즘이 인간보다 나은 점도 있었습니다. 대출 승인/거절 결정에서는 알고리즘이 인간 심사역보다 덜 차별적이었습니다.

흑인이나 라틴계라는 이유로 대출 자체를 거부당하는 비율은 줄었습니다. 하지만 대출을 받은 후 적용되는 금리에서는 차별이 오히려 늘었습니다.

이것은 미묘한 구분입니다. 문을 열어주는 것과, 문 안에서 어떻게 대우받는지는 다른 문제입니다.

어반 인스티튜트(Urban Institute)의 2024년 분석은 더 충격적인 수치를 내놓았습니다. AI 기반 대출 모델에서 흑인과 유색인종 신청자가 백인 신청자에 비해 대출 거부를 당할 확률이 2배 이상 높았습니다. 신용 기록의 차이로 설명되지 않는 격차였습니다. 이 연구들은 2024년 8월 CFPB의 가이드라인에 직접 인용되었습니다. 소비자금융보호국은 " 신기술이라고 해서 연방 소비자 금융 보호법의 예외가 될 수 없다"고 못 박았습니다. AI를 사용한다는 사실 자체가 차별적 영향에 대한 법적 책임을 면제해주지 않는다는 것입니다.

금융 업계는 당혹스러워했습니다. 그들은 AI가 편견을 없앨 것이라고 진심으로 믿었습니다. 차가운 수학에 인종차별이 들어갈 틈이 어디 있겠습니까. 하지만 수학이 학습하는 데이터 자체가 오염되어 있었습니다. 과거 50년간 인간 은행원들이 흑인에게 대출을 잘 해주지 않았습니다. 그래서 데이터상 흑인의 신용 기록은 부족하거나 나빴습니다. AI는 이 데이터를 보고 배웠습니다. 흑인(또는 흑인과 비슷한 패턴을 가진 사람)은 위험하다.

알고리즘은 과거의 편견을 수학적으로 정당화하고, 미래로 투영하는 거울이었습니다.

나. Apple/Goldman Sachs 사건

(1) CFPB 8,900만 달러 과징금

2019년 8월 20일, 애플은 골드만삭스와 손잡고 '애플 카드'를 출시했습니다. 광고는 화려했습니다. 티타늄으로 만든 물리적 카드. 간결한 디자인. "가장 소비자 친화적인 신용카드." 월스트리트의 제왕 골드만삭스와 실리콘밸리의 아이콘 애플이 만났으니, 혁명적인 금융 상품이 탄생할 것이라고 모두가 기대했습니다.

이 화려한 출시 4일 전, 2019년 8월 16일. 골드만삭스 이사회에 보고서가 올라갔습니다. 제목은 간단했습니다.

분쟁 처리 시스템이 "완전히 준비되지 않았다(not fully ready)"는 내용이었습니다. 기술적 문제가 있었습니다. 고객이 결제 오류를 신고하면, 그것을 접수하고 조사하고 환불해주는 시스템 말입니다. 그게 제대로 작동하지 않았습니다.

이사회는 보고서를 받았습니다. 그리고 4일 후, 출시를 강행했습니다.

왜였을까요. 파트너십 계약서에 답이 있었습니다. 골드만삭스가 출시를 90일 지연할 때마다, 애플은 2,500만 달러의 페널티를 부과할 수 있었습니다.

출시 일정을 미룬다는 것은 수천만 달러를 물어내는 것이었습니다. 골드만삭스는 계산을 했습니다. 시스템이 불완전해서 나중에 문제가 생기는 비용과, 지금 당장 애플에 내야 하는 페널티. 둘 중 무엇이 더 클까요. 그들은 출시를 선택했습니다.

5년 후, 그 계산이 틀렸음이 드러났습니다.

2024년 10월 23일, 소비자금융보호국(CFPB)은 애플과 골드만삭스에 8,900만 달러 이상의 벌금과 배상금을 부과했습니다. 골드만삭스에 4,500만 달러 벌금과 1,980만 달러 소비자 배상금. 애플에 2,500만 달러 벌금. 그리고 골드만삭스에는 더 치명적인 제재가 따라왔습니다. "법률 준수를 보장하는 신뢰할 수 있는 계획"을 제출할 때까지, 새로운 신용카드 상품 출시가 금지되었습니다. 월스트리트의 제왕이 신용카드 사업에서 손이 묶인 것입니다. CFPB의 조사 결과는 참혹했습니다. 수천 건의 고객 분쟁이 애플에서 골드만삭스로 제대로 전달되지 않았습니다. 전달된 분쟁조차 골드만삭스가 제대로 조사하지 않았습니다. 고객들은 환불을 몇 달씩 기다렸습니다.

그 사이 그들의 신용 점수에는 "연체"라는 기록이 남았습니다. 골드만삭스의 자동화 시스템이 분쟁 중인 거래를 연체로 처리해버렸기 때문입니다. 사실은 결제 오류였는데, 고객의 신용이 망가졌습니다.

또 다른 문제도 있었습니다. 애플은 "특정 기기 구매 시 무이자 할부가 자동으로 적용된다" 고 광고했습니다. 하지만 실제로는 많은 고객이 자동으로 일반 리볼빙 결제(이자가 붙는 결제)에 등록되었습니다. 그들은 무이자인 줄 알고 아이폰을 샀다가, 몇 달 후 이자가 붙어 있는 청구서를 받았습니다.

CFPB 국장 로히트 초프라는 이렇게 말했습니다. "애플과 골드만삭스는 애플 카드 차입자들에 대한 법적 의무를 불법적으로 회피했습니다. 빅테크 기업과 월스트리트 대형 은행이 연방법의 예외인 것처럼 행동해서는 안 됩니다."

두 회사는 잘못을 인정하지 않았습니다. "혐의를 인정하거나 부인하지 않고"라는 표준 문구가 들어갔습니다. 골드만삭스는 성명을 통해 "출시 후 발생한 특정 기술적 및 운영적 문제들을 해결하기 위해 부지런히 노력했다"고 밝혔습니다. 애플은 "CFPB의 특성 규정에 강하게 동의하지 않지만, 합의에 응했다"고 말했습니다.

하지만 시장은 이미 결론을 내렸습니다. 골드만삭스는 애플 카드 사업에서 손을 떼려 했습니다. 다른 은행들에 파트너십 인수를 제안했습니다. 아무도 선뜻 나서지 않았습니다. 누가 이 폭탄을 떠안고 싶겠습니까.

2026년 1월, JP모건 체이스가 애플 카드를 인수하기로 결정했습니다. 22억 달러 규모의 거래였습니다. 전환 기간은 24개월이 소요될 예정입니다. 골드만삭스의 소비자 금융 진출 실험은 10억 달러 이상의 손실을 남기고 끝났습니다.

(2) Apple Card 알고리즘 차별 논란

8,900만 달러 과징금이 나오기 5년 전, 애플 카드에는 다른 종류의 위기가 있었습니다. 2019년 11월, 덴마크 출신 소프트웨어 개발자 데이비드 하이네마이어 한슨(DHH)이 트위터에 분노에 찬 글을 올렸습니다.

"애플 카드는 성차별적인 프로그램이다."

한슨은 프로그래밍 세계에서 유명한 인물입니다. 루비 온 레일스(Ruby on Rails)라는 웹 프레임워크를 만든 사람입니다. 그에게는 35만 명이 넘는 트위터 팔로워가 있었습니다. 그의 글은 순식간에 퍼졌습니다.

그의 주장은 이랬습니다.

그와 아내 제이미는 공동으로 세금 신고를 합니다. 같은 재산을 공유합니다. 아내의 신용 점수가 그보다 높습니다. 그런데 애플 카드 알고리즘은 그에게 아내보다 20배 높은 신용 한도를 부여했습니다.

한슨은 애플 고객센터에 전화했습니다. "왜 제 아내의 한도가 이렇게 낮습니까?" 상담원은 대답하지 못했습니다. "그건 그냥 알고리즘이 그렇게 결정한 겁니다."

며칠 후, 애플의 공동 창업자 스티브 워즈니악이 가세했습니다. "나도 똑같은 경험을 했다." 워즈니악과 그의 아내는 모든 계좌를 공유합니다. 같은 세금 신고서를 냅니다. 그런데도 그는 아내보다 10배 높은 한도를 받았습니다. 애플을 만든 사람조차 이해할 수 없는 애플의 알고리즘이었습니다.

뉴욕주 금융서비스국(NYDFS) 국장 린다 레이스웰이 즉각 조사에 착수했습니다. 그녀는 미디엄에 글을 올렸습니다. "이것은 단순히 하나의 알고리즘을 조사하는 것에 관한 것이 아닙니다. 전국의 소비자들이 금융 서비스 접근에 영향을 미치는 알고리즘이 모든 개인을 평등하고 공정하게 대우한다는 확신을 가질 수 있어야 합니다."

조사는 2021년까지 이어졌습니다. 결과는 의외였습니다. "의도적인 성차별의 증거는 발견되지 않았습니다." 골드만삭스의 알고리즘에는 성별 변수가 아예 들어 있지 않았습니다. 미국법상 그것은 불법이기 때문입니다. 한도 차이는 다른 변수들, 소득 공유 방식, 부채 내역 등에서 비롯된 것으로 보였습니다.

법적으로 애플과 골드만삭스는 면죄부를 받았습니다. 하지만 이 사건은 더 깊은 질문을 남겼습니다.

첫 번째 문제는 설명 불가능성이었습니다. 한슨이 "왜?"라고 물었을 때, 아무도 대답하지 못했습니다. 고객센터 상담원도. 골드만삭스의 신용 담당자도. 심지어 알고리즘을 설계한 엔지니어들도. AI는 결정을 내렸지만, 왜 그런 결정을 내렸는지는 설명할 수 없었습니다. "블랙박스"였습니다.

두 번째 문제는 대리 차별(Proxy Discrimination)의 가능성이었습니다. 성별 변수를 직접 넣지 않았더라도, 쇼핑 패턴이나 소비 습관 같은 변수가 성별의 대리 변수로 작용했을 수 있습니다. 여성들의 쇼핑 패턴, 남성들의 쇼핑 패턴은 다릅니다. 알고리즘이 그 차이를 보고 성별을 유추했을 가능성이 있습니다. 법적으로 증명되지는 않았지만, 의혹은 남았습니다.

AI Now Institute는 이 사건을 분석하며 이렇게 썼습니다. "애플 카드 논란에서 편향은 버그가 아니라 특징(feature)이다." 알고리즘 차별은 우연한 오류가 아니라, 데이터와 설계에 내재된 구조적 문제라는 뜻입니다.

이 사건이 남긴 교훈은 분명합니다. 금융 서비스에서 AI를 도입한다면, 그 AI가 왜 그런 결정을 내렸는지 설명할 수 있어야 합니다. "알고리즘이 그랬어요"는 법정에서도, 고객 앞에서도, 규제 당국 앞에서도 통하지 않습니다.

애플과 골드만삭스의 파트너십은 이 사건 이후 서서히 무너지기 시작했습니다. 성차별 논란에서 시작해, 분쟁 처리 실패로 이어지고, 결국 8,900만 달러 과징금으로 귀결되었습니다. "세기의 결혼"이라 불렸던 제휴는 이혼 소송으로 끝났습니다.

다. 가격 책정 알고리즘과 반독점법

(1) RealPage 사건: 임대료 알고리즘 담합

시애틀의 한 아파트에 사는 세입자가 2022년 재계약 통지서를 받았습니다. 월세가 30%나 올라 있었습니다. 화가 나서 옆 건물, 그 옆 건물의 시세를 알아봤습니다. 모든 아파트의 임대료가 똑같이 올라 있었습니다. 빈집이 넘쳐나는데도 가격은 떨어지지 않았습니다.

"이건 담합이다."

맞았습니다. 다만 그가 상상한 담합은 아니었습니다. 건물주들이 비밀 장소에 모여 "가격을 이만큼 올리자"고 합의하는 장면은 없었습니다.

그들은 서로 만난 적도 없었습니다. 대신 그들은 같은 소프트웨어를 쓰고 있었습니다. 리얼페이지(RealPage)라는 회사가 만든 '일드스타(YieldStar)'라는 알고리즘이었습니다.

일드스타의 작동 방식은 이랬습니다. 임대업자들은 자신의 실제 계약 임대료, 공실률, 계약 조건 같은 민감한 데이터를 리얼페이지 서버에 보냅니다. 리얼페이지의 AI는 이 데이터를 통합 분석합니다. 그리고 각 임대업자에게 "최적의 임대료"를 제시합니다. "이 가격을 받으세요."

이것이 왜 문제일까요. 시장 경제에서 경쟁자들은 독립적으로 가격을 결정해야 합니다. A 아파트가 가격을 올리면, B 아파트는 가격을 낮춰서 세입자를 뺏어올 수 있습니다. 이것이 경쟁입니다. 세입자들에게 좋습니다. 가격이 내려가니까요.

하지만 A와 B가 같은 알고리즘을 쓰면 다른 일이 벌어집니다. 알고리즘은 둘 다에게 "가격을 올리세요"라고 권고합니다. A가 올립니다. B도 올립니다. 세입자는 도망갈 곳이 없습니다. 시장 전체의 가격이 올라가버렸으니까요.

더 교묘한 점이 있습니다. 과거의 임대업자들은 빈집을 두려워했습니다. 빈집은 손실이니까요. 그래서 가격을 낮춰서라도 세입자를 구하려 했습니다. 하지만 리얼페이지는 새로운 계산법을 제시했습니다. "빈집이 좀 있어도 괜찮습니다. 가격을 높게 유지하면, 전체 수익은 더 높아집니다." 공실을 감수하고 가격을 올리는 전략이었습니다.

2024년 8월, 미국 법무부(DOJ)와 8개 주 검찰이 리얼페이지를 상대로 반독점 소송을 제기했습니다. 혐의는 셔먼법(Sherman Act) 제1조(거래 제한 음모) 및 제2조(독점화) 위반이었습니다.

법무부의 논리는 이랬습니다. 리얼페이지는 '허브(Hub)'이고, 임대업자들은 '스포크(Spoke)' 입니다. 자전거 바퀴를 생각하면 됩니다. 바퀴살들은 서로 직접 연결되어 있지 않습니다. 하지만 모두 중앙의 축에 연결되어 있습니다. 축이 돌면 바퀴살도 같이 돕니다. 리얼페이지라는 축이 가격을 조율하면, 임대업자들의 가격도 같이 움직입니다. 그들은 서로 전화 한 통 한 적이 없습니다. 하지만 결과적으로 담합한 것과 같은 효과가 납니다.

2025년 11월 24일, 법무부와 리얼페이지는 합의에 도달했습니다. 합의 조건은 상세했습니다.

리얼페이지는 경쟁업체의 비공개 데이터를 실시간 가격 책정에 사용할 수 없습니다.

AI 모델 훈련에는 최소 12개월 이상 오래된 데이터만 사용할 수 있습니다.

지리적 분석은 주(州) 단위보다 세밀하게 할 수 없습니다.

특정 아파트 단지 수준의 미시적 담합을 방지하기 위해서입니다. '자동 수락(Auto-accept)' 기능, 즉 알고리즘이 제시한 가격을 자동으로 따르게 하는 기능을 제거해야 합니다.

'가버너(Governor)' 기능을 대칭적으로 만들어야 합니다.

가격 인상에는 관대하고 가격 인하에는 인색했던 설정을 바꿔야 합니다.

법원이 임명한 감시관이 3년간 준수 여부를 감독합니다.

합의 기간은 7년입니다. 다만 4년 후 법무부가 "더 이상 필요 없다"고 판단하면 조기 종료될 수 있습니다. 금전적 벌금은 없었습니다. 잘못 인정도 없었습니다. 리얼페이지는 "법을 위반한 적 없다"고 주장을 유지했습니다. 다만 "장기간 소송을 피하기 위해" 합의에 응했다고 밝혔습니다.

법무부 반독점 책임자 애비게일 슬레이터는 이렇게 말했습니다. "경쟁 기업들은 독립적인 가격 결정을 해야 합니다. 알고리즘과 인공지능 기술이 발전함에 따라, 우리는 강력한 반독점 집행의 선두에 계속 설 것입니다."

합의가 모든 것을 끝낸 것은 아닙니다. 10개 주(캘리포니아, 콜로라도, 코네티컷, 일리노이, 매사추세츠, 미네소타, 노스캐롤라이나, 오레곤, 테네시, 워싱턴)는 이 합의에 서명하지 않았습니다. 그들은 별도의 소송을 계속하고 있습니다. 민간 집단소송도 여러 건 진행 중입니다.

뉴욕주와 캘리포니아주는 알고리즘 임대료 담합을 금지하는 별도의 법률을 제정했습니다. 뉴욕 법은 2025년 12월 15일 발효되었습니다. 리얼페이지는 이 법이 수정헌법 제1조(표현의 자유)를 침해한다며 뉴욕 남부지구 연방법원에 소송을 제기했습니다. 싸움은 계속됩니다.

(2) Yardi Systems 소송: 셔먼법 위반

리얼페이지만 문제가 된 것은 아닙니다. 경쟁사인 야디 시스템즈(Yardi Systems)도 비슷한 소송에 휘말렸습니다. 야디의 소프트웨어 'RENTmaximizer'(현재 Revenue IQ로 리브랜딩)도 리얼페이지와 같은 방식으로 작동했습니다. 임대업자들의 데이터를 모아서, AI가 가격을 제안합니다.

2023년, 워싱턴 서부지구 연방법원에 집단소송이 제기되었습니다. 원고들은 셔먼법 제1조 위반을 주장하며 3배 배상과 금지명령을 요구했습니다.

피고 측(야디와 임대업자들)은 소송 기각을 신청했습니다. "우리는 담합한 적 없다. 그냥 소프트웨어를 썼을 뿐이다." 2024년 12월, 법원은 기각 요청을 기각했습니다. 사건은 증거개시(Discovery) 단계로 넘어갔습니다.

이 결정에서 법원의 논리가 중요합니다. 법원은 이렇게 판단했습니다. "경쟁자들이 공통의 알고리즘에 가격 결정을 위임하고, 그 알고리즘이 경쟁자들의 비공개 데이터를 사용한다는 것을 알면서도 참여했다면, 이는 명시적 합의가 없더라도 담합의 증거가 될 수 있다."

"알면서도 참여했다." 이 표현이 핵심입니다. 임대업자들은 서로 전화하지 않았습니다. 이메일도 주고받지 않았습니다. "가격을 올리자"는 합의를 한 적도 없습니다. 하지만 그들은 알고 있었습니다. 같은 소프트웨어를 쓰면 가격이 비슷하게 움직인다는 것을. 경쟁 없이 가격을 올릴 수 있다는 것을. 그리고 그들은 그 소프트웨어를 선택했습니다.

법원의 논리에 따르면, 이것은 "묵시적 합의(Implicit Agreement)"에 해당합니다. 직접 말하지 않아도, 행동으로 합의한 것입니다.

원고 측은 이것이 셔먼법의 '당연 위법(Per se illegality)'에 해당한다고 주장했습니다. 당연 위법이란, 행위 자체가 너무 명백하게 해로워서 시장에 미친 구체적 영향을 따질 필요도 없이 불법으로 판단하는 기준입니다. 가격 담합이 대표적인 당연 위법 행위입니다. 법원은 아직 당연 위법 여부를 최종 판단하지 않았습니다. 하지만 소송이 증거개시 단계로 넘어갔다는 것 자체가 피고에게는 나쁜 신호입니다. 증거개시 단계에서는 내부 이메일, 회의록, 재무 데이터 등이 공개됩니다. 불리한 증거가 나올 수 있습니다.

야디 소송의 의미는 리얼페이지 사건을 넘어섭니다. 호텔 가격 알고리즘. 항공권 가격 알고리즘. 차량 공유 가격 알고리즘. '동적 가격 책정(Dynamic Pricing)'이라는 이름으로 포장된 모든 AI가 비슷한 논리로 심판대에 오를 수 있습니다. 경쟁업체들의 데이터를 공유하는 알고리즘이 가격을 조율한다면, 그것은 담합입니다.

법무부는 명확한 메시지를 보냈습니다. "알고리즘이 가격을 정했다"는 말로 책임을 피할 수 없습니다.

라. 호주 Robodebt 스캔들

(1) 자동화된 복지급여 회수

호주 멜버른의 작은 아파트에 사는 캐스는 2016년 어느 날 우편함에서 편지를 발견했습니다. 정부 기관 센터링크(Centrelink)에서 온 것이었습니다. 내용을 읽은 그녀의 손이 떨렸습니다. 3,000호주달러(약 260만 원)를 갚으라는 통지였습니다. 5년 전 실직 상태였을 때 받았던 복지 수당이 잘못 지급되었다는 것이었습니다.

캐스는 혼란스러웠습니다. 5년 전? 무슨 말이지? 그녀는 기억을 더듬어보려 했습니다. 5년 전의 급여 명세서는 이미 버린 지 오래였습니다. 정부는 단호했습니다. "갚지 않으면 신용불량자가 됩니다. 세금 환급금도 압류됩니다."

캐스는 혼자가 아니었습니다. 2016년부터 2019년 사이, 호주 전역에서 약 44만 명의 사람들이 비슷한 편지를 받았습니다. 이 거대한 빚 독촉의 배후에는 '로보데트(Robodebt)'라고 불리는 자동화 시스템이 있었습니다.

시스템의 원리는 단순했습니다. AI라고 부르기도 민망할 정도로요. 알고리즘은 국세청(ATO) 의 연간 소득 데이터를 가져왔습니다. 그리고 그것을 26(격주 수)으로 나눴습니다. 이것이 '평균 격주 소득'이 됩니다. 그런 다음 복지부(센터링크)에 신고된 격주 소득과 비교했습니다. 차이가 나면? "당신은 소득을 숨기고 복지금을 타갔습니다. 빚을 갚으세요."

문제는 현실 세계의 사람들이 기계처럼 일하지 않는다는 점입니다. 방학 때만 아르바이트를 하는 대학생이 있습니다. 1년의 절반만 일하는 계절 노동자가 있습니다. 프리랜서는 일이 있을 때만 돈을 법니다. 이들의 연간 소득을 26으로 나누면, 실제와 전혀 다른 숫자가 나옵니다.

예를 들어봅시다. 대학생 톰이 방학 3개월 동안 아르바이트로 6,000달러를 벌었습니다. 나머지 9개월은 학교 다니느라 일을 하지 않았습니다. 로보데트 알고리즘은 이렇게 계산합니다. 6,000 ÷ 26 = 231달러. "톰은 매 2주마다 231달러를 벌었군. 그런데 센터링크 기록에는 9개월간 소득이 0으로 되어 있네. 거짓말이야!" 실제로 톰은 거짓말을 하지 않았습니다. 그는 9개월간 정말로 일하지 않았습니다. 복지금을 받을 자격이 있었습니다. 하지만 알고리즘은 이런 맥락을 이해하지 못했습니다.

이 시스템의 가장 잔인한 점은 '입증 책임의 전환'이었습니다. 과거에는 정부가 부정 수급을 증명해야 돈을 회수할 수 있었습니다. 담당 공무원이 기록을 확인하고, 당사자에게 소명 기회를 주고, 조사를 한 후에 결론을 내렸습니다. 하지만 로보데트 하에서는 알고리즘이 "빚이 있다"고 선언하면, 시민이 "빚이 없다"는 것을 증명해야 했습니다.

7년 전 급여 명세서를 찾아야 했습니다. 당시 고용주에게 연락해서 기록을 받아야 했습니다. 회사가 문을 닫았으면? 서류가 없어졌으면? 그건 당신 문제입니다. 증명하지 못하면, 빚은 그대로입니다.

호주 정부는 이 시스템으로 47억 7천만 달러를 절약할 수 있다고 예상했습니다. 복지 부정 수급을 적발하고, 공무원 인건비를 줄이고.

그들은 비용을 과소평가했습니다.

(2) 18억 달러 합의와 교훈

비극이 뒤따랐습니다. 갑작스러운 빚 독촉을 견디지 못한 취약계층 사람들이 스스로 목숨을 끊었습니다. 정확한 숫자는 알려지지 않았지만, 왕립위원회 조사에서 최소 2건의 자살이 로보데트와 직접적으로 연결되었습니다. 일부 추정치는 이 시스템으로 인한 스트레스 관련 사망자가 2,000명이 넘는다고 주장합니다.

2019년, 빅토리아주 법원이 로보데트의 핵심 계산법, 즉 '소득 평균화'가 불법이라고 판결했습니다. 판사는 단호했습니다. "평균을 내는 것은 증거가 될 수 없습니다." 연간 소득을 단순히 나눠서 격주 소득을 추정하는 것은 법적 근거가 없다는 뜻이었습니다.

고든 리걸(Gordon Legal)이라는 로펌이 피해자들을 대신해 집단소송을 제기했습니다. 2020년 11월, 호주 정부는 항복했습니다. 12억 호주달러(약 1조 원) 규모의 합의가 이루어졌습니다. 불법 징수된 7억 4,600만 달러의 환급, 탕감, 그리고 이자가 포함되었습니다.

이것이 끝이 아니었습니다. 2023년 7월, 왕립위원회가 최종 보고서를 발표했습니다. 900페이지가 넘는 이 보고서는 로보데트를 "조잡하고 잔인한 메커니즘"이라고 불렀습니다. 보고서는 이렇게 썼습니다. "로보데트는 공정하지도 합법적이지도 않았습니다. 많은 사람들을 범죄자처럼 느끼게 만들었습니다. 본질적으로, 사람들은 돈을 빚질 수도 있다는 가능성만으로 트라우마를 겪었습니다."

왕립위원회는 당시 사회서비스 장관이었던 스콧 모리슨(후에 총리가 됨)을 포함한 고위 공직자들을 형사 고발하라고 권고했습니다. 그들은 알고리즘의 불법성을 알고 있었음에도, 정치적 목적(예산 절감 홍보)을 위해 시스템을 강행했습니다.

고든 리걸은 왕립위원회 보고서에서 새로운 증거를 발견했습니다. '공직자의 직무 위법(Misfeasance in public office)'을 입증할 수 있는 증거였습니다. 이것은 공무원이 자신의 권한을 남용하여 시민에게 피해를 입혔을 때 적용되는 법리입니다. 그들은 새로운 소송을 제기했습니다. 2025년 9월, 호주 정부는 두 번째 합의에 응했습니다. 추가로 4억 7,500만 호주달러(약 4,000억 원)를 지불하기로 했습니다. 법무장관 미셸 로울랜드는 이렇게 말했습니다. "이 청구를 합의하는 것이 정당하고 공정한 일입니다."

총 합의금은 24억 달러를 넘었습니다. 호주 역사상 가장 큰 규모의 집단소송 합의였습니다.

로보데트가 남긴 교훈은 명확합니다.

첫째, 자동화는 정확성을 의미하지 않습니다. 복잡한 인간의 삶을 단순한 공식으로 환원하면, 대규모 오류가 발생합니다.

둘째, 입증 책임이 중요합니다. 알고리즘의 결론을 시민에게 반박하라고 요구하는 것은 적법 절차(Due Process) 위반입니다. 특히 자원이 부족한 취약계층에게는 불가능한 요구입니다.

셋째, 인간의 감독(Human-in-the-loop)이 필수적입니다. 생계와 직결된 결정을 완전히 자동화하면, 오류가 걷잡을 수 없이 확산됩니다.

넷째, 책임은 누군가 져야 합니다. "시스템이 그랬다"는 변명은 통하지 않습니다.

로보데트 스캔들은 전 세계 공공 AI 도입의 영원한 반면교사가 되었습니다. 효율성이라는 이름으로 도입된 알고리즘이 가장 약한 사람들을 공격했을 때, 그 비용은 정부가 절약하려 했던 금액의 절반에 달했습니다. 하지만 진짜 비용은 돈으로 계산되지 않습니다. 잃어버린 생명. 무너진 가정. 그리고 정부와 기술에 대한 신뢰. 그것은 어떤 합의금으로도 되살릴 수 없습니다.