맥북 M5 Pro/Max 출시와 로컬 LLM의 현실: 마케팅 숫자 너머의 진실

맥북 M5 Pro/Max가 어제 공식 출시됐습니다. 3월 11일 판매 시작을 앞두고 예약 주문이 시작된 이날, 애플은 "M1 대비 최대 6.9배 빠른 LLM 프롬프트 처리"라는 문구를 전면에 내세웠습니다. 인터넷 없이 내 컴퓨터 안에서 인공지능을 직접 돌리는 로컬 LLM에 관심 있는 사람이라면 귀가 번쩍 뜨일 숫자입니다.

그런데 잠깐, 숫자를 뜯어보기 전에 먼저 한 가지를 분명히 해야 합니다.

클라우드 AI와 로컬 LLM의 구조적 차이

우리가 매일 쓰는 ChatGPT, 제미나이, 클로드는 어디서 돌아가고 있을까요. 내 노트북 안이 아닙니다. 수천 장의 엔비디아 H100 GPU가 빼곡히 들어찬 거대한 데이터센터, 즉 클라우드 서버에서 돌아갑니다. 그 서버들이 처리하는 모델의 크기는 2000억 파라미터 안팎이고, 초당 200토큰에 가까운 속도로 답변을 쏟아냅니다. 글자가 화면에 흐르듯 나타나는 그 경험이 바로 클라우드 AI입니다.

M5 Max 성능의 실제와 한계

로컬 LLM은 다릅니다. M5 Max 128GB에서 돌릴 수 있는 가장 큰 모델은 120B, 즉 1200억 파라미터 규모입니다. 그것도 4비트로 압축한 버전입니다. 클라우드 AI의 모델 크기와 비교하면 6분의 1 수준입니다. 그리고 속도는 어떨까요. M5의 메모리 대역폭은 153GB/s로 M4보다 28% 높아졌고, 그 결과 실제 토큰 생성 속도는 19~27% 향상됐습니다. 숫자만 보면 인상적입니다. 그런데 절대값으로 환산하면 이야기가 달라집니다. 120B 모델 기준으로 초당 45토큰 안팎이 나옵니다. 클라우드 AI의 초당 200토큰과 비교하면 4분의 1도 안 되는 속도입니다.

모델은 6분의 1, 속도는 4분의 1. 그것이 지금 M5 Max가 도달한 로컬 LLM의 현실입니다. 여기서 M5를 두고 "아무리 빨라도"라는 말이 의미를 갖습니다. 애플이 "M1 대비 6.9배 빠르다"고 광고할 때, 그 비교 대상은 몇 년 전 자사 구형 제품입니다. 클라우드 AI와 비교한 수치가 아닙니다. M5가 M1보다 6.9배 빠르다해도, 출발점 자체가 클라우드 AI보다 압도적으로 뒤처진 상태에서의 개선입니다. 격차가 줄어드는 게 아니라 여전히 넘기 어려운 벽 앞에 서 있는 겁니다.

마케팅 숫자와 체감 성능의 괴리

애플이 강조하는 '4배 빠른 LLM 처리'는 실제 토큰 생성 속도가 아니라 프리필(prefill), 즉 프롬프트를 처음 받아들이는 데 걸리는 시간입니다. 답변이 흘러나오는 속도는 메모리 대역폭에 묶여 있어서, 세대를 건너뛰어도 완만한 향상에 그칩니다. 마케팅 숫자와 체감 속도가 다른 이유가 여기에 있습니다.

최근 몇 년 사이 노트북 제조사들이 앞다퉈 내세우는 "AI 기능 향상"이라는 표현도 같은 맥락입니다. 인텔이든, AMD든, 애플이든, 퀄컴이든 노트북 칩의 AI 성능 향상은 사실상 로컬 LLM 처리 능력 개선을 뜻합니다. NPU니 뉴럴 엔진이니 하는 전용 회로들이 바로 그것입니다. 그런데 그 성능이 아무리 올라가도, 구조적 한계는 바뀌지 않습니다. 노트북 한 대가 담을 수 있는 메모리, 소비할 수 있는 전력, 냉각할 수 있는 열기에는 물리적 상한이 있습니다. 데이터센터의 서버 랙 수백 개를 노트북 한 대로 따라잡는 것은 M5가 아니라 M50이 나와도 근본적으로 불가능한 일입니다.

로컬 LLM의 진정한 활용 가치

그렇다면 로컬 LLM은 쓸모가 없는 걸까요. 그렇지는 않습니다. 인터넷이 끊긴 환경에서, 또는 의료 기록이나 법률 문서처럼 외부 서버에 보내기 어려운 민감한 데이터를 다룰 때는 의미가 있습니다. 개발자가 모델을 직접 실험하거나 커스터마이징하는 목적으로도 쓸 수 있습니다. 맛보기로는 충분합니다.

그러나 일반적인 업무와 생활에서 인공지능을 쓸 생각이라면, 계산은 간단합니다. 클로드, ChatGPT, 제미나이 구독료가 월 2~3만 원 수준입니다. M5 Max 맥북 프로는 수백만 원입니다. 로컬 LLM을 돌리겠다는 이유 하나만으로 비싼 기기로 바꾸면, 훨씬 작고 느리고 덜 똑똑한 모델을 쓰기 위해 거금을 쓰는 셈입니다.

하드웨어가 아닌 전략의 문제

새 맥북이 느려서 바꿔야 한다면 바꾸면 됩니다. 영상 편집, 코딩, 3D 작업 때문이라면 M5의 성능 향상은 체감할 수 있습니다. 그런데 "인공지능을 더 잘 쓰기 위해"라는 이유라면, 그 돈으로 클라우드 AI 구독료를 몇 년치 내는 편이 훨씬 낫습니다.

기기를 바꾼다고 인공지능 실력이 늘지 않습니다. 문제를 푸는 것은 하드웨어가 아니라 전략입니다. 경험, 판단, 데이터가 진짜 경쟁력입니다.