램 4.3GB로 80B 모델을 돌린다고? — 맥과 아이폰에서 대형 LLM을 굴리는 Swiftlet의 비밀

오픈소스 대형 언어 모델을 로컬에서 돌려보고 싶어도 메모리 벽에 막히는 경우가 많죠. 80B(800억 파라미터)급 모델이면 4비트로 양자화해도 보통 40GB가 넘는 메모리가 필요하거든요. 그런데 Swiftlet이라는 프로젝트가 맥에서 램 4.3GB로 Qwen3-Next-80B를 돌리고, 아이폰에서 30B급 MoE 모델까지 돌리는 걸 보여줬어요. 애플 실리콘 전용으로 Swift로 작성된 추론 엔진인데, 숫자만 보면 '그게 어떻게 가능하지?' 싶은데요. 비밀은 MoE 구조의 희소성을 끝까지 밀어붙인 데 있어요.

MoE가 뭐길래 이게 가능할까요

MoE(Mixture of Experts), 우리말로 '전문가 혼합'인데요. 이게 뭐냐면, 모델 전체가 하나의 거대한 두뇌처럼 모든 계산에 참여하는 게 아니라, 내부가 여러 개의 '전문가(작은 신경망)'로 나뉘어 있고 '라우터'라는 접수처가 토큰마다 적합한 전문가 몇 개만 골라서 일을 시키는 구조예요. 병원에 비유하면, 환자가 올 때마다 병원의 모든 의사가 달라붙는 게 아니라 접수처에서 증상을 보고 필요한 전문의 두세 명에게만 보내는 거죠. Qwen3-Next-80B 이름 뒤에 붙는 'A3B'가 힌트인데, 전체 파라미터는 80B지만 토큰 하나를 처리할 때 실제로 활성화되는 건 3B뿐이라는 뜻이에요. 즉 매 순간 실제로 '일하는' 파라미터는 전체의 4%도 안 되는 거예요.

SSD를 메모리처럼 쓰는 트릭

Swiftlet의 동작 방식은 이래요. 먼저 전체 가중치를 4비트로 양자화해서 SSD에 저장해요. 램에 다 올리는 게 아니라 디스크에 그대로 두는 거죠. 그다음 mmap이라는 기술로 이 파일을 메모리에 매핑하는데요. mmap이 뭐냐면, 파일을 통째로 읽어들이는 대신 메모리 주소에 붙여두기만 하고, 실제로 접근하는 부분만 OS가 페이지(작은 조각) 단위로 그때그때 디스크에서 읽어오는 기법이에요. 여기에 MoE의 희소성이 결합돼요. 라우터가 고른 전문가의 가중치만 접근하니까 실제로 램에 올라오는 건 극히 일부고, 자주 불려오는 전문가와 어텐션 가중치는 OS 페이지 캐시에 남아서 빠르게 재사용되고, 한동안 안 쓰인 전문가는 자연스럽게 밀려나요. 그래서 상주 메모리가 4.3GB 선에서 유지되는 거예요.

물론 공짜 점심은 아니에요. 속도는 초당 몇 토큰 수준이고, 병목은 GPU 연산이 아니라 SSD의 랜덤 읽기 속도예요. 디스크가 느리면 토큰 생성도 그만큼 느려져요. 그리고 이 기법은 MoE 전용이에요. 모든 파라미터가 매번 쓰이는 일반(dense) 모델에서는 결국 전부 읽어야 하니 효과가 거의 없거든요.

업계 맥락에서 보면

mmap 로딩 자체는 llama.cpp도 오래전부터 지원했고, 애플 공식 프레임워크인 MLX도 있어요. Swiftlet의 차별점은 '전문가 단위 스트리밍'에 특화해서 상주 메모리를 극단적으로 줄인 거예요. DeepSeek-V3, Mixtral, Qwen3 시리즈처럼 요즘 고성능 오픈 모델이 죄다 MoE로 가는 흐름과, 프라이버시 때문에 온디바이스 AI를 찾는 흐름이 만나는 지점이라 타이밍이 좋죠. 애플 실리콘의 통합 메모리 구조와 빠른 내장 NVMe도 이 방식과 궁합이 잘 맞고요.

한국 개발자에게 주는 시사점

8GB, 16GB 맥북에서도 80B급 모델을 로컬로 실험해볼 길이 열렸다는 게 가장 커요. 속도가 느리니 실시간 챗봇보다는, 사내 문서나 개인정보처럼 외부 API로 못 보내는 데이터를 다루는 배치 작업에 어울려요. iOS 개발자라면 Swift와 Metal로 짜인 추론 엔진 코드 자체가 훌륭한 학습 자료이기도 하고요. '우리 서비스에 온디바이스 AI를 넣을 수 있을까?'를 고민 중이었다면 가능성의 하한선이 확 내려간 셈이에요.