1조 파라미터 오픈 모델을 서빙하는 법 — Cloudflare의 Kimi·GLM 운영기

요즘 오픈 웨이트 AI 모델들이 무섭게 커지고 있어요. 문샷AI의 Kimi K2는 총 1조 개 파라미터짜리 모델이고, 즈푸AI의 GLM 시리즈도 수천억 파라미터급이거든요. 이런 초대형 모델을 '누구나 받아서 쓸 수 있다'고는 하지만, 실제로 돌리려면 수백 기가바이트의 GPU 메모리가 필요해서 개인은 물론 웬만한 회사도 엄두를 못 내요. 그런데 Cloudflare가 자사 인프라에서 Kimi와 GLM 같은 대형 오픈 모델을 대규모로 서빙하면서 얻은 노하우를 '더 작게, 더 빠르게, 더 안전하게'라는 제목으로 공개했어요. 초대형 모델 서빙의 실전 이야기라 배울 게 많은데요.

일단 MoE부터 이해하고 가요

Kimi K2나 GLM 같은 최신 대형 모델은 대부분 MoE(Mixture of Experts) 구조를 써요. 이게 뭐냐면, 모델 안에 '전문가'라고 부르는 작은 신경망을 수백 개 두고, 토큰 하나를 처리할 때마다 그중 몇 명만 골라서 일을 시키는 방식이에요. 병원에 비유하면, 의사 100명이 상주하지만 환자 한 명은 증상에 맞는 의사 두세 명만 만나는 거죠. 그래서 Kimi K2는 총 파라미터가 1조 개여도 토큰 하나를 처리할 때 실제로 계산에 참여하는 건 320억 개 수준이에요. 계산량은 중형 모델급인데 지식 용량은 초대형인, 가성비 좋은 구조인 거죠.

문제는 메모리예요. 계산에는 일부만 쓰여도, 어떤 전문가가 언제 호출될지 모르니 1조 개 파라미터 전부를 GPU 메모리에 올려둬야 하거든요. 이게 서빙하는 입장에서 가장 큰 골칫거리예요.

더 작게: 양자화

그래서 첫 번째 무기가 양자화(quantization)예요. 이게 뭐냐면, 모델의 숫자들을 더 낮은 정밀도로 표현해서 용량을 줄이는 기술이에요. 원래 파라미터 하나를 16비트로 저장했다면 이걸 8비트(FP8)나 그 이하로 줄이는 거죠. 사진으로 치면 무손실 원본 대신 잘 압축된 JPEG를 쓰는 느낌인데, 잘만 하면 품질 차이는 거의 못 느끼면서 메모리는 절반 이하로 떨어져요. 메모리가 줄면 필요한 GPU 수가 줄어 비용이 내려가고, 메모리에서 데이터를 읽는 속도가 빨라져 응답 속도까지 좋아지는 일석이조 효과가 있어요. 다만 무턱대고 압축하면 모델이 눈에 띄게 멍청해지기 때문에, 어느 부분을 얼마나 압축해도 되는지 벤치마크로 검증하면서 진행하는 게 핵심이고요.

더 빠르게, 더 안전하게

그래도 초대형 모델은 GPU 한 장에 안 들어가서, 여러 GPU에 모델을 쪼개 올리는 분산 서빙이 필요해요. GPU 사이의 통신이 병목이 되기 쉬워서, 모델을 어떻게 자르고 어떤 GPU에 배치하느냐가 성능을 좌우하죠. 여기에 Cloudflare는 전 세계에 데이터센터를 둔 엣지 네트워크 회사라는 특성이 더해져요. 사용자와 가까운 곳에서 응답하면 네트워크 지연이 줄어드니까, 인프라 자체가 응답 속도의 무기가 되는 거예요. '안전하게'는 여러 고객의 요청이 같은 GPU 인프라를 공유하는 멀티테넌트 환경에서 요청 간 격리를 보장하고 안정적으로 운영하는 이야기고요.

업계 지형에서 보면

이 발표는 오픈 모델 서빙 시장의 경쟁이 본격화됐다는 신호이기도 해요. Together AI, Fireworks, DeepInfra 같은 전문 인퍼런스 업체들이 이미 오픈 모델 API를 팔고 있고, Groq처럼 전용 칩으로 속도를 승부하는 곳도 있죠. 여기에 Cloudflare 같은 인프라 대기업까지 뛰어들면서, '좋은 오픈 모델을 누가 더 싸고 빠르게 서빙하느냐'가 새로운 전장이 됐어요. 모델 자체는 무료로 풀리니, 돈은 서빙 기술력에서 나오는 구조인 거죠. 그리고 그 서빙 대상이 Kimi와 GLM이라는 것도 의미심장해요. 중국발 오픈 웨이트 모델들이 성능으로 인정받아 서구 대형 인프라에 올라가는 시대가 된 거니까요.

우리한테 주는 시사점

한국 개발자 입장에서는 두 가지를 챙길 만해요. 첫째, 프런티어급에 가까운 오픈 모델을 API 한 번 호출로 저렴하게 쓸 수 있는 선택지가 늘고 있어요. GPT나 Claude 같은 폐쇄형 모델과 비교해서 비용 대비 성능을 따져볼 가치가 충분하죠. 둘째, 이 글에 담긴 양자화와 분산 서빙 노하우는 회사에서 자체 모델을 서빙해야 하는 분들에게 그대로 교과서가 돼요. vLLM 같은 오픈소스 서빙 프레임워크에서도 같은 기법들을 쓸 수 있거든요.

한줄 정리: 초대형 오픈 모델 시대의 경쟁력은 모델 자체가 아니라 '얼마나 싸고 빠르고 안전하게 서빙하느냐'에서 갈려요. 여러분이라면 폐쇄형 모델 API와 오픈 모델 서빙 중 어느 쪽에 베팅하시겠어요?