Kimi K3 아키텍처 노트 — 1조 파라미터 시대의 오픈 웨이트 LLM 읽는 법

LLM 아키텍처 분석으로 유명한 세바스찬 라시카(Sebastian Raschka)가 문샷 AI(Moonshot AI)의 새 모델 Kimi K3의 아키텍처 분석 노트를 공개했어요. 라시카는 『밑바닥부터 만드는 대규모 언어 모델』의 저자로, 새 오픈 웨이트 모델이 나올 때마다 내부 구조를 도식으로 뜯어서 비교해주는 걸로 잘 알려진 연구자인데요. 이번 글도 K3가 내부적으로 어떻게 설계됐고, 전작 K2와 다른 모델들 대비 뭐가 달라졌는지를 차분히 정리하고 있어요.

배경: Kimi 시리즈가 뭐길래

문샷 AI는 중국의 AI 스타트업으로, 전작인 Kimi K2로 단숨에 주목을 받았어요. K2는 총 1조 개 파라미터 규모의 오픈 웨이트 모델이었는데, MoE(Mixture of Experts) 구조라서 실제 추론 시에는 그중 약 320억 개만 활성화되는 설계였거든요. 여기에 MuonClip이라는 새로운 옵티마이저로 이 거대한 모델을 학습 불안정 없이 끝까지 훈련시킨 것도 화제였고요. K3는 이 계보를 잇는 모델이에요.

MoE가 뭐냐면: 종합병원을 떠올려보세요

이번 분석의 핵심 키워드인 MoE부터 짚고 갈게요. 이게 뭐냐면, 모델 전체를 하나의 거대한 두뇌로 쓰는 대신 수백 개의 '전문가(expert)' 신경망을 두고, 입력마다 필요한 전문가 몇 명만 골라 쓰는 구조예요. 종합병원에 비유하면 이해가 쉬운데요. 병원에 의사가 300명 있어도 내가 진료받을 때는 내 증상에 맞는 두세 명만 만나잖아요. 그래서 '총 파라미터 1조'와 '활성 파라미터 320억'이라는 두 숫자가 따로 존재하는 거예요. 지식의 총량은 크게 가져가면서 추론 비용은 중형 모델 수준으로 억누르는, 요즘 프런티어 모델의 표준 전략이죠.

또 하나의 축은 어텐션 효율화예요. LLM은 긴 문맥을 다룰 때 이전 토큰들의 정보(KV 캐시)를 메모리에 계속 들고 있어야 하는데, 문맥이 길어질수록 이게 GPU 메모리를 잡아먹는 주범이 되거든요. DeepSeek이 도입해서 유명해진 MLA(Multi-head Latent Attention)처럼 이 캐시를 압축하는 기법, 그리고 모든 토큰을 다 보지 않고 중요한 부분만 골라 보는 희소 어텐션(sparse attention) 계열 기법이 최근 모델들의 승부처예요. 라시카의 노트도 K3가 K2에서 검증된 이 설계 방향을 어떻게 다듬고 확장했는지에 초점을 맞추고 있고요.

업계 맥락: 구조는 수렴하고, 승부는 레시피로

라시카가 여러 글에서 반복해온 관찰이 하나 있어요. DeepSeek, Qwen, Kimi, Llama 같은 주요 오픈 웨이트 모델들의 아키텍처가 점점 서로 닮아가고 있다는 거예요. 큰 틀은 다들 'MoE + 효율화된 어텐션 + 초장문 컨텍스트'로 수렴했고, 실제 성능 차이는 데이터 품질, 학습 레시피, 강화학습 후처리에서 갈린다는 거죠. 그래서 요즘은 새 모델이 나오면 "구조가 혁신적이냐"보다 "검증된 구조 위에서 무엇을 얼마나 잘 다듬었냐"를 보는 게 더 정확한 독법이에요. DeepSeek, 알리바바 Qwen, 문샷 같은 중국 랩들이 오픈 웨이트 진영의 선두를 다투는 구도도 계속 이어지고 있고요.

한국 개발자에게 주는 시사점

솔직히 1조 파라미터급 모델을 개인 GPU에서 돌리는 건 무리예요. 하지만 오픈 웨이트라는 점이 중요한데요, 기업 입장에서는 데이터를 외부로 보내지 않고 자체 인프라나 국내 클라우드에서 서빙할 수 있는 선택지가 생기는 거거든요. vLLM 같은 서빙 프레임워크와 양자화(모델의 숫자 정밀도를 낮춰서 용량을 줄이는 압축 기술이에요)를 조합하면 비용도 계속 내려가고 있고요. 그리고 모델을 직접 안 돌리더라도, 이런 아키텍처 노트를 읽어내는 능력 자체가 자산이 돼요. MoE의 활성 파라미터 수를 보면 추론 비용을 가늠할 수 있고, 어텐션 구조를 보면 긴 문서 처리에 강한지 약한지 감이 오거든요. 모델 선택이 실무가 된 시대의 필수 교양인 셈이죠.