엔비디아 없이 LLM 돌리기: AMD MI300X에 DeepSeek 올린 이야기

CUDA 감옥에서 탈출은 가능할까요?

요즘 AI 인프라 하는 분들의 가장 큰 고민, 바로 엔비디아 의존이에요. GPU는 구하기 어렵고, 가격은 비싸고, 게다가 소프트웨어가 죄다 엔비디아의 CUDA 위에서 돌아가다 보니 한번 발을 들이면 빠져나오기 힘든 구조거든요. 흔히 "CUDA 락인(lock-in)"이라고 불러요. 그래서 다들 마음 한켠으로는 "AMD로 갈아탈 순 없나?" 생각하죠. 이번에 누군가 AMD MI300X에 DeepSeek 모델을 직접 올려본(bringing up) 경험을 정리해서 공유했는데, 이 시도 자체가 꽤 의미 있는 신호예요.

하드웨어는 이미 충분히 좋아요

MI300X가 뭐냐면, AMD가 데이터센터 AI용으로 내놓은 가속기예요. 가장 눈에 띄는 스펙은 192GB라는 어마어마한 메모리(HBM3) 예요. 엔비디아의 동급 제품보다 메모리가 훨씬 큰데, 이게 왜 중요하냐면 큰 모델을 더 적은 수의 GPU에 욱여넣을 수 있기 때문이에요. 모델 하나 돌리려고 GPU 8장을 묶어야 하던 걸 더 적게 줄일 수 있으면, 그만큼 비용과 통신 오버헤드가 줄어들거든요.

특히 DeepSeek 계열은 MoE(전문가 혼합, Mixture of Experts) 구조로 유명해요. 이게 뭐냐면, 모델 안에 여러 명의 "전문가" 신경망을 두고, 입력 토큰마다 그중 일부만 골라서 활성화하는 방식이에요. 전체 파라미터는 엄청 크지만 실제 연산은 일부만 하니까 추론이 효율적이죠. 다만 전체 파라미터를 메모리에 다 올려둬야 한다는 부담이 있는데, MI300X의 큰 메모리가 바로 이 지점에서 빛을 발하는 거예요. "Flash"라는 이름이 붙은 변형은 이름대로 더 가볍고 빠른 추론을 노린 버전으로 보면 돼요.

진짜 벽은 하드웨어가 아니라 소프트웨어

그런데 "AMD가 좋다며 왜 다들 안 쓰지?" 싶잖아요. 핵심은 소프트웨어 생태계의 성숙도예요. AMD에도 CUDA에 대응하는 ROCm이라는 소프트웨어 스택이 있지만, 그동안은 새 모델이 나오면 엔비디아에선 바로 돌아가는데 AMD에선 한참을 씨름해야 했어요.

그래서 "bringing up(올리기)"이라는 표현이 딱 맞아요. 단순히 설치하고 끝이 아니라, 모델이 의존하는 특수 연산 커널(예: 어텐션 연산 가속, FP8 같은 저정밀도 연산)이 ROCm 환경에서 제대로 도는지 하나하나 확인하고, 안 되면 고치고, vLLM이나 SGLang 같은 추론 서버를 AMD에 맞게 붙이는 지난한 과정이에요. 이런 "직접 올려봤다"는 기록이 쌓이는 것 자체가 생태계가 한 칸씩 성숙해간다는 증거예요. 누군가 길을 닦아두면 다음 사람은 훨씬 쉽게 따라가니까요.

업계 맥락

MI300X는 엔비디아의 H100·H200을 정면으로 겨냥한 제품이에요. 성능 경쟁도 중요하지만, 사실 진짜 승부처는 "얼마나 많은 모델과 프레임워크가 별다른 수정 없이 AMD에서 바로 돌아가느냐"예요. 거대 AI 기업들이 엔비디아 단일 공급에 묶이는 걸 부담스러워하면서, AMD에 대한 관심과 실제 도입이 꾸준히 늘고 있어요. 이런 개별 개발자/엔지니어들의 실전 후기가 모여 "AMD도 실용적인 선택지"라는 인식을 만들어가는 중이죠.

한국 개발자에게 주는 시사점

자체 모델을 서빙하거나 추론 비용 때문에 골머리를 앓는 팀이라면, GPU 선택지를 엔비디아 하나로만 한정하지 않는 것이 점점 현실적인 전략이 되고 있어요. 물론 ROCm은 여전히 손이 더 가는 편이라, 당장 프로덕션 전환은 신중해야 해요. 다만 "우리 모델이 AMD에서 도는가"를 한 번쯤 실험해두면, 나중에 공급난이나 단가 협상에서 강력한 카드가 될 수 있어요. 메모리가 큰 GPU 한 장에 모델이 통째로 들어가는 시나리오는 특히 매력적이고요.