[심층분석] "새 모델 나올 때마다 이전 모델은 쓸모없어진다"... 로컬 LLM 유저들의 진짜 속내

들어가며: 왜 지금 이 이야기가 나왔을까요

요즘 AI 판이 정말 정신없이 돌아가고 있죠. 체감상 한 달에 한 번씩 "이번에 나온 모델이 역대급이다"라는 소식이 들려오는 것 같아요. 메타의 라마(Llama), 미스트랄(Mistral), 알리바바의 큐원(Qwen), 딥시크(DeepSeek), 구글의 젬마(Gemma)까지... 로컬에서 돌릴 수 있는 오픈소스 LLM들이 쏟아져 나오면서, 어제 최신이라고 받아둔 모델이 오늘 아침이면 "구형" 취급을 받는 일이 비일비재해요.

그런데 이런 분위기 속에서 로컬 LLM 커뮤니티인 r/LocalLLaMA에 "새 모델이 나올 때마다 이전 모델은 당연히 쓸모없어지는 거지"라는 반어적인 제목의 글이 올라왔고, 많은 개발자들이 격하게 공감하고 있어요. 제목에 "of course(당연히)"라는 표현이 들어간 것에서 느껴지듯이, 실제로는 전혀 그렇지 않다는 뜻이거든요.

이게 뭐냐면요, 벤치마크 점수 몇 점 올랐다고 해서 기존에 잘 쓰던 모델을 버리고 새 모델로 갈아타는 게 과연 합리적인 선택이냐는 문제제기예요. 특히 로컬 환경에서 직접 모델을 다운받아 돌리는 사람들은 공감할 수밖에 없는 주제인데요, 오늘은 이 현상을 하나씩 파헤쳐 볼게요.

벤치마크 숫자에 속지 말아야 하는 이유

먼저 "로컬 LLM"이 뭔지부터 간단히 짚고 갈게요. 이게 뭐냐면, ChatGPT처럼 OpenAI 서버에 질문을 보내서 답을 받는 게 아니라, 내 컴퓨터에 모델 파일을 직접 다운받아서 돌리는 걸 말해요. 장점은 명확해요. 데이터가 외부로 안 나가고, 토큰당 요금도 없고, 인터넷이 끊겨도 쓸 수 있어요. 단점은 내 그래픽카드(GPU) 성능에 맞는 모델을 골라야 하고, 설치와 세팅에 시간이 좀 든다는 거죠.

그래서 로컬 유저들은 한 번 쓸만한 모델을 찾으면 그걸 오래오래 쓰는 경향이 있어요. 마치 좋아하는 노트북을 5년씩 쓰는 것처럼요. 그런데 왜 갑자기 "새 모델이 나와도 기존 모델이 여전히 최고"라는 반발이 나오는 걸까요?

이유는 바로 벤치마크와 실사용의 괴리 때문이에요. 벤치마크라는 건 쉽게 말해서 AI 모델의 "수능 점수" 같은 거예요. MMLU(다양한 분야 지식 테스트), HumanEval(코딩 능력 테스트), GSM8K(수학 문제 풀이) 같은 시험 문제들을 풀게 해서 점수를 매기는 거죠. 문제는 이 점수가 높다고 해서 내가 실제로 쓸 때 좋다는 보장이 없다는 거예요.

예를 들어볼게요. 어떤 모델이 벤치마크에서 90점을 받고 새로 나왔다고 쳐요. 이전 모델은 85점이었고요. 숫자만 보면 "와 5점이나 올랐네, 갈아타야지!" 싶잖아요? 그런데 막상 써보면 이런 일이 생겨요.

• 새 모델이 한국어 대화에서는 오히려 더 딱딱해요.
• 역할극(롤플레잉)을 시켜보면 캐릭터를 잘 못 유지해요.
• 코드를 짜달라고 하면 벤치마크 문제 스타일의 정답은 잘 맞추는데, 실제 프로젝트 맥락에서는 엉뚱한 답을 내놔요.
• 예전 모델에서는 잘 따르던 시스템 프롬프트(AI에게 "너는 이런 역할이야"라고 미리 알려주는 지시문)를 새 모델은 무시하는 경우가 있어요.

이런 현상이 왜 생기냐면, 요즘 모델들이 벤치마크 점수를 올리는 데 최적화(오버피팅) 되는 경향이 있기 때문이에요. 오버피팅이 뭐냐면, 쉽게 말해서 "시험 족보만 달달 외운 학생" 같은 상태예요. 족보에 나오는 문제는 잘 푸는데, 실전에서 살짝 비틀어서 내면 못 푸는 거죠.

"구형 모델"이 여전히 사랑받는 이유

커뮤니티에서 자주 언급되는 "여전히 잘 쓰고 있는 구형 모델"들이 몇 개 있어요. 예를 들면 미스트랄의 Nemo 12B, 라마3 시리즈, Mixtral 8x7B 같은 모델들인데요. 이 모델들이 왜 아직도 현역인지 살펴보면 재미있어요.

첫째, 성격과 톤이 잘 맞아요. AI 모델도 사람처럼 "말투"가 있거든요. 어떤 모델은 지나치게 공손하고 조심스러워서 뭘 물어봐도 "죄송하지만 그건 답변드리기 어렵습니다"로 시작해요. 반면 어떤 모델은 자연스럽고 창의적이에요. 글을 쓰거나 대화형 챗봇을 만드는 사람들은 벤치마크 점수보다 이런 "성격"이 훨씬 중요해요.

둘째, 검열(얼라인먼트) 수준의 문제예요. 얼라인먼트가 뭐냐면, AI가 위험하거나 부적절한 답변을 하지 않도록 훈련시키는 과정이에요. 좋은 의도지만, 과하면 문제가 생겨요. 예를 들어 소설 창작을 하는데 주인공이 악당이면 악당의 대사도 써야 하잖아요? 그런데 과하게 검열된 모델은 "폭력적인 내용은 쓸 수 없습니다"라며 거부해버려요. 오래된 모델 중에는 적당한 선에서 유연하게 대응하는 모델들이 있어서, 창작자들이 여전히 선호해요.

셋째, 하드웨어 궁합이에요. 로컬 LLM은 내 GPU 메모리(VRAM)에 맞는 크기를 골라야 해요. 7B(70억 파라미터) 모델은 대략 8GB 정도, 13B는 16GB, 70B는 40GB 이상 필요하거든요. 새 모델이 좋긴 한데 크기가 갑자기 커져서 내 GPU에 안 들어가면? 그림의 떡이에요. 그래서 "내 RTX 3060에 딱 맞는 그 모델"을 떠나지 못하는 경우가 많아요.

넷째, 파인튜닝 생태계예요. 파인튜닝이 뭐냐면, 기본 모델 위에 내가 가진 데이터로 추가 학습을 시켜서 특정 용도에 최적화시키는 거예요. 라마3나 미스트랄 같은 인기 모델들은 커뮤니티에서 수천 개의 파인튜닝 버전이 만들어져 있어요. 의료용, 법률용, 코딩용, 한국어 특화 버전 등등이요. 새 모델이 나오면 이런 생태계를 처음부터 다시 만들어야 하는데, 시간이 꽤 걸려요.

벤치마크 중심 경쟁의 부작용

이 현상을 좀 더 큰 그림에서 보면, AI 업계 전체의 문제가 드러나요. 모델 개발사들이 리더보드 순위에 집착하면서 생기는 부작용이죠.

모델 출시 때마다 "GPT-4를 넘어섰다", "Claude 3.5를 따라잡았다" 같은 마케팅 문구가 따라붙어요. 그런데 이 비교는 대부분 특정 벤치마크 몇 개를 골라서 한 거예요. 이걸 체리피킹(cherry-picking) 이라고 하는데, 자기한테 유리한 결과만 골라서 보여주는 거죠. 마치 "저희 학원 학생이 수능 수학 1등급 받았어요!"라고 광고하면서 다른 과목 점수는 안 보여주는 것과 비슷해요.

또 하나 문제는 데이터 오염(contamination) 이에요. 이게 뭐냐면, AI를 훈련시킬 때 인터넷에서 긁어온 데이터에 벤치마크 문제와 정답이 이미 포함되어 있을 수 있다는 거예요. 그러면 모델이 "이해해서" 푸는 게 아니라 "외워서" 맞추는 거거든요. 시험 전에 문제지를 미리 본 학생처럼요. 최근에는 벤치마크를 주기적으로 갱신하거나, 모델이 훈련 데이터에 없는 새로운 문제를 만들어서 평가하는 시도들이 나오고 있지만 아직 갈 길이 멀어요.

그래서 요즘 현명한 사용자들은 자기만의 평가 기준(vibe check) 을 세워요. 자기가 실제로 쓰는 시나리오 10~20개를 정해놓고, 새 모델이 나오면 그 테스트를 돌려봐요. "벤치마크는 3점 높은데 내 업무에서는 별 차이 없네" 싶으면 그냥 기존 모델을 계속 쓰는 거죠.

로컬 LLM 생태계의 현재 지형도

그럼 지금 로컬 LLM 판에 어떤 모델들이 있는지 한번 정리해볼게요. 처음 접하는 분들은 이름만 들어도 어질어질할 수 있으니 쉽게 풀어서 설명할게요.

• 라마 시리즈(Llama): 메타(페이스북)에서 만든 오픈소스 모델이에요. 로컬 LLM의 대장 격이죠. 라마3, 라마3.1, 라마3.3 등 버전이 계속 나오고 있어요.
• 미스트랄(Mistral) / 믹스트랄(Mixtral): 프랑스 스타트업에서 만들었는데, 크기 대비 성능이 좋기로 유명해요. 특히 Nemo 12B는 "가성비 최강"으로 꼽혀요.
• 큐원(Qwen): 알리바바가 만든 모델인데, 최근 버전들은 코딩이나 수학에서 매우 강해요. 아시아 언어 지원도 괜찮고요.
• 딥시크(DeepSeek): 중국 회사에서 만든 모델로, 추론 능력이 뛰어나다고 평가받아요.
• 젬마(Gemma): 구글에서 만들었고, 효율성이 강점이에요.

이렇게 모델이 많으니 한 모델에 정을 붙이면 떠나기 싫은 거예요. 게다가 각자 잘하는 영역이 달라서, 용도별로 여러 모델을 갈아 쓰는 사람도 많아요. 코딩할 때는 A 모델, 소설 쓸 때는 B 모델, 번역할 때는 C 모델 같은 식으로요.

한국 개발자에게 주는 시사점

그럼 이게 우리 한국 개발자에게는 어떤 의미일까요? 몇 가지 실무적인 조언을 드릴게요.

1. 자기만의 평가셋(eval set)을 만드세요. 만약 업무에 LLM을 쓰고 있다면, 실제 업무 시나리오 기반으로 10~30개 정도의 테스트 케이스를 준비해두세요. 새 모델이 나올 때마다 이 테스트를 돌려서 "내 업무에 실제로 더 좋은지"를 확인하는 거예요. 이게 벤치마크 리더보드 보는 것보다 훨씬 의미 있어요.

2. 한국어 성능은 직접 확인해야 해요. 대부분의 벤치마크는 영어 기준이에요. 어떤 모델은 영어로는 똑똑한데 한국어로 바꾸면 갑자기 바보가 돼요. 반대로 어떤 모델은 영어 벤치마크는 별로인데 한국어 처리가 자연스러워요. 한국어 벤치마크(KoBEST, KLUE 등)도 참고하면 좋고, 그것도 결국 본인이 직접 써봐야 정확해요.

3. "갈아타기 비용"을 계산하세요. 모델을 바꾸면 프롬프트도 다시 튜닝해야 하고, 출력 형식도 달라지고, 기존에 해결했던 엣지 케이스들이 다시 터질 수 있어요. 벤치마크가 5점 올랐다고 해서 이 비용을 감당할 가치가 있는지는 별개 문제예요.

4. 여러 모델을 조합하는 전략도 고려하세요. 요즘은 작업별로 다른 모델을 쓰는 "모델 라우팅" 전략이 늘고 있어요. 간단한 요청은 작고 빠른 모델로, 복잡한 추론은 큰 모델로 보내는 식이죠. 이렇게 하면 비용과 성능을 동시에 잡을 수 있어요.

5. 장기적으로 쓸 모델은 생태계를 보세요. 파인튜닝 도구, 양자화(모델을 더 작게 만드는 기법) 버전, 커뮤니티 지원이 풍부한 모델이 결국 오래 살아남아요. 신생 모델이 아무리 좋아도 6개월 후에 아무도 안 쓰면 소용없잖아요.

마무리하며

이번 논의가 던지는 진짜 메시지는 이거예요. "최신이 최고는 아니다". AI 업계가 벤치마크 경쟁에 매몰되는 사이, 실제 사용자들은 훨씬 다양한 기준으로 모델을 평가하고 있어요. 말투, 창의성, 지시 이행도, 한국어 품질, 하드웨어 궁합, 생태계 성숙도... 이 모든 게 숫자 하나로 환원되지 않거든요.

그래서 앞으로 이 생태계는 어떻게 될까요? 저는 두 가지 흐름이 동시에 일어날 거라고 봐요. 한쪽에서는 여전히 거대 모델들이 벤치마크 숫자를 놓고 경쟁할 거고, 다른 한쪽에서는 "작지만 내 용도에 완벽한" 특화 모델들이 점점 중요해질 거예요. 그리고 사용자 입장에서는 자기만의 평가 기준을 가진 사람이 결국 가장 현명한 선택을 하게 될 거예요.

여러분은 어떠세요? 지금 쓰고 있는 LLM이 있다면, 그게 "최신 모델"이어서 쓰는 건가요, 아니면 "내 작업에 가장 잘 맞아서" 쓰는 건가요? 새 모델이 나올 때마다 바꾸시는 편인가요, 아니면 한 번 정착하면 오래 쓰시는 편인가요? 댓글로 여러분의 경험과 기준을 공유해주시면 좋을 것 같아요. 특히 한국어 작업에서 의외로 괜찮았던 모델이 있다면 다른 개발자들한테 큰 도움이 될 거예요.

---

🔗 출처: Reddit