무슨 일인가요
Django 웹 프레임워크의 공동 개발자이자 LLM 도구 제작자로 유명한 사이먼 윌리슨(Simon Willison)이 알리바바의 새 오픈웨이트 모델 'Qwen 3.8 27B'를 직접 써보고 리뷰를 올렸어요. 결론부터 말하면 “성능은 정말 훌륭한데, 기본 설정에서 생각을 너무 많이 한다”는 건데요. 이 한 줄 평가 안에 요즘 LLM 업계가 안고 있는 고민이 고스란히 담겨 있거든요.
27B, 그러니까 270억 개의 파라미터를 가진 모델은 로컬 실행 관점에서 아주 절묘한 크기예요. 양자화(모델의 숫자 정밀도를 낮춰 용량을 줄이는 기법)를 거치면 램이 넉넉한 맥북이나 게이밍 GPU 한 장에서도 돌릴 수 있는 수준이거든요. 이 크기에서 최상급 성능이 나온다는 건, 클라우드 API에 돈을 내지 않고도 내 컴퓨터에서 꽤 쓸 만한 AI를 굴릴 수 있다는 뜻이라 로컬 LLM에 관심 있는 분들이 특히 주목할 만한 소식이에요.
'과잉 사고'가 뭐길래 문제인가요
요즘 나오는 모델들은 대부분 '추론(reasoning) 모델'이에요. 이게 뭐냐면, 답을 바로 내뱉는 게 아니라 답하기 전에 속으로 긴 사고 과정을 먼저 글로 써보는 방식이에요. 수학 문제를 풀 때 암산하지 않고 연습장에 풀이를 쭉 적어가며 검산하는 것과 비슷하죠. 이 방식 덕분에 수학이나 코딩 같은 복잡한 문제의 정답률이 크게 올라갔어요.
문제는 이 '연습장'이 공짜가 아니라는 거예요. 사고 과정도 결국 토큰(모델이 글자를 처리하는 단위)으로 생성되기 때문에, 생각이 길어질수록 응답은 느려지고 비용도 늘어나요. 그런데 윌리슨이 지적한 게 바로 이 부분이에요. Qwen 3.8 27B는 아주 간단한 질문에도 기본적으로 장황한 사고 과정을 거친다는 거죠. “안녕하세요”에 답하려고 한참을 고민하는 모델을 상상해보면 감이 올 거예요. 로컬에서는 내 GPU가 그 시간 동안 계속 돌아가는 거고, API로 쓴다면 그 토큰만큼 돈이 나가는 거고요.
업계 전체의 숙제이기도 해요
사실 이 '오버씽킹' 문제는 Qwen만의 문제가 아니에요. DeepSeek R1이 추론 모델 붐을 일으킨 뒤로 업계 전체가 같은 고민을 하고 있거든요. OpenAI는 GPT-5에서 질문 난이도에 따라 빠른 응답과 깊은 추론을 자동으로 갈아타는 라우터 방식을 택했고, Anthropic의 Claude는 개발자가 '사고 예산(thinking budget)'을 직접 지정할 수 있게 했어요. Qwen 시리즈도 사고 모드를 켜고 끄는 옵션을 제공해왔는데, 기본값이 '깊게 생각하기' 쪽으로 치우쳐 있다는 게 이번 리뷰의 핵심 지적인 셈이에요.
바꿔 말하면, 이제 모델 경쟁의 축이 “얼마나 똑똑한가”에서 “얼마나 적절하게 생각하는가”로 옮겨가고 있다는 거예요. 쉬운 질문엔 즉답하고 어려운 질문엔 깊게 파고드는, 사람으로 치면 '눈치'에 해당하는 능력이 다음 격전지가 된 거죠.
한국 개발자에게는
써볼 만한 가치는 충분해요. Ollama나 LM Studio 같은 도구로 받아서 로컬에서 돌려볼 수 있고, 오픈웨이트라 사내망처럼 외부 API를 못 쓰는 환경에서도 활용할 수 있거든요. 다만 실서비스에 붙일 생각이라면 사고 모드 설정을 꼭 확인하세요. 간단한 분류나 요약 작업에 기본 설정 그대로 쓰면 지연시간과 비용이 몇 배로 튈 수 있어요. 반대로 복잡한 코드 리뷰나 수학적 검증에는 그 긴 사고가 오히려 무기가 되고요. 작업 성격에 따라 사고 길이를 조절하는 게 이 세대 모델을 다루는 핵심 기술이 된 셈이에요.
정리하면
“성능 좋은 오픈 모델은 이제 흔해졌고, 진짜 승부는 생각의 양을 조절하는 능력에서 갈린다”는 게 이번 리뷰가 주는 교훈이에요. 여러분은 추론 모델을 쓰면서 '생각이 너무 길다'고 느낀 적 있나요? 사고 예산이나 모드 설정을 어떻게 튜닝해서 쓰고 계신지 궁금하네요.
🔗 출처: Hacker News