오픈소스 미세조정·양자화 도구로 알려진 언슬로스(Unsloth)가 자체 양자화 방식의 새 버전인 다이내믹(Dynamic) v3.0을 공개했다. 첫 적용 대상은 Qwen3.8-27B 모델이며, GGUF 형식으로 배포돼 llama.cpp를 비롯한 대부분의 추론 엔진과 언슬로스 데스크톱에서 구동된다. 양자화는 모델 가중치의 비트 수를 줄여 용량과 메모리 사용량을 낮추는 기술로, 개인 워크스테이션이나 사내 서버에서 대형 언어모델을 돌리려는 실무자에게는 사실상 필수 단계다. 문제는 비트를 줄일수록 원본과의 출력 차이가 커진다는 점인데, 언슬로스는 v3.0이 '같은 용량에서 더 높은 정확도'를 낸다는 점을 핵심 성과로 내세운다. 회사 측 집계로는 Qwen3.8 관련 다운로드가 닷새 만에 510만 건을 넘었다.
무엇이 달라졌나
v3.0의 개선은 여러 요소가 겹쳐 있다. 우선 imatrix(중요도 행렬) 보정에 쓰는 데이터셋을 더 다양한 출처에서 가져와 품질을 높였고, 이 데이터를 에이전트형 코딩, 채팅, 다국어 성능에 맞춰 정제했다. 여기에 계층(layer) 선택 방식을 개선하고 양자화 기법을 추가로 도입해 모델 품질을 최대한 보존하도록 했다. 주목할 점은 보정 데이터셋으로 모델을 학습시키지 않으며, QAT(양자화 인지 학습)나 QAD도 쓰지 않고 순수하게 사후 양자화(PTQ)만으로 처리한다는 것이다. 사용한 imatrix 파일은 커뮤니티가 직접 검증하고 활용할 수 있도록 공개했다.
수치를 보면, 언슬로스는 동일 용량 기준으로 다른 공급자 대비 top-1% 정확도가 10% 넘게 높다고 밝혔다. 가장 작은 축인 UD-IQ1_S는 6.2GB(MTP 제외)로 원본보다 89% 작으면서도 top-1% 정확도의 약 72%를 유지한다. 9.83GB인 UD-Q2_K_XL은 다음으로 우수한 양자화보다 top-1%가 약 8% 높고, 실제로 자바스크립트 사소한 버그 하나를 제외하면 동작하는 HTML 프로그램을 생성했다고 한다. 이전 버전에서는 같은 작업이 아예 깨졌다는 설명이다.
디스크 절약을 위한 조정도 있다. UD-Q2_K_XL 미만(8.37GB 이하)의 작은 양자화에서는 MTP 모듈을 제거해 약 500MB를 아꼈고, 필요하면 별도의 Q4_0 MTP 모듈을 붙여 쓸 수 있다. 벤치마크 그래프에서도 용량 축을 계산할 때 MTP 헤드를 빼서 공급자 간 비교를 공정하게 맞췄다고 밝혔다.
평가 방식과 그 한계
흥미로운 대목은 언슬로스가 자사 지표의 한계를 스스로 짚었다는 점이다. 흔히 인용되는 top-1% 정확도는 예측 한 번에 대한 argmax일 뿐이라 실제 추론 품질을 가늠하기에는 부족하다는 것이다. 이를 보완하기 위해 Terminal-Bench 2.1, DeepSWE, Harbor, MathArena, 비라틴 문자·긴 문서 프롬프트 등에서 뽑은, 보정에 쓰이지 않은 300개 held-out 예제를 만들고, BF16 원본과 각 양자화·공급자를 대상으로 32토큰을 그리디 디코딩해 궤적이 얼마나 닮았는지 비교했다. Divergence-300 @32와 KL 발산(KLD)이 그 결과 지표다. KLD는 0에 가까울수록 원본과 동일하다는 뜻으로, 언슬로스는 이를 양자화 오차의 기준으로 삼는다.
과적합을 줄이려는 장치도 포함됐다. 보정용 데이터와 평가용 데이터를 완전히 분리하고, 채팅에 최적화된 자체 보정셋 대신 표준 위키피디아 데이터로 KLD를 측정해 기존 imatrix 방식과 사과 대 사과로 비교했다는 것이다. 다만 이런 수치는 모두 언슬로스가 직접 산출한 것으로, 제3자의 독립 검증 결과는 아니라는 점은 감안해야 한다.
한계도 분명하다. 개선 폭은 작은 양자화에서 두드러지고, 큰 양자화에서는 이전 버전인 UD-2 대비 KLD 개선이 크지 않아 대용량 구간에는 여전히 UD-2를 쓴다고 밝혔다. 즉 v3.0은 저용량·저비트 영역에서 특히 값어치가 큰 업데이트다.
국내 실무자에게 주는 의미
국내 팀에게 이 소식의 실질적 가치는 '하드웨어를 바꾸지 않고 품질을 확보'하는 선택지가 넓어졌다는 데 있다. GPU 메모리가 빠듯한 환경에서 6GB대 1비트 양자화로도 원본 정확도의 상당 부분을 유지할 수 있다면, 온프레미스나 폐쇄망에서 코딩 보조·에이전트 실험을 돌리는 문턱이 낮아진다. 특히 보정 데이터가 다국어 성능을 겨냥했다고 명시된 만큼 한국어 처리에도 이점이 있을 여지가 있으나, 원문이 한국어 성능을 개별 수치로 제시하지는 않았으므로 실제 도입 전 자체 프롬프트로 검증하는 절차가 필요하다. 언슬로스가 Qwen3, 라마 4, 미스트랄, 젬마, 파이 등 여러 모델의 버그 수정에 관여해온 이력이 있는 만큼, 배포 품질 자체는 신뢰할 만한 편이다. 결국 핵심은 top-1% 같은 단일 지표에 기대지 말고, 자신의 실제 작업 데이터로 여러 양자화 티어를 직접 비교해 용량과 정확도의 균형점을 찾는 일이다.