0.6B 작은 LLM도 파인튜닝하면 분류 작업엔 충분하다

거대 모델만 답이 아니다. 이 글은 Qwen 3:0.6B라는 초경량 로컬 LLM을 직접 파인튜닝해 '질문 분류' 작업에서 만족스러운 성능을 얻은 실험기를 담고 있다. 핵심 인사이트는 분명하다. 질문을 정해진 카테고리로 나누는 식의 좁고 명확한 작업이라면, 굳이 GPT급 대형 모델이나 비싼 API에 의존할 필요가 없다는 것. 소수의 라벨링 데이터로 작은 모델을 특정 도메인에 맞춰 학습시키면, 노트북 수준의 로컬 환경에서도 빠르고 저렴하게 돌릴 수 있고 외부로 데이터가 새지 않아 프라이버시도 지킬 수 있다. 범용 모델에 프롬프트를 정교하게 짜는 대신, 전용 소형 모델을 만드는 접근이 비용·속도·보안 면에서 실용적이라는 점을 보여준다. 한국 개발자에게 주는 시사점은, 사내 문의 분류, 티켓 라우팅, 태깅 같은 반복적 분류 업무라면 작은 모델 파인튜닝이 충분히 현실적인 선택지가 된다는 것이다. 큰 모델을 쓰기 전에 '내 작업에 정말 그 크기가 필요한가'를 먼저 따져볼 만하다.