5학년까지만 배운 LLM은 무엇을 할 수 있나: 학습 경계를 실험으로 통제한 LittleLearner

대형 언어 모델을 평가할 때 늘 따라붙는 의문이 있다. 어떤 능력이 학습을 통해 새로 생긴 것인지, 아니면 애초에 방대한 학습 데이터 어딘가에 이미 들어 있던 것을 단지 끄집어낸 것인지 구분하기 어렵다는 점이다. 요즘 모델은 사실상 세상의 모든 텍스트를 한꺼번에 학습하기 때문에, 새 기법이 성능을 끌어올렸다고 해도 그것이 진짜 새 능력의 획득인지 기존 지식의 유도(elicitation)인지 가려내기가 사실상 불가능하다. LittleLearner라는 연구 프로젝트는 이 문제를 정면으로 겨냥한다. 모델의 사후 성능을 손보는 대신, 학습 데이터 분포 자체를 통제해 지식의 경계선을 명확히 그어 버린 것이다.

초등학교 교육과정으로 좁힌 88B 토큰

연구진은 FineWeb-Edu를 미국 초등 교육과정(K–5, 유치원부터 5학년)에 맞춰 다섯 단계 필터링 파이프라인으로 걸러 낸 88B 토큰 규모의 코퍼스를 만들었다. 필터는 미국의 공통 학력 기준인 Common Core에 정렬되어 있으며, 5학년 이상 수준에서 가르치는 개념·사실·어휘는 명시적으로 배제했다. 이렇게 만든 LittleCurriculum 위에 0.6B, 1.3B, 5B 세 가지 규모의 모델을 처음부터(from scratch) 학습시켰다. 핵심은 각 모델마다 아키텍처·토큰 수·학습 레시피를 동일하게 맞춘 '무필터 대조군(Unfiltered control)'을 함께 두었다는 점이다. 덕분에 필터링이라는 단일 변수의 효과만 깨끗하게 비교할 수 있다. 5B 모델은 브라우저에서 직접 대화해 볼 수 있는 형태로 공개됐다.

개입은 배운 것을 증폭할 뿐, 경계를 넘지 못한다

실험의 결론은 분명하다. 모델 크기를 키우거나(scaling), SFT와 GRPO로 사후 학습을 하거나, 맥락 내 학습(in-context learning)을 시도해도, 이들 개입은 교육과정 안에 있던 능력(in-scope)을 강화할 뿐 교육과정 밖(out-of-scope) 성능은 유의미하게 끌어올리지 못했다. 즉 사전학습 단계의 필터가 사실상 능력의 상한선을 정해 버린다는 것이다. 규모를 키우면 통제된 지식 노출 범위 안에서 성능이 좋아지고 같은 학습 궤적상의 인접 문제로는 다소 확장되지만, 더 고급 능력을 요구하는 범위 밖 문제에서는 개선이 거의 없었다. MathCAMPS로 후처리한 수학 특화 모델(GRPO)에서도 K–5 범위 능력은 크게 올라갔지만, 범위 밖 데이터를 학습에 넣어 주어도 5학년을 넘어서는 능력은 회복되지 않았다. 5B 모델에서 맥락 내 학습으로 범위 밖 추론을 열어 보려는 시도 역시 새로운 추론 능력을 끌어내지 못했다.

실무자가 눈여겨볼 지점

이 결과는 현장에서 흔히 기대하는 '개입으로 한계를 넘는다'는 통념에 제동을 건다. 프롬프트 엔지니어링이나 강화학습 기반 후처리가 모델이 애초에 학습하지 못한 능력을 창발시키기보다는, 이미 내재된 능력을 다듬고 증폭하는 쪽에 가깝다는 점을 통제된 실험으로 보여 주기 때문이다. 반대로 말하면, 특정 도메인 능력이 필요하다면 사후 튜닝보다 사전학습 데이터 구성에서 승부를 봐야 한다는 실무적 함의로 읽을 수 있다. 다만 이 실험은 어디까지나 초등 교육과정이라는 인위적으로 좁힌 경계에서 얻은 결과이며, 상업용 프런티어 모델처럼 광범위한 데이터로 학습한 경우와 그대로 등치하기는 어렵다. '경계를 못 넘는다'는 관찰이 모든 규모·모든 과제에서 성립한다고 단정할 근거는 아직 이 연구 범위 밖에 있다.

통제된 경계가 여는 연구

LittleLearner의 진짜 가치는 학습 노출 범위가 명시적으로 규정되어 있다는 점에서 나온다. 사전 지식이 K–5로 제한되어 있으므로, 강화학습 과정에서 새 능력이 나타난다면 그 능력을 학습 데이터가 아니라 RL 과정 자체에 귀속시켜 해석할 수 있다. 보상 기반 발견을 다루기 쉬운 형태로 실험할 프록시가 되는 셈이다. 연구진은 음수를 새로 도입해 표본 효율성·유지·간섭을 측정하거나, 경계 근처에서 모델이 답하는지·유보하는지·환각을 일으키는지 관찰하는 방향, 그리고 모델과 아동이 분수를 배우는 데 비슷한 노출량이 필요한지, 문장제 문제에서 유사한 오류를 내는지 비교하는 방향을 후속 과제로 제시한다. 학습 경계가 알려져 있다는 조건 하나가, 막연한 아이디어를 깔끔한 통제 실험으로 바꿔 놓는다는 것이 이 프로젝트가 던지는 메시지다.