TECH 으로 돌아가기
TECH HACKER NEWS 오늘 6분 읽기 32 READS

온디바이스 겨냥한 LFM2.5-2.6B, 4배 큰 모델과 경쟁하는 소형 에이전트

온디바이스 겨냥한 LFM2.5-2.6B, 4배 큰 모델과 경쟁하는 소형 에이전트
SOURCE IMAGE · HACKER NEWS

리퀴드AI(Liquid AI)가 공개한 LFM2.5-2.6B는 스마트폰이나 노트북처럼 자원이 제한된 환경에서 직접 구동하는 것을 목표로 설계된 소형 언어모델이다. 파라미터 규모는 26억 개로, 이름 그대로 LFM2.5 계열에 속하며 이전 LFM2 아키텍처를 기반으로 128K 토큰의 긴 문맥 창과 에이전트 지향 사후학습을 더했다. 텍스트 전용 범용 모델이라는 점, 그리고 클라우드가 아니라 온디바이스 실행을 전제로 한다는 점이 이 모델의 성격을 규정한다.

리퀴드AI가 내세우는 핵심 메시지는 '작지만 훨씬 큰 모델과 경쟁한다'는 것이다. 회사는 10B 미만 모델들과 여러 벤치마크에서 비교했다고 밝히며, 자사 아키텍처의 효율성 덕분에 LFM2.5-2.6B가 테스트한 모델 중 가장 빠르다고 설명한다. 구체적으로는 애플 M5 Max에서 초당 220토큰, 라이젠 AI Max+ 395에서 초당 113토큰의 디코딩 속도를 기록했다. 초당 30토큰이면 휴대폰에서도 쓸 만한 에이전트를 돌릴 수 있다는 것이 회사 측 주장이다. 고동시성 환경에서는 초당 약 1만5,000토큰, 단일 H100 기준 하루 약 13억 토큰까지 처리한다고 한다.

무엇에 쓰라고 만든 모델인가

제조사가 권장하는 용도는 분명하다. 에이전트 워크로드, 도구 호출(tool use), 데이터 추출, RAG(검색 증강 생성), 그리고 긴 문맥을 다루는 워크플로다. 반대로 에이전트 기반 코딩과 지식 집약적 과제에는 권장하지 않는다고 못 박았다. 이 경계선은 실무자가 반드시 기억해야 할 부분이다. 파라미터가 26억 개에 불과한 모델은 방대한 사실 지식을 파라미터에 담아 두기 어렵다. 따라서 모델 자체의 '기억'에 의존하는 질의응답보다는, 외부 도구와 문서를 오가며 정해진 절차를 수행하는 오케스트레이션 역할에 초점을 맞춘 셈이다.

주목할 특징 하나는 이 모델이 '순수 추론 모델'이라는 점이다. 답변을 내놓기 전에 항상 사고 과정을 거치며, 채팅 템플릿에서 어시스턴트 응답을 시작할 때 태그를 자동으로 삽입한다. 대화 형식은 ChatML과 유사한 포맷을 따르고, 토크나이저의 apply_chat_template() 함수로 메시지를 자동 정렬할 수 있다. 함수 호출은 네 단계 절차로 지원한다. 즉 소형 모델이면서도 요즘 대형 모델에서 강조되는 '생각 후 답변' 방식과 도구 연동을 기본 설계에 포함시킨 것이다.

학습 파이프라인의 무게중심

학습 과정을 보면 이 모델이 왜 에이전트에 특화됐는지 드러난다. 사전학습은 약 34조(34T) 토큰 규모로 이뤄졌고, 중간학습 단계에서 문맥 창을 128K까지 확장했다. 이후 사후학습은 네 단계로 진행된다. 두 차례의 지도 미세조정(SFT), 도메인별 교사 모델 특화, 다중 도메인 온폴리시 증류, 그리고 에이전트 강화학습이다. 특히 마지막 단계인 에이전트 강화학습은 널리 쓰이는 에이전트 하네스(harness) 안에서 모델을 직접 훈련시키는 방식이라는 점이 특징이다. 실제 도구, 시스템 프롬프트, 상호작용 패턴에 모델을 노출시켜 다양한 에이전트 환경에서 안정적으로 동작하도록 다듬었다는 설명이다.

이 접근은 실무적으로 의미가 있다. 벤치마크 점수가 아무리 높아도 특정 에이전트 프레임워크의 프롬프트 규칙이나 도구 호출 형식에 익숙하지 않으면 현장에서 자주 실패하는데, 훈련 단계에서 아예 그 환경에 담가 학습시켰다는 것은 배포 후 안정성에 무게를 뒀다는 뜻이기 때문이다. 리퀴드AI는 여러 추론 프레임워크에서 이 모델을 지원하며, 트랜스포머(transformers) 5.0.0 이상 버전과 호환된다고 안내한다. 브라우저에서 별도 설치 없이 에이전트 기능을 시험해 볼 수 있는 리서치 에이전트 데모도 허깅페이스 스페이스에 마련돼 있다.

도입 전 짚어야 할 한계

다만 공개된 정보만으로 판단할 때 유의할 점도 있다. 리퀴드AI는 '4배 큰 모델과 경쟁한다'거나 '동급 최고 속도'라고 표현하지만, 어떤 벤치마크에서 어떤 모델과 비교해 어느 정도 격차가 났는지 구체적 수치는 이 자료만으로는 확인되지 않는다. 성능 주장은 별도 블로그와 벤치마크 문서를 직접 검증하는 것이 안전하다. 또한 제조사 스스로 코딩 에이전트와 지식 집약 과제를 비권장 용도로 명시한 만큼, 범용 만능 모델로 기대하기보다는 도구 연동·문서 처리·긴 문맥 파이프라인에 특화된 부품으로 보는 편이 현실적이다.

결국 LFM2.5-2.6B는 클라우드 대형 모델을 대체하겠다는 물건이 아니라, 온디바이스에서 낮은 지연과 프라이버시를 확보하면서 도구 호출과 검색 증강을 수행하는 경량 에이전트라는 틈새를 겨냥한다. 리퀴드AI는 최상의 결과를 위해 각자의 용도에 맞춰 미세조정할 것을 권한다고 덧붙였다. 자체 데이터로 파인튜닝할 여력이 있는 팀이라면, 휴대 기기나 엣지 환경에서 돌아가는 실무형 에이전트를 구성할 후보로 검토해 볼 만하다.

SOURCE · HACKER NEWS
원문 전체 보기 → https://huggingface.co/LiquidAI/LFM2.5-2.6B
SHARE
처리 중...