검색 전용 에이전트 '토스트 1'—프런티어 모델을 대신하는 저비용 리트리버

믹스드브레드(Mixedbread)가 지식 집약 업무에 특화한 검색 에이전트 '토스트 1(Toast 1)'을 공개했다. 회사 측 설명에 따르면 이 모델은 클로드 오퍼스 5나 GPT-5.6 솔과 같은 최상위 모델의 검색 품질에 필적하거나 이를 앞서면서도 비용은 최대 10배, 속도는 최대 12배 개선했다고 한다. 자사의 믹스드브레드 서치와 함께 쓸 때 성능이 가장 좋지만, 특정 검색 백엔드에 종속되지 않고 기존 리트리벌 인덱스 위에서도 동작하도록 설계됐다는 점이 핵심 주장이다.

이 발표의 배경에는 '지능의 종량제화'라는 문제의식이 깔려 있다. 오늘날 프런티어 모델은 추론과 분석은 물론 복잡한 문서 집합에서 정보를 찾아내는 실제 지식 노동을 수행할 수 있게 됐지만, 동시에 스택에서 가장 비싼 자원이기도 하다. 검색과 증거 수집처럼 반복적이고 토큰을 많이 소모하는 작업까지 최상위 모델에게 맡기면 비용이 급격히 늘어난다. 토스트 1은 바로 이 검색 루프 전체를 넘겨받는 것을 목표로 한다.

검색 노동의 분업

토스트 1의 작동 방식은 일종의 역할 분담이다. 초기 질의가 주어지면 이를 여러 하위 질의로 분해하고, 증거를 모으고, 출처를 점검한 뒤, 관련 맥락만 선별해 반환한다. 이렇게 정제된 '증거 패키지'를 받은 상위 모델은 자신의 컨텍스트 창과 연산 자원을 검색이 아니라 추론과 최종 답변 생성이라는 본연의 일에 집중해 쓸 수 있다. 토스트 1은 독립형 검색 에이전트로도, 프런티어 모델이 호출하는 여러 서브에이전트 중 하나로도 배치할 수 있다.

이러한 분업의 효과는 벤치마크 수치로 제시됐다. 데이터브릭스가 공개한 기업 재무 상황 기반 평가 OfficeQA Pro V2(90개 문항)에서, 코덱스 안에 토스트 1을 서브에이전트로 붙인 GPT-5.6 솔은 과제당 약 1.15달러에 70%의 정답률을 기록했다. 같은 릴리스에서 평가된 시스템 중 최고 점수라는 설명이다. 직전까지 최고였던 데이터브릭스 지니 기반 클로드 페이블 5는 과제당 약 4달러에 60%였고, 토스트 1이 없는 코덱스의 GPT-5.6 솔은 33%에 그쳤다. 비용은 낮추면서 품질은 끌어올린 셈으로, 회사는 이를 '비용과 속도의 새로운 파레토 경계'라고 표현했다.

법률 도메인에서의 토큰 효율

노이즈가 많고 맥락 의존도가 높은 법률 업무를 다룬 하비(Harvey) LAB의 로펌 지식 벤치마크에서도 유사한 패턴이 나타났다. 무작위로 선정한 33개 과제를 대상으로, 리트리벌 스택만 바꾸고 나머지 조건은 동일하게 둔 비교였다. 기본 에이전트의 파일시스템 검색을 믹스드브레드 서치로 교체하자 동일 점수에서 토큰 사용량이 8,060만에서 4,700만으로 줄었고, 여기에 토스트 1을 전담 검색 서브에이전트로 추가하니 2,300만까지 떨어졌다. 답변 품질은 유지한 채 토큰을 3.5배 절감하고 처리 턴 수를 절반으로 줄여, 비용을 60% 넘게 낮췄다는 결과다.

토스트 1은 서브에이전트뿐 아니라 딥 서치에 특화 학습된 독립 모델로도 쓸 수 있다. 여러 딥 서치 벤치마크에서 GPT-5.6 솔과 같은 급의 성능을 내고 키미 K3나 GLM-5.2 같은 모델은 크게 앞선다고 회사는 밝혔다. 비용 면에서는 표준 실행이 질의당 약 0.016~0.023달러에 중앙값 지연 8초, 최고 품질의 퓨전 구성이 약 0.05~0.07달러에 11초 수준이다. 비슷한 성능에 도달한 다른 시스템들이 같은 평가에서 20초에서 4분까지 걸린 것과 비교하면 7~11배 저렴하고 상당히 빠르다는 주장이다.

실무자 관점에서 눈여겨볼 대목은 도입 방식이다. 토스트 1은 챗 컴플리션 API를 통해 기존 에이전트 워크플로에 리트리벌 도구로 추가할 수 있고, 백엔드 교체 없이 현재 인덱스 위에서 동작한다. 코딩 에이전트로 통합을 맡기는 스킬 설치 경로나 오픈코드(OpenCode) 연동도 제공되며, 5달러 크레딧이 포함된 API 키로 시험해볼 수 있다. 특화 검색 에이전트라는 흐름은 토스트 1만의 것은 아니어서, SID-1이나 크로마의 컨텍스트-1처럼 프런티어급 검색을 더 낮은 비용과 지연으로 프로덕션에 가져오려는 시도들이 함께 등장하고 있다.

다만 제시된 수치의 해석에는 신중함이 필요하다. 성능·비용 비교의 상당 부분이 믹스드브레드 자체 평가이거나 무작위로 고른 33개 과제 같은 소규모 부분집합에 기반하며, 토스트 1이 자사 검색 프리미티브와 '공동 설계'됐다는 전제가 최고 성능의 조건으로 명시돼 있다. 백엔드 비종속성을 강조하지만 다른 인덱스 환경에서의 결과가 어떻게 달라지는지는 각자의 데이터로 검증할 몫이다. 결국 이 발표가 던지는 실질적 질문은 특정 벤치마크 점수보다, 검색이라는 반복 노동을 값싼 전용 에이전트에 분리해 맡기고 비싼 상위 모델의 컨텍스트를 아끼는 아키텍처가 자기 조직의 파이프라인에서도 유효한가에 있다.