챗GPT가 등장한 2022년 이후 기업들은 줄곧 같은 질문을 던져 왔다. AI가 우리에게 무엇을 해줄 수 있는가. 초기에는 문서 요약, 이메일 초안, 사람이 다듬을 초안 생성 같은 저위험 업무가 대상이었다. 이후 소프트웨어 개발과 콘텐츠 생성 같은 고부가 인지 작업으로 옮겨갔고, 내부 지식·데이터·도구에 연결해 업무를 조율하고 나아가 사업 일부를 자율적으로 운영하는 이른바 'AI 두뇌'를 만들려는 야심찬 시도로까지 확장됐다.
그러나 막대한 시간과 토큰이 투입된 것에 비해 측정 가능한 성과는 규모 있게 나타나지 않았다. 지출 관리 플랫폼 램프(Ramp)의 데이터에 따르면, AI 투자 상위 4분위 기업의 매출은 2022년 11월부터 2025년 12월 사이 두 배 이상 늘어난 반면, AI 지출이 전혀 없는 기업은 같은 기간 약 15% 성장에 그쳤다. 같은 경제 환경에서 적극 도입 기업이 여덟 배 더 성장한 셈이다.
성과를 가른 조건들
왜 어떤 기업은 큰 효과를 보고 어떤 기업은 투자 회수에 실패했을까. 연구는 대체로 다섯 가지를 지목한다. 첫째, AI 우선 전환은 사람 중심으로 짜인 워크플로에 모델을 얹는 것이 아니라 승인·검토·인수인계 구조 자체를 다시 설계하는 일이다. 맥킨지의 2025년 조사에서 워크플로 재설계는 EBIT 성과와 가장 강하게 연관된 요소였지만, 실제로 어떤 워크플로든 재설계한 기업은 21%에 불과했다. 둘째, 모델과 도구가 매주 바뀌는 만큼 실패를 보고하고 시도를 보상하는 문화가 필요하다. 셋째, 프롬프트와 검색으로 업무 맥락을 주입하는 일 자체가 데이터 접근, 권한 통제, 컨텍스트 관리가 얽힌 엔지니어링 프로그램이다.
넷째와 다섯째는 측정과 비용이다. 대부분의 도입 사례에서는 모델의 성과나 의사결정 비용을 추적할 인프라가 없어 '느낌 평가'가 주장의 한계가 된다. 게다가 좌석당 과금에 익숙하던 기업들은 토큰당 과금이라는 낯선 구조를 만났다. 우버는 연간 엔지니어링 예산을 4개월 만에 소진했고, 마이크로소프트는 비용을 통제하기 위해 클로드 라이선스 상당수를 취소했다. 대다수 AI 랩이 점유율 확보를 위해 토큰 가격을 보조하고 있어 지금 가격은 문제를 오히려 축소해 보여준다는 지적도 나온다.
승자들이 수렴한 공식
앞서 나가는 기업들이 공통적으로 도달한 방식은 오픈소스 모델을 강화학습으로 파인튜닝하는 것이다. 오픈 가중치 모델에 자사 고유의 과업 데이터를 붙이고, 점수화된 워크플로 복제본을 상대로 강화학습을 돌리는 구조다. 브리지워터는 자사 투자 판단 기준으로 라벨링한 데이터로 모델을 학습시켜 최고 성능 프런티어 모델보다 실수를 약 30% 줄였다. 법률 AI 기업 하비(Harvey)는 오픈 가중치 모델에 강화학습을 적용해 자체 평가 기준에서 GPT-5.5와 클로드 오퍼스 4.8을 능가하는 법률 에이전트를 만들었다. 인터콤은 수십억 건의 고객 상담 데이터로 자체 모델 핀 에이펙스(Fin Apex)를 후속 학습시켜 더 많은 문의를 더 낮은 비용으로 해결한다고 밝혔다.
원문 저자들도 같은 공식을 카탈로그 검수 작업에 직접 적용했다. GRPO로 학습한 9B 오픈소스 모델은 달성 가능한 최대 점수 대비 최고 프런티어 구성의 76.9%를 넘어서, 프런티어 대비 13.5%, 학습 전 자체 베이스(64.2%) 대비 36%의 상대 개선을 기록했다. 프롬프트를 최적화한 다섯 개 프런티어 모델이 0.1점 이내로 몰려 정체된 천장을, 특화 모델이 뚫은 것이다. 비용 격차는 더 극적이다. 검수 건당 특화 모델은 1,000건에 0.50달러인 반면 가장 강한 프런티어 모델은 34달러, 가장 저렴한 프런티어보다도 40배 저렴하다. 하루 약 4,000만 건 규모에서는 연 5억 달러가 약 700만 달러로, 98% 절감된다.
실무에 주는 함의
이커머스 카탈로그 검수는 이 방식이 왜 통하는지 잘 보여준다. 모든 상품은 정확한 카테고리에 들어가야 하고 검색·필터·추천을 움직이는 속성이 이미지와 설명에서 정확히 추출돼야 한다. 규모부터 압도적이다. 이베이는 약 25억 개의 활성 리스팅을, 쇼피파이는 하루 1,000만 건 이상의 상품 업데이트를 처리한다. 월마트는 이 작업을 사람만으로 하려면 약 100배의 인력이 필요했을 것이라고 밝혔다. 소비자의 71%가 리스팅과 실제 상품이 달라 반품한 경험이 있다고 답할 만큼 오류의 대가도 크다.
다만 '지능을 소유하라'는 말이 프런티어 구독을 해지하라는 뜻은 아니다. 대부분의 자동화는 프런티어 모델로 시작하는 것이 옳다. 기술적 가능성의 기준선을 세우고, 그 호출이 만들어내는 입력·판단·교정 데이터가 나중에 특화 모델의 학습 재료가 되기 때문이다. 프로토타입 단계를 넘어 대량 운영으로 넘어갈 때 비로소 비용과 성능이 최우선이 되고, 강화학습 파인튜닝이 그 지점에서 들어온다. 저자들은 실제로 아마존 버클리 오브젝트 데이터셋을 바탕으로 17만 7,767개 검수 에피소드와 약 1만 3,000개 카테고리 분류 체계를 갖춘 '디지털 트윈' 환경을 만들어, 모델이 실제 분석가처럼 도구를 검색하고 실패하며 재시도하도록 훈련시켰다. 핵심은 범용 능력을 모두 욱여넣지 않아도 되는 특정 환경에서는 훨씬 작고 저렴한 모델로 충분하다는 점이며, 자사만이 가진 데이터·도구·프로세스를 어떤 벤더 API도 따라올 수 없는 자산으로 바꾼다는 것이다.