"이 모델이 SWE-bench에서 70% 나왔대!" — 그런데 정작 우리 회사 레거시 PHP 코드에 붙였더니 자꾸 헛소리를 합니다. 벤치마크 점수는 왜 우리 업무랑 이렇게 다를까요?
— AI 코딩 도구를 도입하려다 3번 실패한 어느 개발팀장의 하소연
공개 벤치마크는 '평균적인 문제'로 측정합니다. 하지만 회사마다 코드베이스, 프레임워크, 사내 규칙, 자주 하는 작업이 전부 다릅니다. 남의 시험지 점수로 우리 직원을 뽑는 셈이죠. 그래서 요즘 개발팀·외주사·1인 창업가 사이에서 조용히 뜨는 서비스가 있습니다. 바로 "우리 회사 실제 과제 딱 하나로, 10개 모델·하네스를 동시에 돌려 실전 비교 리포트를 뽑아주는 봇"입니다.
놀라운 건, 이 봇을 만드는 데 개발 전공이 필요 없다는 점입니다. 바이브코딩(AI에게 시켜서 코딩하는 방식)으로 비전공자도 충분히 만들 수 있고, 실제로 이 리포트 한 건에 월 100만원씩 받는 사람들이 생기고 있습니다. 오늘은 그 5단계를 통째로 공개합니다.
왜 '벤치마크'가 아니라 '우리 업무'여야 하나
모델(GPT, Claude, Gemini 등)과 하네스(Cursor, Cline, Aider, Claude Code 같은 실행 환경)의 조합은 이론상 수십 가지입니다. 같은 모델이라도 하네스가 다르면 결과가 천차만별이죠. 그런데 회사가 진짜 궁금한 건 하나입니다. "우리가 매일 하는 그 작업, 어떤 조합이 제일 싸고 정확하게 해주나?"
5단계 실전 가이드
1단계 · 과제 캡슐화 — "리포트의 재료를 규격화한다"
고객사에서 실제로 자주 하는 작업 1건을 받습니다. 예: "이 API에 페이지네이션 추가", "이 버그 수정", "이 함수에 테스트 작성". 이걸 ① 입력(코드+요구사항) ② 성공 기준(통과해야 할 테스트) ③ 평가 항목(정확도·비용·속도)으로 나눠 하나의 폴더로 '캡슐화'합니다. 이 캡슐 하나가 10개 조합 모두에게 던지는 동일한 시험지가 됩니다.
2단계 · 멀티 실행 봇 — "한 번에 10곳으로 배포"
바이브코딩으로 간단한 실행 스크립트를 만듭니다. 캡슐화된 과제를 GPT·Claude·Gemini 등 모델과 Aider·Cline·Claude Code 등 하네스 조합에 자동으로 던지고, 결과 코드를 각각 폴더에 저장합니다. "이런 스크립트 만들어줘"라고 AI에게 시키면 뼈대는 몇 시간이면 나옵니다.
처음부터 10개를 다 붙이려 하지 마세요. 모델 2개 × 하네스 2개 = 4개 조합으로 먼저 파이프라인을 완성한 뒤, 조합을 하나씩 늘리는 게 훨씬 빠릅니다.
3단계 · 자동 채점 — "감이 아니라 숫자로"
각 조합이 만든 코드를 동일한 테스트로 자동 채점합니다. 측정 지표는 네 가지면 충분합니다. ① 테스트 통과율(정확도) ② API 토큰 비용 ③ 완료까지 걸린 시간 ④ 재시도·수정 횟수. 이 숫자들이 리포트의 뼈대가 됩니다. 사람의 "이게 더 나은 것 같아요"를 "조합 A가 통과율 92%, 비용 1/3"이라는 근거로 바꾸는 단계죠.
4단계 · 리포트 생성 — "고객이 돈 내는 결과물"
집계된 숫자를 순위표, 추천 조합, 예상 월간 비용 절감액이 담긴 리포트로 자동 변환합니다. 고객은 코드가 아니라 "우리는 이 조합을 쓰면 매달 얼마를 아낀다"는 결론에 돈을 냅니다.
5단계 · 구독 판매 — "1회성이 아니라 월 구독으로"
모델과 가격은 매달 바뀝니다. 그래서 리포트는 1회성이 아니라 월간 구독이 자연스럽습니다. "매달 최신 모델까지 포함해 갱신해 드립니다"라고 하면 월 100만원 구독이 성립합니다. 고객 입장에선 잘못된 도구 선택으로 매달 수백만원을 태우는 위험을 100만원으로 막는 보험인 셈이죠.
누구에게 팔 것인가
전사 도구 표준을 정할 근거가 필요. 팀 전체 API 비용 최적화.
프로젝트별 마진 극대화. 어떤 조합이 가장 싸게 납품되는지가 곧 이익.
혼자 다 못 테스트함. 검증된 조합 하나만 알면 시간·돈 모두 절약.
이 사업의 진짜 경쟁력은 코딩 실력이 아니라 '고객 업무를 과제로 캡슐화하는 능력'입니다. 봇은 한 번 만들면 재사용되고, 고객마다 바뀌는 건 캡슐 하나뿐입니다.
마치며 — 도구를 '만드는 사람'이 되세요
남들이 벤치마크 점수를 보고 고민하는 동안, 당신은 그 고민을 '대신 풀어주는 봇'을 만들어 파는 사람이 될 수 있습니다. 비전공자도 바이브코딩으로 충분히 가능하고, 핵심은 화려한 코드가 아니라 '고객의 진짜 문제를 숫자로 바꿔주는 구조'를 설계하는 힘입니다.
이런 '돈 버는 코딩' 파이프라인을 처음부터 끝까지 손으로 만들어보고 싶다면, 투더제이(TTJ) 코딩클래스 정규반에서 과제 캡슐화부터 멀티 실행 봇, 자동 리포트까지 실제 수익 모델 단위로 함께 만들어 봅니다. 벤치마크를 소비하는 사람에서 벗어나, 도구를 만들어 파는 쪽으로 넘어가 보세요.