코딩 에이전트의 토큰 사용량을 줄여준다고 주장하는 애드온이 늘고 있다. 그중 하나가 Claude Code용 스킬 'Caveman(동굴인)'이다. 이름 그대로 에이전트가 원시인처럼 말하게 만들어, 불필요한 수식어와 연결어를 걷어내고 최소한의 단어만 쓰게 한다. 대신 코드와 명령어, 오류 문자열 같은 요소는 한 바이트도 건드리지 않고 그대로 둔다. 이 스킬은 '출력 토큰 65% 절감'을 내세우며 30여 개 에이전트에서 동작한다고 홍보한다. JetBrains가 자사 SkillsBench 벤치마크에서 이 주장을 정면으로 검증했고, 결과는 광고 문구와 상당한 거리가 있었다.
65%는 어디서 온 숫자인가
핵심 결론부터 말하면, 실측 출력 토큰 절감률은 8.5%였다. 광고된 65%와 실측치 사이의 간극은 측정 조건의 문제가 아니라 대상 작업의 성격 차이에서 나온다. 65%라는 수치는 채팅형 산문 답변, 즉 사람이 질문하면 에이전트가 줄글로 길게 설명하는 상황에서나 나오는 값이다. 반면 실제 에이전트 작업의 출력 스트림은 코드, diff, 도구 호출, 정확한 오류 메시지가 대부분을 차지한다. Caveman은 이 요소들을 의도적으로 원본 그대로 보존하기 때문에 압축할 여지가 있는 건 도구 호출 사이에 끼어드는 짧은 서술뿐이고, 그 분량 자체가 많지 않다. 압축 대상이 전체의 일부에 불과하니 절감률도 한 자릿수 후반에 머무를 수밖에 없다.
주목할 점은 이 8.5%조차 '천장'이라는 사실이다. 원래 Caveman은 사용자가 '캐이브맨 모드'나 '간결하게' 같은 문구로 직접 켜야 작동한다. 그런데 검증에서는 모든 응답에 강제로 켜 둔 상태로 측정했다. 즉 실측된 수치는 스킬이 낼 수 있는 최선의 값이고, 에이전트가 알아서 활성화 여부를 판단하는 일반적인 사용 환경에서는 절감률이 이보다 낮아질 수밖에 없다.
짧게 말하면 결과물이 나빠지는가
토큰 절감보다 실무자가 더 궁금해할 지점은 따로 있다. 에이전트를 억지로 무뚝뚝하게 만들면 작업 품질이 떨어지지 않느냐는 것이다. 전체 실행에서 82개의 짝지은(paired) 작업을 비교한 결과, 스킬을 켠 쪽과 끄지 않은 쪽은 통계적으로 구별되지 않았다. 부호 검정 p값이 0.82로, 품질 저하의 흔적은 나타나지 않았다. 말투 변환 자체는 설계대로 정확히 작동해 강제 활성화된 전사(transcript)는 누가 봐도 동굴인 말투였지만, 코드 산출물은 손상 없이 정상이었다. 스타일만 바뀌고 결과물은 그대로였다는 뜻이다.
비용 절감의 함정
비용은 대체로 토큰 절감을 따라간다. 작업 단위로 보면 스킬을 켠 쪽이 약 10% 저렴하게 나왔다. 그런데 전체 실행의 총액을 그대로 합산하면 오히려 스킬 쪽이 11.6% 더 비쌌다. 40.60달러 대 36.39달러였다. 이 역전은 전적으로 단 하나의 시험 때문이었다. 의존성 감사(dependency-audit) 작업 하나가 스킬 쪽에서 200k 장문 컨텍스트 과금 구간을 넘겨 8.29달러가 청구된 반면, 반대쪽에서는 0.33달러에 그쳤다. 앞선 실행에서는 같은 작업이 기준선 쪽에서 3.25달러짜리 이상치를 만들기도 했다. 결국 이 변동은 스킬의 속성이 아니라 그 작업 자체의 속성이며, 총액만 보고 판단하면 방향을 완전히 오독하게 된다는 교훈을 남긴다.
검증 환경은 Harbor 0.17, 추론 강도를 낮게 설정한 claude-sonnet-5, SkillsBench 86/87 작업, 약 240회 시행, 총 지출 약 106달러였다. 참고로 이번 검증은 공개된 '토큰 절약' 애드온들을 동일한 짝비교 방식으로 돌려보는 연작의 일부다. 함께 다뤄진 rtk 스킬은 60~90% 절감을 광고했지만 실측에서는 오히려 7.6% 더 늘어난 것으로 나왔다.
실무자를 위한 정리
종합하면 Caveman은 안전하고, 스타일 변화에 대해서는 정직하지만, 절감 효과는 과대 포장됐다. 강제로 켜 둔 상태에서 에이전트의 말투는 확실히 바꾸되 산출물 품질에는 측정 가능한 손상을 주지 않는다. 다만 코드와 도구 호출이 세션의 토큰을 지배하는 실제 에이전트 작업에서는, 아무리 잘해도 출력 토큰 약 8.5%와 비용 약 10%를 줄이는 것이 현실적인 상한이다. 재미로 쓰기에는 품질 부담이 없으니 취향에 맞으면 써도 무방하지만, 일상적인 코딩 작업에서 극적인 비용 절감을 기대해선 안 된다. 광고 문구의 압축률이 어떤 종류의 출력에 근거한 수치인지 따져 보는 습관이, 이런 애드온을 도입할 때 가장 먼저 챙겨야 할 점이다.