Claude 토큰 카운터 업데이트, LLM 모델별 토큰 비교가 왜 중요한가

무슨 일이 있었나

Simon Willison이 자신의 블로그에서 Claude Token Counter 도구를 업데이트했다는 소식을 공유했어요. 원래는 Anthropic의 Claude 모델에 어떤 텍스트를 넣을 때 몇 토큰이 나올지 빠르게 계산해 보는 단순한 웹 도구였는데, 이번 업데이트로 여러 모델의 토큰 수를 나란히 비교할 수 있게 됐어요. 같은 문장을 Claude, GPT 계열, Gemini 계열에 넣으면 각각 몇 토큰이 되는지를 한 화면에서 볼 수 있는 형태예요. 작은 업데이트처럼 보이지만, LLM을 실무에 쓰는 입장에서는 꽤 유용한 변화라 짚어볼 가치가 있어요.

토큰이 뭐고, 왜 모델마다 다를까

토큰(token)이 뭐냐면, LLM이 글을 쪼개서 인식하는 최소 단위예요. 영어 "hello"는 보통 1토큰, "unbelievable"은 2~3토큰, 한국어 "안녕하세요"는 모델에 따라 3~7토큰으로 나뉘어요. 쪼개는 방식을 정하는 게 토크나이저(tokenizer) 인데, 모델마다 학습 데이터와 알고리즘이 달라서 결과가 제각각이에요.

예를 들어 GPT-4 계열이 쓰는 cl100k_base 토크나이저는 영어에 최적화되어 있어서 한국어를 상대적으로 많이 쪼개요. 같은 한글 문장이 Claude에서는 120토큰인데 GPT에서 180토큰이 되는 일이 흔해요. 반대로 코드나 특정 영어 구문에서는 GPT가 더 효율적인 경우도 있고요. 이 차이가 비용과 컨텍스트 한도에 직격으로 영향을 줘요.

왜 비교가 중요한가

LLM API의 과금은 거의 전부 토큰 단위예요. 입력 1M 토큰에 $3, 출력에 $15 같은 식이죠. 같은 작업을 하는 데 모델 A가 1.5배 많은 토큰을 쓴다면, 단가가 같아도 실질 비용은 1.5배가 돼요. 특히 RAG 파이프라인이나 긴 문서 요약 같은 워크로드에서는 이 차이가 월 수백만 원 단위로 벌어질 수 있어요.

또 하나는 컨텍스트 한도예요. 모델이 "200K 토큰을 받을 수 있다"고 광고해도, 한국어 기준으로는 실제 넣을 수 있는 문서 분량이 모델마다 꽤 달라요. 토큰 효율이 좋은 모델은 같은 한도 안에 더 많은 내용을 넣을 수 있고, 이건 곧 프롬프트 설계의 자유도로 이어져요. Simon의 도구는 이런 판단을 눈으로 보고 빠르게 감 잡게 해 줘요.

업계 맥락

비슷한 도구로는 OpenAI의 공식 Tokenizer 페이지, tiktoken 파이썬 라이브러리, Hugging Face의 각종 토크나이저 플레이그라운드가 있어요. 다만 이들은 대부분 한 모델만 보여줘요. 여러 벤더의 모델을 동시에 비교하려면 각자 별도 페이지를 띄워야 했거든요. Simon의 업데이트는 이 불편을 해결한 거예요. 브라우저에서 돌아가는 WASM 기반 토크나이저를 여러 개 로드해서, 로컬에서 즉시 비교 결과를 보여주는 방식으로 알려져 있어요.

LLMOps 쪽에서는 이런 "토큰 이코노미" 계산을 자동화하는 움직임이 점점 커지고 있어요. LangChain이나 LlamaIndex도 각 모델의 토큰 비용을 추적하는 기능을 확장하고 있고, Helicone 같은 서비스는 실시간 토큰 소비를 대시보드로 보여줘요. Simon의 도구는 그중에서도 실험 초기 단계, 그러니까 "이 프롬프트를 어느 모델에 보낼지 정하기 전"에 쓰기 좋은 가벼운 계산기 포지션이에요.

한국 개발자에게 주는 시사점

국내 서비스는 한국어 토큰 효율이 곧 비용이에요. 고객 문의 챗봇, 법률 문서 요약, 코드 리뷰 자동화처럼 입력 길이가 긴 워크로드를 운영한다면, 같은 프롬프트를 여러 모델 토크나이저에 넣어 보는 루틴을 한 번쯤 거치세요. 같은 정확도가 나오는데 토큰이 20% 적은 모델이 있다면, 그게 곧 연간 인프라 예산의 20%예요.

또 프롬프트 엔지니어링 관점에서도 유용해요. 시스템 프롬프트가 한국어로 300줄씩 길어지는 조직이 많은데, 이걸 토큰 단위로 보면 "우리가 매 요청마다 불필요하게 지불하는 고정비"가 보여요. 시스템 프롬프트를 영어로 짧게 쓰고, 사용자 대화만 한국어로 받는 하이브리드 구성이 왜 비용적으로 유리한지도 수치로 이해하게 돼요.

실무자가 아니라 학습 중인 주니어라도 한 번 해볼 만해요. 자기가 자주 쓰는 프롬프트를 여러 모델에 넣어 보면, 토크나이저라는 개념이 추상 이론이 아니라 지갑과 직결된 현실로 와닿거든요.

마무리

LLM을 쓰는 건 이제 API 호출을 넘어 토큰 경제를 이해하는 일이 됐어요. 작은 계산기 하나가 월 비용 보고서를 바꿀 수 있어요. 여러분은 모델을 고를 때 성능 벤치마크만 보시나요, 아니면 한국어 토큰 효율까지 확인하시나요? 지금 운영 중인 서비스의 프롬프트를 한 번 돌려보면 생각보다 놀라운 숫자가 나올지도 몰라요.