토큰이 비용인 시대, 라이브러리가 다시 중요해지는 이유

AI 에이전트한테 코딩을 맡기는 게 일상이 된 요즘, 개발 비용의 단위가 조용히 바뀌고 있어요. 예전에는 개발자의 시간이 곧 비용이었다면, 이제는 '토큰'이 비용이거든요. 에이전트가 읽고 쓰는 모든 코드가 토큰으로 환산되어 과금되고, 컨텍스트 윈도우라는 한정된 작업 공간을 차지해요. "The age of token efficiency, the age of libraries"라는 글이 여기서 흥미로운 주장을 펼치는데요. AI가 코드를 무한정 짜주는 시대가 오면 라이브러리는 필요 없어질 거라는 통념과 정반대로, 토큰이 비용이 될수록 잘 만든 라이브러리의 가치는 오히려 올라간다는 거예요.

토큰이 뭐길래 비용이 될까요

토큰이 뭐냐면, LLM이 텍스트를 처리하는 최소 단위예요. 대략 영어 단어 하나가 토큰 한두 개쯤 되고, 코드도 똑같이 잘게 쪼개져서 처리돼요. AI 서비스 요금은 이 토큰 개수로 매겨지고요. 그런데 돈보다 더 중요한 게 있어요. 모델이 한 번에 기억할 수 있는 분량, 즉 컨텍스트 윈도우가 유한하다는 거예요. 에이전트가 작업을 하려면 관련 코드를 전부 읽어서 이 작업 공간에 올려야 하는데, 코드베이스가 장황할수록 공간이 빨리 차고, 공간이 차면 에이전트는 앞에서 본 내용을 잊고 길을 잃기 시작해요. 즉 장황한 코드는 매달 나가는 API 요금과 에이전트의 작업 품질, 양쪽에 다 청구서를 내미는 셈이에요.

라이브러리는 '토큰 압축 기술'이다

여기서 이 글의 핵심 통찰이 나와요. 잘 설계된 라이브러리의 함수 호출 한 줄은, 그 뒤에 있는 수백 수천 줄의 검증된 코드를 토큰 몇 개로 압축한 것과 같다는 거예요. 예를 들어 날짜 처리 라이브러리를 쓰면 호출 한 줄로 끝날 일을, 에이전트가 직접 구현하게 두면 수십 줄의 코드가 생성돼요. 그 순간의 생성 비용만 문제가 아니에요. 그 코드는 저장소에 남아서, 이후 에이전트가 그 파일을 건드릴 때마다 매번 다시 읽혀요. 한 번 짠 장황한 코드가 영구적인 토큰 세금이 되는 거죠. 게다가 직접 구현한 코드는 라이브러리만큼 두들겨 맞으며 검증된 게 아니니, 버그를 잡는 데 또 토큰이 들어가고요.

재미있는 건 학습 데이터 효과예요. React나 lodash처럼 인터넷에 예제가 넘쳐나는 유명 라이브러리는 모델이 이미 사용법을 외우고 있어서, 문서를 컨텍스트에 넣어줄 필요조차 없어요. 반면 갓 나온 프레임워크는 문서를 통째로 넣어줘야 하니 시작부터 토큰 핸디캡을 안고 가요. 유명한 라이브러리가 에이전트 시대에 더 유리해지는, 일종의 부익부 구조인 거예요.

"AI가 다 짜주는데 라이브러리가 왜 필요해?"에 대한 반론

사실 AI 코딩 붐 초기에는 반대 전망이 우세했어요. 코드 생성이 공짜에 가까워지면 남의 의존성을 들이는 대신 필요한 코드를 그때그때 만들어 쓰는 게 낫다는 논리였죠. 하지만 실무에서 에이전트를 오래 돌려본 사람들은 점점 다른 결론에 도달하고 있어요. 요즘 '컨텍스트 엔지니어링'이라는 말이 뜨는 것도 같은 맥락이에요. 에이전트의 성능은 결국 한정된 컨텍스트에 얼마나 밀도 높은 정보를 담느냐에서 갈리거든요. 라이브러리 문서를 AI가 읽기 좋게 정리해두는 llms.txt 같은 시도가 퍼지는 것도, 좋은 추상화가 곧 좋은 컨텍스트라는 인식이 자리 잡고 있다는 증거고요.

한국 개발자에게 주는 시사점

당장 실천할 수 있는 게 몇 가지 있어요. 첫째, 기술 스택을 고를 때 '에이전트 친화성'을 기준에 넣어보세요. 팀이 AI 도구를 적극적으로 쓴다면, 마이너한 최신 프레임워크보다 모델이 잘 아는 검증된 스택이 생산성에서 앞설 수 있어요. 둘째, 사내 공통 라이브러리에 투자할 명분이 생겼어요. 반복되는 패턴을 잘 추상화해두면 에이전트가 소비하는 토큰과 만들어내는 코드 양이 함께 줄거든요. 셋째, 오픈소스를 만들고 있다면 API 이름을 직관적으로 짓고 문서를 간결하게 유지하는 일이 이제 채택률과 직결돼요. 여러분 라이브러리의 다음 사용자는 사람이 아니라 에이전트일 확률이 높으니까요.

정리하면, 좋은 추상화는 원래 사람의 인지 부담을 줄여주는 도구였는데, 이제는 AI의 토큰 비용까지 줄여주는 이중의 무기가 됐다는 이야기예요. 여러분은 어떻게 보세요? 에이전트와 일하면서 "이 라이브러리는 AI가 유독 잘 쓰더라" 혹은 그 반대의 경험, 있으셨나요?