AI 에이전트 비용도 무어의 법칙처럼 떨어질까? 토비 오드의 분석

무어의 법칙은 끝났는데, AI 비용은 어떻게 될까

옥스퍼드 대학의 철학자이자 미래 연구자인 토비 오드(Toby Ord)가 흥미로운 분석을 내놨어요. AI 에이전트, 그러니까 ChatGPT처럼 단발성 답변을 주는 게 아니라 여러 단계에 걸쳐 스스로 생각하고 도구를 쓰면서 작업을 수행하는 AI의 시간당 비용이 어떻게 변하고 있는지 추적한 글입니다. 결론부터 말하면, AI의 능력은 기하급수적으로 좋아지고 있는데, 한 시간 일을 시키는 비용도 같이 올라가고 있다는 거예요.

왜 지금 이 분석이 중요하냐면, METR이라는 평가 기관이 "AI가 인간 수준으로 수행할 수 있는 작업의 길이가 7개월마다 두 배씩 늘어난다"는 무서운 통계를 발표했거든요. 즉 지금 AI가 1시간짜리 작업을 처리할 수 있다면, 7개월 뒤엔 2시간, 14개월 뒤엔 4시간짜리 작업을 처리한다는 뜻이에요. 그럼 자연스러운 질문이 따라옵니다. "그래서 그게 얼마나 들어요?"

시간당 비용의 두 얼굴

오드는 두 가지 비용을 구분해서 봐야 한다고 짚어요. 첫째는 '토큰당 비용' 인데, 이건 분명히 떨어지고 있어요. 같은 모델 기준으로 보면 1년에 약 10배씩 싸지고 있다는 통계도 있죠. GPT-4가 처음 나왔을 때와 지금의 가격을 비교해보면 깜짝 놀랄 정도로 떨어졌어요.

그런데 둘째, '한 시간 일을 시키는 데 드는 비용' 은 얘기가 달라집니다. 왜냐하면 더 똑똑한 모델은 더 많이 생각하거든요. Reasoning 모델(o1, o3, Claude의 extended thinking 같은 거요)은 답을 내기 전에 머릿속으로 엄청나게 많은 토큰을 소비해요. 사람이 '음... 이건 이렇고, 저건 저렇고...' 하고 혼잣말로 추론하는 걸 글로 다 적는다고 생각하시면 돼요. 그러니 토큰 단가가 떨어져도 사용량이 폭발적으로 늘어나서 결국 시간당 청구액은 오히려 올라가는 상황이 벌어집니다.

구체적인 숫자

오드의 추정에 따르면, 현재 최첨단 에이전트 모델을 1시간 동안 풀로 돌리면 대략 수십 달러 단위의 비용이 나와요. 그리고 이 비용은 모델이 더 길고 복잡한 작업을 처리할 수 있게 될수록 선형이 아니라 지수적으로 증가할 가능성이 있다는 게 그의 주장이에요. 왜냐하면 작업이 길어지면 컨텍스트도 커지고, 중간 추론 단계도 늘어나고, 도구 호출도 많아지니까요.

쉽게 비유하면 이래요. 신입 개발자에게 "버튼 색 바꿔주세요" 시키면 5분이면 끝나죠. 근데 "새 결제 시스템 설계해주세요" 하면 며칠씩 걸리고, 그 며칠 동안 회의도 하고 문서도 읽고 동료한테 물어보고 하잖아요? AI도 똑같아요. 일이 커지면 "생각하는 시간" 자체가 비선형적으로 늘어납니다.

그럼 AGI는 정말 싸질까

많은 사람들이 "AI가 결국 사람보다 싸질 것"이라고 막연히 생각하는데, 오드는 여기에 의문을 제기해요. 만약 AI 에이전트가 인간 1명의 1시간 노동을 대체하는 데 드는 비용이 인간 시급보다 비싸다면, 경제적 대체는 일어나지 않거든요. 미국 평균 시급이 30~40달러 정도인데, AI 에이전트 시간당 비용이 그걸 넘어서면 "왜 굳이?" 가 됩니다.

물론 AI는 24시간 일하고, 동시에 1000개를 굴릴 수도 있고, 휴가도 안 가니까 단순 시급 비교는 부정확해요. 그래도 '시간당 비용 곡선'이 어떻게 움직이느냐는 향후 5년 AI 경제의 핵심 변수라는 게 오드의 메시지입니다.

비슷한 논의들

이 주제는 a16z, Epoch AI, METR 같은 곳에서도 비슷한 분석을 내놓고 있어요. Epoch는 "훈련 비용은 매년 2.4배씩 증가 중"이라는 보고서를 냈고, a16z는 추론 비용 폭락 트렌드를 강조하죠. 토비 오드의 글은 이 둘 사이에서 "개별 토큰은 싸지만 작업당 비용은 비싸진다"는 미묘한 균형점을 짚어줘요.

한국 개발자에게 주는 시사점

사내에서 AI 에이전트 도입 검토하는 분들이 많을 텐데, "API 가격표만 보고 ROI 계산하면 큰일납니다." 실제로 Cursor, Devin, Claude Code 같은 도구를 도입해보면 토큰 사용량이 예상보다 5~10배는 더 나오는 경우가 많아요. 특히 reasoning 모델 켜면 더 그렇고요. 도입 전에 PoC 단계에서 실제 워크로드를 한두 주 돌려보고 진짜 비용을 측정한 뒤 결정하시는 걸 강력 추천드립니다.

그리고 비용 최적화 관점에서는 "언제 큰 모델을 쓰고 언제 작은 모델을 쓸지" 라우팅 전략이 점점 중요해지고 있어요. 모든 작업에 GPT-5나 Opus를 박을 게 아니라, 단순 작업은 Haiku나 Mini 모델로 처리하는 식의 계층 설계가 비용을 크게 좌우합니다.

마무리

AI는 똑똑해지면서 동시에 비싸지고 있어요. 무어의 법칙이 그랬던 것처럼 "무한히 싸질 거야"라는 낙관은 위험할 수 있다는 게 오드의 경고입니다.

여러분 회사나 팀에서는 AI 에이전트 시간당 비용을 어떻게 관리하고 계세요? 비용이 어느 선을 넘어가면 "이건 사람한테 시키는 게 낫겠다" 싶은 임계점이 있으신가요?