AI 모델을 고를 때 '어느 모델이 더 똑똑한가'라는 질문은 갈수록 답하기 어려워지고 있다. 모델 수가 급증하고 기능이 상향 평준화되면서, 단일 점수 하나로 우열을 가리던 시대가 저물고 있기 때문이다. 독립 벤치마크 기관인 Artificial Analysis가 공개한 에이전트 지수(agentic index) 순위에서 Qwen3.8 Max가 종합 1위로 올라섰다는 소식은, 특정 모델의 승리라는 표면적 사실보다 '무엇을, 어떻게 측정하는가'가 순위를 결정한다는 점에서 실무자들이 주목할 만하다.
지능 지수는 하나의 숫자가 아니다
Artificial Analysis의 인텔리전스 인덱스(Intelligence Index) v4.1.1은 단일 시험이 아니라 여러 평가를 가중 합산한 복합 지표다. 여기에는 실제 경제 활동을 모사한 GDPval-AA v2, 은행 업무 시나리오를 다룬 τ³-Banking, 터미널 환경의 소프트웨어 작업을 다루는 Terminal-Bench v2.1, 과학 코딩 과제인 SciCode, 그리고 HLE(Humanity's Last Exam), GPQA Diamond, CritPt, AA-Omniscience, AA-LCR 등이 포함된다. 각 평가는 서로 다른 능력을 건드리기 때문에, 하나의 총점이 아니라 어떤 축에서 강한지를 봐야 실제 업무에 대응시킬 수 있다.
주목할 점은 채점 방식 자체가 계속 갱신된다는 것이다. 이번 버전에서는 τ³-Banking이 v1.0.1로 올라갔고, HLE·AA-LCR·AA-Omniscience의 채점기(grader)가 상위 모델로 교체됐다. 즉 같은 모델이라도 측정 도구가 바뀌면 점수가 달라질 수 있으며, 벤치마크 순위는 특정 시점의 스냅샷이라는 사실을 전제로 읽어야 한다.
에이전트 지수와 환각 측정
에이전트 지수는 장기 과제를 수행하는 실제 업무 능력을 Elo 점수 기반으로 환산한다. 원문 설명에 따르면 이 지표는 (Elo-500)/2000 형태로 정규화되며, 스프레드시트·프레젠테이션·메모 같은 산출물을 만들어내는 장기 지식 노동을 평가하는 AA-Briefcase 같은 세부 지표와 연결된다. 단발성 질의응답이 아니라 '일을 끝까지 해내는' 능력을 보려는 시도다.
특히 실무 관점에서 유용한 것은 AA-Omniscience 지수다. 이 지표는 정답에 보상을 주고 환각(잘못된 자신감)에는 감점을, 답변 거부에는 벌점을 주지 않는 방식으로 설계됐다. 점수는 -100에서 100 사이이며, 0은 맞힌 만큼 틀렸다는 뜻이고 음수는 오답이 더 많다는 의미다. 사실 신뢰성이 중요한 문서 작업이나 고객 대응에서는 총점이 높은 모델보다 이 지표가 안정적인 모델이 더 나은 선택일 수 있다.
비용과 속도, 그리고 제공자 편차
Artificial Analysis는 지능뿐 아니라 실제 운용 비용도 함께 제시한다. 인텔리전스 인덱스 과제 하나당 비용은 입력·캐시 적중·캐시 기록·추론·응답 토큰 가격을 모두 반영해 가중 평균으로 계산되며, 과제당 토큰 소모량과 출력 속도(초당 토큰 수)도 별도로 측정된다. 같은 지능이라도 답을 내기까지 소모하는 토큰과 시간이 다르면 총소유비용은 크게 벌어진다. 추론을 길게 하는 모델일수록 정확도는 오르지만 비용과 지연이 함께 늘어나는 구조이기 때문이다.
또 하나 실무적으로 중요한 대목은 같은 모델이라도 API 제공자에 따라 품질이 달라질 수 있다는 점이다. Artificial Analysis는 각 제공자 엔드포인트에서 BFCL v4-500, HLE-250, AA-LCR-25 등을 다시 돌려 기준 대비 정확도를 얼마나 보존하는지를 백분율로 측정한다. 100은 기준과 동일함을 뜻하고, 낮은 값은 양자화나 샘플링 기본값 같은 엔드포인트 설정 때문에 정확도가 손실됐음을 시사한다. 신생·소규모 제공자가 높은 출력 속도와 경쟁력 있는 가격을 내세우는 흐름 속에서, 가격표만 보고 계약하기 전에 품질 보존 여부를 확인해야 하는 이유다.
순위표를 실무에 옮길 때의 한계
결국 이런 순위표는 출발점이지 결론이 아니다. 벤치마크의 능력이 대체로 실제 사용 사례로 이어지긴 하지만, 특정 업무에는 특정 평가가 더 적합하다는 점을 원문도 명시하고 있다. 코딩 에이전트를 도입하려면 종합 지능 지수보다 Terminal-Bench나 코딩 에이전트 평가를, 사실 정확도가 관건이라면 Omniscience를 우선 봐야 한다. 특정 모델이 종합 1위라는 헤드라인은 참고 지표일 뿐, 자신의 워크로드·비용·지연 요구를 기준으로 후보를 좁힌 뒤 실제 데이터로 검증하는 과정은 여전히 대체 불가능하다.