AI 모델의 성능을 비교하는 벤치마크는 산업이 성숙할수록 역설적인 문제에 부딪힌다. 널리 쓰이는 지표일수록 각 연구소가 그 지표에 맞춰 모델을 최적화할 유인이 커지고, 결국 점수는 실제 능력이 아니라 '시험 잘 보는 요령'을 반영하게 된다. Artificial Analysis가 자사 Intelligence Index를 v4.2로 끌어올리며 내놓은 변경 사항들은 바로 이 딜레마에 대한 대응이다. 이번 업데이트는 예정된 v5의 일부 요소를 앞당긴 중간 버전으로, 최근 몇 주 사이 프런티어 모델 경쟁이 급격히 빨라지자 지표의 현실성을 유지하기 위해 서둘러 내놓았다는 것이 개발사의 설명이다. Index v4는 올해 1월에 출시됐으니, 약 8개월 만의 손질인 셈이다.
무엇을 넣고 무엇을 뺐나
v4.2의 핵심은 과제의 난이도와 현실성을 높이고, 채점 데이터의 상당 부분을 비공개로 돌린 것이다. 새로 추가된 AA-Briefcase는 자체 제작한 비공개 평가로, 업계 전문가들이 설계한 복잡한 프로젝트 안에서 에이전트형 지식노동 과제를 다룬다. 단발성 질문이 아니라 수천 개의 원본 소스 파일과 여러 개의 연결된 하위 과제로 이뤄진 '수 주짜리' 업무를 모델이 처리하도록 하고, 검증 가능한 과제 성공 여부, 분석의 질, 결과물의 표현 품질을 루브릭 채점과 쌍대(pairwise) 비교로 함께 평가한다. 또 다른 신규 항목인 GDP.pdf는 Surge AI가 만든 것으로, 10개 도메인에 걸친 100개 PDF, 총 4,592쪽에 흩어진 텍스트·표·차트·각주·예외 조항을 종합해야 답을 낼 수 있는 장문 문서 추론 시험이다. 전문가가 작성한 1,275개의 원자적 채점 기준으로 평가하되, 대표 지표인 'All-pass Rate'는 한 과제의 모든 기준을 빠짐없이 충족했을 때만 점수를 준다. 반대로 과학 추론 평가로 정평이 났던 GPQA Diamond는 상위 모델들이 사실상 만점에 수렴(포화)해 변별력을 잃었다는 이유로 제외됐다.
커닝을 막는 구조적 장치
이번 개편에서 가장 실무적으로 의미 있는 변화는 채점 데이터의 비공개 비중이다. Index 가중치의 40%가 이제 외부에 공개되지 않는 held-out 테스트셋에서 나오는데, 이는 v4.1의 두 배에 해당한다. AA-Briefcase, AA-Omniscience, 그리고 CritPt의 정답 데이터가 여기 포함된다. 정답과 문항이 공개돼 있으면 학습 데이터에 스며들거나 특정 지표에 과최적화될 위험이 있는데, 이를 구조적으로 차단하려는 설계다. 개발사는 v5에서 이 비공개 비율을 더 높이겠다고 예고했다. 채점 인프라도 손봤다. AA-LCR v1.1에는 채점용 시스템 프롬프트를 추가하고 정답표의 오류와 모호함을 바로잡았으며, GDPval-AA v2와 AA-Briefcase에서는 샘플링을 개선하고 Elo 척도를 재조정해 새 모델이 추가돼도 순위가 흔들리지 않도록 했다. SciCode에서는 채점 샌드박스를 보강해 '느리지만 정답인 코드'가 실패로 처리되지 않게 바로잡았다. 벤치마크의 신뢰도가 문항뿐 아니라 채점 파이프라인의 견고함에서 나온다는 점을 보여주는 대목이다.
순위표가 말해주는 것
v4.2 기준 종합 1위는 Anthropic의 Claude Fable 5.1이며, 2위는 OpenAI의 GPT-6 Astra로 이전 세대 GPT-5.6 Sol 대비 4점 올랐다. 그 뒤를 Meta가 3위로 잇고 SpaceXAI, Moonshot/Kimi, Z.AI, Google이 이어진다. 세부 항목을 뜯어보면 강점이 갈린다. AA-Briefcase에서는 Claude Fable 5.1과 Opus 5가 선두이고 GPT-6 Astra, Muse Spark 1.3이 뒤따르는데, GPT-6 Astra는 전작 대비 약 85 Elo 점수의 큰 폭 상승을 보였다. 반면 GDP.pdf 장문 문서 추론에서는 OpenAI가 우위로, GPT-6 Astra 33.2%, GPT-5.6 Sol 28.2%에 이어 Claude Fable 5.1이 26.2%를 기록했다. 다만 이 최고 점수조차 30%대 초반이라는 사실은, 수천 쪽 문서를 빠짐없이 종합하는 과제가 최신 모델에도 여전히 어렵다는 방증이다.
비용과 효율 측면도 눈여겨볼 만하다. Cost per Task 파레토 프런티어에는 Anthropic, OpenAI, Meta, Z.AI 네 곳이 자리했고, 출력 토큰 효율에서는 GPT-6 Astra가 지능 프런티어 인근의 거의 모든 모델보다 앞섰다. 다만 별도 분석에 따르면 GPT-6 Astra는 GPT-5.6 Sol보다 적은 토큰으로 비슷한 성능을 내면서도 더 높은 가격 탓에 그 효율 이점이 상쇄된다. 토큰 수와 실제 청구 비용은 별개라는, 실무자가 놓치기 쉬운 지점이다.
실무자가 참고할 점과 한계
한국 IT 실무자 입장에서 이번 개편의 함의는 분명하다. 단일 종합 점수만 보고 모델을 고르는 방식이 점점 부적절해진다는 것이다. 지식노동 자동화가 목적이라면 AA-Briefcase 계열 지표를, 방대한 사내 문서 분석이 목적이라면 GDP.pdf 같은 장문 추론 지표를 따로 봐야 하며, 여기에 과제당 비용까지 겹쳐 봐야 실제 도입 판단이 선다. 다만 유의할 한계도 있다. 비공개 테스트셋 비중이 커진 만큼 외부에서 결과를 재현하거나 검증하기가 어려워졌고, 평가 주체 한 곳의 방법론에 대한 의존도가 높아진다. 또한 이번 순위에 등장하는 모델명 상당수는 아직 시장에서 검증 이력이 짧은 최신·프런티어 급이므로, 벤치마크 상의 우열이 특정 워크로드에서의 우열로 그대로 이어진다고 단정하기는 이르다. 개발사도 v4.2를 v5로 가는 중간 단계로 규정한 만큼, 지금의 순위는 고정된 결론이 아니라 빠르게 움직이는 프런티어의 한 단면으로 읽는 편이 안전하다.