생성형 모델이 텍스트와 이미지를 넘어 실제 로봇을 제어하는 실험이 늘고 있다. 이번 비교는 OpenAI의 GPT-6 Astra와 Claude Fable 5.1(그리고 이전 버전인 Fable 5)에게 동일한 한 쌍의 YAM 로봇 팔을 맡기고, Inspect Robots가 정한 같은 에이전트 정책과 같은 두 가지 과제를 수행하게 한 결과다. 모델을 바꾸는 것 외에 하드웨어와 제어 정책, 채점 기준을 모두 고정했다는 점에서, 순수하게 '두뇌'의 차이를 보려는 설계에 가깝다.
두 과제는 난이도가 확연히 다르다. 첫 번째는 '테이블 위의 빨간 블록을 집어 그릇 안에 넣어라'는 비교적 단순한 집기·놓기 작업이고, 두 번째는 '가운데 손잡이가 달린 둥근 파란 퍼즐 조각을 집어 보드의 원형 홈에 맞춰 끼워라'는 정밀 삽입 작업이다. 전자가 대략적인 위치 파악과 파지(把持)만으로도 성공할 수 있다면, 후자는 조각과 홈을 정렬하고 힘의 미세 조정까지 요구한다.
단순 과제에서 벌어진 격차
블록-그릇 과제에서 격차는 컸다. Astra는 20번 중 19번 성공한 반면 Fable 5.1은 8번, 구버전 Fable 5는 단 1번에 그쳤다. 속도와 비용에서도 차이가 났다. Astra는 한 번의 시도에 평균 2.5분, Fable 5.1은 6.8분이 걸렸고, 추정 비용은 각각 실행당 0.94달러와 2.12달러였다. 출력 토큰은 Astra가 약 80% 적었다. 성공률·속도·비용이라는 세 축에서 모두 앞선 셈이다. 여기서 표시된 시간은 '생각하는 동안의 멈춤'을 제거한 실제 경과 시간이라는 점도 참고할 만하다.
다만 이 결과가 부풀려지지 않도록 실험 방식을 짚어둘 필요가 있다. 시도는 인터리브 방식의 블라인드 쌍(interleaved blinded pairs)으로 진행됐고, 각 시도는 사람 채점자가 도달한 최고 단계를 기준으로 점수를 매겼다. 즉 실패한 시도도 '어디까지 갔는지'를 기록하므로, 단순 성공/실패 이분법보다 세밀하게 능력을 드러낸다. 채점 루브릭은 앞선 Fable 보고서에서 바뀌지 않았다.
정밀 삽입 앞에서는 모두 무너졌다
반전은 퍼즐 과제에서 나왔다. Astra는 20번 중 2번, Fable 5.1도 20번 중 2번 성공에 그쳤다. 블록 과제에서 압도적이던 Astra가 여기서는 사실상 동률로 내려앉은 것이다. 설명에 따르면 Astra는 홈까지는 도달하지만 Fable과 똑같이 마지막 단계에서 멈춘다. 비용은 실행당 각각 1.36달러와 2.18달러로, 더 오래 시도한 만큼 블록 과제보다 높았다. 정렬과 삽입이라는 마지막 미세 동작이 현재 모델들의 공통된 벽임을 보여준다.
실무자가 읽어야 할 지점
한국의 로보틱스·제조 현장 실무자에게 이 실험이 주는 함의는 분명하다. 첫째, 대략적인 픽앤플레이스 수준의 작업이라면 최신 모델을 에이전트 정책과 결합해 유의미한 성공률과 비용 절감을 동시에 노릴 수 있는 단계에 접어들었다. Astra가 보인 속도·토큰 효율은 반복 작업의 단가를 실제로 낮출 여지를 시사한다. 둘째, 그러나 삽입·정렬처럼 힘과 위치의 미세 제어가 핵심인 공정에서는 모델 세대 교체만으로 문제가 풀리지 않는다. 홈에 닿고도 마지막 한 스텝을 넘지 못하는 현상은 언어·추론 능력의 향상이 곧바로 물리적 정밀도로 이어지지 않는다는 점을 드러낸다.
마지막으로 이 결과를 일반화할 때는 조건을 함께 봐야 한다. 특정 YAM 팔, 특정 에이전트 정책, 단 두 개의 과제, 각 20회라는 표본이라는 제한된 설정 안의 수치이며, 비용 또한 추정치다. 벤더 간 성능 서열을 확정하기보다는, 작업 유형에 따라 모델 선택의 유불리가 극단적으로 갈릴 수 있다는 사실을 확인하는 자료로 읽는 편이 안전하다. 단순 조작은 이미 실용의 문턱에 다가섰지만, 정밀 삽입은 여전히 다음 세대의 숙제로 남아 있다.