OpenAI가 지난 몇 년간 조용히 개발해 온 자체 설계 추론 전용 칩 '할라피뇨(Jalapeño)'가 핫칩스(Hot Chips) 행사에서 공개됐다. 이미 테이프아웃 성공 소문이 돌던 칩으로, 이번에 브로드컴과의 협력으로 진행된 프로그램의 실체가 드러났다. OpenAI는 2024년 중반부터 LLM 추론만을 목표로 백지 상태에서 설계를 시작했고, 팀 구성부터 제조용 테이프아웃까지 약 16개월이라는 이례적으로 짧은 기간에 도달했다. 통상 1세대 칩은 경쟁력이 떨어진다는 통념과 달리, OpenAI는 하드웨어와 소프트웨어를 긴밀하게 함께 설계하는 방식으로 여러 대표 오픈소스 모델에서 엔비디아·AMD·구글 칩을 앞서는 결과를 냈다고 한다. 이 짧은 개발 주기 자체가, AI를 칩 설계에 활용해 개발 속도를 끌어올린다는 주장이 실제로 작동하고 있음을 보여주는 사례로 읽힌다.
특화 칩이 아니라 범용 추론 칩
언론 보도의 상당수는 OpenAI 관계자의 짧은 언급을 근거로 '이 칩은 OpenAI 모델에 특화됐다'고 전했지만, 실제 성격은 그 반대에 가깝다. 할라피뇨는 특정 추론 구간에 과도하게 특화하지 않고 다양한 모델과 워크로드에서 고르게 높은 성능을 내는 범용 추론 칩으로 설계됐다. 실제로 OpenAI는 벤치마크 스위트를 자사 엔지니어와 함께 랩에서 돌려 보였고, 농담 삼아 Codex 프롬프트만으로 이식한 '둠(Doom)'을 칩 위에서 구동해 보이기도 했다. 저지연 시나리오뿐 아니라 고처리량 시나리오에서도 강점을 보인다는 점이 이 범용 지향 설계의 핵심 논리다.
성능 지표에서 가장 눈에 띄는 것은 전력당 토큰 처리량이다. 할라피뇨는 멀티 토큰 예측(MTP)을 쓰지 않은 상태에서, MTP를 적용한 경쟁 칩들의 최적 구성을 상대로 MW당 처리량에서 앞섰다. 투기적 디코딩(speculative decoding)이나 프리필-디코드 분리도 없이 얻은 결과라는 점이 강조된다. 저동시성 구간에서는 DeepSeek R1 모델을 동시성 1에서 사용자당 초당 700토큰 넘게 처리했고, Kimi-K2.5와 GPT-OSS도 함께 시연됐는데 GPT-OSS는 사용자당 약 1,400토큰/초 수준을 기록했다. GSM8k 평가에서도 엔비디아 칩과 대등한 정확도를 확인했다고 한다.
비교 대상은 블랙웰이 아니라 루빈
다만 이 수치들에는 분명한 단서가 붙는다. 모든 수치는 OpenAI가 제공한 것이며, 벤치마크 실행 자체는 랩에서 직접 확인했지만 전체 스위트를 돌리거나 장문·멀티턴 특성을 반영하는 에이전트형 벤치마크(AgentX) 결과는 보지 못했다. 시연된 워크로드는 8k1k 형태로, 실제 프로덕션에서 라우터나 프리픽스 캐시 같은 구성요소를 압박하는 부하와는 거리가 있어 상대적으로 튜닝하기 쉬운 조건이다. 또한 블랙웰과의 비교는 다소 불완전하다. 할라피뇨처럼 HBM4를 쓰는 엔비디아 루빈이 실질적 경쟁 상대인데, 베라 루빈 시스템은 이미 고객에게 출하되기 시작한 반면 할라피뇨는 아직 엔지니어링 샘플 단계다. 테스트된 모델들도 최전선 최신 모델은 아니어서, 엔비디아·AMD가 더 크고 최신인 모델로 공개한 결과와는 조건이 다르다.
그럼에도 루빈과의 비교에서 의미가 있다. OpenAI는 단일 토큰 예측(STP)만으로, 엔비디아와 CoreWeave가 7월에 공개한 베라 루빈의 MTP 기반 MW당 출력 처리량을 넘어섰다. 두 칩 모두 초기 성숙 단계라 성능은 계속 오를 여지가 있다. TCO 관점에서는 달러당 출력 토큰 수가 베라 루빈과 거의 대등한데, 여기서 루빈은 투기적 디코딩을 썼고 할라피뇨는 쓰지 않았다는 점이 중요하다. 투기적 디코딩은 토큰당 비용을 약 3~5배 낮추므로, 할라피뇨에 이를 적용하면 비용 효율이 더 개선될 여지가 있다. 물론 이 우위의 일부는 엔비디아의 높은 마진을 브로드컴의 상대적으로 낮은 마진으로 대체한 데서 나오지만, 오래 매달리고도 궤도에 오르지 못한 메타·마이크로소프트의 ASIC 프로그램을 보면 비용만이 전부가 아님을 알 수 있다.
왜 전력당 성능인가
OpenAI가 전력당 성능을 최우선으로 설계한 이유는 명확하다. 현재 제약은 예산이나 부지가 아니라 데이터센터 전력이기 때문이다. MW당 토큰이 곧 매출과 직결되며, watt가 초당 joule인 만큼 tok/s/MW는 결국 joule당 토큰, 즉 에너지를 토큰으로 바꾸는 효율을 나타낸다. 전력은 GPU를 추가하는 속도와 전력망 용량을 늘리는 속도가 근본적으로 다르기 때문에 단순히 더 확보할 수 있는 자원이 아니다. 이 격차가 가스터빈이나 현장 발전기를 데이터센터에 직접 두는 '미터 후단(BtM)' 전력의 수요를 낳고 있으며, xAI의 콜로서스 2가 여기에 크게 의존하는 이유이기도 하다.
아키텍처 측면에서 OpenAI는 프리필과 디코드를 별도 칩 풀로 분리하지 않는 길을 택했다. 드래프트 모델과 메인 모델이 같은 칩과 패브릭을 공유하는 방식으로, 이론적 효율 일부를 포기하는 대신 운영 유연성을 얻는다. 지식·추론·에이전트로 이어진 모델 시대 전환 속에서 입력·캐시·출력 토큰의 비율이 크게 바뀌어 왔기 때문에, 프리필용과 디코드용 실리콘 비율을 미리 고정하면 시간이 지나며 비효율이 생긴다. 그래서 균질한 풀을 두고 모든 상황에서 고르게 잘 돌아가게 만드는 쪽을 선택했다. 실제로 Cursor Composer 2.5의 기반인 Kimi K2.5에서 사용자당 100토큰/초 구간 기준 차순위 칩의 9배가 넘는 처리량을, GPT-OSS에서는 GB200의 최고 처리량 지점의 약 두 배에 달하는 결과를 보였다.
이 모든 결과가 프로그램 시작 9개월 만의 A0 스테핑에서 나왔다는 점도 주목할 만하다. 이미 팹에는 A0 대비 전력당 성능을 약 25% 끌어올린 B0 스테핑이 들어가 있다. B0는 TSMC N3P 공정의 레티클 크기 단일 컴퓨트 다이에서 MXFP4 기준 13.4 PFLOPs를 내는데, 비슷한 크기·동일 노드의 루빈 컴퓨트 다이가 조밀 NVFP4로 17.5 PFLOPs를 내는 것과 비교된다. 다만 할라피뇨의 TDP는 700W로 루빈의 900~1,150W보다 낮아, 추론 지향 칩으로서 전력당 효율을 우선한 설계 방향과 부합한다. 오프패키지 I/O는 N3E I/O 칩렛과 800G SerDes 32레인으로 구성되고, HBM4를 채택해 패키지당 15.4TB/s 대역폭을 확보했다. 이는 핀 속도 10Gbps에 해당하는 수치로, 루빈이 얻는 9.6Gbps HBM4를 근소하게 앞선다. 결국 할라피뇨의 진짜 시험대는 장문·멀티턴 에이전트형 워크로드가 될 것이며, 그 결과가 나오기 전까지 이 칩의 실전 경쟁력은 아직 절반만 증명된 셈이다.