칩 레이아웃만 주고 "역설계하라": 제인스트리트의 ASIC 퍼즐이 던지는 질문

제인스트리트(Jane Street)가 하드웨어 실무자들을 겨냥한 새로운 역설계 퍼즐을 공개했다. 올해 초 완성된 신경망을 통째로 주고 그것이 무슨 일을 하는지 알아내게 했던 퍼즐이 좋은 반응을 얻자, 이번에는 기술 스택을 훨씬 더 아래로 내려갔다. 직접 설계한 ASIC(주문형 반도체)의 최종 마스크, 즉 레이아웃만 던져주고 그 칩이 도대체 무엇을 하는지 밝혀내라는 것이다. 정답 제출 마감은 2026년 9월 4일이다.

칩은 어떻게 코드에서 실리콘이 되는가

퍼즐의 맥락을 이해하려면 칩이 만들어지는 과정을 떠올릴 필요가 있다. 현대의 칩은 코드로 시작한다. 하드웨어 설계자는 Verilog 같은 하드웨어 기술 언어(HDL)로 회로를 서술하고, 이는 합성(synthesis)을 거쳐 NAND, NOR, XOR, 플립플롭 같은 논리 게이트들의 넷리스트(netlist)로 변환된다. 이어 EDA(전자 설계 자동화) 툴이 배치와 배선(place and route)을 수행한다. 다이 위에 모든 게이트의 물리적 위치를 정하고, 여러 층으로 쌓인 라우팅 레이어를 비아(via)로 연결하며 금속 배선을 그린다.

이 모든 과정의 결과물이 GDS 파일이다. 실제 논리를 수행하는 트랜지스터부터 그 위에 얹힌 금속 배선까지, 칩의 모든 레이어에 있는 모든 폴리곤을 기하학적으로 기술한 파일이다. 인텔이나 TSMC 같은 파운드리가 실제 실리콘을 찍어낼 때 쓰는 바로 그 파일이기도 하다. 제인스트리트의 표현을 빌리면 GDS는 매우 실질적인 의미에서 "칩 그 자체"다. 회로가 하는 모든 일이 그 안에 담겨 있다. 다만 결정적인 함정이 하나 있다. 아무것도 라벨이 붙어 있지 않다는 점이다.

세 겹의 과제

참가자에게 주어지는 것은 칩의 최종 마스크, 즉 모든 금속층과 라우팅, 활성 트랜지스터 레이어, 그리고 몇 개의 샘플 입력과 출력이다. 과제는 세 겹으로 겹쳐 있다. 먼저 레이아웃에서 넷리스트를 복원해야 한다. 그다음 그 회로가 실제로 무슨 목적을 가진 것인지 알아내야 한다. 마지막으로 칩이 하는 일을 이해한 뒤에는, 그 이해를 이용해 칩이 찾고 있는 출력을 끌어내고 최종 정답에 해당하는 문자열 값을 찾아내야 한다. 회로 구조를 복원하는 것과 그 구조의 의미를 해석하는 것, 그리고 그 의미를 다시 활용하는 것이 별개의 층위로 분리되어 있는 셈이다.

처음 GDS 파일을 열어본 사람이 드물다는 점을 감안해, 제인스트리트는 간단한 워밍업 예제를 함께 제공한다. 단순한 이진 가산기의 Verilog 소스와 게이트 수준 넷리스트, 그리고 그 결과 GDS를 묶어둔 것으로, 회로가 레이아웃에 어떻게 대응되는지 익히고 자신이 만든 툴을 실제 퍼즐에 들이대기 전에 검증하는 용도다. 필요한 것은 모두 무료 오픈소스로 해결된다. 설계는 오픈소스 PDK를 사용했고, KLayout이나 Magic VLSI 같은 툴로 GDS를 열어 레이어를 뜯어볼 수 있다.

AI 사용 경계와 협업 규칙

규칙에는 AI 사용에 대한 명확한 선이 그어져 있다. 퍼즐 파일을 AI 툴에 직접 넣거나 AI로 풀이 글을 생성하는 것은 금지된다. 다만 풀이 과정에서 필요한 스크립트나 코드를 AI로 작성하는 것은 허용되며, 워밍업 퍼즐을 AI로 풀어보는 것도 문제 삼지 않는다. 친구와의 협업은 자유지만, 제출 마감 전까지는 스포일러나 전체 풀이를 온라인에 올리지 말아 달라고 당부한다. 마감 이후 개인 블로그나 저장소에 풀이를 공개하고 이메일로 알리면 후속 글에 링크로 실릴 수 있다.

실무자에게 갖는 의미

이 퍼즐은 단순한 지적 유희 이상의 신호를 담고 있다. 제인스트리트의 하드웨어 팀은 세계에서 가장 빠른 트레이딩 시스템을 돌리는 FPGA와 ASIC을 설계하며, 게이트의 바다나 타이밍 리포트, 파형을 들여다보며 실제로 무슨 일이 벌어지는지 조금씩 풀어내는 것이 일상 업무라고 말한다. 역설계는 곧 그 일상의 축약판인 셈이다. 국내 반도체·하드웨어 실무자에게 이 퍼즐은 레이아웃에서 넷리스트를 추출하는 툴 체인, 게이트 패턴 인식, 회로 의미 추론이라는 세 가지 역량을 오픈소스 환경에서 실습해볼 수 있는 드문 기회다. 특히 IP 보호나 하드웨어 보안, 공급망 검증을 고민하는 이들에게는 "라벨 없는 실리콘에서 무엇을 얼마나 복원할 수 있는가"라는 질문이 실무적으로 와닿을 것이다.

다만 한계도 분명히 해둘 필요가 있다. 이번 과제는 오픈소스 PDK 기반의 단일 칩이고 샘플 입출력까지 제공되는 통제된 환경으로, 상용 첨단 공정에서 이뤄지는 실제 역설계의 난이도나 물리적 디캡·이미징 과정과는 거리가 있다. 즉 이 퍼즐이 곧바로 상용 칩 역설계 능력을 증명하는 것은 아니다. 제인스트리트는 이번 퍼즐을 그 자체로 하나의 워밍업이라 부르며, 올해 후반에는 역설계가 아니라 직접 칩을 설계하는 대회를 열고 가장 흥미로운 출품작은 실제로 제작해 실물로 테스트하게 하겠다고 예고했다. 반도체를 소프트웨어처럼 다뤄보고 싶은 이들에게는 다음 무대를 미리 가늠해볼 만한 예고편이다.