AVX-512로 지그재그 디코딩을 초고속으로 처리하는 법

지그재그 인코딩은 부호 있는 정수를 작은 양수로 매핑해 varint·프로토버프 같은 압축 포맷에서 음수를 효율적으로 다루는 핵심 기법입니다. 디코딩 자체는 (n >> 1) ^ -(n & 1)로 한 줄이면 끝나지만, 메시 압축처럼 수백만 개의 값을 풀어야 하는 상황에서는 이 단순한 연산조차 병목이 됩니다. 이 글은 meshoptimizer 저자가 AVX-512의 SIMD 명령으로 한 번에 여러 정수를 병렬 처리해 디코딩 처리량을 크게 끌어올리는 과정을 다룹니다. 핵심 인사이트는 두 가지입니다. 첫째, 단순 시프트와 XOR도 대량 데이터에서는 벡터화로 배수 단위 성능 향상이 가능하다는 점. 둘째, AVX-512의 마스크 레지스터와 폭넓은 레인 폭을 활용하면 분기 없이 깔끔하게 처리해 CPU 파이프라인을 최대로 활용할 수 있다는 점입니다. 저수준 최적화가 실제 데이터 로딩·렌더링 성능에 어떻게 직결되는지 보여주는 좋은 사례로, 성능에 민감한 시스템·게임 엔진 개발자라면 참고할 만합니다.