GPU 커널을 러스트로, 데이터 경쟁 없이 — 엔비디아의 cuTile Rust

GPU 프로그래밍은 왜 이렇게 무서울까

요즘 AI 붐 덕분에 GPU로 직접 계산 코드를 짜는 일이 많아졌어요. 그런데 GPU 커널(GPU에서 돌아가는 작은 프로그램을 이렇게 불러요)을 직접 짜본 분들은 알 거예요. 이게 정말 까다롭고 무섭거든요. 엔비디아 연구소(NVIDIA Labs)에서 이 고통을 덜어주려고 'cuTile Rust(cutile-rs)'라는 걸 공개했는데요, 한마디로 '러스트(Rust) 언어로 안전하고 데이터 경쟁 없는 GPU 커널을 짜자'는 프로젝트예요.

기존 GPU 코드가 위험한 이유

GPU가 빠른 비결은 작은 일꾼(스레드) 수천 개를 동시에 굴리는 거예요. CUDA C++로 커널을 짤 때, 개발자는 이 수천 개의 일꾼 하나하나가 '내가 전체 데이터 중 몇 번째 칸을 처리할지'를 직접 계산해서 알려줘야 해요. 인덱스 계산을 한 칸이라도 틀리면 엉뚱한 메모리를 건드리고, 그게 조용히 잘못된 결과를 뱉거나 프로그램을 터뜨려요.

여기에 '데이터 경쟁(data race)'이라는 더 무서운 놈이 있어요. 이게 뭐냐면, 여러 일꾼이 같은 메모리 칸을 동시에 읽고 쓰려고 달려들 때 생기는 사고예요. 누가 먼저 쓰느냐에 따라 결과가 매번 달라지는데, 문제는 이게 '재현이 안 되는 버그'라는 거예요. 어쩌다 한 번 터지고, 디버거를 붙이면 또 멀쩡하고... GPU 개발자들이 머리를 쥐어뜯는 가장 큰 이유가 바로 이거예요. 게다가 일꾼들끼리 박자를 맞추는 '동기화'를 한 군데라도 빠뜨리면 곧장 이 경쟁으로 이어지고요.

'타일' 단위로 생각한다는 발상

cuTile의 핵심 아이디어는 '타일(tile) 기반 프로그래밍'이에요. 이게 뭐냐면, 일꾼 하나하나를 신경 쓰는 대신 데이터를 '타일'이라는 네모난 덩어리 단위로 묶어서 다루자는 거예요. '이 타일과 저 타일을 곱해라' 같은 식으로 덩어리 단위 명령을 내리면, 수천 개 스레드에 일을 어떻게 쪼개 나눠줄지는 컴파일러가 알아서 처리해줘요.

이 발상이 아주 새로운 건 아니에요. 오픈AI가 만든 '트리톤(Triton)'이 이 타일 방식으로 GPU 커널 짜기를 확 쉽게 만들어서 널리 쓰이게 됐거든요. 복잡한 스레드 인덱스 계산을 직접 안 해도 되니까, 연구자들이 새로운 AI 연산을 훨씬 빠르게 실험할 수 있게 됐죠. cuTile은 엔비디아가 직접 미는 타일 방식이라고 보면 돼요.

여기에 러스트를 더하면

cutile-rs의 진짜 매력은 여기에 러스트를 얹었다는 점이에요. 러스트는 '소유권(ownership)'과 '빌림 검사기(borrow checker)'라는 독특한 장치로 유명한 언어예요. 이게 뭐냐면, 컴파일하는 시점에 '이 메모리는 지금 누가 쓸 권리가 있는지'를 엄격하게 따져서, 두 곳이 동시에 같은 데이터를 위험하게 건드리는 코드는 아예 컴파일조차 안 되게 막아줘요.

원래 이 기능은 CPU 멀티스레드 프로그램의 데이터 경쟁을 막으려고 만든 건데, 이걸 GPU 커널에 적용한 게 cutile-rs의 똑똑한 지점이에요. 즉 GPU에서 그렇게 잡기 힘들던 데이터 경쟁 버그를, 프로그램을 실행하기도 전에 컴파일러가 '여기 위험해!' 하고 걸러주는 거예요. 런타임에 어쩌다 터지는 유령 같은 버그를 컴파일 단계의 명확한 에러로 바꿔준다는 게 핵심이에요. 안전성을 얻으면서도 타일 방식 덕분에 코드가 간결하고, 성능은 네이티브 CUDA에 근접하도록 설계됐고요.

업계 흐름에서 보면

지금 GPU 프로그래밍 언어 경쟁이 한창이에요. 전통의 CUDA C++가 버티고 있고, 트리톤이 파이썬 친화적인 타일 방식으로 치고 올라왔고, 모듈러(Modular)의 '모조(Mojo)'는 파이썬 문법에 고성능을 노리고 있어요. 러스트 진영에서도 rust-gpu, rust-cuda 같은 시도가 계속 있었고요. cutile-rs는 이 흐름에서 '타일의 생산성 + 러스트의 안전성'을 한 번에 잡으려는 시도라 위치가 꽤 독특해요. 특히 엔비디아가 직접 손대고 있다는 점에서 무게가 다르고요.

한국 개발자에게 주는 시사점

AI 인프라나 고성능 컴퓨팅을 다루는 분이라면 눈여겨볼 가치가 있어요. 모델 학습·추론 속도를 쥐어짜려면 결국 커스텀 GPU 커널을 짜야 하는 순간이 오는데, 그때 데이터 경쟁 디버깅에 며칠씩 날리는 일이 흔하거든요. 이런 걸 컴파일러가 막아준다면 생산성이 확 올라가요.

러스트를 공부 중인 분께도 좋은 신호예요. 시스템 프로그래밍을 넘어 GPU·AI 인프라까지 러스트의 영토가 넓어지고 있다는 뜻이니까요. 다만 아직 초기 프로젝트라 당장 실무 도입보다는 '이런 방향으로 흘러가는구나' 하고 흐름을 익혀두는 용도로 보는 게 현실적이에요.

마무리

cutile-rs는 'GPU 커널은 원래 위험하고 어려운 것'이라는 통념에 도전하는 프로젝트예요. 핵심은 — 타일로 생각을 단순하게, 러스트로 안전을 단단하게. 이 두 가지를 GPU에 가져왔다는 거예요.

여러분은 GPU 커널을 직접 짜본 적 있나요? CUDA, 트리톤, 아니면 러스트 기반 도구 중 뭘 써봤는지, 데이터 경쟁 때문에 고생한 무용담이 있다면 댓글로 풀어주세요.