3D 렌더링에서 만화 같은 룩을 만드는 가장 흔한 방법은 조명 값을 특정 임계값으로 잘라내는 것이다. 표면에 부드럽게 이어지던 색 그라데이션을 몇 단계의 평평한 색으로 계단처럼 바꿔버리면, 우리가 흔히 '툰 셰이딩' 혹은 '셀 셰이딩'이라 부르는 결과가 나온다. 이 방식은 직관적이고 스타일도 강하지만, 물리 기반 렌더링(PBR) 파이프라인과는 성격이 다르다. 조명을 후처리로 뭉개는 순간 에너지 보존이나 물리 기반 재질 보정 같은 PBR의 장점 대부분을 포기하게 되기 때문이다.
그래픽스 엔지니어 알렉상드르 라뮈르가 정리한 '스타일라이즈드 GGX 셰이딩'은 이 둘 사이의 절충을 노린다. 핵심 발상은 간단하다. 러프니스가 낮은 매끈한 표면에서는 크고 선명한 하이라이트를 만들어 2D 툰 느낌을 내고, 러프니스가 높은 거친 표면에서는 PBR 특유의 부드러운 그라데이션을 그대로 유지하는 것이다. 조명을 통째로 임계값 처리하는 대신, 셰이딩의 뼈대는 PBR에 두고 스페큘러 하이라이트의 형태만 양식화한다. 그만큼 에너지 보존에 가깝게 유지되고, 기존 파이프라인에 얹기도 쉬우며, 물리 기반 재질 값을 그대로 쓸 수 있다는 실무적 이점이 따라온다.
왜 섞는가
순수 툰과 순수 PBR을 한 화면에 공존시키는 접근은 이미 여러 게임에서 시도됐다. 원문은 '젤다의 전설: 브레스 오브 더 와일드'를 예로 든다. 캐릭터에는 거의 순수한 툰 셰이딩을 적용하고 환경은 상대적으로 3D/PBR 룩에 기대는데(다만 풀처럼 완전히 그렇지 않은 요소도 있다), 이 대비 덕분에 캐릭터가 배경에서 도드라져 보인다. 필자 본인이 참여한 '스펠캐스터스 크로니클스'에서도 개발 과정에서 이 스타일라이즈드 GGX 기법을 포함해 여러 방식을 실험했고, 최종적으로는 다른 방향을 택했지만 그 결과물 역시 2D와 3D 룩을 섞은 것이었다고 밝힌다. 즉 '섞는다'는 선택은 특수한 실험이 아니라 현대적 아트 디렉션에서 반복적으로 등장하는 실전 전략에 가깝다.
NDF를 건드린다는 것
실시간 렌더링에서 가장 널리 쓰이는 PBR 모델은 GGX 쿡-토런스 마이크로패싯 모델이다. 표면의 미세한 요철을 방향을 가진 아주 작은 면(마이크로패싯)들의 집합으로 해석하고, 이들 법선의 분포를 법선 분포 함수(NDF)로 기술하며, 그 거칠기를 러프니스 파라미터로 제어한다. 실시간 엔진들은 보통 트로브리지-라이츠 NDF를 사용한다. 스타일라이즈드 GGX의 조작 지점이 바로 여기다. 이 NDF 수식을 조금만 손보면 스페큘러 하이라이트를 넓게 확장할 수 있다.
필자는 이 변화를 데스모스 그래프로 시각화했다. 가로축은 표면 법선과 하프 벡터의 내적(NdotH), 세로축은 NDF 반환값으로 값이 클수록 반사되는 에너지가 많다는 뜻이다. 검은 곡선이 원래의 트로브리지-라이츠 NDF, 붉은 곡선이 양식화된 버전이다. 새로 추가한 '스페큘러 사이즈' 파라미터는 NDF의 기본 형태를 보존하면서도 더 넓은 각도에서 에너지를 되돌려주도록 만든다. 결과적으로 하이라이트가 원래 모양을 유지한 채 크게 부풀어 오른다.
단순 버전의 함정과 개선안
이 단순 버전은 곱셈 한 번과 최댓값 연산 한 번으로 끝나 연산 비용이 극히 저렴하다는 장점이 있다. 문제는 거친 재질에도 효과가 지나치게 강하게 작용해, 러프니스가 높은 표면까지 과도하게 밝아 보이게 만든다는 점이다. 스타일 효과를 노렸는데 엉뚱한 곳에서 밝기가 튀는 셈이다. 그래서 원문은 고러프니스에서는 원래 NDF 형태를 보존하면서 저러프니스에서만 하이라이트를 확장하는, 조금 더 복잡한 개선 수식을 함께 제시한다. 러프니스를 애니메이션으로 훑는 그래프에서 개선 버전(초록 곡선)은 거칠 때는 단순 버전(붉은 곡선)에 가깝게, 매끈할 때는 원본(검은 곡선)에 가깝게 맞물린다. 러프니스가 커질수록 곡선들이 함께 평평해지는 모습이 이 절충의 핵심을 잘 보여준다.
실무 관점에서 이 기법의 매력은 침습성이 낮다는 데 있다. 조명 파이프라인 전체를 갈아엎지 않고 NDF 한 함수만 손대면 되므로, 이미 PBR로 돌아가는 프로젝트에 스타일 요소를 점진적으로 얹기에 적합하다. 저비용 단순 버전과 형태 보존형 개선 버전이라는 두 선택지를 두고 성능과 품질을 저울질할 수 있다는 점도 실전에서 유용하다. 다만 한계도 분명하다. 필자 스스로 이 룩이 충분히 '툰답지' 않다고 느낄 수 있다고 인정하며, 스펠캐스터스에서는 이 기법 위에 여러 추가 요소를 실험했다고 언급한다. 결국 스타일라이즈드 GGX는 완성된 정답이라기보다, 툰과 PBR 사이에서 원하는 지점을 잡아가기 위한 출발점이자 조절 손잡이에 가깝다. 최종 아트 디렉션은 여기에 무엇을 더 얹느냐에 따라 달라진다.