손으로 그린 스케치나 선화(line art)를 확대해도 깨지지 않는 벡터 곡선으로 바꾸는 작업은 그래픽스 분야에서 오래된 숙제다. 래스터 이미지는 픽셀의 집합일 뿐이라 어디까지가 하나의 획이고 어디서 획이 끊기는지에 대한 정보가 없다. 애니메이션 파이프라인이나 디자인 툴에서 이 벡터화 품질이 낮으면 이후의 편집, 채색, 스케일링이 모두 어긋난다. 디즈니 리서치 스튜디오와 ETH 취리히, 월트 디즈니 애니메이션 스튜디오 연구진이 공개한 논문 '2D Gaussian Splatting for Bézier Spline Line Art Vectorization'은 이 문제를 최신 렌더링·인식 기법으로 다시 풀어낸 결과물이다.
휴리스틱을 넘어선 획 추출
기존 벡터화 방식의 약점은 획을 나누는 규칙이 대개 경험칙(heuristic)에 의존한다는 점이었다. 선이 교차하거나 겹치는 지점에서 알고리즘은 종종 사람이 의도한 획의 경계와 다르게 선을 자르거나 잇는다. 연구진은 이 부분에서 깊이 예측(depth prediction) 모델과 의미론적 특징 추출(semantic feature extraction) 모델을 함께 끌어들였다. 스케치에서 뽑아낸 골격 그래프(skeleton graph)를 여러 하위 그래프로 분할할 때, 단순한 기하학적 규칙 대신 깊이와 의미 정보를 근거로 삼아 어떤 선분이 하나의 획으로 묶여야 하는지를 판단한다. 그 결과 초기화되는 획 집합이 실제 작가의 의도에 더 가깝게 정렬된다는 것이 핵심 주장이다.
획을 나눈 뒤에는 각 획을 베지에 곡선(Bézier curve)으로 모델링한다. 이때 곡선은 위치와 형태를 담는 기하학적 성분뿐 아니라 붓의 질감 같은 외형(appearance) 성분까지 함께 표현한다. 즉 벡터화가 단순히 '어디에 선이 있는가'를 복원하는 데 그치지 않고, 그 선이 어떤 질감으로 그려졌는가까지 담아내려 한다는 뜻이다.
2D 가우시안 스플래팅이라는 선택
이 방법론에서 가장 눈에 띄는 지점은 렌더링 엔진으로 2D 가우시안 스플래팅을 채택했다는 것이다. 최근 3D 장면 재구성에서 각광받은 가우시안 스플래팅을 2차원 선화 영역으로 가져와, 빠르면서도 미분 가능한(differentiable) 렌더링을 구현했다. 렌더링이 미분 가능하다는 것은 곧 최적화가 가능하다는 의미다. 입력 이미지와 렌더링 결과의 차이를 손실로 두고, 베지에 곡선의 제어점(control point)과 붓 질감을 동시에 조정해 입력에 획을 맞춰간다. 규칙 기반으로 선을 추정하는 대신, 렌더링과 최적화를 반복하며 실제 픽셀에 획을 수렴시키는 구조다.
연구진은 이 접근을 정지 이미지에 국한하지 않고 영상으로도 확장했다. 시간축 추적(temporal tracking)으로 프레임 사이에서 획을 이어가고, 필요할 때 키프레임을 적응적으로 추가하는 방식을 통해 영상 선화에서도 유망한 결과를 얻었다고 밝혔다. 다만 논문은 이 영상 결과를 완성된 성과라기보다 가능성을 보여주는 수준으로 표현하고 있어, 실무 적용까지는 검증이 더 필요한 단계로 읽는 편이 안전하다.
실무자에게 주는 함의
한국의 애니메이션·콘텐츠·툴 개발 실무자 관점에서 이 연구가 흥미로운 이유는 성능 수치보다 작업 방식에 있다. 연구진은 이미지 재구성 품질에서 최신 최고 수준(state-of-the-art)을 달성하면서도 빠르고, 품질 높은 획을 만든다고 주장한다. 그러나 더 강조하는 대목은 이 방법이 사용자 입력과 잘 어울린다는 점이다. 결과로 나온 스플라인을 사람이 직접 보정할 수 있고, 최적화 파라미터를 선택할 수 있어 자동화와 수작업 사이의 경계를 유연하게 조정할 수 있다. 완전 자동 벡터화가 항상 정답을 내지 못하는 현실을 감안하면, 작가가 개입해 미세하게 다듬을 여지를 설계 단계부터 열어둔 것은 실제 제작 파이프라인에 붙이기 좋은 성질이다.
물론 유의할 지점도 있다. 이 방법은 깊이·의미 예측 모델에 의존하므로, 그런 사전 학습 모델이 잘 다루지 못하는 스타일이나 도메인에서는 획 분할 품질이 흔들릴 수 있다. 논문이 제시한 정량 평가의 구체적 조건이나 데이터셋 범위, 렌더링 속도의 절대 수치는 이 요약만으로 판단하기 어렵다. 그럼에도 규칙 기반 휴리스틱에서 벗어나 인식 모델과 미분 가능 렌더링을 결합해 벡터화를 최적화 문제로 재정의했다는 점, 그리고 그 과정에 사람의 손을 자연스럽게 끼워 넣을 수 있게 만들었다는 점은 선화 벡터화 도구의 다음 세대를 가늠하게 하는 신호로 볼 만하다.