Hacker News 2026.07.01 34

SVD, 억지로 만든 공식이 아니었어요 — 자연스럽게 따라가면 저절로 나오는 특이값 분해

ML을 하다 보면 반드시 만나는 SVD

머신러닝이나 데이터 분석을 조금이라도 해보면 ‘SVD’라는 말을 꼭 만나게 돼요. 우리말로는 ‘특이값 분해(Singular Value Decomposition)’라고 하는데요. 추천 시스템에서 “이 영화 좋아한 사람은 저 영화도 좋아하더라”를 계산할 때, 이미지를 압축할 때, 수백 개의 변수를 몇 개로 줄이는 PCA(주성분 분석)를 할 때 그 밑바탕에 늘 SVD가 깔려 있거든요. 그런데 많은 교과서가 SVD를 마치 하늘에서 뚝 떨어진 공식처럼 “자, 이런 게 있습니다” 하고 던져줘서 “왜 이렇게 생겼는데?” 하는 답답함이 남아요. 이번에 소개할 글은 그 답답함을 풀어줘요. SVD를 목표로 삼지 않고 자연스럽게 따라가다 보면 SVD가 저절로 튀어나온다는 걸 보여주거든요.

SVD가 도대체 뭘 하는 건데요

먼저 SVD가 뭔지 감을 잡아볼게요. 행렬(matrix)이라는 건 쉽게 말해 숫자들을 격자로 늘어놓은 표인데요. 수학적으로 보면 이 행렬은 공간을 ‘변형시키는 함수’예요. 어떤 점들을 늘리고, 찌그러뜨리고, 회전시키는 기계라고 생각하면 돼요.

SVD가 말하는 건 이거예요. 아무리 복잡하게 공간을 뒤트는 행렬이라도, 사실은 딱 세 단계로 쪼갤 수 있다는 거죠. 먼저 (1) 회전만 하고, 그다음 (2) 각 축 방향으로 늘리거나 줄이기만 하고, 마지막에 (3) 다시 회전만 한다. 이 ‘회전 → 스케일 → 회전’ 세 조각으로 어떤 행렬이든 분해할 수 있다는 게 SVD의 핵심이에요. 가운데 ‘늘리고 줄이는 정도’를 나타내는 숫자들을 ‘특이값’이라고 불러요.

왜 ‘저절로’ 나온다는 걸까요

이 글이 흥미로운 이유는 접근 방식이에요. 보통은 대칭 행렬의 ‘고유값 분해(eigen decomposition)’라는 걸 먼저 배워요. 고유값 분해가 뭐냐면, 특정 방향(고유벡터)으로는 행렬이 그냥 늘리기만 하고 방향은 안 바꾼다는 성질을 이용한 분해예요. 문제는 이건 정사각형이면서 성질 좋은 행렬에만 통해요.

그런데 일반적인 직사각형 행렬 A를 다루고 싶을 때, A 자체는 고유값 분해가 안 되지만 A에 자기 자신을 뒤집어 곱한 ‘A의 전치행렬 × A’는 항상 예쁜 대칭 행렬이 되거든요. 여기에 고유값 분해를 적용하고 자연스럽게 정리를 이어가다 보면, 억지로 SVD를 만들려 하지 않아도 그 구조가 필연적으로 모습을 드러내요. “아, 그래서 특이값이 이렇게 정의되는구나”, “그래서 좌우 두 개의 회전 행렬이 따로 나오는구나” 하고 무릎을 치게 되는 거죠. 결과를 외우는 게 아니라 왜 그럴 수밖에 없는지를 이해하게 돼요.

실무 곳곳에 숨어 있어요

이 개념이 추상적으로 느껴질 수 있지만, 실전에서 정말 많이 써요. 넷플릭스 같은 추천 시스템은 ‘사용자 × 영화’ 평점 표를 SVD로 쪼개서 숨은 취향 패턴을 뽑아내요. 이미지 압축은 특이값 중에서 큰 것 몇 개만 남기고 자잘한 건 버려서 용량을 확 줄이고요. 검색 엔진의 문서 분석(LSA), 데이터의 노이즈 제거, 딥러닝 모델을 가볍게 만드는 ‘저랭크 근사’까지 전부 SVD의 응용이에요. 요즘 대형 언어 모델을 효율적으로 미세조정하는 LoRA 같은 기법도 그 뿌리엔 “큰 행렬을 작은 두 행렬로 근사한다”는 SVD적 사고가 있어요.

한국 개발자에게 주는 시사점

라이브러리에서 svd() 함수 한 줄만 호출해도 결과는 나와요. 하지만 그 안에서 무슨 일이 벌어지는지 알면, 왜 특이값 몇 개만 남겨도 되는지, 언제 결과가 불안정해지는지를 감으로 판단할 수 있게 돼요. 이런 수학적 직관은 라이브러리가 시키는 대로만 쓰는 개발자와, 문제를 근본부터 이해하고 튜닝하는 개발자를 가르는 지점이거든요. 특히 ML이나 데이터 쪽으로 커리어를 잡고 싶다면, 이렇게 ‘왜’를 따라가는 유도 과정을 한 번 손으로 따라 써보는 게 큰 자산이 돼요.