모델이 '생각'을 숨기는 시대
요즘 나오는 AI 모델들, 그러니까 OpenAI의 o 시리즈나 DeepSeek-R1 같은 '추론 모델'들은 답을 내놓기 전에 속으로 길게 생각을 해요. 이걸 추론 흔적(reasoning trace)이라고 부르는데요, 쉽게 말하면 모델이 문제를 풀기 위해 혼자 끄적이는 연습장 같은 거예요. 그런데 재미있는 게, 상용 API들은 이 연습장을 사용자에게 안 보여주거든요. 최종 답변만 주거나, 잘해야 요약본 정도만 살짝 공개해요. 이번에 나온 연구는 바로 이 숨겨진 사고 과정을 밖에서 상당 부분 복원해낼 수 있다는 걸 보여줬어요. 회사 입장에서는 꽤 뼈아픈 이야기죠.
왜 굳이 숨기는 걸까요
배경부터 짚고 갈게요. AI 회사들이 추론 과정을 숨기는 데는 분명한 이유가 있어요. 첫째는 증류(distillation) 방지예요. 이게 뭐냐면, 큰 모델의 출력을 학습 데이터로 삼아서 작은 모델을 가르치는 기법인데요, 특히 추론 과정은 '정답'만 담긴 게 아니라 '어떻게 생각해야 하는지' 자체를 담고 있어서 학습 재료로서의 가치가 어마어마해요. 실제로 DeepSeek이 OpenAI 모델의 출력을 학습에 썼다는 논란이 크게 일었던 적도 있죠. 회사 입장에서는 수천억을 들여 만든 모델의 핵심 노하우가 API 응답을 통해 경쟁사로 흘러가는 걸 막고 싶은 거예요. 둘째는 안전 문제예요. 추론 과정에는 최종 답변에서는 걸러진 날것의 내용이 남아 있을 수 있어서, 이게 그대로 노출되면 곤란한 경우가 생기거든요.
그런데 어떻게 빼낼 수 있을까요
핵심 아이디어는 부채널(side channel) 공격이에요. 금고 비밀번호를 직접 볼 수 없어도 다이얼이 돌아가는 소리를 듣고 번호를 알아내는 것처럼, 시스템이 의도치 않게 흘리는 간접 정보를 모아서 원본을 복원하는 방식이죠. 그런데 LLM API는 생각보다 힌트를 많이 흘려요. 예를 들어 추론에 사용된 토큰 수는 과금 때문에 응답 메타데이터에 그대로 찍혀 나오고요, 일부 API는 사용자 경험을 위해 추론 과정의 요약본을 제공해요. 응답이 나오기까지 걸린 시간도 단서가 되고요. 연구의 접근은 이런 조각들을 모은 다음, 별도의 모델에게 "이 요약과 이 정도 길이, 이 최종 답변이 나오려면 원래의 추론은 어떤 모습이었을까"를 역으로 추정하게 하는 거예요. 이렇게 재구성한 추론이 원본과 꽤 비슷한 품질을 보였고, 더 나아가 이 복원본으로 다른 모델을 증류 학습시키는 것까지 가능하다는 게 요지예요. '숨겨놨으니 안전하다'는 전제가 흔들리는 거죠.
모델 추출 연구의 연장선
사실 이런 연구가 갑자기 튀어나온 건 아니에요. 보안 분야에는 예전부터 '모델 추출(model extraction)'이라는 연구 흐름이 있었거든요. API를 대량으로 호출해서 입력과 출력 쌍을 모으면 원본과 비슷하게 동작하는 모델을 복제할 수 있다는 연구들이요. 추론 모델 시대가 되면서 훔칠 가치가 있는 대상이 '최종 답변'에서 '사고 과정'으로 옮겨간 셈이에요. 한편 반대편에는 추론 과정을 아예 통째로 공개해버린 DeepSeek-R1 같은 오픈 모델도 있어서, "어차피 새어 나갈 거라면 숨기는 게 의미가 있느냐, 차라리 공개하고 검증받는 게 낫지 않느냐"는 논쟁도 다시 불붙고 있고요. 비공개 전략과 공개 전략이 정면으로 부딪히는 지점이라 앞으로의 전개가 흥미로워요.
한국 개발자에게 주는 시사점
LLM API 위에 서비스를 만들고 계신 분들이라면 두 가지를 챙기시면 좋겠어요. 하나, 시스템 프롬프트나 모델의 내부 처리 과정에 민감한 정보를 넣지 마세요. 비즈니스 로직, 내부 정책, 고객 데이터 같은 것들이요. '사용자에게 안 보이니까 괜찮겠지'가 통하지 않는다는 게 이번 연구의 교훈이거든요. 둘, 직접 모델을 서빙하는 팀이라면 토큰 수나 응답 시간 같은 메타데이터도 정보 유출 통로가 될 수 있다는 걸 설계 단계에서 고려해 보세요. 보안에서 늘 하는 얘기지만, "보여주지 않는 것"과 "새어 나가지 않는 것"은 완전히 다른 문제거든요. 프롬프트 인젝션 대응처럼, 이제 부채널까지 포함한 위협 모델을 갖고 서비스를 설계해야 하는 시대가 온 거예요.
마무리
한 줄로 정리하면 이래요. 숨겨진 추론 과정도 API가 흘리는 부스러기들만 모으면 복원될 수 있고, 그 복원본은 경쟁 모델을 키우는 데 쓰일 수 있다. 여러분은 어떻게 생각하세요? 추론 과정은 기업이 지켜야 할 영업 비밀일까요, 아니면 사용자가 AI의 판단을 검증할 수 있도록 공개되는 게 맞을까요?
🔗 출처: Hacker News