TECH.

LLM 추론을 더 빠르게: EAGLE 3.1과 vLLM의 합작, Speculative Decoding의 진화

## LLM이 느린 진짜 이유부터 짚어볼게요 요즘 ChatGPT나 Claude를 쓰면 답변이 한 글자씩 또르륵 나오죠? 그게 그냥 연출이 아니라, 실제로 LLM이 토큰(token, 단어 조각)을 하나씩 차례대로 만들어내는 과정이에요. 이걸 **자기회귀 생성(autoregressive generation)**이라고 부르는데, 모델이 "안"을 만들고 그걸...