서버는 클수록 싸진다? 대기행렬이 알려주는 규모의 경제

Marc Brooker가 얼랭(Erlang) 대기행렬 이론으로 풀어낸 흥미로운 사실. 같은 부하라도 작은 서버 여러 대를 따로 굴리는 것보다, 로드밸런서 뒤에 하나의 큰 풀로 묶으면 훨씬 높은 사용률에서도 응답 지연을 낮게 유지할 수 있다는 것이다.

핵심은 직관에 반하는 비선형성에 있다. 서버 풀의 규모가 커질수록 같은 지연 목표를 지키기 위해 비워둬야 하는 여유 용량(headroom) 비율은 오히려 줄어든다. 즉 풀을 2배로 키우면 효율은 2배 이상 좋아진다. 작은 서비스는 갑작스러운 트래픽 변동(피크 대 평균 비율)을 흡수하느라 자원을 과하게 남겨둘 수밖에 없지만, 큰 풀에서는 요청들이 서로의 빈틈을 메워준다.

실무적 함의는 분명하다. 멀티테넌시, 공용 대형 풀, 통합 운영이 단순히 관리 편의를 넘어 비용 구조 자체에서 유리하다는 뜻이다. 클라우드 사업자가 규모로 단가를 낮출 수 있는 이유이자, 마이크로서비스를 잘게 쪼갤 때 숨은 용량 낭비가 늘어나는 이유이기도 하다. 용량 계획을 세울 때 '규모가 곧 효율'이라는 관점을 기억해두자.