로컬 LLM이냐 클라우드냐, 규칙으로 가르는 라우터 'Wayfinder'

LLM을 쓰다 보면 모든 요청을 비싼 클라우드 모델에 보내야 할까 고민하게 됩니다. Wayfinder Router는 들어오는 쿼리를 로컬 LLM과 호스팅(클라우드) LLM 중 어디로 보낼지 '결정론적(deterministic)'으로 가르는 라우터입니다. 핵심은 머신러닝 분류기 같은 확률적 판단이 아니라, 명확한 규칙 기반으로 경로를 정한다는 점입니다. 같은 입력이면 항상 같은 경로로 흐르기 때문에 동작을 예측·디버깅·재현하기 쉽고, 운영 환경에서 신뢰성이 높습니다. 간단하고 민감하거나 자주 반복되는 요청은 로컬 모델로 처리해 비용과 지연을 줄이고, 개인정보 노출 위험도 낮춥니다. 반대로 고난도 추론이 필요한 요청만 선별해 클라우드 대형 모델로 보내는 식의 하이브리드 구성을 만들 수 있습니다. 비용 최적화와 데이터 프라이버시, 두 마리 토끼를 모두 잡으려는 한국 개발자라면 LLM 인프라 설계에 참고할 만한 접근입니다.