Go 백엔드에 LLM 스트리밍과 툴 콜링을 — Grafana가 공개한 AI SDK

AI 기능 하나 붙이려고 Node 서버를 따로 띄우셨나요

LLM 애플리케이션 개발 생태계는 사실상 파이썬과 타입스크립트가 양분하고 있는데요. 특히 웹 서비스 쪽에서는 Vercel의 AI SDK가 프론트엔드와 백엔드를 잇는 스트리밍 표준처럼 자리를 잡았어요. 문제는 백엔드가 Go로 되어 있는 회사들이에요. 지금까지는 각 LLM 프로바이더의 SDK를 직접 호출하면서 스트리밍 처리며 툴 콜링 루프며 전부 손수 구현하거나, 아예 AI 기능만을 위한 Node.js 중간 서버를 하나 더 띄우는 어색한 구조를 감수해야 했거든요. 이 빈자리를 겨냥해서 Grafana가 Go용 AI SDK를 오픈소스로 공개했어요.

뭘 해주는 라이브러리냐면요

이 SDK는 크게 두 덩어리로 구성돼요. 하나는 Go 서버 라이브러리로, LLM 응답 스트리밍과 툴 콜링을 지원하는 AI 백엔드를 만들 수 있게 해주고요. 다른 하나는 React 프론트엔드 라이브러리로, 서버가 흘려보내는 스트림을 받아서 채팅 UI를 쉽게 구현하게 해줘요. 여기서 스트리밍이 뭐냐면, LLM이 답변을 다 만들 때까지 기다렸다가 한 번에 주는 게 아니라, 생성되는 토큰을 실시간으로 조금씩 흘려보내는 방식이에요. ChatGPT에서 글자가 타다닥 찍히는 그 경험인데, 체감 응답 속도를 좌우하는 핵심 요소죠. 툴 콜링은 LLM이 '이 함수를 이런 인자로 호출해줘'라고 구조화된 요청을 보내면, 서버가 실제 함수를 실행하고 그 결과를 다시 대화에 넣어주는 왕복 과정을 말해요. 이걸 직접 구현해보신 분은 아시겠지만, 스트리밍 도중에 날아오는 툴 콜 조각을 파싱하고, 여러 번의 왕복 루프를 관리하고, 그 전체 과정을 프론트엔드에 실시간으로 중계하는 게 은근히 까다롭거든요. 서버와 프론트가 같은 와이어 프로토콜을 쓰도록 세트로 제공된다는 것, 그게 이 SDK의 핵심 가치예요.

왜 하필 Grafana가 만들었을까요

Grafana는 대시보드와 모니터링으로 유명한 관측성(observability) 회사잖아요. 최근 자사 제품에 LLM 어시스턴트 기능을 적극적으로 넣고 있는데, 그 과정에서 내부적으로 필요했던 기반 코드를 오픈소스로 풀어낸 흐름으로 볼 수 있어요. Grafana 스택 자체가 Go로 짜여 있으니, Go 네이티브 도구가 절실했겠죠. 기존 선택지들과 비교해보면 위치가 명확해요. LangChainGo는 체인이나 에이전트 같은 상위 추상화에 집중하고, openai-go나 anthropic-sdk-go 같은 공식 SDK들은 API 호출이라는 저수준에 머물러서 프론트엔드 연동은 각자 알아서 해야 했어요. Vercel AI SDK는 훌륭하지만 타입스크립트 전용이라 Go 백엔드 팀에게는 그림의 떡이었고요. 이 SDK는 그 중간, 그러니까 'Go 백엔드와 React 프론트를 중간층 없이 직결하는 풀스택 배관'이라는 실용적인 지점을 노린 거예요.

한국 개발자에게 주는 시사점

국내에도 Go로 백엔드를 운영하는 팀이 꽤 많잖아요. 커머스, 핀테크, 인프라 플랫폼 쪽에서 특히요. 이런 팀이 사내 도구나 서비스에 AI 챗 기능을 붙일 때, Node 프록시 서버라는 군더더기 없이 기존 Go 서비스에 바로 얹을 수 있다는 게 실질적인 이득이에요. 인증, 로깅, 배포 파이프라인을 전부 재활용할 수 있으니까요. 성능 면에서도 goroutine 기반의 Go는 수천 개의 동시 스트리밍 연결을 적은 메모리로 버티는 데 강점이 있어서, 접속자가 많은 챗 서비스와 궁합이 좋고요. 다만 아직 초기 단계의 라이브러리인 만큼 API가 바뀔 가능성이나, 우리 팀이 쓰는 LLM 프로바이더를 지원하는지는 도입 전에 확인해보시는 게 좋아요.