사내 통합 LLM API 게이트웨이 구축 전문가

[프로젝트 개요]
- 사내 여러 프로젝트에서 사용 중인 Gemini API의 무분별한 호출과 비용 폭탄을 방지하기 위해 단일 엔드포인트를 제공하는 LLM API 통합 게이트웨이를 구축하는 프로젝트입니다.

[프로젝트 배경 및 목표]
- 현재 사내 여러 프로젝트에서 Gemini API를 연동하여 사용 중이거나 도입할 예정입니다. 서비스 규모가 커짐에 따라 통합적인 API 엔드포인트 관리가 필요해졌습니다. 본 프로젝트는 LiteLLM 등 검증된 오픈소스 프레임워크를 적극 활용하여 사내 서버에 API 프록시를 띄우고 API 키별 예산 통제 및 호출 제한이 정상 작동하도록 백엔드와 인프라를 세팅하는 것이 핵심 목표입니다.

[과업 범위]
1. 수행 범위
- 기획 및 설계: 클라우드 인프라 아키텍처 설계 및 오픈소스 연동 정책 수립
- SW 개발 및 인프라 구축: LiteLLM 배포, DB 및 Redis 세팅, 운영 스크립트 작성 (UI 신규 개발 없음)

2. 상세 기능 요구 사항
2-1. LLM 게이트웨이 프록시 (LiteLLM)
- Gemini API 연동 및 사내 S2S 통신용 단일 엔드포인트 구성
- 추후 OpenAI 및 Claude 등 타 모델 확장을 위한 라우팅 설정 구조 마련
- Redis 기반 Rate Limit (분당 및 초당 호출 제한) 적용
- PostgreSQL 기반 API 키별 Budget Cap (일 및 월 예산 한도) 설정
- 예산 한도 초과 시 자동 차단 로직 적용
2-2. 인프라 세팅 및 운영 가이드
- Docker Compose 기반 LiteLLM, PostgreSQL, Redis 컨테이너 배포
- 사내망 연동을 위한 VPC, 보안 그룹, SSL 및 TLS 인증서 적용
- 관리자 UI 대체용 API 키 발급 및 삭제 CLI 스크립트 작성
- 예산 설정 및 관리를 위한 API 호출 가이드 (Postman 컬렉션 등) 제공
- Langfuse 연동을 통한 데이터 적재 세팅 (선택 사항, 오픈소스 기본 화면 사용)

3. 비기능적 요구사항
3-1. 성능 및 규격: 프록시 서버 병목 방지를 위한 적절한 리소스 할당 및 비동기 로깅 처리
3-2. 확장성: 단일 모델(Gemini) 시작 후 사내 인력이 직접 타 모델을 추가할 수 있도록 설정 가이드 문서 제공

[기술/제조 스택]
- LiteLLM, Langfuse, PostgreSQL, Redis, Docker, Shell Script, Python

[클라이언트 준비 사항]
- 문서 및 자료: Gemini API 키, 사내 클라우드 계정 및 네트워크 보안 정책
- 투입 인력 및 조직: 내부 IT 인력 (인수인계 및 연동 테스트 지원)

[주요 일정]
- 희망 착수일: 계약 후 즉시
- 주요 마일스톤: 착수 후 1주 내 인프라 및 DB 세팅, 2주 내 프록시 연동 및 정책 적용, 3주 내 운영 스크립트 작성, 4주 내 테스트 및 오픈
- 최종 오픈(납품) 희망일: 착수 후 30일 이내

[지원 자격 및 우대 사항]
- 지원 자격: Docker 기반 인프라 구축 및 백엔드 API 연동 경험자
- 우대 사항: LiteLLM 등 LLM API 프록시 오픈소스 솔루션 이해도 보유자, 실제 클라우드 배포 경험 보유 업체 및 팀

[산출물]
- 인프라 아키텍처 구성도
- 오픈소스 설정 파일 (docker-compose.yml 등) 일체
- API 키 발급 및 예산 관리를 위한 운영 스크립트 또는 Postman 컬렉션
- 타 LLM 모델 추가를 위한 관리자 매뉴얼

회사 · 위시켓 / 지역 · 서울특별시 송파구 / 고용형태 · CONTRACTOR