요즘 서비스에 AI 기능을 하나 붙이려고 하면 뭐부터 떠올리세요? API 키 발급받고, 토큰당 과금을 계산하고, 사용자가 늘면 비용이 얼마나 나올지 걱정하고... 이게 보통의 흐름인데요. 그런데 Hugging Face에 올라온 데모 하나가 이 상식을 살짝 흔들고 있어요. 서버도 없고, 설치도 없이, 브라우저 탭 하나에서 LLM이 그대로 돌아가거든요. 그것도 '1비트'로 압축된 모델이요.
1비트 LLM이 대체 뭐냐면
보통 LLM의 가중치, 그러니까 모델이 학습하면서 얻은 수십억 개의 숫자들은 16비트나 32비트 부동소수점으로 저장돼요. 파라미터가 70억 개인 모델이면 16비트 기준으로만 14GB쯤 되죠. 그래서 큰 모델을 돌리려면 VRAM이 넉넉한 비싼 GPU가 필요했던 거고요.
여기서 등장하는 게 양자화(quantization)예요. 이게 뭐냐면, 숫자의 정밀도를 낮춰서 용량을 줄이는 기술이에요. 사진으로 비유하면 무거운 RAW 파일을 JPG로 압축하는 것과 비슷해요. 디테일은 조금 잃지만 용량은 확 줄어들죠. 지금까지는 4비트 양자화가 '품질을 크게 해치지 않는 마지노선'으로 통했는데요, 1비트 계열은 여기서 한참 더 나간 극단이에요.
이번 데모의 기반이 되는 BitNet 방식은 가중치를 딱 세 가지 값, -1, 0, +1만 쓰도록 만들어요. 세 가지 값이니 정보량으로 따지면 약 1.58비트라서 '1.58비트 모델'이라고도 부르는데요. 이렇게 하면 재밌는 일이 생겨요. 가중치가 -1, 0, 1뿐이면 신경망의 핵심 연산인 행렬 곱셈에서 곱셈이 사실상 사라져요. 부호를 뒤집거나, 무시하거나, 그대로 더하면 되니까요. 메모리는 10배 가까이 줄고, 전력 소모도 확 떨어지죠.
한 가지 중요한 포인트가 있는데요. 다 만들어진 모델을 나중에 압축하는 '사후 양자화'는 1~2비트까지 내려가면 품질이 급격히 무너져요. 그래서 BitNet 계열은 처음부터 이 제약 조건 안에서 학습을 시켜요. 태어날 때부터 -1, 0, 1만 쓰도록 훈련된 모델인 거죠.
브라우저에서 어떻게 돌아가나요
이번 데모는 Bonsai라는 5억 파라미터급의 작은 1비트 모델을 transformers.js와 WebGPU로 돌려요. transformers.js는 Hugging Face의 트랜스포머 라이브러리를 자바스크립트로 옮긴 건데, 웹 개발자가 파이썬 없이도 모델을 불러다 쓸 수 있게 해줘요. WebGPU가 뭐냐면, 브라우저에서 그래픽카드의 연산 능력을 직접 끌어다 쓸 수 있게 해주는 차세대 웹 표준이에요. 게임 그리기용이던 WebGL의 후속인데, 처음부터 범용 연산을 염두에 두고 설계됐죠.
그래서 흐름이 이렇게 돼요. 페이지를 열면 모델 파일을 한 번 내려받고, 그다음부터는 모든 추론이 내 컴퓨터의 GPU에서 일어나요. 입력한 텍스트가 서버로 전송되지 않는다는 얘기예요.
업계 흐름에서 보면
1비트 LLM은 Microsoft Research가 2024년에 낸 BitNet b1.58 논문으로 본격적으로 주목받기 시작했고, CPU에서 돌리는 bitnet.cpp 같은 전용 프레임워크도 나와 있어요. 한편에서는 llama.cpp의 4비트 GGUF가 로컬 LLM의 사실상 표준으로 자리 잡았고요. 그리고 온디바이스 AI라는 큰 흐름이 있죠. Apple Intelligence는 기기 안에서 작은 모델을 돌리고, Chrome은 Gemini Nano를 브라우저에 내장하는 실험을 하고 있어요. 이번 데모는 이 두 흐름, 그러니까 '극단적인 경량화'와 '브라우저라는 배포 채널'이 만나는 지점을 보여주는 사례예요.
우리한테는 어떤 의미일까요
프론트엔드 개발자 입장에서는 진입 장벽이 확 낮아졌어요. transformers.js 몇 줄이면 웹앱에 텍스트 분류, 요약, 자동완성 같은 기능을 서버 비용 0원으로 넣어볼 수 있거든요. 의료나 금융처럼 데이터를 서버로 보내는 것 자체가 부담인 도메인에서도 매력적이고요. 물론 한계도 분명해요. 5억 파라미터짜리 모델에게 GPT-4 같은 능력을 기대하면 안 되고, 잘 정의된 작은 작업에 어울려요. WebGPU 지원도 Chrome과 Edge는 안정적이지만 Safari는 최근 버전에서야 합류했다는 점도 감안해야 하고요.
정리하면 이래요. '무거운 지능은 클라우드에, 가벼운 지능은 사용자 기기에'라는 구도가 점점 현실이 되고 있고, 1비트 모델은 그 후자를 가능하게 하는 열쇠 중 하나예요. 여러분이 만들고 있는 서비스에 온디바이스 AI를 넣는다면, 어떤 기능부터 시도해보고 싶으세요?
🔗 출처: Hacker News