AI가 꼭 클라우드에 있어야 할까요
우리가 흔히 쓰는 ChatGPT 같은 AI는 사실 내 폰이나 노트북에서 돌아가는 게 아니에요. 저 멀리 있는 거대한 데이터센터의 서버가 계산을 대신 해주고, 그 결과만 인터넷을 타고 우리한테 오는 거죠. 그래서 인터넷이 끊기면 못 쓰고, 내가 입력한 내용이 서버로 넘어가니까 프라이버시 걱정도 있고요.
그런데 'Needle2'라는 물건이 나왔어요. 이게 뭐냐면, 크기가 단 14MB밖에 안 되는 초경량 AI 모델이에요. 사진 몇 장 용량밖에 안 되는 이 작은 AI를 스마트폰, 스마트워치, 스마트홈 기기, 심지어 로봇에까지 직접 넣어서 돌릴 수 있다는 게 핵심이에요.
14MB라는 게 얼마나 작은 거냐면
요즘 잘나가는 언어 모델(LLM)들은 보통 수 기가바이트에서 수백 기가바이트에 달해요. GPT 계열 모델은 파일 크기만 수백 GB가 넘죠. 작다고 소문난 모델들도 최소 수백 MB에서 몇 GB는 되는 게 보통이에요. 그런데 Needle2는 14MB예요. 웬만한 앱 하나보다도 작은 거죠.
이렇게 작으면 뭐가 좋냐면, 기기 안에서 바로 돌릴 수 있어요. 인터넷 연결이 없어도 되고, 내 데이터가 밖으로 나가지 않으니 프라이버시도 지켜지고요. 전기도 적게 먹으니 배터리로 돌아가는 웨어러블이나 IoT 기기에도 딱이에요.
'에이전트'라는 게 이 작은 몸집에 들어갔다고요
여기서 더 흥미로운 건 Needle2가 그냥 대화만 하는 게 아니라 '에이전트(agentic)' 기능을 지향한다는 점이에요. 에이전트가 뭐냐면, 사람이 시킨 걸 이해하고 스스로 도구를 골라 실제 작업을 수행하는 AI를 말해요. 예를 들어 "거실 불 꺼줘"라고 하면 그냥 대답만 하는 게 아니라, 조명 제어 기능을 실제로 호출해서 불을 끄는 거죠.
보통 이런 에이전트 기능은 똑똑한 큰 모델이라야 잘하는데, Needle2는 이걸 아주 작은 크기로 해내려고 만든 거예요. 이걸 만든 Cactus Compute라는 팀은 원래 스마트폰 같은 기기에서 AI를 효율적으로 돌리는 기술에 집중해온 곳이거든요. 모델을 잘게 압축하고(양자화라고 해요, 숫자를 더 간단하게 표현해서 용량을 줄이는 기술이에요), 꼭 필요한 능력만 남기는 방식으로 이 작은 크기를 달성한 거죠.
비슷한 흐름이 이미 있어요
온디바이스 AI, 그러니까 기기에서 직접 돌리는 AI는 요즘 뜨거운 분야예요. 마이크로소프트의 Phi 시리즈, 구글의 Gemma, 메타의 라마(Llama) 소형 버전들이 다 "작지만 쓸 만한 모델"을 목표로 하고 있어요. llama.cpp 같은 도구는 노트북에서도 LLM을 돌릴 수 있게 해주면서 큰 인기를 끌었고요.
다만 이런 모델들도 대부분 수백 MB에서 몇 GB는 되기 때문에, 14MB라는 Needle2의 크기는 그중에서도 극단적으로 작은 축에 속해요. 스마트워치나 초소형 센서처럼 진짜 자원이 빠듯한 기기를 겨냥한다는 점에서 차별점이 있는 거죠. 성능은 당연히 거대 모델을 따라갈 수 없지만, "이 정도 크기에서 이만큼 한다"는 게 놀라운 지점이에요.
한국 개발자에게 주는 시사점
임베디드나 IoT, 로봇 쪽을 하는 분들이라면 특히 눈여겨볼 만해요. 그동안 "AI를 넣고 싶지만 기기 성능이 안 돼서 못 넣었다"는 경우가 많았잖아요. 이렇게 초경량 모델이 발전하면, 인터넷 없이 동작하는 스마트 가전이나 오프라인 음성 비서 같은 걸 훨씬 부담 없이 만들 수 있게 돼요. 클라우드 서버 비용도 아낄 수 있고요.
물론 작은 모델은 복잡한 추론에는 약하니까, "어디까지를 기기에서 처리하고 어디서부터 클라우드에 맡길지" 역할을 나누는 설계 감각이 중요해질 거예요.
마무리
한 줄로 정리하면, AI가 데이터센터를 떠나 우리 손목과 집 안 곳곳으로 들어오고 있다는 이야기예요. 여러분은 어떤 기기에 이런 초경량 AI를 넣어보고 싶으세요? 크기와 똑똑함 사이의 줄다리기, 어디쯤이 적당하다고 보시나요?
🔗 출처: Hacker News