곱셈도 못 하는 CPU에서 언어 모델이 돌아간다고요?
6502라는 CPU를 아시나요? 1975년에 나온 8비트 프로세서인데요, Apple II, 코모도어 64, 그리고 패미컴(NES)의 심장이었던 칩이에요. 클럭이 겨우 1MHz, 그러니까 요즘 스마트폰의 수천 분의 일 속도로 돌아가는 물건이거든요. 그런데 개발자 Matt Beton이 이 골동품 위에서 문장을 한 글자씩 생성하는 언어 모델, 그러니까 ChatGPT의 아주아주 작은 조상님 같은 걸 실제로 돌리는 데 성공했어요. 에뮬레이터뿐 아니라 실제 Apple II 하드웨어에서도요.
비밀은 BitNet, "곱셈이 필요 없는 신경망"
여기서 핵심 아이디어가 재미있는데요. 6502에는 곱셈 명령어가 아예 없어요. 신경망 추론이라는 게 결국 행렬 곱셈 덩어리인데, 곱셈을 못 하는 CPU라니 시작부터 막힌 것 같죠.
그래서 저자가 꺼내든 게 BitNet이에요. 이게 뭐냐면, 마이크로소프트 연구진이 제안한 극단적 양자화 방식인데, 모델의 가중치(weight)를 -1, 0, +1 딱 세 가지 값으로만 제한하는 거예요. 가중치가 이 셋 중 하나라면 곱셈이 필요 없어져요. -1을 곱하는 건 빼기, +1을 곱하는 건 더하기, 0을 곱하는 건 그냥 건너뛰기니까요. 행렬 곱셈 전체가 덧셈과 뺄셈만으로 바뀌는 거죠. 그런데 6502가 유일하게 잘하는 게 바로 8비트 덧셈·뺄셈이거든요. 활성화 값(레이어 사이를 오가는 중간 계산 결과)도 8비트 정수로 양자화해서 6502의 8비트 레지스터에 딱 맞게 만들었어요. 현대 LLM 효율화 연구와 50년 전 하드웨어의 제약이 정확히 맞물리는 지점이에요.
48KB 안에 모델을 욱여넣기
모델 구조도 현실적인 타협의 연속이에요. 요즘 유행하는 트랜스포머의 어텐션은 KV 캐시라고 해서 이전 토큰들의 계산 결과를 메모리에 계속 쌓아둬야 하는데, 이 기계엔 그럴 RAM이 없어요. 그래서 어텐션 없이 RNN/MLP 계열의 단순한 2층 구조를 썼고, 히든 차원 128, 문자 단위 어휘 64개, 전체 파라미터 약 5만 개짜리 모델을 만들었어요. 학습은 PyTorch에서 양자화 인식 훈련(QAT — 처음부터 "나중에 -1/0/+1로 잘릴 거야"를 전제하고 학습시키는 기법)으로 진행하고, 완성된 가중치를 6502용으로 내보냈죠.
메모리 절약 기술도 눈물겨운데요. 삼진 가중치 하나는 2비트면 표현할 수 있으니 한 바이트에 4개씩 꽉꽉 눌러 담았고, 자주 쓰는 버퍼는 6502에서 가장 빠르게 접근할 수 있는 zero page 영역에 배치했어요. 8비트 CPU라서 큰 수를 다루려면 16비트 누산기가 필요한데, 이건 캐리 비트를 이어붙인 8비트 덧셈 두 번으로 직접 구현했고요. 삼진 가중치를 빠르게 풀어내는 룩업 테이블, 사이클 단위로 세어가며 다듬은 내부 루프까지 더해서 전체 시스템이 48KB RAM 안에 들어갔습니다.
속도와 결과물
1MHz 6502에서 글자 하나 생성하는 데 대략 2~5초 정도 걸린다고 해요. 요즘 기준으론 한없이 느리지만, 50년 전 하드웨어가 "진짜로" 자기회귀 생성(앞서 만든 글자들을 보고 다음 글자를 예측하는 방식)을 하고 있다는 게 포인트죠. 결과물은 어설프지만 분명히 영어처럼 보이는 문장이 나와요. TinyStories 계열의 쉬운 영어 텍스트로 학습했으니 동화풍 문장 조각들이 나오는 셈이에요.
이게 왜 의미가 있냐면
이 프로젝트가 단순한 레트로 장난감이 아닌 이유가 있어요. BitNet 같은 1비트급 양자화 연구는 원래 최신 GPU에서 LLM 추론 비용을 줄이려고 나온 건데, 그 기술이 그대로 50년 전 하드웨어까지 커버한다는 걸 보여준 거거든요. 곱셈기가 없거나 약한 초저가 MCU, 전력이 극도로 제한된 임베디드 환경에서의 온디바이스 AI 같은 요즘 흐름과 정확히 같은 선상에 있어요. 라즈베리 파이 피코 같은 보드에서 소형 모델을 돌려보고 싶은 분들에게는 "양자화를 어디까지 밀어붙일 수 있는가"에 대한 훌륭한 교보재이기도 하고요. 어셈블리 최적화, 메모리 레이아웃 설계 같은 로우레벨 감각을 기르는 데도 이만한 사례가 드물어요.
한 줄 정리: 가중치를 -1/0/+1로 줄이면 곱셈이 사라지고, 곱셈이 사라지면 1975년 CPU에서도 언어 모델이 돌아간다. 여러분이라면 이 극단적 양자화 기술을 어떤 임베디드 프로젝트에 적용해보고 싶으신가요?
🔗 출처: Hacker News