LLM 원리, 글로만 읽으면 잘 안 와닿죠
요즘 ChatGPT나 Claude 없이 개발하는 분이 드물 정도인데, 정작 '이게 안에서 어떻게 돌아가는 거야?'라는 질문에 자신 있게 답할 수 있는 분은 많지 않아요. 논문은 수식투성이고, 블로그 글은 읽어도 머릿속에 그림이 잘 안 그려지거든요. TokenTown은 이 문제를 시각적으로 풀어보려는 프로젝트예요. LLM이 텍스트를 처리하는 과정을 브라우저에서 직접 눈으로 보면서 단계별로 따라갈 수 있게 만든 인터랙티브 학습 도구거든요. 설치도 필요 없이 웹에서 바로 열리니까, 개념 공부를 미뤄왔던 분들에게 좋은 출발점이 될 수 있어요.
LLM이 글을 읽는 과정, 같이 따라가 볼까요
이 도구가 다루는 개념들을 짚어보면 LLM의 작동 원리가 한눈에 들어와요. 첫 단계는 토큰화예요. 이게 뭐냐면, 모델이 문장을 통째로 읽는 게 아니라 '토큰'이라는 조각 단위로 쪼개서 읽는다는 거예요. 영어 'unbelievable'이 'un', 'believ', 'able' 같은 조각으로 나뉘는 식이죠. 우리가 글을 음절이나 단어로 끊어 읽듯이, 모델은 자주 등장하는 글자 뭉치 단위로 끊어 읽는다고 생각하면 돼요.
다음은 임베딩인데요. 쪼갠 토큰을 컴퓨터가 다룰 수 있는 숫자 목록(벡터)으로 바꾸는 과정이에요. 재미있는 건 이 숫자들이 일종의 '좌표' 역할을 한다는 거예요. 의미가 비슷한 단어들은 이 좌표 공간에서 서로 가까운 동네에 살아요. '강아지'와 '고양이'는 이웃이고, '강아지'와 '미적분'은 아주 먼 동네에 있는 식이죠. TokenTown이라는 이름처럼, 토큰들이 모여 사는 마을을 상상하면 딱 맞는 그림이에요.
그다음이 트랜스포머의 심장인 어텐션이에요. 문장 안의 각 토큰이 다른 토큰들 중 어떤 걸 얼마나 참고할지 정하는 메커니즘인데요. '그 개는 공을 물었다. 그리고 그것을 떨어뜨렸다'에서 '그것'이 '공'을 가리킨다는 걸 알아내는 게 바로 어텐션이 하는 일이에요. 마지막은 다음 토큰 예측이고요. 모델은 지금까지의 문맥을 보고 '다음에 올 확률이 높은 토큰'의 순위표를 만들고, 거기서 하나를 골라요. temperature 같은 설정값이 이 선택을 더 무작위하게 하거나 보수적으로 만들죠. LLM이 하는 일의 전부가 사실 이 예측을 반복하는 거예요. 이 과정을 텍스트로만 읽으면 추상적인데, 시각적으로 조각이 쪼개지고 연결되는 걸 직접 보면 이해의 속도가 완전히 달라집니다.
비슷한 학습 자료들과 비교하면
시각화로 LLM을 가르치는 시도는 하나의 계보가 있어요. 3Blue1Brown의 신경망·트랜스포머 영상 시리즈는 수학적 직관을 그림으로 풀어낸 고전이고, Brendan Bycroft의 LLM Visualization은 GPT 내부 구조를 3D로 통째로 보여주는 걸작이죠. OpenAI의 토크나이저 플레이그라운드는 내 문장이 어떻게 쪼개지는지 실험해볼 수 있고요. TokenTown은 이 중에서 진입 장벽을 최대한 낮춘, 입문자용 첫 계단 포지션이라고 보면 돼요. 깊이보다는 '감 잡기'에 초점이 맞춰져 있어서, 여기서 흥미가 생기면 위의 자료들로 넘어가는 코스가 자연스럽습니다.
한국 개발자에게 특히 의미 있는 지점
토큰 개념은 교양이 아니라 실무 지식이에요. LLM API 요금이 토큰 단위로 계산되고, 컨텍스트 한계도 토큰 수로 정해지니까요. 특히 한국어는 같은 내용이라도 영어보다 토큰을 훨씬 많이 소모하는 경우가 많거든요. 토크나이저가 영어 중심 데이터로 학습된 탓에 한글이 잘게 쪼개지기 때문이에요. 한국어 서비스의 API 비용이 예상보다 크게 나오는 이유가 바로 이거라서, 토큰화를 이해하면 비용 최적화와 프롬프트 설계의 기본기가 잡힙니다. 팀에 LLM 개념을 설명해야 하는 분들, 기획자나 신입 개발자 온보딩 자료가 필요한 분들에게도 이런 시각화 도구는 좋은 재료가 돼요.
정리하면
LLM은 마법이 아니라 '토큰을 쪼개고, 좌표로 바꾸고, 서로 참고해서, 다음 조각을 예측하는' 기계예요. 이 한 문장을 눈으로 확인하고 싶다면 가볍게 들러볼 만한 프로젝트입니다. 여러분은 LLM 동작 원리를 어떤 자료로 처음 이해하셨나요? 입문자에게 추천할 만한 자료가 있다면 댓글로 공유해주세요.
🔗 출처: Hacker News