웹페이지는 생각보다 훨씬 지저분해요
LLM(대규모 언어 모델)을 실무에 쓰다 보면 반드시 만나는 골칫거리가 하나 있어요. 바로 '웹페이지에서 진짜 내용만 깔끔하게 뽑아내기'예요. Feyn이라는 팀이 이 문제를 정면으로 겨냥한 Pulpie라는 모델 모음을 공개했는데, 왜 이게 중요한지부터 이야기해 볼게요.
우리가 브라우저에서 보는 깔끔한 기사 한 편도, 실제 HTML 소스를 열어보면 난장판이거든요. 상단 네비게이션 메뉴, 사이드바 광고, 쿠키 동의 팝업, 관련 기사 추천, 푸터의 회사 정보, 각종 자바스크립트 조각까지 본문과 아무 상관 없는 것들이 잔뜩 섞여 있어요. 사람 눈에는 '본문은 저기 가운데 있네' 하고 바로 보이지만, 기계는 그걸 구분하기가 의외로 어려워요.
이게 왜 문제냐면, RAG(검색해서 참고 자료를 붙여주는 방식)나 LLM 학습 데이터를 만들 때 이 쓰레기들이 그대로 딸려 들어가면 모델이 헛소리를 하거나 토큰(모델이 처리하는 글자 단위, 곧 비용)을 낭비하게 되거든요. 그래서 '웹 청소(web cleaning)'는 요즘 AI 파이프라인에서 조용하지만 아주 중요한 단계예요.
기존 방식은 뭐가 아쉬웠나
예전부터 이 문제를 푸는 도구들은 있었어요. 파이어폭스의 읽기 모드에 쓰이는 Mozilla Readability, 파이썬 진영의 trafilatura나 newspaper3k 같은 것들이죠. 이런 도구는 HTML의 구조(DOM 트리)를 보고 '글자가 빽빽하게 몰린 덩어리가 본문일 가능성이 높다' 같은 휴리스틱(경험 법칙)으로 본문을 골라내요.
이 방식은 빠르고 공짜에 가깝지만, 사이트 구조가 조금만 특이해지면 본문 일부를 통째로 날려버리거나 광고를 본문으로 착각하는 일이 잦아요. 반대로, 요즘은 그냥 GPT 같은 큰 모델한테 'HTML 줄 테니 본문만 마크다운으로 정리해줘'라고 시키기도 해요. 품질은 좋은데, 문제는 느리고 비싸다는 거죠. 웹페이지를 수백만 개 처리해야 하는 상황이면 비용이 감당이 안 돼요.
Pulpie가 노린 '파레토 최적'이라는 지점
Pulpie의 핵심 아이디어는 이 두 극단 사이의 '단맛 나는 지점'을 찾는 거예요. 큰 모델처럼 똑똑하게 본문을 이해해서 정리하되, 크기를 확 줄인 작은 전용 모델로 만들어서 빠르고 싸게 돌리자는 거죠.
여기서 나온 표현이 '파레토 최적(Pareto-optimal)'인데, 이게 뭐냐면 이렇게 생각하면 쉬워요. 품질과 비용이라는 두 축이 있을 때, '더 싸면서 동시에 더 좋은' 선택지가 존재하지 않는 상태를 말해요. 즉 품질을 더 올리려면 비용이 오를 수밖에 없고, 비용을 더 낮추려면 품질이 떨어질 수밖에 없는, 각 예산대별로 가장 효율적인 지점들을 이은 선이에요. Pulpie는 여러 크기의 모델을 내놓으면서 '당신 예산이 이 정도면 이 모델이 그 예산에서 낼 수 있는 최고 품질입니다'를 제시하는 셈이죠.
작은 모델이라도 '웹 본문 정리'라는 한 가지 작업에만 특화해서 파인튜닝(특정 작업에 맞게 추가 학습)하면, 범용 거대 모델 못지않은 정확도를 훨씬 저렴하게 낼 수 있어요. 이런 '작지만 한 우물만 파는 전문 모델' 전략은 요즘 실무 AI에서 아주 뜨거운 방향이에요.
경쟁 흐름 속에서의 위치
비슷한 문제를 노리는 도구들이 최근 많이 나왔어요. Jina의 Reader API는 URL만 던지면 LLM이 먹기 좋은 텍스트로 바꿔주고, Firecrawl은 크롤링과 정제를 한 번에 처리하는 서비스로 인기예요. Pulpie는 이런 서비스형(API로 갖다 쓰는) 접근과 달리, '정제 자체를 담당하는 모델'을 효율 관점에서 최적화했다는 데 특징이 있어요. 특히 대량 처리 시 비용 곡선을 얼마나 눕힐 수 있느냐가 이 분야의 진짜 승부처인데, 거기를 정조준한 거죠.
한국 개발자에게 주는 시사점
요즘 사내 문서나 웹 자료를 모아 RAG 챗봇을 만드는 팀이 정말 많잖아요. 그런데 막상 해보면 검색 품질의 발목을 잡는 게 화려한 벡터 검색 알고리즘이 아니라, 애초에 집어넣은 데이터가 지저분하다는 문제인 경우가 허다해요. '쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)'는 격언이 그대로 적용되는 거죠.
그래서 이런 웹 정제 도구를 파이프라인 앞단에 제대로 세팅하는 것만으로도 결과 품질이 눈에 띄게 좋아질 수 있어요. 당장은 trafilatura 같은 무료 도구로 시작하되, 규모가 커지면 Pulpie 같은 소형 전용 모델로 갈아타는 식의 전략을 미리 그려두면 좋아요. 그리고 '거대 모델 하나로 다 하기보다, 작업별 전용 소형 모델로 비용을 잡는다'는 이 설계 철학 자체가, 앞으로 AI 서비스를 만들 때 두고두고 써먹을 사고방식이에요.
한 줄 정리: 좋은 AI 결과의 절반은 좋은 데이터에서 오고, Pulpie는 그 '깨끗한 데이터'를 값싸게 만드는 청소 전문가예요.
여러분은 RAG나 데이터 수집을 할 때 웹 본문 정제를 어떻게 처리하고 계세요? 아직도 정규식과 씨름하고 계신가요, 아니면 전용 도구로 넘어가셨나요?
🔗 출처: Hacker News