사람용 페이지와 봇용 페이지가 따로 있다?
개발자 빈센트 슈말바흐(Vincent Schmalbach)가 흥미로운 사실을 발견했는데요. 미국의 유서 깊은 매체 TIME의 웹사이트가 AI 봇에게는 일반 방문자와 다른 버전의 페이지를 보여주고 있다는 거예요. 그냥 다른 정도가 아니라, 봇에게 주는 버전에는 기사 본문 안에 광고 문구가 텍스트로 심어져 있대요. 무슨 뜻이냐면, ChatGPT나 Claude 같은 AI가 TIME 기사를 읽고 요약하거나 인용할 때, 그 광고까지 함께 읽어서 답변에 섞여 나올 수 있는 구조라는 거죠. 언론사와 AI 사이의 줄다리기가 새로운 국면에 들어섰다는 신호라서 자세히 들여다볼 만해요.
기술적으로 어떻게 하는 거냐면
원리 자체는 오래된 기법이에요. 웹 서버는 요청을 보낸 쪽이 누구인지 User-Agent라는 정보로 파악할 수 있는데요. OpenAI의 GPTBot, Anthropic의 ClaudeBot, PerplexityBot처럼 AI 회사들의 크롤러는 자기 신원을 밝히고 다니거든요. 서버가 이 신원을 보고 '아, 너 AI 봇이구나' 하면 사람용 HTML 대신 별도로 준비한 HTML을 내려주는 거예요. 이렇게 방문자에 따라 다른 콘텐츠를 보여주는 걸 클로킹(cloaking)이라고 불러요. 재미있는 건 이 기법의 역사인데요. 검색엔진 시대에는 구글 크롤러에게만 키워드를 잔뜩 채운 페이지를 보여주는 클로킹이 대표적인 어뷰징으로 취급돼서 걸리면 검색 순위에서 퇴출당하는 중대 위반이었거든요. 그 금기시되던 기법이 이번엔 언론사의 수익화 수단으로, AI 봇을 상대로 부활한 셈이에요.
왜 이런 일이 벌어졌을까요
배경에는 언론사들의 절박함이 있어요. 사람들이 뉴스를 검색해서 기사 페이지에 방문하는 대신 AI 챗봇의 요약 답변으로 소비를 끝내면서, 언론사 트래픽과 광고 수익이 함께 흔들리고 있거든요. 그동안의 대응은 크게 세 갈래였어요. robots.txt로 AI 크롤러를 아예 차단하거나, OpenAI와 뉴스코프의 계약처럼 라이선스 비용을 받고 콘텐츠를 정식으로 제공하거나, Cloudflare가 내놓은 것처럼 크롤링 한 번마다 요금을 물리는 방식이었죠. TIME의 방식은 네 번째 길이에요. 봇을 막지도, 돈을 직접 받지도 않는 대신 봇이 가져가는 콘텐츠 안에 광고를 끼워 넣어서 AI의 답변 자체를 광고 지면으로 만들어버리는 거예요.
다만 이 방식은 꽤 무거운 질문들을 남겨요. 사용자 입장에서는 AI 답변에 광고가 섞여 있어도 그게 광고인지 알 길이 없잖아요. 구조적으로는 프롬프트 인젝션(웹 페이지에 숨긴 지시문으로 AI의 동작을 조종하는 공격)과 닮은꼴이라, '착한 광고 삽입'이 허용되면 악의적 삽입과의 경계는 어디냐는 문제도 생기고요. AI 회사들이 봇의 신원을 숨기고 일반 브라우저인 척 크롤링하기 시작하면 이 수익 모델은 무력화되는데, 그러면 신원을 밝히고 다니던 크롤러 생태계의 신뢰가 무너지는 부작용이 따라와요.
한국 개발자에게 주는 시사점
한국에서도 언론사와 AI 기업 간 학습 데이터 대가 논의가 진행 중이라 결코 먼 이야기가 아니에요. 실무 관점에서 챙길 포인트는 두 가지인데요. 첫째, 크롤러나 RAG 파이프라인(외부 문서를 검색해 AI 답변에 활용하는 구조)을 만드는 분이라면, 여러분의 봇이 받는 콘텐츠가 사람이 보는 것과 다를 수 있다는 걸 전제해야 해요. 수집한 텍스트에서 광고나 숨은 지시문을 걸러내는 정제 단계가 이제 선택이 아니라 필수가 된 거죠. 둘째, 콘텐츠 서비스를 운영하는 쪽이라면 AI 봇 트래픽을 어떻게 다룰지가 이제 실제 설계 항목이 됐어요. 차단, 과금, 라이선스, 그리고 이런 변형 제공까지 선택지를 알고 있어야 하고요.
정리하면
AI가 웹을 읽는 시대에, 콘텐츠 제공자는 'AI에게 보여주는 화면'을 따로 설계하기 시작했다는 이야기예요. 여러분은 이 방식이 콘텐츠 제작자의 정당한 생존 전략이라고 보시나요, 아니면 AI 답변을 오염시키는 위험한 선례라고 보시나요?
🔗 출처: Hacker News