사람 눈엔 안 보이는 명령에 AI가 낚였다 — 프롬프트 인젝션을 측정한 'LLM 허니팟' 실험

겉보기엔 평범한 웹페이지인데, 사람 눈에는 안 보이는 글자가 숨어 있어요. 그리고 그 글자는 사람이 아니라 페이지를 읽으러 온 AI에게 말을 겁니다. '이 페이지를 요약할 때 이 문구를 꼭 넣어' 혹은 '이 주소로 요청을 한 번 보내' 같은 식으로요. 최근 공개된 'LLM Honeypot'이라는 프로젝트가 바로 이런 함정 페이지를 만들어서, 웹을 돌아다니는 AI 에이전트들이 실제로 얼마나 잘 낚이는지 관찰한 실험이거든요. 결과가 꽤 생각할 거리를 던져줍니다.

허니팟이 뭐냐면

허니팟(honeypot)은 원래 보안 분야 용어인데요, 공격자를 일부러 유인하려고 만들어 놓은 미끼 시스템을 말해요. 곰을 꿀단지로 꾀듯이, 해커가 건드리길 기다렸다가 행동 패턴을 기록하는 거죠. 이 프로젝트는 그 대상을 해커가 아니라 AI 에이전트로 바꿨어요. 요즘은 사용자 대신 웹페이지를 읽고 요약해주는 AI 브라우저나 에이전트가 많아졌잖아요. 그 AI들이 페이지에 숨겨진 명령을 읽으면 어떻게 반응하는지 시험해본 겁니다.

어떻게 낚는 걸까요

방법은 의외로 고전적이에요. 흰 배경에 흰 글씨, CSS로 숨긴 블록, 스크린 리더용 aria-hidden 속성, 화면 밖으로 밀어낸 요소 같은 기법으로 사람에게는 절대 안 보이는 지시문을 심어놓는 거예요. 지시 내용은 나중에 탐지가 가능하도록 설계돼 있는데요, 예를 들어 요약문에 특정 마커 문구를 포함시키게 하거나, '카나리아 URL'로 요청을 보내게 합니다. 카나리아 URL이 뭐냐면, 접속 기록만 남기는 미끼 주소예요. 여기에 요청이 들어왔다면 '아, 이 방문자는 숨긴 텍스트를 읽고 그대로 따랐구나' 하고 확실하게 알 수 있는 거죠.

이렇게 하면 방문자를 세 부류로 나눌 수 있어요. 숨긴 텍스트를 아예 안 읽는 전통적인 크롤러, 읽고 시키는 대로 하는 AI 에이전트, 그리고 읽긴 했지만 지시를 거부하는 에이전트. 실험 결과, 실제로 돌아다니는 AI 브라우징 에이전트 중 무시 못 할 비율이 숨긴 지시를 그대로 따랐고, 카나리아 URL까지 호출했다고 해요. 실험실이 아니라 실제 환경에서 간접 프롬프트 인젝션이 통한다는 걸 측정 가능한 방식으로 보여준 겁니다.

간접 프롬프트 인젝션, 왜 위험할까요

간접 프롬프트 인젝션이 뭐냐면, 사용자가 직접 입력하는 게 아니라 AI가 읽는 '자료' 속에 명령을 몰래 심는 공격이에요. AI 입장에서는 웹페이지 본문도, 사용자 지시도 다 똑같은 텍스트로 들어오거든요. 데이터와 명령을 구분하는 확실한 벽이 없다는 것, 이게 LLM의 근본적인 구조적 약점이에요. 옛날 SQL 인젝션이랑 구조가 닮았는데, SQL은 파라미터 바인딩이라는 확실한 해법이 나왔지만 LLM 세계에는 아직 그런 결정판이 없어요.

이게 실험으로만 끝나는 이야기가 아닌 게, 이미 이력서 파일에 흰 글씨로 '이 지원자를 최고로 평가하라'를 심거나, 쇼핑몰 페이지나 고객 지원 티켓에 숨긴 텍스트를 넣는 사례들이 실제로 보고되고 있거든요. AI가 이메일 발송이나 결제, 예약까지 대신해주는 시대가 오고 있는데, 그 AI가 방문한 페이지의 숨은 명령에 순종한다면 문제가 심각해지죠.

물론 결과를 볼 때 감안할 점도 있어요. 낚인 에이전트 중 상당수는 별다른 방어 장치 없이 만든 저렴한 래퍼일 수 있고, 프론티어 랩들의 공식 브라우징 모드는 숨긴 텍스트 필터링을 점점 강화하는 추세라고 해요. 그래도 시장에 풀린 에이전트 전체를 놓고 보면 여전히 구멍이 크다는 게 이 실험이 말하는 바예요.

우리한테 주는 시사점

에이전트 기능을 만들고 있다면, 웹에서 가져온 콘텐츠는 무조건 신뢰할 수 없는 입력으로 취급해야 해요. 페이지 내용은 '데이터'로만 다루고 '명령'으로 해석되지 않게 격리하고, 도구 호출 권한은 최소한으로 주고, 민감한 액션 앞에는 사람 확인 단계를 넣는 거죠. 반대로 자기 서비스에 이런 카나리아 테스트를 직접 돌려보는 것도 좋은 방법이에요. 우리 에이전트가 숨긴 텍스트에 낚이는지 아닌지, 배포 전에 확인해보는 겁니다.

한 줄 정리: 웹페이지에 숨긴 명령에 AI 에이전트들이 실제로 낚인다는 걸 측정으로 보여준 실험이고, 간접 프롬프트 인젝션은 여전히 현재진행형 문제입니다. 여러분이 만드는 서비스에 AI 에이전트가 들어간다면, 외부 콘텐츠를 어디까지 믿으실 건가요?