내 AI 에이전트가 위험한 짓을 할 수 있는지 스캔해주는 도구, MakerChecker

AI 에이전트가 똑똑해질수록 무서운 이유

요즘 AI 에이전트가 정말 많은 걸 할 수 있게 됐잖아요. 파일을 읽고 쓰고, 셸 명령어를 실행하고, 인터넷에 요청을 보내고, 외부 API를 호출하고요. 편리한 만큼 위험도 따라와요. 에이전트에게 권한을 너무 많이 줘버리면, 프롬프트 하나 잘못 들어갔을 때 진짜로 사고를 칠 수 있거든요.

이걸 '위험한 능력(dangerous capabilities)'이라고 부르는데요. 예를 들면 시스템 명령어를 실행할 수 있거나, 비밀 키(secret) 같은 민감 정보에 접근할 수 있거나, 외부로 데이터를 보낼 수 있거나, 파일을 지울 수 있는 능력들이에요. 문제는 우리가 에이전트를 만들 때 이런 능력을 은근슬쩍, 자기도 모르게 열어두는 경우가 많다는 거예요. 툴 하나 붙였는데 그게 알고 보니 임의 코드 실행으로 이어지는 통로였다든가 하는 식으로요.

MakerChecker는 바로 이 지점을 잡아주는 오픈소스 도구예요. 내가 만든 AI 에이전트가 실제로 어떤 위험한 능력을 갖고 있는지 스캔해서 알려주는 거죠.

어떻게 동작하냐면

핵심 아이디어는 이름 그대로 '만드는 쪽(Maker)'과 '점검하는 쪽(Checker)'을 분리한다는 거예요. 원래 회계나 금융 쪽에서 쓰는 개념인데요. 돈을 옮기는 사람과 그걸 승인하는 사람을 나눠서, 한 사람이 마음대로 사고 못 치게 하는 방식이에요. 이 원리를 AI 에이전트 세계로 가져온 거죠.

에이전트가 어떤 도구(tool)들을 쓸 수 있는지, 그 도구들이 실제로 무슨 일을 할 수 있는지를 분석해서, "이 에이전트는 셸 접근이 가능함", "이 에이전트는 환경 변수에서 비밀 값을 읽을 수 있음" 같은 식으로 위험 능력의 목록을 뽑아줘요. 그러면 개발자는 "어? 나는 얘한테 이런 권한까지 준 적 없는데?" 하고 뒤늦게라도 발견할 수 있는 거예요. 사람이 일일이 코드를 뒤지지 않아도 자동으로 위험 지점을 찾아준다는 게 핵심 가치예요.

왜 지금 이런 도구가 나오냐면

에이전트를 쓰는 방식이 바뀌고 있어서예요. 예전엔 사람이 한 단계씩 확인하면서 AI를 썼는데, 이제는 에이전트가 사람 개입 없이 여러 단계를 스스로 실행하는 '자율 실행' 방향으로 가고 있거든요. 사람이 매번 안 지켜보니까, 대신 자동으로 위험을 검사하고 가드레일(안전 난간)을 쳐주는 도구의 필요성이 커진 거죠.

비슷한 흐름의 도구들도 여럿 나오고 있어요. 에이전트를 격리된 샌드박스 안에서만 돌리게 하는 접근, 에이전트가 호출하는 도구마다 권한을 세밀하게 제한하는 접근, 위험한 행동을 하기 전에 사람 승인을 강제하는 접근 등이 있는데요. MakerChecker는 그중에서도 '일단 내 에이전트가 어떤 위험을 품고 있는지부터 눈으로 확인하자'는 진단(scanning) 쪽에 초점을 맞춘 도구라고 보면 돼요.

한국 개발자에게

에이전트 서비스를 만들거나 실험 중이라면 한 번쯤 돌려볼 만해요. 특히 사내 데이터나 실제 인프라에 연결된 에이전트를 만들 때는요. 우리가 웹 서비스 배포하기 전에 보안 스캐너 한 번 돌리는 것처럼, 에이전트도 세상에 내보내기 전에 "얘가 할 수 있는 위험한 짓이 뭐지?"를 점검하는 게 새로운 기본기가 될 거예요.

당장 이 도구를 안 쓰더라도, '위험한 능력을 목록으로 뽑아본다'는 발상 자체를 챙겨두면 좋아요. 내가 에이전트에게 붙인 툴 하나하나가 어떤 최악의 시나리오로 이어질 수 있는지 상상해보는 습관, 그게 앞으로 AI 서비스 개발에서 점점 중요해지거든요.

정리하며

AI 에이전트 보안은 이제 '있으면 좋은 것'이 아니라 '없으면 안 되는 것'으로 넘어가는 중이에요. 여러분은 에이전트에게 권한을 줄 때 어디까지 열어주시나요? 혹시 "일단 되게 만들자"는 마음에 필요 이상으로 문을 열어둔 건 아닌지, 이번 기회에 점검해보면 어떨까요?