프롬프트를 아무리 잘 짜도 AI가 갑자기 똑똑해지지 않는 이유

“프롬프트만 잘 쓰면 된다”는 말의 함정

요즘 ‘프롬프트 엔지니어링’이 엄청 화제잖아요. 같은 AI라도 질문을 어떻게 하느냐에 따라 결과가 천차만별이라고들 하죠. 맞는 말이에요. 그런데 여기서 한 발 더 들어가 짚어볼 중요한 포인트가 있어요. 바로 “프롬프트를 아무리 기가 막히게 짜도, AI가 원래 못하던 걸 갑자기 할 수 있게 되진 않는다”는 거예요.

왜냐면요, AI 모델은 본질적으로 ‘이미 다 짜여진 코드’거든요. 더 정확히 말하면, 학습이 끝난 모델의 능력은 그 안의 가중치(weight)에 이미 다 박혀 있어요. 프롬프트는 그 박혀 있는 능력 중에서 어떤 걸 꺼내 쓸지 ‘길을 안내’하는 역할이지, 없던 능력을 새로 만들어주는 마법 주문이 아니에요.

프롬프트가 하는 일 vs 못하는 일

이걸 비유로 설명해볼게요. 거대한 도서관이 하나 있다고 생각해봐요. 그 도서관에 있는 책(=모델이 학습한 지식과 능력)은 학습이 끝난 순간 딱 정해져요. 프롬프트는 그 도서관에서 “이런 책 좀 찾아줘”라고 사서한테 부탁하는 거예요. 부탁을 잘하면 원하는 책을 빠르고 정확하게 찾을 수 있죠. 근데 도서관에 아예 없는 책은, 아무리 사서한테 사정사정해도 못 가져와요. 프롬프트의 한계가 딱 이거예요.

그래서 프롬프트로 할 수 있는 건 ‘잠재된 능력을 끌어내는 것’까지예요. 예를 들어 “단계별로 차근차근 생각해봐(chain of thought)”라고 시키면 모델이 추론을 더 잘하는데, 이건 추론 능력이 원래 모델 안에 있었기 때문에 그 길을 열어준 거지, 없던 추론력을 만들어낸 게 아니에요.

그럼 진짜로 똑똑하게 만들려면

모델 자체의 능력을 끌어올리려면 결국 코드(=가중치)를 바꿔야 해요. 방법은 크게 세 가지예요.

첫째, ‘파인튜닝(fine-tuning)’이에요. 특정 분야 데이터로 모델을 추가 학습시켜서 그 분야를 더 잘하게 만드는 거예요. 가중치를 실제로 바꾸는 작업이죠.

둘째, ‘RAG(검색 증강 생성)’예요. 이게 뭐냐면, 모델이 모르는 최신 정보나 사내 문서를 외부에서 찾아다가 프롬프트에 같이 넣어주는 방식이에요. 모델을 똑똑하게 만드는 건 아니지만, 모델한테 ‘커닝 페이퍼’를 쥐여주는 셈이라 실무에선 굉장히 효과적이에요.

셋째, 아예 더 좋은 모델로 갈아타거나 처음부터 다시 학습시키는 거예요. 가장 확실하지만 가장 비싸죠.

업계 맥락에서 보면

이 이야기가 중요한 이유는, 요즘 “프롬프트만 잘 짜면 만능”이라는 과한 기대가 퍼져 있기 때문이에요. AI 도입을 검토하는 회사들이 “프롬프트 엔지니어 몇 명 뽑으면 다 해결되겠지”라고 생각했다가, 막상 모델이 근본적으로 못하는 작업 앞에서 벽에 부딪히는 경우가 많거든요.

반대로 말하면, 모델의 진짜 실력을 파악하는 게 중요해졌다는 뜻이에요. 벤치마크(benchmark, 모델 성능을 객관적으로 측정하는 시험)를 보고, 우리 작업에 맞는 능력이 그 모델에 있는지부터 확인해야 해요. 프롬프트로 해결될 문제인지, 아니면 파인튜닝이나 RAG가 필요한 문제인지를 구분하는 안목이 진짜 실력이 되는 거죠.

한국 개발자에게

실무에서 AI 기능을 붙일 때 이 관점이 정말 도움이 돼요. “결과가 안 좋네? 프롬프트를 더 고쳐볼까?”를 무한 반복하다 시간을 날리는 경우가 많은데, 어느 순간엔 “아, 이건 프롬프트 문제가 아니라 모델 자체의 한계구나”를 빨리 판단하고 다른 카드(RAG, 파인튜닝, 모델 교체)를 꺼내야 하거든요.

프롬프트 엔지니어링은 분명 가성비 좋은 첫 단계예요. 코드 한 줄 안 바꾸고도 결과를 개선할 수 있으니까요. 다만 그게 만능이 아니라 ‘도구 상자 안의 한 도구’라는 걸 알고 쓰면, 훨씬 현명하게 AI를 다룰 수 있어요.