LLM이 일상 업무에 스며들면서 생긴 가장 큰 변화 중 하나는, 누구나 자기 전문 분야 밖의 일을 어느 정도 해낼 수 있게 됐다는 점이다. 2010년대에는 CSS를 못 쓰면 실력 있는 동료에게 기대거나 인터넷 어딘가에 마침 내 문제의 정답이 있기를 바라는 수밖에 없었다. 지금은 대충 쓸 만한 CSS 정도는 모델에 맡기면 나온다. LLM이 모두를 어중간한 제너럴리스트로 만들어 준 셈이다.
이런 경험 때문에 많은 사람이 'LLM을 다루는 데 특별한 기술은 없다'고 생각한다. PhD 수준의 수학, 나쁘지 않지만 가끔 촌스러운 코드, 어색한 링크드인풍 글쓰기처럼 모델이 내놓을 수 있는 결과물은 그냥 달라고 하면 나오기 때문이다. 게다가 모두가 같은 모델과 대화하니, 이른바 '프롬프트 고수'가 처음 써 보는 사람과 크게 다르지 않은 답을 얻는 것처럼 보인다. 소프트웨어 엔지니어 션 괴데케(Sean Goedecke)는 이 통념이 틀렸다고 말한다. 프롬프트에서 가장 중요한 기술은 프롬프트하려는 그 분야에 대한 전문성이라는 것이다.
같은 모델, 다른 결과
그가 드는 사례가 수학자 테런스 타오(Terence Tao)와 ChatGPT의 대화다. 최근 발견된 야코비안 추측(Jacobian Conjecture)의 반례를 두고 타오가 모델과 주고받은 이 대화는, 괴데케가 쓰는 '평범한 ChatGPT'와는 전혀 달라 보였다. 아무리 토큰을 무제한으로 쏟아부어도 자신은 타오가 도달한 지점까지 갈 수 없다는 것이다. 여기서 배울 만한 프롬프트 요령이 몇 가지 있긴 하지만, 정작 핵심은 요령이 아니다. 모델이 쏟아낸 여러 문단짜리 답변에서 정작 중요한 아이디어를 골라내고, 다른 접근이나 표현 방식을 제안하고, '이 부분이 이상하다'고 짚어내는 능력이야말로 대화를 끌고 가는 힘이며, 그것은 수학을 실제로 이해하고 있어야 가능하다.
타오의 대화가 특별한 이유는 그가 던지는 질문의 성격에 있다. '여기서 X가 성립하는가', 'Y와 Z가 주어졌을 때 왜 A인가' 같은 매우 구체적인 질문들이다. 이런 질문은 그 주제를 깊이 아는 사람만 던질 수 있다. 괴데케는 야코비안 추측에 대해서는 이런 질문을 할 수 없지만, 자신이 GitHub에서 직접 담당하는 시스템에 대해서라면 얼마든지 할 수 있다고 말한다.
코드베이스를 아는 사람이 모델을 더 세게 민다
이 통찰은 개발 실무에도 그대로 적용된다. 자기 코드베이스에 대한 나름의 '이론', 즉 어디서 무엇이 어떻게 돌아가는지에 대한 감각이 있으면 모델을 훨씬 강하게 밀어붙일 수 있다. 좋은 해법이 대략 어떤 모양이어야 하는지 스스로 짐작하고 있기 때문에 '아니, 여기는 더 간단해질 수 있을 것 같다', '이미 X를 하고 있지 않나', '이 문제를 우리에게 익숙한 개념으로 바꿔 표현할 수 있나'라고 되받아칠 수 있다. 반대로 아무런 배경 지식이 없으면 모델이 준 것을 그대로 받아들이는 것 말고는 방향을 잡기 어렵다.
괴데케는 시스템 설계 문제가 일반 원칙보다 구체적인 세부 사항에 의해 좌우된다는, 자신이 전부터 해 온 주장과 이 얘기가 맞닿아 있다고 본다. 물론 둘 다 유용하지만, 그는 소프트웨어 시스템에 대한 폭넓은 일반 이해보다 지금 다루는 코드베이스에 대한 친숙함을 택하겠다고 한다. 도메인 지식이 없어도 LLM에 매달려 무언가를 얻어낼 수는 있고, 그 자체가 나쁜 것은 아니다. 다만 도메인 지식이 있으면 같은 모델에서 훨씬 많은 가치를 짜낼 수 있다는 차이가 있을 뿐이다. 대부분의 사람은 어떤 분야에는 전문성이 있고 어떤 분야에는 없으므로, 결국 이 두 방식을 섞어 쓰게 된다.
병목은 모델이 아니라 사람
이 논지가 한국 IT 실무자에게 주는 함의는 분명하다. 모델이 강해질수록 인간의 전문성이 쓸모없어질 거라는 흔한 예측과 달리, 도메인 지식의 가치는 오히려 오래 살아남을 가능성이 크다. 많은 작업에서 병목은 모델이 아니라 사람이기 때문이다. 어려운 부분은 모델이 답을 모르는 데 있는 게 아니라, 내가 원하는 해법이 정확히 어떤 종류인지를 모델에 전달하는 데 있다. 필요한 정보는 이미 '모델 안에' 들어 있고, 그것을 끌어내려면 그만큼 똑똑하고 그 분야를 잘 아는 사람이 필요하다.
다만 이 주장에는 한계도 있다. 근거의 상당 부분이 타오라는 최상위 전문가의 인상적인 한 사례와 저자 개인의 경험에 기대고 있어, 일반적인 실무 환경에서 전문성의 효과가 얼마나 큰지를 정량적으로 보여 주지는 않는다. 그럼에도 '프롬프트 기술'을 별도의 요령처럼 다루기보다, 자기 분야의 실력을 쌓는 것이 곧 모델을 잘 쓰는 길이라는 방향 제시는 도구가 평준화된 시대에 개인의 경쟁력을 어디에 둘지 고민하는 실무자에게 참고할 만한 관점이다.