2009년 그웬(Gwern)이 쓴 에세이 「On Really Trying」은 언뜻 소프트웨어나 IT와 무관해 보이는 질문에서 출발한다. 우리는 왜 어떤 문제 앞에서는 온 힘을 쏟고, 어떤 문제 앞에서는 미적거리는가. 저자는 선(禪) 수행서 『선의 세 기둥』에 나오는 야스타니 선사의 말을 인용한다. 자기 본성을 깨달으려면 먼저 '나는 할 수 있다'는 확신이 있어야 하고, 그 확신이 결단을, 결단이 열정을 만든다는 것이다. '어쩌면 될지도, 안 될지도'라고 생각하는 순간 아무리 좌선을 해도 깨달음은 오지 않는다.
저자는 이 통찰을 엘리저 유드코프스키의 소설식 우화와 겹쳐 읽는다. 우화 속 학생들은 양자역학이 '틀렸다'는 것을 확실히 안 상태에서 한 달 안에 양자중력 이론을 만들라는 과제를 받는다. 스승 제프리사이는 아인슈타인도, 슈뢰딩거도, 폰 노이만도 30여 년간 이 문제를 풀지 못한 이유를 묻고, 학생 브레넌은 '실용적 동기의 부재'라고 답한다. 맨해튼 프로젝트는 전쟁이라는 절박한 목표가 있었기에 주변 시스템이 모든 부담을 걷어내 주었지만, 양자역학의 혼란은 당장의 기술적 결과가 없었다는 것이다. 스승이 덧붙이는 핵심은 더 뼈아프다. 옛 과학자들은 '한 문제를 푸는 데 30년쯤 걸려도 괜찮다'고 여겼고, 일은 주어진 시간을 채우도록 늘어난다는 것이다.
능력의 문제가 아니라 마감의 문제
그웬의 논지가 브레넌의 대사와 갈라지는 지점이 흥미롭다. 그는 이것이 '훈련'의 문제가 아니라고 본다. 옛 대가들을 데려다 필요한 실험 데이터를 주고 몇 달 안에 새 이론을 내놓지 못하면 처형하겠다고 하면, 그들도 이 학생들만큼 해낼 것이라는 주장이다. 패러다임 전환에 대한 역량이 부족한 게 아니라, '지금 당장, 그것도 내가' 전환을 이뤄야 한다는 사실을 받아들이는 문제라는 것이다. 저자 자신도 논리 퍼즐을 풀 때 '정답이 반드시 존재한다'는 보장이 있을 때 훨씬 더 몰입하고 효과적이었다고 고백한다.
답이 존재한다는 확신은 두 가지를 심리적으로 가능하게 한다. 하나는 애써 얻은 기존 이론과 통찰을 미련 없이 버릴 수 있게 하고, 다른 하나는 낡은 이론을 땜질하는 데 시간을 다 쓰지 않게 막아준다. 정답의 존재 여부조차 불확실할 때 우리는 방어적으로 변한다. 이는 실무자에게도 낯설지 않다. 이미 누군가 풀어낸 문제를 재현하는 일은, 풀 수 있는지조차 모르는 문제를 개척하는 일보다 압도적으로 빠르게 진행된다.
'존재 증명'이 경쟁을 촉발한다
에세이가 모아둔 사례들은 이 원리가 실제 기술사에서 어떻게 작동했는지 보여준다. 프랑수아 숄레는 캐글(Kaggle) 대회에서 리더보드가 오래 정체되다가 한 팀이 돌파구를 열면, 다른 여러 팀이 그 방법을 전혀 모르는 채로도 곧바로 같은 돌파를 재현하곤 한다는 사실을 좋아한다고 적었다. '가능하다'는 신호 자체가 나머지를 끌어올린 것이다. 가장 선명한 예는 단백질 구조 예측이다. 딥마인드가 문제를 풀고도 코드를 곧바로 공개하지 않자, 워싱턴대의 데이비드 베이커 연구실은 딥마인드의 방식을 대략적으로만 알고 자체적으로 재현에 나섰다. CASP 주최자 존 몰트의 전언에 따르면 베이커는 '이건 존재 증명이다. 딥마인드가 이런 방법이 통한다는 걸 보여줬다. 그걸로 충분하다'고 말했다.
공개키 암호의 탄생사도 같은 결을 지닌다. 디피는 인터뷰에서, 서로 만난 적 없는 상대와 안전하게 통신하는 문제를 오랫동안 불가능하다고 확신했고 동료까지 설득했다고 회고한다. 정작 랄프 머클은 이미 방법을 알고 있었지만 글이 난삽해 교수조차 이해하지 못했고, 100쪽짜리 논문은 읽기 매우 어려웠다. 머클의 논문은 5년쯤 뒤에야 세상에 나왔다. 클로드 섀넌의 형이 퍼즐 앞에서 '내가 뭔가 말해줄 수도 있어'라고 흘린 한마디만으로 섀넌이 퍼즐을 풀었다는 마누엘 블럼의 일화도 인용된다. 그 힌트의 위대함은 언제든 스스로에게 줄 수 있다는 데 있다.
확신의 힘, 그리고 확신의 함정
가장 극적인 사례는 통계학자 조지 단치그다. 버클리 신입생 시절 수업에 늦게 들어간 그는 칠판의 두 문제를 숙제로 여겨 베껴 적었고, 평소보다 조금 어려웠다며 며칠 뒤 풀어 제출했다. 6주 뒤 네이만 교수가 그 풀이에 서문을 붙여 논문으로 발표하자며 흥분해 찾아왔다. 두 문제는 사실 통계학의 유명한 미해결 난제였다. '숙제니까 답이 있다'는 순진한 확신이 없었다면 그는 애초에 덤비지도 않았을 것이다.
다만 이 에세이의 미덕은 스스로 한계를 밝혀두는 데 있다. 저자는 글의 상태를 '노트', 확신도를 '낮음(unlikely)'으로 표시해 두었다. 실제로 새 패러다임 대부분은 실패로 끝나며, '더 나은 이론이 반드시 있다'는 일반 원칙만으로 과학 공동체 전체를 설득할 정상적인 방법은 없다. 우화 속 학생들은 스승이 '정확히 옳은 질문을 던지고 답이 존재함을 알려주는' 막대한 도움을 받았기에 가능했다. 현실의 문제는 정답의 존재 여부, 질문의 정확성, 마감의 절박함이 모두 불투명하다. 그럼에도 이 글이 IT 실무자에게 남기는 실용적 함의는 분명하다. 경쟁사가 어떤 기능을 실제로 구현해냈다는 사실 하나, 벤치마크가 도달 가능하다는 신호 하나가 팀의 실행 속도를 근본적으로 바꾼다. 능력을 의심하기 전에, 지금 이 문제를 정말로 풀려고 하고 있는지, 스스로 마감을 부과하고 있는지를 먼저 물어야 한다는 것이다.