AI가 수학 문제를 잘 푼다는 얘기, 벤치마크 점수로는 많이 들어보셨을 거예요. 그런데 이번 소식은 결이 조금 다른데요. OpenAI가 자사 추론 모델이 수학과 이론전산학 연구에서 실제로 기여한 성과 10가지를 정리해 공개했어요. 시험처럼 답이 정해진 문제를 잘 푸는 것과, 아직 아무도 답을 모르는 문제에서 새로운 결과를 내는 건 완전히 다른 이야기거든요. 이번 발표는 후자의 사례가 하나둘 쌓이기 시작했다는 신호라서 눈여겨볼 만해요.
이론전산학이 뭐냐면요
먼저 용어부터 짚고 갈게요. 이론전산학(Theoretical Computer Science)은 이게 뭐냐면, 알고리즘과 계산 자체를 수학적으로 연구하는 분야예요. '이 문제는 아무리 좋은 알고리즘을 만들어도 이 속도보다 빠를 수 없다'거나 '이 자료구조는 최악의 경우 이만큼의 메모리가 필요하다' 같은 걸 증명으로 보여주는 거죠. 비교 기반 정렬이 O(n log n)보다 빨라질 수 없다는 것도 이 분야에서 증명된 사실이에요. 코딩테스트 준비하면서 만나는 복잡도 분석의 '끝판왕' 버전이라고 생각하시면 돼요.
어떤 식으로 기여했을까요
공개된 사례들을 보면 몇 가지 패턴이 보여요. 첫째는 기존에 알려진 한계값(bound)을 개선하는 유형이에요. 수학에서는 '이 값은 최소 얼마, 최대 얼마 사이에 있다'는 식으로 범위를 좁혀가는 연구가 많은데, 모델이 그 범위를 한 단계 좁히는 증명 아이디어를 낸 거죠. 둘째는 반례 찾기예요. '이 추측이 맞을 것 같은데'라고 오랫동안 믿어온 명제에 대해, 모델이 조건을 깨는 구체적인 예시를 찾아내는 경우인데요. 사람이 손으로 뒤지기엔 경우의 수가 너무 많은 영역에서 특히 힘을 발휘해요. 셋째는 서로 다른 분야의 기존 결과를 연결하는 유형이에요. 이미 발표된 논문 중에 사실상 답의 재료가 되는 게 묻혀 있는데, 방대한 문헌을 '읽은' 모델이 그 연결고리를 찾아주는 거죠.
작년 하반기부터 GPT-5 계열 모델이 에르되시(Erdős) 문제 목록에 있는 오래된 미해결 문제 몇 개에 증명이나 반례를 내놨다는 소식이 수학계에 전해진 적이 있는데요, 이번 발표는 그 흐름의 연장선으로 보시면 돼요. 중요한 건 이 과정이 'AI 혼자 다 했다'가 아니라는 점이에요. 모델이 증명 초안이나 아이디어를 내면, 수학자가 한 줄 한 줄 검증하고 다듬는 협업 구조거든요.
그런데, 증명이 틀렸으면 어떡하죠?
여기서 자연스러운 걱정이 나와요. LLM은 그럴듯하지만 틀린 말을 자신 있게 하는 걸로 유명하잖아요. 수학 증명에서 이건 치명적이에요. 그래서 요즘 수학계에서 주목받는 게 Lean 같은 형식 검증 도구인데요. 이게 뭐냐면, 증명을 자연어 대신 프로그래밍 언어처럼 엄격한 문법으로 작성해서, 컴퓨터가 논리 전개를 기계적으로 한 줄씩 검사할 수 있게 만든 시스템이에요. 컴파일이 통과되면 증명이 맞다는 게 보장되는 거죠. 우리가 타입 체커로 특정 오류를 원천 차단하는 것과 비슷해요. AI가 증명을 쏟아내는 시대에는 이런 기계 검증이 사실상 필수 인프라가 될 거라는 얘기가 나와요.
업계 흐름에서 보면
이 방향의 주자가 OpenAI만 있는 건 아니에요. 구글 딥마인드는 AlphaProof와 AlphaGeometry라는 수학 특화 시스템으로 2024년 국제수학올림피아드(IMO) 문제를 은메달 수준으로 풀어냈고, 2025년에는 범용 LLM들이 금메달 수준에 도달했다는 발표가 이어졌어요. 흥미로운 건 접근 방식의 변화인데요. 초기엔 수학 전용으로 설계된 시스템이 앞섰다면, 최근 흐름은 범용 추론 모델이 별도 특화 없이도 연구 수준의 수학을 건드리기 시작했다는 쪽이에요. 도구를 따로 만드는 게 아니라, 그냥 '더 똑똑한 모델'이 수학도 잘하게 된 셈이죠.
우리한테는 어떤 의미일까요
'나는 수학자가 아닌데?'라고 생각하실 수 있는데요, 사실 개발자에게 주는 시사점이 커요. 연구 수준 수학에서 통하는 추론력이면, 복잡한 알고리즘 설계나 까다로운 동시성 버그 분석, 시스템 성능의 이론적 한계 검토 같은 실무 문제에서도 쓸모가 있다는 뜻이거든요. 그리고 협업 방식 자체가 배울 점이에요. 모델이 초안을 내고 사람이 검증하는 구조는 우리가 AI 코딩 도구를 쓸 때의 코드리뷰 관계와 똑같아요. 결국 사람의 역할이 '만드는 사람'에서 '검증하고 방향을 잡는 사람'으로 이동하는 흐름이, 수학이라는 가장 엄밀한 분야에서도 확인된 셈이죠.
한줄 정리: AI가 벤치마크를 넘어 '아무도 답을 모르는 문제'에서 성과를 내기 시작했고, 사람의 역할은 검증자로 이동하고 있어요. 여러분은 어떻게 보세요? AI가 낸 증명을 사람이 다 검증하기 어려워지는 시점이 오면, 우리는 기계 검증을 얼마나 신뢰해야 할까요?
🔗 출처: Hacker News