모든 차수의 마법 육각형은 존재한다: AI와 함께한 증명

수학 문제는 종종 사소해 보이는 계기에서 출발한다. 데이터과학 교육기관 YSDA의 졸업생 모임에서 학교가 19주년을 맞았을 때, 누군가 19가 쌍둥이 소수라는 점을, 또 다른 누군가는 19가 유일하게 존재하는 비자명 정규 마법 육각형의 칸 수라는 점을 언급했다. 이 짧은 대화가 한 편의 수학 탐구로 이어졌고, 그 과정은 최신 대형언어모델(LLM)이 실제 연구를 어떻게 바꾸고 있는지를 보여주는 사례가 되었다.

마법 사각형에서 마법 육각형으로

마법 사각형은 격자에 수를 배치해 모든 행과 열, 두 대각선의 합이 같아지도록 만든 것이다. 1부터 n²까지 연속된 수를 쓰면 정규 마법 사각형이라 부른다. 이 문제는 수천 년간 연구돼 왔고, n이 2보다 큰 모든 차수에 대해 사각형을 구성하는 알고리즘이 이미 알려져 있다. 마법 육각형은 같은 발상을 육각 격자에 옮긴 것으로, 칸들이 세 방향의 직선을 이루고 각 직선의 합이 모두 같아야 한다. 정규 육각형은 1부터 3n²-3n+1까지의 연속수를 담는다.

흥미롭게도 비자명 정규 마법 육각형은 단 하나, 19칸짜리(차수 3)만 존재한다. 증명은 의외로 간단하다. 세 방향 각각에서 칸들은 2n-1개의 직선으로 나뉘므로 전체 수의 합은 2n-1로 나누어떨어져야 하는데, n이 3보다 크면 1부터 3n²-3n+1까지의 합이 이 조건을 만족하지 못한다. 그래서 연구자들은 제약을 살짝 푼 '비정규(abnormal)' 육각형에 눈을 돌린다. 수는 여전히 연속이어야 하지만 반드시 1에서 시작할 필요는 없다는 것이다. 이 작은 완화가 새로운 해를 허용하지만, 마법 사각형과 달리 공식적 구성법이 없어 방대한 탐색 공간을 헤매는 수밖에 없었다. 위키백과 기준 2026년 7월까지 알려진 최대 해는 클라우스 메페르트가 2024년에 찾은 차수 9였다.

탐색을 빠르게가 아니라 작게

저자의 판단은 선명했다. 이미 여러 탐색 알고리즘이 잘 최적화돼 있으니, 속도를 더 높이기보다 탐색 공간 자체를 줄여야 한다는 것이다. 첫째로 격자의 수를 -K부터 K까지 대칭 구간으로 제한하면, 모든 직선의 합이 같다는 조건은 곧 모든 직선의 합이 0이라는 조건과 같아진다. 둘째로 중앙에 0을 놓고 180도 회전으로 마주 보는 칸에 서로 반대 부호의 값을 넣는 '반대칭' 구조를 강제하면, 중심을 지나는 모든 직선은 값이 짝을 이뤄 상쇄돼 자동으로 0이 되고, 나머지 직선도 대응하는 반대편 직선과 함께 조건이 맞아떨어진다.

여기서 또 하나의 구조가 드러난다. 임의의 내부 점을 둘러싼 여섯 칸에 [-1,+1,-1,+1,-1,+1] 패턴을 더하고 중심 칸은 그대로 두면, 어떤 직선도 합이 변하지 않는다. 각 직선은 이 고리와 만나지 않거나, +1과 -1을 함께 받아 상쇄되기 때문이다. 이런 국소 교대 고리들은 일종의 기저를 이루어, 합이 0인 모든 육각형을 이들의 유일한 선형 결합으로 표현할 수 있다. 이렇게 얻은 '포텐셜 필드' 표현은 직선 합 조건을 자동으로 만족하지만, 눈에 보이는 값들이 서로 다르고 연속이라는 전역 조건까지 보장하지는 못한다. 그럼에도 반대칭 육각형의 포텐셜 필드는 그 자체로 대칭이라는 좋은 성질을 갖는다.

특화된 솔버, 그리고 AI가 이어붙인 증명

저자는 마침 LLM 사용이 권장되는 프로그래밍 대회를 준비하며 한 가지 교훈을 얻었다고 한다. LLM이 도메인 특화 솔버를 만드는 데 Z3나 OR-Tools 같은 범용 도구를 크게 앞선다는 것이다. 그래서 범용 제약 솔버 대신 GPT-5.6 Sol에 문제를 맡겼고, 모델은 이 문제를 부호 있는 정수의 영합 조건 배열인 '헤프터 배열(Heffter arrays)'과 연결지었다. 결과물은 맞춤형 시뮬레이티드 어닐링이었고, 핫 루프에 Numba를 적용하고 perf로 메모리 할당과 난수 생성 병목을 찾아 성능을 추가로 50% 끌어올렸다. 약 24코어 홈서버에서 며칠 돌린 끝에 차수 21까지 모든 차수의 마법 육각형이 나왔다. 값 자체는 무질서해 보였지만 포텐셜 필드는 능선과 골짜기를 가진 지형도처럼 매끄러웠다.

반복된 성공은 자연스레 '모든 차수의 마법 육각형이 존재한다'는 강한 추측으로 이어졌다. 증명 시도는 순탄치 않았다. GPT-5.6 Sol(high)이 문제를 잘게 쪼개고 Aristotle까지 병행 투입했지만 진전이 멈췄고, 추측을 '무한히 많이 존재한다'로 약화한 뒤 max 등급을 여러 시간 돌려도 실패했다. 다만 그때 나온 아이디어들이 이후 대화의 공유 맥락으로 남았고, 어느 순간 모델이 이들을 결합해 16의 배수인 800 초과 차수에 대한 구성적 논증이라는 돌파구를 만들었다. 이후 8·4·2의 배수로, 마지막엔 나누어떨어짐 조건 자체를 제거하며 일반화됐고, 증명이 보장하는 문턱값도 800에서 114까지 내려갔다. 저자는 114가 부등식과 조합적 선택을 이론적으로 정당화하기 편한 경계일 뿐 근본적 한계는 아니며, 실제로는 그보다 훨씬 낮은 차수에서도 방법이 통한다고 설명한다. 브루트포스로 확보한 21까지의 유한한 증거와 합치면 3보다 큰 모든 차수가 덮인다.

실무자가 읽을 지점

이 이야기는 마법 육각형이라는 낯선 소재를 넘어, AI를 연구 협업자로 쓰는 방식에 대한 현장 기록으로서 더 값지다. 저자는 처음엔 자신이 운전석에, AI가 조수석에 있었지만 끝에는 자신이 승객에 가까웠다고 말한다. 사람의 직관인 반대칭 제약은 최종 구성에서 결정적 역할을 했고, 포텐셜 필드는 증명에는 크게 기여하지 못했지만 그 매끄러움은 여전히 탐구할 여지를 남긴다. 동시에 그는 GPT-5.6 Sol이 뛰어난 수학적 추론기지만 한 방향으로 파고드는 '터널 시야' 경향이 있다고 지적한다. 방향이 옳을 때는 강력하지만 틀렸을 때는 큰 그림을 상기시키고 진전 정체를 감지할 중재자, 즉 다른 모델이나 사람이 반드시 루프 안에 있어야 한다는 것이다.

두 가지 실무적 시사점도 분명하다. 하나는 인터넷 접근이 결정적이었다는 점이다. 모델이 저자가 미리 알려줄 수 없었던 관련 논문과 개념을 스스로 찾아냈고, 이것이 코덱스 대신 웹 인터페이스를 택한 이유 중 하나였다. 다른 하나는 한계에 대한 정직함이다. 이 증명은 아직 Lean으로 형식화되지 않았고 독립적으로 검증되지도 않았으며, 저자는 이를 다음 단계로 명시한다. 본격적인 증명 캠페인이라면 여러 모델을 병렬로 두고 제안과 비판의 역할을 명시적으로 분담시키겠다는 그의 말은, 지금의 LLM을 어디까지 신뢰하고 어떻게 검증 장치와 함께 배치해야 하는지를 그대로 보여준다.