인공지능이 암호를 해독하는 시대가 오는가. 지난 7월 28일 앤트로픽이 자사 LLM '클로드 미토스(Mythos)'를 이용해 새로운 암호분석 공격을 발견했다고 발표하면서 이 질문이 다시 수면 위로 올라왔다. 결론부터 말하면, 이번 성과는 흥미롭지만 우리가 실제로 쓰는 대칭키 암호가 위험에 처했다는 신호는 아니다. 오히려 LLM이 암호 연구에서 어떤 역할을 할 수 있고 어디에서 한계에 부딪히는지를 구체적으로 보여준 사례에 가깝다.
발표된 공격은 두 가지다. 하나는 NIST의 '추가 디지털 서명' 표준화 프로젝트 후보인 양자내성 서명 방식 HAWK에 대한 키 복구 공격이다. 64비트 보안 수준의 축소판 HAWK-256은 원래도 사실상 깰 수 있는 수준이지만, 이번 공격은 HAWK-512의 추정 보안 수준을 목표치인 128비트에서 최대 108비트로, 논문 부록에서는 추측성으로 81비트까지 낮췄다. 실용적인 공격은 아니어도 설계 목표를 무너뜨렸다는 점에서 의미 있는 성과다. 다른 하나는 전체 10라운드 중 7라운드로 축소한 AES-128에 대한 개선된 키 복구 공격인데, 이는 AES에 아무런 위협이 되지 않는다. 사실 여기서 더 중요한 것은 부정적 결과다. 미토스는 이보다 강한 공격을, 하물며 전체 라운드 AES에 대한 공격을 전혀 찾아내지 못했다.
LLM이 잘하는 일과 못하는 일
앤트로픽은 논문에서 LLM 보조 암호 연구가, 특히 공격이 계산적으로 실행 불가능해 언어 모델이 여러 방식을 조합해 스스로 정당성을 입증해야 하는 경우에 흥미롭다고 밝혔다. 그리고 암호학계가 쓰는 공격 기법을 형식화하는 방향이 중요하다고 덧붙였다. 이 지적은 타당하다. 실제로 대칭키 암호분석 논문들은 근본적으로 같은 일을 하면서도 저마다 임시방편의 표기와 용어를 쓰는 경우가 많아 통일된 서술 틀과 추상화가 부족하다.
LLM이 가치를 발휘할 지점은 오히려 다른 곳에 있다. 공격의 복잡도 추정치나 보안 증명의 오류를 잡아내는 일이다. 원문 필자는 올해 초 여러 LLM에게 EUROCRYPT 2026 논문들의 보안 증명에서 버그를 찾게 했더니 대부분의 증명에서 문제를 발견했다고 밝혔다. 증명이 틀렸다는 것이 결과 자체가 틀렸다는 뜻은 아니지만, 검증 보조 도구로서의 실용성을 보여주는 대목이다. 앤트로픽은 또 AES, ChaCha, BLAKE를 비롯한 NIST 경진대회 제출 알고리즘과 양자내성 방식을 대상으로 한 LLM 벤치마크 'CryptanalysisBench'의 제작에도 참여했다.
대칭키 암호가 견고한 이유
그렇다면 미토스가 BLAKE3나 SHA-3의 실용적 충돌 공격을 찾아낼 수 있을까. 필자는 아니라고 단언한다. 암호학자 매튜 그린은 대칭키 암호를 '트랙터를 유사(流沙)에 끌고 들어간 뒤 시멘트로 덮어버린 것'에 비유했다. 각 라운드의 연산은 적용하기 쉽고 빠르지만, 라운드를 반복할수록 풀어내기가 지독하게 어려워지도록 일부러 설계된다는 뜻이다. 여기에 순수한 '지능 시간'을 더 쏟아붓는다고 해서 상황이 마법처럼 나아지지는 않는다.
더 근본적인 이유는 대칭키 암호에 수학적 구조가 없다는 점이다. 공개키 방식이나 실제 수학 문제와 달리, 블록 암호나 해시 함수는 깔끔한 변환으로 기술되지 않는다. 설계자의 목표 자체가 공격자에게 지름길을 열어줄 만한 구조, 대칭성, 패턴을 모두 제거하는 것이다. 예컨대 BLAKE3는 사실상 XOR, 모듈러 덧셈, 비트 회전의 긴 나열일 뿐이며, 달리 기술할 방법이 없다. XOR는 모듈러 덧셈에 대한 선형성을 파괴하고, 모듈러 덧셈은 XOR에 대한 선형성을 파괴한다. LLM이 추론을 펼칠 고차원적 구조 자체가 존재하지 않는 것이다. 다만 Poseidon 같은 대수적 해시 함수나 RSA 기반의 VSH처럼 구조를 가진 예외들이 있는데, 이들은 구조가 증명을 가능케 하는 동시에 공격의 실마리도 된다는 양면성을 보여준다.
또 하나, 오늘날 알려진 대부분의 공격 기법은 결국 차분 공격의 변형이다. 선형 공격, 부메랑 공격, 큐브 공격, 슬라이드 공격까지 모두 '입력에 특정 차이를 주면 출력이 이상적인 경우에서 통계적으로 벗어난다'는 성질을 파고든다. SHA-1 충돌 공격이 확률이 유난히 높은 차분을, 불가능 차분 기법이 확률 0인 차분을 이용한 것이 대표적이다. 이 영역은 이미 광범위하게 탐색됐기에 LLM이 전혀 새로운 부류의 공격을 발견할 가능성은 낮다. 게다가 차분 공격은 상당 부분 경험적이다. 암호학자들은 이유를 정확히 모른 채 실험으로 통계적 편향을 찾고, 관측된 큰 편향으로부터 측정하기엔 표본이 너무 많이 필요한 작은 편향의 존재를 추론한다. LLM이 이런 실험을 못한다는 뜻은 아니지만, 설계와 실행과 해석을 모두 감당해야 한다는 점이 과제를 훨씬 어렵게 만든다.
실무자 입장에서 이 논의가 주는 함의는 분명하다. 대칭키 암호는 수천 시간의, 대부분 실패해 발표조차 되지 않은 분석적 검증을 거친 우리 보안 시스템에서 가장 강한 부분이다. 그 결과 밝혀진 것은 라운드를 줄이면 깨기 쉬워지고 라운드를 늘리면 강도가 급격히 올라간다는 예측 가능한 사실뿐이었다. 따라서 AES나 BLAKE3 교체를 걱정할 때가 아니라, LLM이라는 새로운 도구는 검증이 덜 된 양자내성 표준화 후보처럼 실제로 취약점이 남아 있을 법한 곳에 쓰는 편이 훨씬 값지다. 이번 HAWK 분석이 정확히 그 방향을 가리키고 있다.