LLM이 거의 다 짠 디컴파일러 Kuna, IDA Pro에 근접하다

디컴파일러는 기계어나 어셈블리를 사람이 읽을 수 있는 고수준 코드로 되돌리는 도구다. 악성코드 분석, 취약점 연구, 펌웨어 역공학 같은 보안 실무의 핵심 인프라이면서도, 제대로 만들려면 제어 흐름 구조화·타입 복원·변수 식별 등 수십 년간 축적된 연구 성과가 필요한 난도 높은 영역이다. 이번에 공개된 Kuna는 바로 이 분야에서 흥미로운 실험 하나를 던진다. 개발자 본인의 표현에 따르면 프로젝트의 거의 모든 코드를 사람이 아니라 LLM이 작성했다는 것이다.

주목할 대목은 결과다. Kuna는 C 프로그램의 제어 흐름 구조화 벤치마크에서 전체 함수의 44.4%를 완벽하게 구조화했다. 업계 표준으로 통하는 IDA Pro 9.2의 45.7%에 상당히 근접한 수치다. 저자는 이 성과가 대부분 '자율적 개선(autonomous refinement)'을 통해 달성됐다고 밝힌다. LLM이 자신의 결과물이 IDA Pro보다 뒤처지는 사례를 스스로 연구하고, 시행착오를 거치며 다른 디컴파일러가 어려운 문제를 어떻게 푸는지 학습하는 방식이다. 여기서 기준이 된 것은 최근 몇 년 사이에야 정립된 근본적인 평가 지표들이다.

다른 도구를 교사로 삼는 학습

개선 과정에서 참조된 도구는 IDA Pro만이 아니다. NSA가 개발한 Ghidra, 그리고 저자가 박사과정 내내 핵심 개발자로 참여했던 angr 디컴파일러도 학습 대상이 됐다. 이 대규모 개선 실험을 통해 LLM은 angr가 수년에 걸쳐 과학적으로 설계한 20개 이상의 근본 기능을 Kuna에 다시 구현해냈다. 실제로 Kuna는 Ghidra를 Rust로 포팅하되 angr의 처리 파이프라인에 더 가깝게 재구성한 결과물이다. 즉 완전히 무에서 태어난 것이 아니라, 기존 오픈소스 연구라는 거대한 어깨 위에 올라선 산출물이라는 점을 저자는 분명히 한다.

이 구도는 최근 코딩 에이전트 시대의 개발 방식을 압축해 보여준다. 사람이 한 줄씩 알고리즘을 짜는 대신, 잘 정의된 지표와 비교 대상만 주어지면 모델이 스스로 격차를 좁혀간다. 저자가 이를 두고 '단순한 slop(저품질 자동 생성물)이 아니다'라고 선을 긋는 이유이기도 하다. 무작정 코드를 뱉어낸 것이 아니라, 자동으로 나아지는 도구를 만들 수 있는지 검증하려는 실험이라는 것이다.

자동 개선의 전제는 '사람의 연구'

다만 저자는 이 접근법의 한계를 스스로 짚는다. 첫째, Kuna는 수십 년간 축적된 과학자와 엔지니어의 노력 없이는 애초에 성립할 수 없다. 그래서 그는 당분간 angr를 떠날 생각이 없다고 말한다. 최전선 알고리즘을 새로 설계할 때 가장 먼저 찾는 도구는 여전히 그 목적에 맞게 설계된 angr이고, 지금의 Kuna에는 오히려 손으로 무언가를 직접 작성하기가 훨씬 어렵다는 것이다.

둘째, '자동' 개선이라는 표현에는 함정이 있다. 자율적 개선이 시작되려면 먼저 인간의 과학적 통찰이 필요하기 때문이다. 인간 리버서의 판단 기준과 정렬되는 새로운 근본 지표를 발견하고, 의미 있는 벤치마크가 어떤 데이터를 요구하는지 파악하는 작업은 수년에 걸친 사람 주도의 연구였다. 다른 어떤 디컴파일러도 아직 이런 자동 개선을 하지 못한 이유가 여기 있다는 게 저자의 진단이다. 결국 이것은 자동화된 연구가 아니라, 사람이 이끄는 연구가 있어야 비로소 가능한 자동화다.

셋째, 구조화에서 성과를 냈다고 해서 디컴파일이 끝나는 것은 아니다. 타입 복원, 최적화, 재컴파일 가능성, 변수 식별 등 개선해야 할 영역이 여전히 많다. Kuna는 이 모든 것을 지금의 개발 프레임워크 안에서 달성할 수 있는지 확인하려는 실험 단계이며, 저자는 협업과 도움을 명시적으로 요청한다.

국내 보안·역공학 실무자 입장에서 Kuna를 지금 당장 현업 도구로 채택할 이유는 크지 않다. 단일 벤치마크의 구조화 지표에 한정된 결과이고, 나머지 기능은 미완이기 때문이다. 그러나 이 프로젝트가 던지는 방법론적 시사점은 가볍지 않다. 잘 설계된 정량 지표와 비교 가능한 레퍼런스가 갖춰진 도메인이라면, 코딩 에이전트가 기존 최고 수준 도구를 스스로 뒤쫓으며 격차를 메우는 개발이 실제로 가능하다는 것이다. 반대로 그 전제인 '좋은 지표와 벤치마크를 정의하는 일'만큼은 여전히 사람의 몫으로 남는다는 사실도 함께 보여준다. 자동화가 대체하는 것은 구현 노동이지 문제 정의가 아니라는 점, 그것이 이 실험이 남기는 가장 현실적인 교훈이다.