arXiv 논문에 스며든 AI 문체, 어떻게 측정하고 왜 어긋나는가

챗GPT 등장 이후 arXiv 논문에서 'delve', 'intricate', 'showcasing' 같은 특정 단어의 빈도가 급증했습니다. 저자들은 이런 단어 빈도 변화를 추적해 AI가 쓴 글의 비율을 추정하는 방법을 소개하지만, 동시에 이 측정법이 어디서 무너지는지를 솔직하게 짚습니다. 핵심 인사이트는 이렇습니다. 첫째, 단어 빈도는 AI 사용의 '증거'가 아니라 '대리 지표'일 뿐이라 인과를 확정할 수 없습니다. 둘째, 영어가 모국어가 아닌 연구자가 문장 다듬기에 AI를 쓰는 경우가 많아, 측정치가 특정 집단을 과대 표집하거나 낙인찍을 위험이 있습니다. 셋째, AI 문체가 사람의 글쓰기 습관에 역으로 스며들면서 'AI가 쓴 글'과 '사람이 AI처럼 쓴 글'의 경계가 사라져 기준선 자체가 오염됩니다. 결국 이런 지표는 대략적 추세 파악에는 유용하지만 개별 논문 판정 도구로 쓰면 위험합니다. AI 탐지에 관심 있는 IT 종사자라면, 숫자가 주는 확신과 실제 측정 한계 사이의 간극을 반드시 기억해야 합니다.