20여 년간 심리학과 경제학 강의의 필독 문헌으로 쓰여 온 마감과 자기통제 연구가 데이터 조작 의혹에 휩싸였다. 댄 애리얼리(Dan Ariely)와 클라우스 베르텐브로흐(Klaus Wertenbroch)가 2002년 심리학 저널 《사이콜로지컬 사이언스》에 발표한 "미루기, 마감, 그리고 성과: 사전확약을 통한 자기통제"는 구글 스콜라 기준 2,100회 넘게 인용된 영향력 있는 논문이다. 최근 카일 힌드먼(Kyle Hyndman)과 알베르토 비신(Alberto Bisin)이 같은 저널에 게재를 앞둔 재현 연구에서 이 논문의 실험 2가 재현되지 않았다고 보고했고, 원본 데이터를 분석한 데이터콜라다(Data Colada) 연구진은 실험 1과 2의 데이터가 조작되었다는 결론을 내놨다.
문제의 연구와 데이터의 출처
원 실험은 교정(proofreading) 과제를 활용했다. 참가자 60명은 각각 100개의 오류가 담긴 10쪽짜리 문서 세 부를 받아 오류를 찾아 고쳤고, 20명씩 세 조건에 무작위 배정됐다. 각 문서의 마감이 7·14·21일로 고르게 분산된 조건, 참가자가 21일 안에서 스스로 마감을 정하는 조건, 세 문서 모두 21일째 하루에 몰린 조건이다. 결과는 저자들의 가설을 강하게 뒷받침했다. 마감이 고르게 분산된 집단이 성과, 지연, 보수 모두에서 훨씬 앞섰다.
데이터의 이동 경로 자체가 이 사건의 배경을 이룬다. 힌드먼은 2006년 애리얼리 측 계정에서 원본 파일을 이메일로 받았고, 2023년 8월 프란체스카 지노가 데이터콜라다를 상대로 2,500만 달러 소송을 제기한 직후 이 파일들을 연구진에게 전달했다. 세 개의 엑셀 파일에는 모두 "마지막 저장자: 댄 애리얼리"라는 속성이 남아 있었다. 2024년 10월 편집진 요청으로 힌드먼 측이 애리얼리에게 파일 분석 내용을 공유하며 논문 수록 허락을 구했지만, 애리얼리는 그 파일이 실제 데이터가 아닐 수 있다며 거부했고 추가 데이터도 제공하지 않았다.
네 가지 위험 신호
첫째, 효과가 지나치게 크다. 고른 마감 집단은 평균 136.1건을 교정한 반면 하루 마감 집단은 71.1건에 그쳐, 코헨의 d가 2.5, 상관계수 r이 .79에 달했다. 이는 키의 성별 차이(d≈1.8)나 신발 보유량의 성별 차이(d≈1.2)보다 크고, 메시지 안 논거 개수를 조작해 지각된 논거 수를 물은 고전적 조작 점검(d=1.49)보다도 크다. 하루 마감 집단에서는 아무도 100건을 넘기지 못한 반면 고른 마감 집단은 90%가 넘겼다. 교정 오류 탐지처럼 사람마다 편차가 크고 잡음이 많은 지표에서 이런 크기는 극히 드물다.
둘째, 중복 관측치가 나타난다. 하루 마감 조건의 20명 중 18명이 세 과제 각각에서 정확히 같은 교정 수를 기록한 '쌍둥이'를 갖고 있었고, 이들의 참가자 번호는 정확히 10씩 차이 났다(S1과 S11, S7과 S17 등). 다른 두 조건에는 이런 쌍둥이가 없었다. 셋째, 당연히 상관이 높아야 할 값들이 무상관이었다. 재현 데이터에서 다섯 개 주관 평가 항목의 부분상관은 +.63~+.92였지만 원본에서는 -.29~+.18로 유의한 양의 상관이 하나도 없었다. 거의 동일한 세 과제 간 성과 상관도 재현 데이터에서는 +.74~+.90인데 원본은 +.03~+.27, 보고된 소요 시간 상관도 재현 +.79~+.95 대 원본 +.05~+.17이었다. 넷째, 자기보고 소요 시간에서 반올림이 없었다. 사람들은 보통 "20분", "30분"처럼 어림수로 답하며 재현 참가자의 85%가 그랬지만, 원본에서는 어림수 비율이 11.7%로 우연 수준(약 10%)에 머물렀다.
실무자가 읽어야 할 지점
이 사례가 데이터를 다루는 사람에게 주는 교훈은 조작 판정이 특별한 도구가 아니라 상식적 정합성 점검에서 나왔다는 점이다. 좋아함과 흥미가 함께 움직이는가, 거의 같은 과제의 성과가 서로 상관하는가, 추정치에 어림수가 섞이는가처럼 정상 데이터라면 당연히 통과할 검사들을 원본은 통과하지 못했다. 실제 데이터 파이프라인에서도 중복 레코드, 지나치게 깔끔한 분포, 사라진 반올림 편향, 규칙적인 식별자 패턴은 합성·오염 데이터를 가려내는 신호로 그대로 쓸 수 있다. 효과크기를 익숙한 현실 비교 대상과 나란히 놓아 개연성을 가늠하는 접근도 실험이나 A/B 테스트 결과를 검토할 때 유용하다.
다만 판단의 한계도 분명하다. 조작이라는 결론은 데이터콜라다 연구진이 제시한 분석에 근거한 해석이며, 애리얼리는 전달된 파일이 실제 원본 데이터인지 자체를 부인하고 있다. 두 저자 모두 논문 철회를 저널에 요청했고 절차는 진행 중이다. 개별 위험 신호는 각각 다른 설명이 가능하지만, 한 조건에만 몰린 쌍둥이나 무너진 기본 상관처럼 우연으로 보기 어려운 정황이 겹친다는 점이 핵심이다. 결과를 어떻게 받아들일지는 공개된 증거를 직접 확인한 독자의 몫으로 남는다.