아마존이 운영해 온 크라우드소싱 마켓플레이스 '메커니컬 터크(Amazon Mechanical Turk, 이하 MTurk)'가 9월 30일자로 서비스를 종료한다. MTurk는 개인과 기업이 자신들의 업무와 프로세스를 인터넷에 흩어져 있는 분산 인력에게 위탁할 수 있도록 연결해 주는 플랫폼이었다. 단순한 데이터 검증이나 리서치부터 설문 참여, 콘텐츠 검수처럼 판단이 개입되는 주관적 작업까지, 컴퓨터보다 사람이 더 잘 처리할 수 있는 일감을 잘게 쪼개 '미세작업(microtask)' 단위로 처리하는 것이 핵심 아이디어였다. 2005년 등장 이후 오랫동안 '휴먼 컴퓨테이션'의 대명사로 불려 온 서비스가 마침표를 찍는 셈이다.
MTurk가 채웠던 빈자리
MTurk가 겨냥한 문제는 분명했다. 콘텐츠 검수, 데이터 중복 제거, 웹 자료 수집처럼 기계화하기 애매하면서도 규모가 큰 반복 작업은 전통적으로 대규모 임시 인력을 채용해 처리해 왔다. 하지만 이런 방식은 비용이 크고, 시간이 오래 걸리며, 수요에 맞춰 인력을 늘리거나 줄이기가 어렵다. MTurk는 이 부담을 '작업당 지불(pay-per-task)' 모델과 API로 대체했다. 전 세계에 분산된 온디맨드 인력을 24시간 활용해, 내부 직원은 더 부가가치가 높은 일에 집중하도록 하고, 인력 규모를 동적으로 조정하는 부담을 외부화한다는 논리였다. 유연한 UI와 단순한 API를 통해 개발자가 작업 결과를 자사 시스템에 직접 통합할 수 있다는 점이 실무적으로 중요했다.
머신러닝 데이터 파이프라인의 숨은 인프라
실무적으로 MTurk가 가장 크게 쓰인 영역은 머신러닝 개발이었다. 모델 학습에 필요한 방대한 데이터를 수집하고 라벨링하는 작업, 그리고 사람의 피드백으로 모델을 검증·재학습하는 '휴먼 인 더 루프(HITL)' 구조를 값싸고 빠르게 구현하는 통로였기 때문이다. 원문은 컴퓨터 비전 모델을 위해 이미지에 바운딩 박스를 그려 고품질 데이터셋을 만드는 사례를 든다. 순수하게 기계로 처리하기엔 모호하고, 소수의 전문가 팀으로 감당하기엔 양이 너무 많은 작업을 사람 크라우드로 메우는 전형적인 용례다. 앨런 AI 연구소(AI2)의 엔지니어링 디렉터 마이클 슈미츠는 상식 지식을 학습시키는 데 필요한 사람 주석 데이터를 MTurk 같은 플랫폼으로 구축한다고 밝힌 바 있다. 사람에겐 쉬우나 기계에겐 여전히 어려운 질문에 답하도록 모델을 훈련시키는 데 사람의 손이 필요했다는 것이다.
인사이트 수집 용도도 있었다. 식음료 데이터 분석을 다루는 푸드 지니어스(US Foods)의 데이비드 팔크는 작업자들이 메뉴판과 웹사이트 등 여러 채널에서 정보를 모아 주는 덕분에 소비자 수요와 시장 트렌드를 파악한다고 설명했다. 상품·이미지 분류, 웹·소셜 콘텐츠 검수 같은 작업도 대표적인 활용처였다.
실무자가 새겨야 할 함의와 한계
종료 소식이 갖는 의미는 단순한 서비스 하나의 폐지 이상이다. 지난 20년간 학계 연구, 데이터셋 구축, 초기 AI 파이프라인이 MTurk를 사실상 표준 인프라처럼 의존해 온 만큼, 여기에 데이터 수집·라벨링 워크플로를 묶어 둔 조직이라면 대체 경로를 시급히 마련해야 한다. 마감이 9월 30일로 못박혀 있어 진행 중인 작업의 이관, 작업자 정산, API 연동 코드의 재설계까지 남은 시간이 넉넉하지 않다는 점이 현실적인 압박이다.
다만 이번 종료를 '사람 라벨링의 종말'로 확대 해석하는 것은 성급하다. 원문 자료는 종료 배경이나 향후 대안을 설명하지 않으며, 아마존이 어떤 후속 조치를 취할지도 명시하지 않았다. 확인 가능한 사실은 특정 플랫폼이 문을 닫는다는 것뿐이다. HITL이나 데이터 주석 수요 자체는 대규모언어모델 시대에 오히려 커지고 있고, 전문 라벨링 업체와 다른 크라우드소싱 플랫폼들이 그 수요를 흡수해 왔다. 실무자 입장에서 지금 필요한 판단은 두 가지다. 첫째, MTurk에 걸려 있던 작업을 어느 대체 채널로 옮길지, 그리고 그 과정에서 데이터 품질·비용·개인정보 처리 기준을 어떻게 유지할지다. 둘째, 특정 벤더에 파이프라인을 강하게 결합했을 때의 위험을 이번 사례로 다시 점검하는 것이다. 한 플랫폼의 종료가 곧바로 데이터 공급의 단절로 이어지지 않도록, 사람 기반 작업 흐름에도 이식성과 복수 공급자 전략을 설계에 반영해 둘 필요가 있다.