S3를 진짜 파일시스템처럼 쓴다? 로그 구조로 풀어낸 ZeroFS

'S3를 그냥 하드디스크처럼 마운트해서 쓰면 안 되나?' 클라우드를 쓰다 보면 누구나 한 번쯤 하는 생각인데요, 실제로 해보면 늘 어딘가 삐걱거렸어요. s3fs 같은 도구로 마운트는 되지만 파일 하나 수정하는 데 한참 걸리고, 애플리케이션이 이상하게 동작하기 일쑤였죠. 이번에 소개할 ZeroFS는 이 오래된 문제를 '로그 구조(log-structured)'라는 접근으로 정면 돌파한 프로젝트예요. S3 위에서 진짜 파일시스템처럼 동작하는 걸 목표로 하거든요.

왜 S3를 파일시스템처럼 쓰기 어려울까요

이게 뭐가 문제냐면, S3는 '객체 스토리지'예요. 겉보기엔 폴더와 파일이 있는 것 같지만, 실제로는 키(이름)와 값(데이터 덩어리)을 저장하는 거대한 창고에 가까워요. 객체는 통째로 올리고 통째로 받는 게 기본이라, 큰 파일에서 몇 바이트만 고치고 싶어도 원칙적으로는 전체를 다시 업로드해야 해요. 파일 이름 바꾸기(rename)라는 개념도 없어서 복사 후 삭제로 흉내 내야 하고요. 기존의 s3fs 같은 도구들은 '파일 하나 = S3 객체 하나'로 1:1 매핑하는 방식이라 이 한계를 그대로 물려받았어요. 작은 수정이 잦은 워크로드, 이를테면 데이터베이스 파일이나 로그 같은 걸 올리면 성능이 처참해지는 이유죠.

ZeroFS의 해법: 전부 로그로 기록한다

ZeroFS는 발상을 바꿨어요. 파일과 객체를 1:1로 대응시키는 대신, 모든 변경 사항을 로그처럼 순서대로 추가 기록하는 거예요. 이게 뭐냐면, 가계부를 생각하면 쉬워요. 잔액을 매번 지우고 다시 쓰는 게 아니라 '입금 +5000, 출금 -3000' 하고 내역을 계속 덧붙여 나가는 방식이죠. 파일의 일부를 수정하면 그 변경분만 새 로그 조각으로 S3에 올라가고, S3에 저장되는 객체들은 한 번 쓰면 바뀌지 않는 불변 세그먼트가 돼요. 덕분에 S3가 잘하는 일(큰 덩어리를 순차적으로 쓰기)만 시키면서, 사용자에게는 작은 랜덤 쓰기와 빠른 메타데이터 작업까지 지원하는 파일시스템을 보여줄 수 있는 거예요. LSM 트리라고 부르는, 최신 데이터베이스 엔진들이 즐겨 쓰는 구조와 같은 원리예요.

또 하나 재미있는 설계가 마운트 방식이에요. 커널 모듈이나 FUSE 드라이버를 설치하게 하는 대신, ZeroFS 자체가 NFS와 9P 서버로 동작해요. 운영체제 입장에서는 그냥 네트워크 파일시스템에 접속하는 것이라 리눅스든 맥이든 별도 드라이버 없이 마운트할 수 있죠. 심지어 NBD(네트워크 블록 디바이스)로 가상 디스크를 통째로 제공하는 기능도 있어서, 그 위에 ZFS나 ext4 같은 진짜 파일시스템을 올리는 것도 가능해요. S3 위에 ZFS 풀을 만드는, 예전 같으면 농담처럼 들렸을 구성이 실제로 되는 거예요. 암호화와 로컬 캐싱도 기본으로 챙겼고요.

요즘 업계 흐름과 딱 맞닿아 있어요

사실 이 프로젝트가 흥미로운 건 요즘 인프라 업계의 큰 흐름과 정확히 같은 방향이기 때문이에요. '값싸고 사실상 무한한 객체 스토리지 위에 모든 것을 올리자'는 움직임인데요. 카프카를 S3 기반으로 다시 만든 WarpStream, 스토리지와 컴퓨팅을 분리한 PostgreSQL 서비스 Neon, 객체 스토리지 위에서 도는 LSM 데이터베이스 SlateDB 같은 프로젝트들이 대표적이에요. 로컬 디스크를 없애면 용량 계획, 복제, 백업 같은 골치 아픈 문제를 클라우드 스토리지에 떠넘길 수 있거든요. 기존 대안들과 비교하면, AWS의 Mountpoint for S3는 읽기 위주라 제약이 많고, JuiceFS는 메타데이터를 별도 데이터베이스(레디스 등)에 둬야 해서 운영 부담이 있는데, ZeroFS는 S3 하나만으로 완결되는 구조를 노린다는 차별점이 있어요.

어디에 써볼 수 있을까요

당장 떠오르는 용도는 백업 저장소, 대용량 미디어 아카이브, 분석용 데이터의 작업 공간 같은 곳이에요. 로컬 NAS를 유지하기 애매한 소규모 팀이 S3 하나로 공유 스토리지를 꾸리는 그림도 가능하고요. 다만 현실적인 주의점도 있어요. 네트워크를 거치니 로컬 SSD 같은 지연시간을 기대하면 안 되고, S3는 요청 횟수에도 과금되니 워크로드에 따라 비용이 튈 수 있어요. 비교적 새로운 프로젝트인 만큼 중요한 데이터라면 충분히 검증한 뒤에 도입하는 게 좋겠죠. 그래도 사이드 프로젝트나 개발 환경에서 가볍게 실험해 보기엔 진입장벽이 낮은 편이에요.

한줄 정리: ZeroFS는 로그 구조 설계로 S3의 태생적 한계를 우회해서, 객체 스토리지를 진짜 파일시스템처럼 쓸 수 있게 해주는 프로젝트예요.

여러분이라면 S3 기반 파일시스템을 어디에 써보고 싶으세요? 로컬 디스크가 사라지는 '디스크리스' 아키텍처, 어디까지 갈 수 있다고 보시나요?