목차
동시성을 키워 최대 5배 빨라진 Super Slurper (2025-04)
원문 정보
- 원문: Making Super Slurper 5x faster with Workers, Durable Objects, and Queues
- 매체 · 게시일: The Cloudflare Blog · 2025-04-10
- 저자: Connor Maddox, Siddhant Sinha, Prasanna Sai Puvvada
- 원문 내용을 바탕으로 재구성한 요약입니다.
75,000개 객체로 확인한 전송 속도
Super Slurper로 AWS S3의 객체 75,000개를 Cloudflare R2로 옮기는 시간이 15분 30초에서 3분 25초로 줄었습니다. Workers, Durable Objects, Queues로 이전 도구를 다시 만든 뒤의 테스트 결과입니다.
실제 이전에서는 더 큰 개선도 나왔습니다. 2월부터 새 서비스를 사용하기 시작한 뒤에는 객체 크기 분포에 따라 테스트보다 성능이 더 좋아진 경우도 있었습니다. 출시 후 약 2년 된 Super Slurper가 그동안 복사한 전체 객체의 35%를 최근 두 달 사이에 옮겼습니다.
이 변화의 출발점은 전송 작업이 무엇을 기다리는지 돌아보는 일이었습니다.
수십 개 Pod에서 막힌 Kubernetes 확장
Super Slurper는 AWS S3, Google Cloud Storage, 그 밖의 S3 호환 서비스에서 R2로 데이터를 옮기는 도구입니다. 출시 이후 수천 명의 개발자가 페타바이트 단위의 데이터를 이전하는 데 썼습니다. 그 바탕이 된 SourcingKit은 S3 이미지를 Cloudflare Images로 대량 가져오는 도구였습니다. Kubernetes에서 Images 서비스와 함께 실행되던 SourcingKit을 바탕으로 Super Slurper를 만들면서 별도 네임스페이스로 분리하고 객체 스토리지에 맞는 API를 추가했습니다. 하지만 SourcingKit은 페타바이트 규모의 이전을 염두에 둔 설계가 아니었습니다.
먼저 대역폭이 문제였습니다. 핵심 데이터센터 한 곳의 Kubernetes 클러스터에서 컨트롤 플레인, 분석 등 다른 서비스와 컴퓨트 자원과 대역폭을 나눠 써야 했습니다. 원본 버킷의 객체 목록을 Postgres 기반 큐(pg_queue)에 넣고 일정한 속도로 꺼내 복사하는 흐름은 단순했지만, 대규모 이전에는 많은 대역폭이 들었습니다. 이전 작업이 늘수록 공유 자원의 제약이 뚜렷해졌고, 팀은 실제 데이터를 복사하는 일을 Worker에 맡겨 핵심 데이터센터 밖으로 옮겼습니다.
그 뒤에도 사용량과 함께 Kubernetes 자원 소비가 늘었습니다. 전송 시간의 상당 부분은 네트워크 I/O나 스토리지를 기다리는 시간이었습니다. 필요한 것은 CPU나 메모리 증설이 아니라 더 높은 동시성이었습니다. 복제본을 계속 늘리는 대응도 결국 한계에 닿았습니다. 수십 개 Pod를 실행하는 규모에서도 확장성 문제를 겪고 있었는데, 팀이 원한 규모는 그보다 몇 자릿수 더 컸습니다.
수백만 객체에서 앞서기 시작한 개념 증명
팀은 물려받은 설계에서 벗어나 약 일주일 만에 Workers, Durable Objects, Queues로 거친 개념 증명을 만들었습니다. 원본 버킷의 객체를 나열하고 큐에 넣은 뒤, 메시지를 소비해 전송하는 흐름은 그대로였습니다. 그 흐름을 개발자 플랫폼으로 옮기자 이전보다 한 자릿수 더 큰 규모까지 자동으로 확장할 수 있었습니다.
Workers는 Kubernetes 운영에 따르는 부담 없이 가벼운 연산을 맡고, 각 단계가 실행될 위치를 최적화해 지연을 줄입니다. Queues는 객체 전송을 비동기로 처리하며 이전할 객체 수에 맞춰 자동 확장합니다. 작업 상태를 저장하는 데이터베이스도 단일 PostgreSQL 인스턴스에서 SQLite 기반 Durable Objects로 분산했습니다.
성능이 처음부터 앞서지는 않았습니다. 객체 수백 개를 옮기는 테스트에서는 기존 구현보다 느렸지만, 수백만 개 규모로 커지자 기존 성능을 따라잡고 결국 앞섰습니다. 팀은 이 결과를 보고 실제 서비스로 발전시키기로 했습니다. 개념 증명에 쓰인 임시방편을 없애고 안정성을 보강하면서, 더 높은 동시성으로 확장하는 방법을 여러 차례 다듬었습니다.
10억 개의 객체 키를 나눠 담는 Durable Objects
새 데이터베이스에서는 계정마다 전용 Durable Object(DO)를 두어 이전 작업을 추적합니다. 작업별 DO에는 버킷 이름, 사용자 옵션, 작업 상태를 기록하고, 전송 대기 중인 객체의 키와 전송 상태, 추가 메타데이터는 Batch DO에 저장합니다.
객체 키만으로도 공간이 많이 듭니다. 이전 규모가 수십억 개 객체에 이르자, 10억 개의 키가 차지하는 저장 공간도 놀랄 만큼 컸습니다. SQLite DO의 저장 한도는 10GB입니다. 팀은 샤딩으로 데이터를 나눠 이 한도에 대응하면서 요청 부하도 분산했습니다. 전송을 마친 객체의 세부 정보는 삭제해 저장 공간을 확보합니다.
수년치 이전 기록까지 새로 옮길 필요는 없었습니다. 기존 PostgreSQL을 과거 작업 데이터를 보관하는 아카이브로 유지하고, Hyperdrive를 연결해 이전 내역을 빠르게 조회하도록 했습니다.
목록 조회에서 복사까지 이어지는 Queues
클라이언트가 이전을 요청하면 API Worker가 세부 내용을 데이터베이스에 저장하고 List Queue에 시작 메시지를 넣습니다. List Queue Consumer는 원본 버킷의 객체 목록을 가져와 필요한 필터를 적용하고 메타데이터를 저장한 뒤, Transfer Queue에 객체별 전송 메시지를 추가합니다.
새 작업 묶음은 곧바로 큐에 넣습니다. 데이터베이스와 큐 작업이 끝나기를 기다리지 않고 다음 묶음을 나열해 동시성을 높입니다. 의존 시스템이 중단되는 등 예상하지 못한 실패가 나면 스로틀링 장치가 메시지를 더 넣지 못하게 막아 과부하를 방지합니다.
Transfer Queue Consumer Worker는 전송 메시지를 꺼내 객체를 복사합니다. 큰 객체는 청크로 나눠 멀티파트 업로드로 보냅니다. 일시적인 실패는 자동으로 재시도하며, 재시도로 해결하지 못한 메시지는 Dead Letter Queue(DLQ)에 넣고 기록해 나중에 검토합니다.
목록 조회가 끝나도 이전은 계속됩니다. Lifecycle Queue Consumer가 진행 중인 전송을 살피며 빠진 객체가 없는지 확인하고, 모든 전송이 끝나면 작업을 완료로 표시합니다.
같은 객체의 재전송을 막는 장치
새 설계에서 가장 까다로운 문제 중 하나는 중복 메시지였습니다. Queues는 최소 한 번(at-least-once) 전달을 보장하므로 소비자가 같은 메시지를 여러 번 받을 수 있습니다. 실패와 재시도도 중복 처리를 일으킵니다. 예를 들어 객체 복사는 끝났는데 Durable Object 요청이 실패했다면, 재시도하면서 이미 보낸 객체를 다시 복사할 수 있습니다.
목록 조회부터 중복을 가려냅니다. 다음 목록을 가져오려면 앞선 조회에서 받은 continuation token이 필요하므로 목록 조회는 순차적으로 진행됩니다. 각 조회에 시퀀스 ID를 붙여 중복된 조회를 감지하고, 같은 조회를 여러 프로세스가 시작하지 못하게 합니다. 데이터베이스와 큐 작업을 기다리지 않고 다음 목록을 가져오는 방식에서 특히 유용한 장치입니다. 예를 들어 2번 목록 조회가 실패했더라도 3번 조회가 이미 시작됐다면, 앞선 조회의 불필요한 재시도를 건너뜁니다.
전송 단계에서는 객체 키가 기준입니다. 복사를 시작할 때 데이터베이스에서 키를 잠가 같은 객체의 병렬 전송을 막고, 전송에 성공하면 키를 삭제해 잠금을 풉니다. 나중에 같은 객체의 메시지가 다시 왔는데 키가 없다면 이미 전송한 것으로 판단합니다.
객체 수는 데이터베이스 트랜잭션으로 정확하게 유지합니다. 잠금 해제에 실패하면 카운트를 바꾸지 않습니다. 객체 키를 데이터베이스에 추가하지 못했을 때도 카운트를 늘리지 않고 나중에 재시도합니다.
마지막으로 대상 버킷을 확인합니다. 객체가 이미 존재하고 이전을 시작한 뒤에 게시됐다면, 이번 이전이나 다른 프로세스가 전송한 것으로 간주해 건너뜁니다. 큐의 메시지뿐 아니라 실제 목적지의 상태까지 확인하는 마지막 안전장치입니다.
계정당 3개에 머문 동시 이전 한도
모든 S3 호환 스토리지 제공자에서 이전하는 기능은 이미 추가됐습니다. 이번 개편으로 API도 단순해져 이전 작업을 프로그램으로 관리할 수 있게 됐습니다.
2025년 4월 기준으로 계정당 동시 이전 한도는 여전히 3개입니다. 팀은 이 한도를 높이려 합니다. 객체 프리픽스를 나눠 각각 별도 이전으로 병렬 실행하면 버킷을 옮기는 속도를 크게 높일 수 있다는 기대입니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 테스트 이전 (S3에서 R2, 객체 75,000개) | 기존 15분 30초, 개선 후 3분 25초 |
| 개념 증명 제작 기간 | 약 일주일 |
| 개념 증명 성능 | 객체 수백 개 규모에서는 기존보다 느리고, 수백만 개 규모에서 같아졌다가 앞섬 |
| SQLite DO 저장 한도 | 10GB, 샤딩으로 회피 |
| 최근 두 달의 비중 | 지금까지 복사된 전체 객체의 35% |
| 계정당 동시 이전 한도 | 3개 |