목차
드문 요청을 한데 모은 Cloudflare Worker 샤딩 (2025-09)
원문 정보
- 원문: Eliminating Cold Starts 2: shard and conquer
- 매체 · 게시일: The Cloudflare Blog · 2025-09-26
- 저자: Harris Hancock
- 원문 내용을 바탕으로 재구성한 요약입니다.
다음 요청 전에 사라지는 Worker
프로토타입을 만드는 사용자가 높은 지연을 겪으면 Cloudflare는 역설적인 설명을 해야 했습니다. 트래픽이 충분히 늘면 지연이 오히려 줄어든다는 답입니다. 요청을 받은 서버에 Worker가 있으면 재사용했지만, 다른 서버에만 있으면 그곳으로 보내지 않고 새 인스턴스를 시작했기 때문입니다.
서버 300대인 데이터 센터에 분당 요청 하나가 들어와 고르게 분산된다고 가정해 보겠습니다. 서버 한 대에는 평균 5시간에 한 번 요청이 도착합니다. 바쁜 데이터 센터에서는 그사이 Worker를 제거하고 자원을 다른 Worker에 써야 할 수 있습니다. Cloudflare가 eviction이라 부르는 과정입니다. 다음 요청 전에 매번 제거된다면 콜드 스타트 비율은 100%가 됩니다.
요청을 한 서버로 모으면 사정이 달라집니다. 분당 한 번이면 Worker가 제거되지 않으리라고 거의 보장할 만큼 잦은 호출입니다. 이 경우 최초 콜드 스타트 뒤에는 warm request rate, 즉 준비된 Worker가 처리하는 요청 비율이 100%가 될 수 있습니다. 이 가정에서 메모리 사용량도 99.7%(299/300) 줄어듭니다. 남는 메모리는 다른 Worker의 제거 빈도까지 낮추므로, 다른 Worker도 준비된 상태로 요청을 받을 기회가 늘어납니다.
물론 다른 서버로 요청을 보내는 데도 시간이 듭니다. 실제로 프록시가 더하는 첫 바이트 수신 시간은 1ms 미만이었고, 일반적인 콜드 스타트보다 훨씬 짧았습니다. IPC 및 성능 담당 팀은 이 지연도 계속 줄이고 있습니다.
TLS와의 경주에서 뒤처진 콜드 스타트
5년 전, Cloudflare는 앞선 「Eliminating Cold Starts」 글에서 TLS 핸드셰이크 중 Worker를 미리 준비하는 기법을 소개했습니다. 첫 메시지에 담긴 SNI만으로도 요청이 향할 Worker를 알아낼 수 있는 경우가 많았습니다.
Worker의 콜드 스타트에는 소스 코드 가져오기, 컴파일, JavaScript 모듈의 최상위 실행, 첫 요청을 처리하는 초기 호출까지 포함됩니다. 이 과정이 핸드셰이크보다 먼저 끝나면 요청에 콜드 스타트 지연이 드러나지 않습니다. 더 오래 걸려도 핸드셰이크와 겹친 시간만큼은 지연을 줄입니다. 초기에는 콜드 스타트가 약 5ms여서 대체로 이 경주에서 이겼습니다.
사용자는 더 복잡한 애플리케이션을 배포하고 싶어 했습니다. 그 요구에 따라 유료 사용자의 압축 스크립트 크기 제한은 1MB에서 5MB, 다시 10MB로 늘었고, 무료 사용자의 제한도 1MB에서 3MB로 커졌습니다. 시작 시 CPU 시간 제한은 200ms에서 400ms가 됐습니다. 스크립트가 커지면 전송과 컴파일에 시간이 더 들고, CPU 시간 제한이 늘면 최상위 실행도 더 길어질 수 있습니다.
TLS 핸드셰이크는 그만큼 느려지지 않았습니다. 왕복 한 번이면 되는 TLS 1.3의 사용도 늘었습니다. 복잡한 애플리케이션의 콜드 스타트가 경주에서 뒤처지기 시작하자, 시간을 직접 줄이는 것만으로는 한계가 생겼습니다. 이번 2편의 Worker 샤딩은 이미 실행 중인 인스턴스를 재사용해 콜드 스타트가 일어나는 횟수를 낮추는 해법입니다.
재배치 범위를 좁힌 일관된 해시 링
Cloudflare의 HTTP 캐시는 URL과 몇 가지 정보를 합친 캐시 키로 담당 서버를 정합니다. 콜드 스타트를 캐시 미스에, 준비된 Worker 호출을 캐시 적중에 빗대면 같은 방법을 떠올릴 수 있습니다. 서버마다 독립적으로 유지하던 Worker를 샤딩하고, 같은 Worker의 요청을 담당 서버로 모으는 방식입니다.
서버는 고정돼 있지 않습니다. 장애나 재부팅, 유지보수로 빠지기도 하고 새로 들어오기도 합니다. Worker 스크립트 ID를 서버 주소에 직접 대응시키는 단순 해시 테이블은 서버 수가 바뀌면 전체를 다시 해싱해야 합니다. 그러면 모든 Worker의 담당 서버가 바뀌어 샤딩한 Worker 전체가 다시 콜드 스타트를 겪습니다.
Cloudflare는 HTTP 캐시와 같은 자료구조인 일관된 해시 링을 사용했습니다. 스크립트와 서버 주소를 끝과 시작이 이어진 숫자 선에 배치하고, 스크립트의 해시 위치에 있거나 그 위치에서 진행 방향으로 처음 만나는 서버를 담당 서버로 고릅니다. 서버가 추가되거나 사라져도 해당 구간의 Worker만 재배치하면 됩니다.
처음 요청을 받은 서버가 shard client이고, 링에서 선택한 담당 서버가 shard server입니다. shard client는 링을 조회해 요청을 보낼 shard server를 찾습니다.
로컬 실행으로 경로를 줄이는 Cap’n Proto RPC
Worker는 JPEG가 아닙니다. 요청 하나에 최대 5분의 CPU 시간을 쓸 수 있고, 입력 크기만으로 계산량이나 메모리 사용량을 예측할 수도 없습니다. 요청을 한곳으로 모으더라도 트래픽이 몰리면 언제든 여러 인스턴스로 늘릴 수 있어야 합니다. 데이터 센터마다 Worker 인스턴스를 하나만 유지한다고 보장할 수 없는 이유입니다.
이를 위해 shard server는 감당할 수 없는 요청을 거절할 수 있어야 합니다. HTTP의 Expect: 100-continue처럼 처리 가능 여부를 먼저 물으면 요청을 보내기 전에 왕복 한 번이 더 듭니다. 요청 본문이 얼마든지 클 수 있으므로 단순 재시도도 일반적인 해법은 아닙니다. Cloudflare는 일단 요청을 보내고, 담당 서버가 처리하지 못하면 돌려보내는 방식을 택했습니다.
거절이 드물 것이라는 기대가 이 선택을 뒷받침했습니다. 한 번 거절당한 shard client는 Worker를 로컬에서 시작하고 후속 요청도 로컬에서 처리합니다. 트래픽이 줄어 그 인스턴스가 제거되기 전까지는 다시 샤딩하지 않습니다. 따라서 다른 서버로 샤딩하는 요청은 대부분 받아들여질 것으로 예상했고, 매번 허락을 구하는 왕복 비용을 피했습니다.
요청을 돌려보내는 비용은 Cap’n Proto RPC로 줄였습니다. shard client는 지연 로딩할 로컬 Worker를 가리키는 핸들인 capability를 요청에 넣습니다. 이 로컬 Worker는 실제로 호출할 때까지 시작되지 않습니다. shard server가 요청을 거절하면 오류 응답 대신 전달받은 capability를 그대로 돌려줍니다.
클라이언트의 RPC 계층은 돌아온 capability가 자신의 로컬 객체임을 알아봅니다. 이후 보내는 바이트도 다시 돌아오리라는 뜻입니다. 추가 전송을 멈추고 이미 보낸 바이트를 모두 돌려받은 뒤, 가능한 시점에 요청 경로를 단축합니다. 이렇게 shard server를 경로에서 완전히 빼면 요청이 서버를 거쳐 되돌아오는 ‘트롬본 효과’를 막을 수 있습니다.
서버를 건너다니는 Worker의 호출 문맥
과부하 처리까지 풀고 나니 어려운 일은 끝난 듯했습니다. 그런데 Worker는 다른 Worker를 호출합니다. Service Bindings가 대표적이고, Workers KV도 내부적으로는 Worker 간 호출입니다.
Workers for Platforms에서는 호출이 더 깊어집니다. dynamic dispatch Worker가 user Worker를 선택해 호출하고, user Worker는 선택적으로 둔 outbound Worker를 호출해 하위 요청을 가로채게 합니다. outbound Worker에 넘길 인수도 user Worker 호출 전에 dynamic dispatch Worker가 정합니다. 여기에 tail Worker까지 연결되면 요청 흐름 전체의 이벤트를 모아 정확히 한 번 호출해야 합니다.
이렇게 이어지는 호출에는 소유권과 자원 제한 재정의, 신뢰 수준, tail Worker와 outbound Worker 설정, 기능 플래그 등이 문맥 스택으로 따라다닙니다. 한 스레드에서 실행할 때는 그나마 관리할 만했지만, 샤딩하려면 이 스택도 서버 사이를 이동해야 했습니다. Cloudflare는 문맥 스택을 Cap’n Proto 자료구조로 직렬화해 보내고, shard server에서 네이티브 객체로 복원해 실행을 이어갑니다.
여러 서버로 흩어진 트레이스를 모으는 데도 capability를 썼습니다. dynamic dispatch Worker의 담당 서버에 reportTraces() 콜백을 두고 그 capability를 문맥 스택에 넣습니다. user Worker와 outbound Worker의 shard server, 추가 호출을 받은 서버까지 같은 콜백으로 트레이스를 보냅니다. 각 서버는 원래 담당 서버가 어디 있는지 몰라도 전체 요청 흐름의 기록을 한곳으로 돌려보낼 수 있습니다.
99.99% 위에 남은 그래프의 여백
2025년 9월 초 배포를 마친 뒤, enterprise 요청 중 샤딩된 비율은 약 4%였습니다. 나머지 96%는 데이터 센터 안에서 여러 인스턴스를 실행해야 할 만큼 부하가 많은 Worker로 향했습니다. 그런데 전 세계 Worker 제거 빈도는 10분의 1로 떨어졌습니다.
작은 비율로 큰 효과를 낸 배경은 인터넷 트래픽의 멱법칙 분포입니다. 글에서 “the”, “and”, “it”는 자주 나오지만 “eviction”이나 “trombone”은 한두 번만 등장하는 것과 비슷합니다. 요청 대부분은 소수의 고트래픽 Worker에 몰리고, 긴 꼬리에는 수많은 저트래픽 Worker가 있습니다. 샤딩된 4%는 이 저트래픽 Worker로 향한 요청이며, 이들이 샤딩의 혜택을 가장 크게 받았습니다.
Worker 제거는 시스템 전체 규모의 가비지 컬렉션에 비유할 수 있습니다. 제거 빈도가 낮아졌다는 것은 메모리를 더 효율적으로 쓴다는 뜻이고, 메모리 정리에 드는 CPU도 줄어듭니다. Worker를 메모리에 10배 더 오래 유지할 수 있게 되면서 준비된 인스턴스가 요청을 받을 기회도 늘었습니다.
enterprise 트래픽의 warm request rate는 99.9%에서 99.99%로 올라갔고, 하루 동안의 변동도 줄었습니다. 콜드 스타트 비율로 보면 0.1%에서 0.01%로 감소한 결과입니다. Worker를 제거하는 횟수가 10분의 1로 줄어든 만큼 새로 시작하는 횟수도 줄었습니다.
그렇다면 「Eliminating Cold Starts」 3편도 나오게 될까요? 그래프 맨 위에는 여전히 작은 여백이 있고, five 9’s인 99.999%는 아직 도달하지 못한 목표입니다.
제한 변경·가상 사례·배포 결과의 세부 수치
| 항목 | 값 |
|---|---|
| 앞선 글과 초기 콜드 스타트 | 앞선 발표는 5년 전이며, 초기 플랫폼 설명의 콜드 스타트 시간은 당시 약 5ms |
| TLS 핸드셰이크 비교 | TLS 1.3은 1회 왕복, TLS 1.2는 3회 왕복으로 설명 |
| 유료 사용자 스크립트 크기 제한 | 압축 기준 1MB → 5MB → 10MB |
| 무료 사용자 스크립트 크기 제한 | 압축 기준 1MB → 3MB |
| 시작 시 CPU 시간 제한 | 200ms → 400ms |
| 요청 분산 가상 사례 | 데이터 센터 서버 300대에 분당 요청 1개를 고르게 분산하면 서버당 평균 5시간에 1개 |
| 가상 사례의 콜드 스타트와 메모리 | 다음 요청 전마다 제거되면 콜드 스타트 비율 100%; 한 서버로 모아 유지하면 최초 콜드 스타트 이후 warm request rate 100%, 메모리 사용 99.7% 감소 계산 |
| 서버 간 프록시 추가 지연 | 실제 추가 첫 바이트 수신 시간 1ms 미만 |
| Worker의 요청당 CPU 사용 가능 시간 | 최대 5분 |
| 전체 배포 후 enterprise 샤딩 비율 | 약 4%; 나머지 96%는 데이터 센터 내 여러 인스턴스가 필요할 만큼 부하가 있는 Worker로 향하는 요청 |
| 전 세계 Worker 제거 빈도 | 기존의 10분의 1 |
| enterprise warm request rate | 99.9% → 99.99% |
| enterprise 콜드 스타트 비율 | 0.1% → 0.01% |
| 아직 도달하지 않은 warm request rate 목표 | five 9’s, 즉 99.999% |