목차
겹친 유지보수의 위험을 가려내는 Workers 스케줄러 (2025-12)
원문 정보
- 원문: How Workers powers our internal maintenance scheduling pipeline
- 매체 · 게시일: The Cloudflare Blog · 2025-12-22
- 저자: Kevin Deems, Michael Hoffmann
- 원문 내용을 바탕으로 재구성한 요약입니다.
전 세계 330개가 넘는 도시에 데이터센터가 있다면, 몇 곳을 정비하느라 멈춰도 사용자는 알아채지 못할 듯합니다. Cloudflare가 겪은 현실은 달랐습니다. 한 지역의 평범한 하드웨어 갱신도 다른 지역의 중요한 경로와 충돌할 수 있었고, 사람이 겹치는 작업 요청과 고객별 라우팅 규칙을 실시간으로 모두 추적하기에는 네트워크가 너무 커졌습니다.
필요한 것은 네트워크 전체를 한눈에 보는 자동화된 ‘두뇌’였습니다. Cloudflare는 Workers에 유지보수 스케줄러를 만들어 안전 제약을 검사하도록 했습니다. 잠재적 충돌을 발견하면 운영자에게 알려, 관련 작업과 겹치지 않는 시간을 제안하도록 돕는 시스템입니다.
작업 하나만 봐서는 드러나지 않는 충돌
한 도시의 여러 데이터센터가 소수의 이중화된 edge router를 거쳐 공용 인터넷에 연결되어 있다고 가정합니다. 라우터를 모두 정비하러 내리는 순간, 그 뒤의 데이터센터도 인터넷에서 끊깁니다. 해당 지역에는 적어도 하나의 라우터가 살아 있어야 합니다.
고객이 정한 경로도 살펴야 합니다. Dedicated CDN Egress IPs는 고객이 트래픽을 내보낼 데이터센터를 선택해, 지리적으로 가까운 origin 서버까지 낮은 지연 시간으로 연결하도록 하는 제품입니다. 여기서는 원문처럼 이전 이름인 Aegis로 부릅니다. 고객이 선택한 데이터센터가 한꺼번에 오프라인이 되면 지연 시간이 늘고 5xx 오류까지 발생할 수 있습니다.
원문의 예시에서 고객 9876의 Aegis pool은 데이터센터 21과 45를 사용합니다. 이 고객의 egress 트래픽을 처리하려면 둘 중 적어도 하나는 온라인이어야 합니다. 각 데이터센터의 정비 일정만 따로 확인해서는 놓칠 수 있는 관계입니다.
스케줄러는 정비할 라우터나 서버 목록을 받은 뒤, 같은 시간대에 겹치는 기존 유지보수 이벤트를 찾습니다. 여기에 Aegis 고객 IP pool 같은 제품 API 데이터를 모아 작업 전체의 영향을 검사합니다. 라우터의 가용성과 고객별 경로를 이런 유지보수 제약으로 표현하면, 여러 작업이 겹쳐 모든 경로를 끊는 상황을 미리 발견할 수 있습니다.
메모리에 전부 담는 대신 관계를 좇는 그래프 인터페이스
처음부터 필요한 정보만 읽었던 것은 아닙니다. 초기 구현은 서버 관계, 제품 설정, 제품과 인프라의 상태 메트릭을 하나의 Worker에 모두 불러왔습니다. 개념 증명 단계에서 이미 메모리가 바닥났습니다.
독일 프랑크푸르트의 라우터를 정비한다면, 지역 간 영향이 겹치지 않는 호주의 상태까지 알아야 할 일은 거의 없습니다. 필요한 것은 독일의 인접 데이터센터 정보입니다. Workers의 한도 안에서 제약을 계산하려면, 이처럼 관련된 데이터만 찾아 읽어야 했습니다.
Cloudflare는 각 제약에서 객체와 연관 관계라는 공통점을 찾았습니다. 라우터 같은 객체를 정점으로, 객체 사이의 관계를 간선으로 표현할 수 있었습니다. Facebook의 TAO 연구에서 착안한 그래프 인터페이스는 이 관점으로 제품과 인프라 데이터를 조회합니다.
관계에는 타입을 부여했습니다. 데이터센터에서 소속 Aegis pool을 찾는 관계와, Aegis pool에서 트래픽 처리에 필요한 데이터센터를 찾는 관계는 서로 역방향 인덱스입니다. 이제 제약 로직은 모든 pool을 메모리에 불러와 걸러내는 대신, 해당 데이터센터와 연결된 pool을 바로 조회합니다.
조회 방식이 바뀌자 API 응답 크기는 하룻밤 사이 기존의 약 100분의 1로 줄었습니다. 제약 로직을 복잡하게 만들지 않고도, 그래프 구현 안에서 가져올 데이터의 양과 조회 성능을 조정할 수 있게 된 것입니다.
모든 라우터에서 필요한 연결로 좁힌 Thanos 쿼리
같은 접근법은 실시간 메트릭 조회에도 적용했습니다. 스케줄러는 네트워크 성능 저하와 장비 장애에 대응하기 위해 분산 Prometheus 쿼리 엔진인 Thanos를 사용합니다. 처음에는 모든 edge router의 상태를 요청한 뒤 Worker에서 정비와 관련된 라우터만 골랐습니다.
응답은 여러 MB에 달했습니다. Thanos는 이를 인코딩·디코딩해야 했고, Worker도 큰 응답을 캐시하고 파싱한 뒤 대부분을 버려야 했습니다. TypeScript는 단일 스레드로 실행되므로, 큰 HTTP 응답 하나의 JSON을 파싱하는 동안 다른 응답은 기다리는 상황이었습니다.
그래프에서 edge router와 spine router의 연결 관계를 찾으면 쿼리 범위를 훨씬 좁힐 수 있습니다. 해당 라우터와 인터페이스만 조회하도록 바꾸자 응답은 평균 약 1KB로, 이전의 약 1,000분의 1이 됐습니다. 역직렬화 작업의 상당 부분을 Thanos로 옮기면서 Worker의 CPU 부담도 크게 줄었습니다.
작은 요청은 더 많이 보내야 합니다. 이 요청들은 Thanos 앞의 로드 밸런서로 분산해 해당 사용 사례의 처리량을 높일 수 있습니다. 하지만 Worker 쪽에는 아직 풀어야 할 한도가 남아 있었습니다.
작은 요청의 쇄도를 다스리는 fetch 파이프라인
메모리를 아끼자 요청 수가 문제가 됐습니다. 소수의 큰 HTTP 요청을 다수의 작은 요청으로 바꾼 뒤, Workers의 하위 요청 한도를 지속적으로 초과하기 시작했습니다. Cloudflare는 그래프 구현과 fetch API 사이에 미들웨어 파이프라인을 두었습니다.
첫 단계는 같은 Worker에서 진행 중인 동일 HTTP 요청을 합치는 일입니다. Go의 singleflight에서 착안해, 중복 요청을 보내는 대신 하나의 Promise에서 결과를 기다리도록 했습니다. 이어서 최근에 사용하지 않은 항목부터 비우는 LRU 캐시로 이미 조회한 결과를 재사용합니다.
그 뒤에는 caches.default.match로 Worker가 실행되는 지역에서 GET 요청을 캐시합니다. TTL은 데이터의 특성에 맞췄습니다. 예를 들어 실시간 데이터는 1분, 비교적 정적인 인프라 데이터는 종류에 따라 1~24시간을 씁니다. 사람이 드물게 바꾸는 전력 관리 데이터라면 edge에 더 오래 보관할 수 있습니다.
실패한 요청에도 간격이 필요했습니다. 하위 시스템이 일시적으로 5xx를 반환하는데 쉬지 않고 재요청하면 하위 요청 한도를 쉽게 소진합니다. 지수 백오프와 재시도, jitter를 적용해 불필요한 fetch 호출을 줄이고 다음 요청이 성공할 가능성을 높였습니다.
메모리와 CDN 캐시 설정을 조정한 뒤 적중률은 약 99%에 도달했습니다. 그래프 조회와 fetch 파이프라인이 수천 개의 작은 실시간 요청이 떼를 지어 몰려드는 ‘thundering herd’를 제어한 결과입니다. 그래도 100%에는 도달할 수 없습니다. 실시간 데이터가 많은 이 작업에서는 적어도 1분마다 새 데이터를 가져와야 합니다.
수개월의 정비 기록을 읽는 Parquet 파일
실시간 조회를 해결해도 과거 기록은 남습니다. 제약이 위험한 정비를 잡아내는지 확인해야 하지만, 안전한 물리 장비 정비를 불필요하게 막아서도 안 됩니다. Cloudflare는 2개월 전이나 1년 전의 시계열을 살펴 라우터 가용성이나 Aegis 제약을 얼마나 자주 위반하는지 검토합니다.
이때는 작은 관계 몇 개를 조회하는 것으로 충분하지 않습니다. Thanos는 주로 Prometheus에 쿼리를 분산하지만, Prometheus의 보존 기간을 벗어난 데이터는 객체 스토리지인 R2에서 내려받아야 합니다. 로컬 SSD용으로 설계된 Prometheus TSDB 블록은 무작위 접근에 의존했습니다. 수개월의 기록을 객체 스토리지에서 읽으려 하자 이 접근 패턴이 큰 I/O 부담으로 돌아왔습니다.
Cloudflare는 Observability 팀이 개발한 방식으로 TSDB 블록을 Apache Parquet 파일로 변환했습니다. Parquet은 데이터를 열 단위로 저장하며, 통계 정보와 함께 필요한 부분만 읽도록 합니다. 파일을 다시 쓰는 동안 데이터 배치도 바꿀 수 있었습니다. 예를 들어 (__name__, dc_id)를 정렬 키로 삼으면 이름과 데이터센터 ID가 같은 메트릭을 가까이 두고, 소수의 큰 연속 구간으로 읽을 수 있습니다.
Parquet gateway는 쿼리에 필요한 열만 R2 범위 요청으로 가져옵니다. 조회 페이로드는 MB 단위에서 KB 단위로 줄었습니다. 이 파일 구간들은 바뀌지 않으므로 Cloudflare CDN에도 적극적으로 캐시할 수 있습니다.
기존 TSDB 형식에서 겪던 시간 초과와 높은 꼬리 지연을 피하면서 장기간의 유지보수 시나리오를 검증할 수 있게 됐습니다. 최근 부하 테스트에서는 같은 쿼리 패턴에서 Parquet의 P90 성능이 기존 시스템보다 최대 15배 높았습니다.
네트워크 성장과 제품 성능 사이의 균형점은 계속 움직입니다. 세계 곳곳에 매일 하드웨어가 추가되고 제품과 정비 유형도 늘어나면서, 고객 트래픽을 방해하지 않기 위한 로직은 기하급수적으로 복잡해집니다. Cloudflare에는 이 규모에서만 드러나는 더 미묘한 운영 문제가 남아 있습니다.
운영 규모와 조회 성능의 근거 수치
| 항목 | 값 |
|---|---|
| 데이터센터 운영 범위 | 전 세계 330개 초과 도시 |
| 그래프 조회 전환 후 API 응답 크기 | 기존의 약 100분의 1 |
| fetch 파이프라인 코드 예시 | LRU 최대 100개 항목, 재시도 3회, 기본 백오프 100ms, jitter 활성화 |
| 실시간 데이터 캐시 TTL 예시 | 1분 |
| 비교적 정적인 인프라 데이터 TTL 예시 | 데이터 종류에 따라 1~24시간 |
| 설정 조정 후 캐시 적중률 | 약 99%; 적중 수 ÷ 전체 요청 수 |
| 캐시 조회와 다른 지역 origin 조회 비교 | Worker 캐시 조회가 약 한 자릿수 규모 더 빠르다고 설명 |
| 범위를 좁힌 Thanos 응답 | 여러 MB에서 평균 약 1KB로 감소, 약 1,000분의 1 |
| 과거 유지보수 분석 범위 예시 | 2개월 전 또는 1년 전 이벤트 |
| Parquet 정렬 키 예시 | (__name__, dc_id) |
| Parquet gateway의 조회 페이로드 | MB 단위에서 KB 단위로 감소 |
| 최근 부하 테스트 결과 | 동일 쿼리 패턴에서 기존 시스템 대비 P90 성능 최대 15배 |