목차
Cloudflare HMD의 백테스트를 앞당긴 Thanos (2025-05)
원문 정보
- 원문: Scaling with safety: Cloudflare’s approach to global service health metrics and software releases
- 매체 · 게시일: The Cloudflare Blog · 2025-05-05
- 저자: Harshal Brahmbhatt, Kevin Deems, Nina Giunta, Michael Hoffmann
- 원문 내용을 바탕으로 재구성한 요약입니다.
테스트를 빠져나온 버그 앞의 HMD
웹을 둘러보다 Cloudflare의 “Error 500” 페이지를 만날 때가 있습니다. 서버가 요청에 응답하지 못한 원인 중 하나는 Cloudflare 소프트웨어 스택을 이루는 서비스의 버그입니다. 테스트 플랫폼도 일부 버그는 놓칠 수밖에 없습니다. 그래서 Cloudflare는 새 코드가 모든 사용자에게 닿기 전에, 조금씩 배포하면서 이상을 감지하고 되돌리는 안전장치를 만들었습니다.
Health Mediated Deployments(HMD)는 서비스 상태를 보고 배포를 제어합니다. Prometheus가 수집한 메트릭을 Thanos에 질의해 배포를 계속할지, 추가 평가를 위해 멈출지, 이전 버전으로 되돌릴지 결정하는 방식입니다. 엔지니어는 서비스의 알림 규칙이나 SLO를 판단 신호로 등록합니다.
예를 들어 최근 10분간 HTTP 500 응답 비율을 측정하면 서비스 수준 지표인 SLI가 됩니다. 여기에 “500 응답 비율 0.1% 미만”이라는 목표를 붙인 것이 SLO입니다. 새 코드가 실행되는 곳에서 성공률이 예상과 달리 떨어지면 HMD가 변경을 되돌립니다. 사람이 어느 서비스에 문제가 생겼는지 알아내기 전에 반응해 피해 범위를 제한합니다.
R2 요청 수백만 건으로 커지는 백테스트
이 안전장치가 다음 버그에도 제때 반응할지는 별도로 검증해야 합니다. HMD는 릴리스 과정 밖에서 과거 장애 데이터를 다시 평가하는 백테스트를 수행합니다. 신호가 나빠진 뒤 얼마나 빨리 반응하는지 재보는 것입니다. Prometheus의 보존 기간을 지난 메트릭은 객체 스토리지 R2에서 가져옵니다.
데이터부터 만만치 않습니다. Cloudflare는 수천 개의 작은 Prometheus 배포를 Thanos의 단일 쿼리 계층으로 연결하고, 서로 다른 시계열 45억 개를 1년 동안 보관합니다. 약 8PB에 이르는 데이터가 전 세계의 객체 1,700만 개에 담겨 있습니다.
백테스트 한 번에 여러 SLO를 평가하고, SLO마다 데이터센터를 묶어 여러 쿼리를 실행합니다. 각 데이터센터가 R2에 보내는 요청만 수십에서 수천 건입니다. 배치 하나로 넓혀 보면 PromQL 쿼리 수십만 건과 R2 요청 수백만 건에 이릅니다. 처음에는 이 배치를 끝내는 데 약 30시간이 걸렸습니다.
원시 데이터를 한곳에 모으던 Querier
기존 Thanos Querier는 전 세계의 Sidecar와 Store에서 원시 시계열을 가져왔습니다. 수천 곳에서 데이터가 모두 도착해야 압축을 풀고 계산을 시작할 수 있었고, 그 계산도 한 인스턴스가 감당했습니다. 데이터센터 수가 두 배로 늘면 쿼리 평가에 할당할 메모리도 두 배가 필요했습니다.
계산할 장소부터 바꿔야 했습니다. 데이터센터 안에서 끝낼 수 있는 작업을 그곳에서 처리하면, 전 세계의 원시 데이터를 한곳으로 옮기는 부담을 줄일 수 있습니다. 어떤 계산을 미리 해둘지, 어떤 계산을 요청이 올 때 수행할지가 남았습니다.
매번 쓰는 배포 범위 쿼리
HMD는 머신을 tier와 color 같은 차원으로 나눠 배포 범위를 정합니다. 특정 조합에 속하는 머신을 찾으려면 up, datacenter_metadata, server_metadata를 조인하고, 점검 중인 머신과 비활성 데이터센터를 제외해야 합니다. 입력 메트릭 대부분의 카디널리티가 전체 머신 수에 가까워서, 객체 스토리지에서 가져와 디코딩하고 조인할 데이터가 많았습니다.
이 쿼리는 HMD를 실행할 때마다 쓰입니다. 미리 계산할 이유가 충분했습니다. 팀은 계산 결과를 저장하는 recording rule을 도입해 조회를 hmd:release_scopes:info{tier="tier3", color="green"}로 바꿨습니다. 조인 대상이 모두 같은 데이터센터 안에 있으므로 각 데이터센터의 Prometheus가 직접 규칙을 평가할 수 있었습니다.
이제 조회 시 다룰 카디널리티는 배포 범위의 크기에 비례합니다. 비용이 줄었고, 네트워크 문제의 영향을 받을 가능성도 낮아져 평균 재시도 횟수도 감소했습니다.
요청이 올 때 계산을 나누는 분산 쿼리 엔진
SLI에도 비슷한 접근이 가능합니다. 오류 비율처럼 서비스 상태를 숫자로 압축하는 단순 집계가 많고, 이런 집계는 데이터센터별로 부분 계산한 뒤 합쳐도 같은 결과가 나오는 경우가 많습니다. 데이터센터마다 recording rule을 두면 원시 시계열 대신 집계 결과만 가져오므로, 전송하고 최종 처리할 데이터가 대개 10분의 1 수준으로 줄어듭니다.
하지만 미리 계산하는 데도 비용이 듭니다. 가끔 실행하는 배치를 빠르게 하려고 수천 개 Prometheus 인스턴스에서 규칙을 자주 평가해야 합니다. 서비스 상태를 나타내는 SLI가 계속 늘어나는 상황에서 이 쓰기 비용은 감당하기 어려웠습니다.
팀은 Thanos의 분산 쿼리 엔진으로 방향을 바꿨습니다. 쿼리가 들어오면 데이터센터 범위로 나눠 원격에서 평가하고, 부분 집계 결과만 받아 최종 결과로 합칩니다. 미리 정해 둔 규칙 없이도 임의의 쿼리를 실행 시점에 처리하는 방식입니다. R2 위치 힌트로 주 접근 리전도 지정해, 비용이 큰 데이터 이동 경로를 최대한 짧게 유지했습니다.
온콜 쿼리를 우선하는 프록시
계산을 나눠도 배치가 한꺼번에 쿼리를 보내면 부하가 치솟습니다. 이런 부하에 맞춰 용량을 준비하기는 어렵습니다. 더구나 HMD의 배치 쿼리보다 운영 장애를 진단하는 온콜 엔지니어의 쿼리가 우선입니다. 팀은 Netflix의 적응형 동시성 제한 작업을 참고해, 우선순위에 따라 요청 흐름을 조절하는 프록시를 만들었습니다.
프록시는 Thanos의 SLO가 나빠지면 배치 요청을 제한합니다. 최근 1분간 Cloudprober 실패율이 판단 신호의 한 예입니다. 요청에는 무작위 지연인 jitter도 넣었습니다. HMD가 쿼리를 몰아서 보내더라도 Thanos는 몇 분에 걸쳐 나눠 처리하게 됩니다. 배치에서는 개별 쿼리의 응답 시간보다 전체 처리량이 우선이므로, 이 지연을 허용해 순간 부하와 오류, 재시도를 줄였습니다.
동시 요청 수는 TCP 혼잡 제어의 additive increase/multiplicative decrease 방식으로 조절합니다. Thanos에서 성공 응답을 받으면 다음에는 동시 요청을 하나 더 허용합니다. 백프레셔 신호가 정한 임계값을 넘으면 실패율에 비례해 혼잡 윈도를 줄입니다.
실패율이 warn 임계값을 지나 emergency에 가까워질수록, 추가로 허용하는 요청 수는 기하급수적으로 0에 가까워집니다. 잘못된 신호가 모든 트래픽을 멈추게 해서는 안 됩니다. 이를 막기 위해 설정으로 최소 요청률을 보장합니다.
2시간으로 줄어든 백테스트
팀은 이 작업에 피, 땀, 눈물을 쏟았습니다. 약 30시간 걸리던 백테스트 배치는 2시간으로 줄어, 실행 시간이 15배 짧아졌습니다.
분산 실행의 효과는 Cloudprober로 따로 측정했습니다. 비교적 가볍지만 전 세계 데이터를 조회하는 count(node_uname_info)를 실행했을 때, 분산 배포는 중앙 배포보다 평균 3~5배 빨리 응답했습니다. 팀은 중앙 배포에서 조금 더 복잡한 쿼리가 타임아웃을 일으키거나 인스턴스를 중단시키는 일도 겪었습니다.
약 1,700만 개 스크레이프 잡을 대상으로 한 count(up)에서는 차이가 더 뚜렷했습니다. 중앙 쿼리어는 응답을 받기 어려워 조회 범위를 단일 리전으로 좁혀야 했고, 그 상태에서도 약 42초가 걸렸습니다. 분산 쿼리어는 전체 결과를 약 8초에 반환했습니다. 조회 범위가 다른 결과지만, 중앙 쿼리어가 감당하지 못하던 전역 조회를 분산 실행으로 처리했다는 차이를 보여줍니다.
원문에 제시된 규모와 측정값
| 항목 | 값 |
|---|---|
| 시계열 보존 규모 | 서로 다른 시계열 45억 개, 1년 보존 |
| 저장 용량 | 약 8PB, 객체 1,700만 개 |
| 백테스트 배치 규모 | PromQL 쿼리 수십만 건, R2 요청 수백만 건 |
| 배치 실행 시간 | 약 30시간에서 2시간으로 감소, 전체 15배 단축 |
count(node_uname_info) 프로브 | 분산 실행이 중앙 배포보다 평균 3~5배 빠름 |
count(up) (약 1,700만 스크레이프 잡) | 중앙 배포는 단일 리전으로 좁혀 약 42초, 분산 배포는 전체를 약 8초 |
| HMD·Thanos Querier 배치 | 북미와 유럽, 고가용성 |
객체 스토리지에서 시험 중인 Parquet
저장 형식에도 아직 풀 문제가 남아 있습니다. Thanos가 읽는 Prometheus TSDB 블록은 객체 스토리지처럼 느린 매체에서 읽도록 설계되지 않아 랜덤 I/O가 많이 발생합니다. 팀은 한 강연에서 영감을 받아 시계열을 Parquet 파일로 저장하는 실험을 시작했습니다.
초기 결과는 가능성을 보였지만, 확실한 결론을 내리기에는 이릅니다. 팀은 Prometheus 커뮤니티와 구현을 공유하려고 실험용 객체 스토리지 게이트웨이를 parquet-tsdb-poc라는 이름으로 GitHub에 공개했습니다. 관측 인프라팀, 복원력팀, R2팀과 협업을 이어 가면서 객체 스토리지에 맞는 시계열 저장 방식도 계속 탐색할 계획입니다.