목차
지수적 트래픽 증가를 되감은 Cloudflare 데이터 파이프라인 (2026-10)
원문 정보
- 원문: Rewinding the exponential: How we keep hardware usage down
- 매체 · 게시일: The Cloudflare Blog · 2026-10-13
- 저자: Cathy Chi, Sergey Nuzhdin, Christian Endres
- 원문 내용을 바탕으로 재구성한 요약입니다.
두 달 만에 절반이 사라진 Ready-Analytics의 여유
2026년 5월 중순, Cloudflare의 자체 원클릭 분석 제품 Ready-Analytics에서 트래픽이 절반으로 줄었습니다. 로드 밸런싱을 적용하자 약 26GB/s였던 전송량이 약 13GB/s로 떨어진 것입니다. 여유는 오래가지 않았습니다. 두 달 뒤에는 이미 약 20GB/s까지 늘어, 트래픽 증가가 절감분의 절반가량을 삼켰습니다.
Cloudflare Data 팀이 해마다 마주하는 문제입니다. 트래픽은 지수적으로 늘지만 하드웨어는 선형으로 늘어납니다. 웹의 20% 이상이 Cloudflare 네트워크 뒤에 있고, 여기서 나오는 데이터를 중앙 데이터 센터로 나르는 파이프라인도 그 성장을 감당해야 합니다. 2026년 5월에는 고객 트래픽과 내부 팀의 데이터를 합쳐 초당 약 20억 이벤트를 전달했습니다. Cloudflare Logs, SQL API, 관측, 내부 분석에 쓰이는 데이터입니다.
이벤트의 출발점은 내부 서비스 Logfwdr입니다. Workers, FL처럼 널리 분산된 소스에서 데이터를 모아 중앙 수신기로 보내면, 수신기가 버퍼링 시스템 Buftee에 저장합니다. 컨슈머는 Buftee에서 데이터를 읽어 ClickHouse 같은 최종 목적지로 전달합니다.
Data 팀은 이 경로에서 보내는 데이터의 양과 처리 시점을 바꿔 왔습니다. 지난 5년간의 개선을 하드웨어 확장 규모로 환산하면 증설 2년 반 치를 미룬 효과입니다. 그 과정은 모든 제품이 함께 쓰던 거대한 메시지를 나누는 작업에서 시작했습니다.
제품별 메시지와 zstd로 줄인 전송량
2022년 이전에는 스키마가 하나뿐이었습니다. 당시 대부분의 데이터 제품은 HTTP, 보안, CDN 메타데이터를 바탕으로 했는데, 모든 제품의 필드가 한 스트림에 섞여 있었습니다. 내부 컨슈머는 일단 전부 받은 뒤 필터로 필요한 레코드를 분리하거나 버려야 했습니다.
출발점은 가설 하나였습니다. 어느 팀도 이 스키마에 들어 있는 필드를 100% 필요로 하지는 않을 것이라는 가설입니다. 같은 제품에 속한 필드도 있었지만 서로 아무 관련이 없는 필드도 있었으므로, 제품마다 필요한 필드만 담은 작은 메시지를 만들기로 했습니다.
메시지를 나누면 중복도 생깁니다. 일부 필드는 모든 메시지에 들어갑니다. 그래도 소방호스처럼 데이터를 쏟아내던 단일 스트림을 제품별 스키마로 바꾸자 백본 대역폭 사용량이 35~40% 줄었습니다. 압축 트래픽 증가 약 1년 치에 해당하는 감소였습니다.
2024년에는 다시 네트워크 혼잡과 매일 씨름해야 했습니다. 이번에는 압축 알고리즘을 LZ4에서 zstd로 바꿨습니다. 걱정은 CPU였습니다. 이전 zstd 실험에서 CPU 사용량이 더 높았던 만큼, 대역폭을 아끼는 대가가 얼마나 될지 지표를 확인해야 했습니다.
일부 서버에 먼저 적용한 결과는 안심할 만했습니다. CPU 사용량에 눈에 띄는 차이가 없었고, 전체 서버로 점진적으로 확대해도 영향은 작았습니다. 압축 트래픽은 거의 40% 감소했습니다. 압축 전 데이터는 여전히 같은 속도로 늘었지만, 같은 굵기의 회선으로 1.5배 넘는 트래픽을 감당하게 된 것입니다. 성장 규모로 환산하면 약 10개월 전으로 되돌아간 효과입니다.
2026년에는 압축하기 전의 데이터량을 줄이는 데 집중했습니다. 가장 먼저 바꾼 것은 같은 이벤트를 두 번 보내던 복제 방식입니다.
Buftee 뒤에서 만드는 두 번째 ClickHouse 사본
분석 시스템이 지역 재해를 견디려면 여러 중앙 리전에 데이터 사본이 있어야 합니다. 단, Customer Metadata Boundaries 대상 데이터는 지정된 리전 안에만 저장합니다. 그 밖의 리전 비종속 분석 이벤트는 Logfwdr가 전체 사본을 두 개 만들어 각 리전으로 하나씩 보냈고, 각 리전은 샘플링을 포함한 처리를 독립적으로 수행해 ClickHouse에 저장했습니다.
보조 리전을 쓰는 스트림이 얼마 없을 때는 감당할 만한 방식이었습니다. 재해 복원력을 거의 모든 분석 스트림으로 확대하자 Logfwdr 트래픽도 전반적으로 두 배가 됐습니다. 지수적으로 늘어나는 이벤트를 매번 광역망으로 두 번 보내는 방식은 계속 유지하기 어려웠습니다.
Logpush에는 이미 다른 전송 방식이 있었습니다. Logfwdr가 중앙 데이터 센터들을 하나의 공유 수신기 풀로 취급하고, 메시지를 한 곳에만 보내는 방식입니다. 장비나 시설에 연결할 수 없으면 다른 곳으로 전송합니다. Logpush 전송은 상태가 없고 고객의 목적지는 어느 중앙 데이터 센터가 로그를 보내는지 신경 쓰지 않으므로, 이런 전환이 가능합니다. 대규모 장애에서도 사람의 개입 없이 트래픽을 옮긴 경험이 있었습니다.
분석에는 제약이 더 있었습니다. 한 리전에 문제가 생겼을 때 다른 리전이 즉시 독립적으로 쿼리를 처리하려면, 양쪽 ClickHouse 클러스터에 리전 비종속 데이터의 전체 사본이 있어야 합니다. 이 요구는 유지하되 파이프라인 전송과 데이터베이스 복제를 분리했습니다.
Logfwdr는 Logpush처럼 사용 가능한 중앙 수신기 한 곳으로 각 이벤트를 보냅니다. 광역망을 건너는 전송은 한 번입니다. 수신기가 샘플링한 데이터를 Buftee에 저장하면, 원격 인서터가 다른 데이터 센터로 데이터를 보내 두 번째 ClickHouse 사본을 만듭니다. 소스에서 하던 복제를 파이프라인의 가능한 한 늦은 지점으로 옮겼습니다.
처음 적용한 HTTP 분석과 Ready-Analytics 등 마이그레이션한 데이터셋에서는 압축 전송 트래픽 약 43GB/s가 줄고, 데이터 센터 간 복제 트래픽은 약 7GB/s만 늘었습니다. 광역 네트워크 전체로는 순 36GB/s 감소입니다. 여전히 사본은 두 개인데 전송량이 이렇게 달라진 데에는 복제 위치의 영향이 큽니다.
우선 새로 복제하는 것은 샘플링을 마친 데이터입니다. 예전처럼 원시 이벤트의 전체 사본 두 개를 보내지 않습니다. 압축 조건도 좋아졌습니다. 소스에서는 데이터가 수천 대 서버에 흩어져 있지만, 중앙에서는 더 넓은 시간 구간의 데이터를 모아 균일한 배치로 나눕니다. 이런 배치는 Logfwdr가 보내던 배치보다 훨씬 높은 압축률을 냅니다.
장애가 나면 전송 경로도 바뀝니다. 중앙 리전 하나가 내려가면 Logfwdr는 리전 비종속 트래픽을 남은 리전으로 즉시 보냅니다. 데이터 센터 사이의 연결만 잠깐 끊겼다면 각 클러스터는 자신에게 들어오는 데이터를 백프레셔 없이 계속 받습니다. 백본이 복구된 뒤 원격 인서터가 Buftee의 보존 버퍼에서 밀린 데이터를 읽어 따라잡습니다. Cloudflare는 봄부터 더 많은 데이터셋을 이 방식으로 옮기고 있습니다.
드문 키의 세부 정보를 지키는 Logfwdr 샘플링
복제를 늦추면 샘플링으로 줄인 데이터를 복사하게 됩니다. 샘플링 자체를 앞당기면 중앙 수신기로 보내는 데이터부터 줄어듭니다. Cloudflare는 기존 중앙 수신기의 샘플링을 유지하면서 Logfwdr에서도 샘플링하도록 바꿨습니다.
데이터셋마다 생산자 팀이 인덱싱과 샘플링에 쓸 키를 정합니다. 샘플링할 때는 먼저 키별로 레코드를 섞어 편향을 없애고, 각 그룹에서 전체 레코드 수의 제곱근만큼 표본을 고릅니다. 이 방식은 한 번 적용하든 두 번 적용하든 대표성 있는 표본을 남깁니다. 원래 규모를 추정할 때는 표본 비율을 반영합니다. 100개 중 10개를 골랐다면 표본 비율은 10/100이고, 원래 개수의 편향 없는 추정치는 10*10 = 100입니다.
검증은 드문 키부터 자주 등장하는 키까지 포함했습니다. 여러 트래픽 규모와 키에 걸쳐 ClickHouse에 저장한 행 수와 전체 이벤트 수의 추정 합계를 비교했습니다. 이중 샘플링을 적용한 데이터는 저장 행이 줄어도 같은 추정치에 도달했습니다. 데이터가 많은 키의 표본 비율은 낮아졌지만, 드문 키는 기존과 비슷하게 샘플링돼 이벤트별 세부 정보를 유지했습니다.
차이는 데이터가 많은 키에서 더 커집니다. 관측된 저장 행 수의 증가를 거듭제곱 법칙으로 나타내면, 단일 샘플링은 대략 x^0.485, 이중 샘플링은 x^0.319입니다. 데이터가 다른 키보다 100배 많은 키를 생각하면, 단일 샘플링에서는 약 10배의 행을 저장하던 것이 이중 샘플링에서는 약 4배로 줄어듭니다. 실제 예에서는 이벤트 1,160만 건을 표현하는 데 ClickHouse의 7만 9천 행 대신 1만 8천 행을 썼습니다.
제곱근을 두 번 취한다고 관측 결과가 x^0.25가 되지는 않았습니다. Logfwdr의 샘플링은 장비와 배치별로 따로 일어나고, 중앙 수신기는 그 배치 일부를 합친 뒤 남은 레코드를 다시 샘플링하기 때문입니다.
처음 적용한 상위 데이터셋 세 개는 모두 중앙 수신기로 보내던 압축 데이터가 최소 절반으로 줄었습니다. 합쳐서 25GB/s, 하루 2PB가 넘는 절감량입니다.
약 750개 CPU를 되찾은 Ready-Analytics 수신기
5월의 절감분을 빠르게 소진하던 Ready-Analytics에도 샘플링을 적용했습니다. 약 20GB/s까지 다시 늘었던 처리량은 약 8GB/s로 내려갔습니다. 로드 밸런싱과 샘플링이 모두 없었다면, Ready-Analytics 하나만으로도 9월에 60GB/s를 넘었을 것이라는 추정입니다.
덜 보내면 중앙에서 처리할 데이터도 줄어듭니다. Logfwdr의 로드 밸런싱과 샘플링을 적용한 뒤 Ready-Analytics 수신기의 CPU와 메모리 사용량은 약 50% 감소했습니다. CPU 약 750개와 메모리 3.5TiB를 다시 쓸 수 있게 됐습니다.
가을에 도입한 집계까지 포함하면 절감 범위는 더 넓어집니다. 봄부터 가을까지 파이프라인 전체에서 로드 밸런싱으로 약 38GB/s, 상위 데이터셋의 샘플링으로 약 25GB/s, 집계로 지금까지 약 7GB/s 이상을 줄였습니다. 백본에서 없앤 압축 트래픽은 모두 약 70GB/s입니다.
처리량은 이전에 예상한 성장 궤적보다 약 여덟 달 뒤의 수준으로 낮아졌습니다. 더 긴 기간의 전망도 달라졌습니다. 올해 변경을 반영한 2031년 예상 데이터량은 변경 전 전망의 절반입니다. 이는 앞으로 처리할 데이터량의 예측이며, 이미 관측한 전송량 감소와는 구분해야 합니다.
정해진 질문에 정확히 답하는 Ready-Aggregates
샘플링은 어떤 질문에든 근사값으로 답하는 방식입니다. Cloudflare는 합계와 개수의 정확성이 중요한 분석을 위해 집계도 파이프라인 앞단으로 옮겼습니다. 수집 시점에 원시 이벤트를 집계하는 롤업은 차원과 지표를 미리 정한다는 조건이 있습니다. 대신 그렇게 정한 질문에는 정확한 값을 돌려줍니다.
HTTP 데이터셋에서는 개별 IP 주소 대신 1분 동안 나타난 고유 IP 주소 수를 구합니다. 특정 도메인에서 그 1분 동안 발생한 GET, POST, PUT 등의 요청 수도 HTTP 메서드별로 합산합니다. 이런 계산은 파이프라인 끝까지 기다릴 이유가 없습니다.
예전에는 Buftee에서 데이터를 읽어 ClickHouse에 넣는 인서터가 집계를 맡았습니다. 이제는 데이터가 모일 때마다 같은 키의 부분 집계를 합칩니다. Logfwdr 인스턴스에서 먼저 집계하고, 중앙 수신기에 도착한 부분 집계를 다시 합쳐 전용 파티션 버퍼에 저장합니다. 이 버퍼에는 여러 수신기의 레코드가 모이므로, ClickHouse 인서터가 배치로 읽은 뒤 한 번 더 합칠 기회가 생깁니다. 마지막 집계는 ClickHouse의 집계 테이블 엔진에서 수행합니다.
첫 적용 대상은 HTTP 트래픽 데이터셋입니다. 압축 전송량이 9GB/s 이상에서 2GB/s 미만으로 떨어졌습니다. 현재 카디널리티가 가장 높은 데이터셋인데도 약 80%를 줄였습니다. 집계를 인서터 한 곳에서만 하던 때보다 중앙으로 모으는 데이터가 적어지고, 집계 부하도 여러 단계로 분산됐습니다.
여러 레코드를 합치기 쉬운 데이터셋에서 이 기능의 효과가 큽니다. 특히 합계와 개수가 정확해야 하는 사용량 지표에 맞는 선택입니다. Cloudflare는 생산자 팀이 샘플링 외에도 자원을 줄일 방법을 고를 수 있도록, Ready-Analytics에 이어 범용 원클릭 집계 분석 제품 Ready-Aggregates를 만들었습니다. 집계 기능을 계속 개선하면서 절감량도 더 늘어날 것으로 기대하고 있습니다.
변경 범위별 절감 수치
| 항목 | 값 |
|---|---|
| 처리 규모 (2026-05) | 초당 약 20억 이벤트 |
| 스키마 분리 (2022) | 백본 대역폭 35~40% 감소, 압축 트래픽 증가 약 1년 치 |
| LZ4에서 zstd로 (2024) | 압축 트래픽 처리량 약 40% 감소, 같은 회선으로 1.5배 이상, 성장 환산 약 10개월 |
| 로드 밸런싱 | 압축 전송 약 43GB/s 감소, 복제 약 7GB/s 추가, 순 36GB/s 감소 (파이프라인 전체 약 38GB/s 절감) |
| HTTP 분석 전환 | 약 20GB/s (50% 이상) 감소 |
| Ready-Analytics 전환 | 약 28GB/s에서 약 16GB/s로 43% 감소 |
| 이중 샘플링 거듭제곱 지수 | 단일 샘플링 약 0.485, 이중 약 0.319 |
| 샘플링 예시 | 이벤트 1,160만 건: 7만 9천 행에서 1만 8천 행 |
| 샘플링 적용 (상위 3개 데이터셋) | 25GB/s, 하루 2PB 이상 절감 |
| HTTP 롤업 집계 | 압축 바이트 9GB/s 이상에서 2GB/s 미만, 약 80% 감소 |
| Ready-Analytics 로드 밸런싱 (5월) | 약 26GB/s에서 약 13GB/s, 두 달 뒤 약 20GB/s로 반등 |
| Ready-Analytics 샘플링 후 | 약 8GB/s |
| Ready-Analytics 수신기 자원 | 약 50% 감소, CPU 약 750개, 메모리 3.5TiB |
| 파이프라인 전체 절감 합계 | 약 70GB/s (집계 7GB/s 이상) |