목차
초당 7억 이벤트의 전체 그림을 남기는 Cloudflare (2025-01)
원문 정보
- 원문: Over 700 million events/second: How we make sense of too much data
- 매체 · 게시일: The Cloudflare Blog · 2025-01-27
- 저자: Constantin Pan, Jim Hawkridge
- 원문 내용을 바탕으로 재구성한 요약입니다.
2024년 12월 기준 Cloudflare의 데이터 파이프라인에는 초당 최대 7억 600만 이벤트가 들어옵니다. 2018년의 100배입니다. Logs와 Analytics, 과금, bot 탐지용 머신러닝 모델 학습을 뒷받침하는 데이터이며, 피크 때 옮기는 압축 데이터만 107 GiB/s에 이릅니다.
Logs 파이프라인을 다룬 이전 글에 이어, 이번 글의 대상은 Analytics입니다.
해상도를 낮춰 전체 그림을 남기는 Analytics
파이프라인의 어느 단계든 하드웨어 고장이나 잘못된 설정으로 멈추거나 느려질 수 있습니다. 버퍼로 버틸 시간은 길지 않습니다. 이 속도로 들어오는 데이터를 오래 보관할 수는 없으므로, 별다른 대응이 없으면 일부가 유실되고 분석 결과에도 빈 구간이 생깁니다.
같은 수의 픽셀을 남긴다고 생각해 보겠습니다. 그림의 작은 부분만 선명하게 남길 수도 있고, 흐릿하고 픽셀이 두드러져도 전체 그림을 남길 수도 있습니다. Cloudflare가 택한 다운샘플링은 표본을 더 줄여 후자의 모습을 지키는 방법입니다. 일부 서비스는 데이터가 Logfwdr에 도착하기 전부터 샘플링합니다. 가능한 한 전체 데이터를 전달하려고 하지만, 얼마나 흐려질지까지 통제할 수는 없습니다.
고객마다 해상도를 달리하는 Logreceiver
분산 큐 앞의 Logreceiver는 각 스트림을 Logpush나 Analytics Inserter 같은 소비자가 처리하기 좋은 키로 나누고, Analytics 데이터에 적응형 샘플링을 적용합니다. 고객별 데이터 규모가 크게 다르기 때문입니다. 하루 약 10개 이벤트를 받는 작은 고객의 정확도를 높이면서, 초당 수백만 이벤트를 받는 큰 고객의 데이터는 더 적극적으로 줄이는 식입니다.
같은 데이터는 100%, 10%, 1% 등 여러 해상도로 나뉘어 서로 다른 큐 topic에 들어갑니다. 큐가 과부하에 빠지면 고해상도 기록을 건너뛰고 저해상도 데이터라도 계속 보냅니다.
뒤쪽 단계에도 같은 선택지가 있습니다. Inserter는 고해상도 데이터의 읽기나 쓰기를 생략할 수 있고, Analytics API도 읽을 해상도를 낮출 수 있습니다. 데이터베이스가 과부하에 빠지거나 클러스터 상태가 나빠졌을 때, 조회 기간이 너무 넓거나 고객 규모가 커서 읽을 데이터가 지나치게 많을 때도 일부 결과를 돌려주기 위한 설계입니다.
밀린 스트림끼리 나누는 Logfwdr의 버퍼
Logfwdr에서는 버퍼가 넘칠 때 이미 쌓인 데이터를 줄입니다. 그렇다고 모든 스트림이 같은 손실을 감수하지는 않습니다. 스트림마다 가중치를 주고 max-min fairness를 적용해, 여유가 있을 때는 필요한 만큼 쓰고 포화되면 가중치를 고려해 공간을 나눕니다. 버퍼를 조금만 쓰는 정상 스트림은 손실 없이 메모리를 확보하고, 지연된 스트림들이 남은 공간을 나누어 갖습니다.
Go 구현에서는 스트림마다 goroutine이 실행되고 channel로 협력합니다. 메모리를 할당하거나 반환할 때마다 공용 tracker를 참조하며, tracker는 max-heap으로 가중치를 고려한 최대 사용 스트림과 전체 사용량을 추적합니다. 한도를 넘으면 가장 무거운 스트림에 부하를 줄이라는 신호를 보냅니다. 사용량이 한도 아래로 내려갈 때까지 반복합니다.
줄일 배치는 min-heap으로 찾습니다. 가장 덜 다운샘플링된 배치들을 골라 더 줄이고 합치면, 샘플링 정도를 대체로 균일하게 유지할 수 있습니다. 병합은 배치 크기를 비슷하게 유지하고 개수가 늘어나는 것도 막습니다.
샘플링 자체는 저렴합니다. 문제는 압축입니다. 버퍼 안의 데이터는 이미 압축되어 있어 샘플링 뒤에 재압축해야 하는데, 이것이 데이터 처리에서 CPU 비용이 가장 큰 작업입니다. 부하를 줄이려다 CPU를 더 쓰게 되는 상황입니다. 이를 보완하려고 스트림이 부하를 줄이는 상태에 들어가면 새 데이터도 최초 압축 전에 샘플링합니다.
Cloudflare는 이 방식을 ‘바닥없는 버퍼’라고 부릅니다. 데이터가 계속 들어와도 표본이 자동으로 줄어듭니다. reservoir sampling과 닮았지만, reservoir sampling은 입력이 끝나면 표본을 확정한다는 차이가 있습니다. 이 파이프라인에서는 입력 스트림도 결과 표본도 끝나지 않습니다.
파란 선을 놓친 신뢰대역
데이터를 줄였다면 결과가 얼마나 흐릿해졌는지도 알아야 합니다. 시계열의 각 시간 구간마다 신뢰구간을 구하고 선 주위에 음영으로 표시하면 신뢰대역이 됩니다. Cloudflare는 이를 내부 대시보드에 적용했다가 불안한 징후를 발견했습니다. 특정 웹사이트의 전송 바이트 추정값이 rollup으로 얻은 실제 값보다 계속 높았습니다. 실제 값을 나타낸 파란 선은 노란 신뢰대역 밖에 줄곧 머물렀습니다.
저장 데이터와 쿼리의 수식은 정상이었습니다. 샘플링을 담당하는 시스템의 코드를 모두 읽고서야 차이가 드러났습니다. 다른 곳에서는 이벤트마다 무작위로 선택했지만, Logreceiver는 배치의 첫 이벤트부터 일정 간격으로 고르는 계통추출을 쓰고 있었습니다.
표본 하나에 기록한 가중치
샘플링 비율은 시간과 노드마다 달라집니다. 그래서 각 이벤트에 포함 확률의 역수인 sample interval을 저장합니다. 이는 그 이벤트가 원래 이벤트 몇 개를 대표하는지 나타내는 가중치 (w_i)입니다. 1,000개 중 1개를 선택했다면 포함 확률은 0.001이고, sample interval은 1,000입니다.
추가로 줄일 때는 포함 확률끼리, sample interval끼리 각각 곱합니다. 1/1,000 표본에서 다시 1/1,000만 남기면 원본의 1/1,000,000이 됩니다.
Cloudflare는 이 가중치로 Horvitz-Thompson(HT) 추정량을 계산합니다. 이벤트 값이 (x_i)라면 SUM 추정값은 (\sum x_iw_i), COUNT 추정값은 (\sum w_i)입니다. 집계값뿐 아니라 그 추정값의 분산도 구하므로 신뢰구간을 만들 수 있습니다.
여기에는 이벤트를 독립적으로 고른다는 전제가 붙습니다. 이벤트마다 독립적인 Bernoulli 시행, 즉 동전 던지기로 포함 여부를 정하는 Poisson sampling입니다. 이때 서로 다른 이벤트가 함께 뽑힐 확률은 각자의 포함 확률의 곱과 같아, SUM의 분산 추정식이 (\sum x_i^2w_i(w_i-1))로 단순해집니다. COUNT에는 (x_i=1)을 넣습니다.
평균은 더 까다롭습니다. 원래 모집단 크기를 알 수 없고, 조회 때 사용자 지정 필터를 적용하므로 그 크기를 미리 저장할 수도 없습니다. SUM 추정값을 COUNT 추정값으로 나누면 평균은 추정할 수 있지만, 분산식의 모집단 크기까지 COUNT 추정값으로 대신하면 신뢰구간 계산에 쓸 수 없는 결과가 나옵니다.
Cloudflare는 Bonferroni 방법으로 SUM과 COUNT 각각의 신뢰구간을 더 넓게 잡은 뒤 평균의 구간으로 결합합니다. 평균의 95% 신뢰구간을 만들 때 각각 97.5% 구간을 쓰는 식입니다. 실제 계산에서는 분모에 해당하는 구간이 0 아래로 내려갈 가능성도 고려해야 합니다.
거듭 뽑힌 배치 맨 앞의 큰 응답
Logreceiver의 계통추출은 이 독립성 가정을 깨뜨렸습니다. 단순화한 분산식과 신뢰구간을 믿을 수 없어진 데다, 해당 웹사이트에서는 데이터의 순서 때문에 총합 추정값에도 편향이 생겼습니다.
예를 들어 용량이 큰 HTML 페이지를 열고, 이어서 아이콘처럼 작은 리소스나 캐시된 리소스를 받는 상황을 생각해 볼 수 있습니다. 큰 응답 하나 뒤로 작은 응답들이 몰립니다. 방문이 드문 웹사이트라면 이 응답들이 Logfwdr 배치의 앞부분에 함께 놓이기 쉽습니다. Logreceiver는 배치를 자르지 않고 이어 붙이기만 하므로, 큰 첫 응답은 계속 첫 자리에 남아 표본에 뽑히고 추정값을 끌어올립니다.
마침 검증할 원본이 있었습니다. 해당 웹사이트는 Logs 제품도 사용하고 있어 샘플링하지 않은 데이터가 남아 있었습니다. Cloudflare는 이벤트 사이에 최소 1분의 공백이 있는 지점에서 그룹을 나누고, 각 그룹의 시간 순서와 응답 크기를 산점도로 비교했습니다. 첫 응답이 평균보다 클 가능성이 뚜렷하게 높았습니다.
Logreceiver가 샘플링 전에 데이터를 섞도록 고치자, 배포가 진행되면서 추정값과 실제 값이 가까워졌습니다. 이후 일정 기간 운영에서 검증한 Cloudflare는 HT 추정량과 샘플링 과정이 올바르게 구현되었다고 판단했습니다.
GraphQL API에 들어오기 시작한 신뢰구간
Cloudflare의 Analytics 데이터셋 대부분은 이미 샘플링된 데이터를 사용합니다. Workers Analytics Engine은 SQL에서 sample interval을 제공하므로, 고객이 직접 집계값과 신뢰구간을 계산해 신뢰대역이 있는 대시보드를 만들 수 있습니다.
GraphQL API에서 이름에 Adaptive가 들어간 데이터 노드도 샘플링 데이터를 사용하며 sample interval 필드를 제공합니다. 하지만 이 필드만으로는 신뢰구간을 만들 수 없습니다. 신뢰구간 자체를 제공하는 작업은 진행 중이며, 실험적으로 httpRequestsAdaptiveGroups의 count와 edgeResponseBytes 합계에 confidence(level: X)가 추가되었습니다.
응답에는 추정값, 하한, 상한과 함께 표본 크기가 들어갑니다. 예시에서는 96,294행을 바탕으로 COUNT를 96,947로 추정했고, 95% 신뢰구간은 96,874.24~97,019.76이었습니다. 이 예시는 구간 계산에 충분한 표본을 썼습니다. 신뢰구간은 중심극한정리에 따른 정규 근사를 사용하므로, 표본이 작으면 잘 작동하지 않습니다.
처리 규모와 샘플링·신뢰구간 세부 수치
| 항목 | 값 |
|---|---|
| 수집 규모와 성장 | 2024년 12월 기준 최대 초당 706M 이벤트, 2018년 파이프라인 글 당시의 100배 |
| 최대 압축 데이터 이동량 | 107 GiB/s |
| 파이프라인 규모 증가 속도 | 약 1.5년마다 2배 |
| 적응형 샘플링의 고객 규모 예시 | 소규모 고객은 하루 약 10개 이벤트, 대규모 고객은 초당 수백만 이벤트 |
| 큐에 기록하는 해상도 예시 | 100%, 10%, 1% 등 |
| sample interval 예시 | 1,000개 중 1개 선택 시 포함 확률 0.001, sample interval 1,000 |
| 추가 다운샘플링 예시 | 1/1,000 표본에서 다시 1/1,000 선택 시 원본의 1/1,000,000 |
| SQL 예시의 신뢰수준과 계수 | SUM·COUNT의 95% 구간에는 1.959963984540054, AVG용 개별 97.5% 구간에는 2.241402727604945 |
| 편향 재현 코드 설정 | 패턴 [10, 1, 1, 1, 1, 1], 선택 간격 10, 표본 크기 10,000; 패턴 길이와 간격의 공약수가 문제를 일으키는 예시 |
| 원본 데이터 검증의 그룹 경계 | 이벤트 사이에 최소 1분의 공백이 있을 때 분리 |
| GraphQL 예시 요청 | confidence(level: 0.95), limit: 100 |
| GraphQL 예시 COUNT 결과 | 추정값 96,947, 95% 신뢰구간 96,874.24~97,019.76 |
| GraphQL 예시 응답 바이트 합계 | 추정값 495,797,559, 95% 신뢰구간 495,262,898.54~496,332,219.46 |
| GraphQL 예시 집계의 표본 크기 | 각각 96,294행 |