본문으로 건너뛰기
p99 너머의 요청이 바꾼 Cloudflare 성능 비교
목차

p99 너머의 요청이 바꾼 Cloudflare 성능 비교 (2025-05)

원문 정보

급등한 그래프 밖에 남은 요청

14:40 UTC 무렵, Cloudflare 내부 대시보드의 지연 시간이 치솟았습니다. 수 분 동안 p99는 500ms에서 6,500ms로, 중앙값인 p50은 4.4ms에서 600ms로 뛰었습니다. 차트만 보면 사고를 의심할 만한 변화입니다.

그런데 최댓값까지 표시하자 인상이 달라졌습니다. 급등한 순간이 더는 유별나 보이지 않았습니다. 문제가 있더라도 그 시점에만 국한된 문제로 보기는 어려웠던 것입니다.

이 차트의 지표는 첫 바이트를 받기까지의 시간인 TTFB를 서버 쪽에서 추정한 Edge TTFB입니다. Kevin Guthrie는 고객 성능 문제에 대응하고 내부·상용 도구를 분석하면서, 익숙한 지표도 해석을 그르칠 수 있음을 발견했습니다. Gil Tene의 「How NOT to Measure Latency」 발표도 이런 측정의 허점을 살피는 바탕이 됐습니다.

백분위 차트는 일종의 손실 압축입니다. 지연 시간의 전체 분포를 몇 개의 값으로 줄이면, p99 경계 밖에 있는 가장 느린 1%는 보이지 않습니다. www.cloudflare.com의 사례에서는 요청량이 약 30,000req/s이고 p99가 500ms였습니다. 초당 약 300개 요청이 서버에서 관찰한 구간만으로도 500ms를 넘겼다는 뜻입니다. 그 요청들이 얼마나 더 느렸는지는 p99까지만 그린 차트로 알 수 없습니다.

그렇다고 모든 표본을 그대로 저장하기도 어렵습니다. 기록량이 방대하고, 데이터의 활용 가치는 시간이 지날수록 빠르게 떨어집니다. Prometheus 같은 도구가 개별 표본 대신 미리 집계한 데이터를 수집하는 이유입니다. 집계는 피하기 어렵지만, 압축하면서 사라진 부분이 차트의 해석을 바꿀 수 있습니다.

시작 시점부터 다른 TTFB

분포를 자세히 보기 전에 측정 구간부터 맞춰야 합니다. TTFB라는 이름은 타이머를 멈출 때만 알려 줍니다. 응답의 첫 바이트를 받았을 때입니다. 언제 시작하는지는 이름에 없습니다. 플랫폼끼리는 물론, 같은 플랫폼 안에서도 TTFB 비교가 어긋날 수 있는 이유입니다.

Cloudflare의 앞선 글에서도 이 혼란을 짚었습니다. 브라우저에서 쓰는 한 TTFB 정의는 2022년 6월 early hints 도입과 함께 혼란스러운 방식으로 바뀌었습니다. TTFB는 유용하지만 웹 성능을 직접 나타내는 최선의 측정값은 아닙니다.

관찰 위치에도 한계가 있습니다. 지연 시간은 누군가 작업을 시작한 뒤 끝날 때까지의 경과 시간이며, 그 기준은 호출자입니다. ingress proxy는 캐시의 지연 시간을, 캐시는 origin의 지연 시간을 잴 수 있지만 그 관찰 방향을 뒤집을 수는 없습니다. 서버 쪽에 있는 Cloudflare의 내부 측정값이 클라이언트가 겪는 시간의 추정치인 이유입니다.

클라이언트의 요청 시간을 처음부터 끝까지 알아도 Cloudflare의 성능만 따로 드러나지는 않습니다. DNS 조회, 로컬 TLS 연산, 자원 경합도 사용자의 기다림에 포함됩니다. Cloudflare 자체의 성능을 판단할 때는 이런 시간이 잡음이 됩니다.

Cloudflare는 고객이 경쟁사와 비교할 때 자주 쓰는 Catchpoint의 용어를 기준으로 골랐습니다. 기술 블로그와 수천 줄의 원시 데이터를 대조해 확인한 정의는 TTFB = DNS + Connect + TLS + Wait입니다. 모든 곳에 통하는 유일한 정의는 아니지만, 고객과 Cloudflare가 같은 값을 놓고 이야기할 기준은 생겼습니다.

브라우저의 요청 단계도 이 구분과 대체로 일치합니다. 차이는 기록 방식입니다. 브라우저는 구간별 소요 시간 대신 타임스탬프를 기록하며, 단계 사이에 어느 구간에도 속하지 않는 로컬 작업이 들어갈 수 있습니다. 이 차이를 맞춰야 실제 사용자 모니터링인 RUM 데이터와 Catchpoint 측정값을 같은 기준으로 읽을 수 있습니다.

요청 70개 뒤에 달라진 사용자의 지연

p99 밖의 요청이 많다는 설명만으로는 중앙값부터 낮추고 싶다는 생각이 바뀌지 않을 수 있습니다. 100명 중 1명보다 50명의 경험을 개선하는 편이 더 중요해 보입니다. 문제는 요청 100개가 사용자 100명과 같지 않다는 데 있습니다.

사용자는 웹페이지를 요청 하나씩 열지 않습니다. www.cloudflare.com에 접속하면 브라우저가 요청을 70개 넘게 보내고, www.amazon.com에서는 400개 넘게 보냅니다. 한 사용자가 여러 요청을 보낼수록 그중 느린 요청이 끼어들 가능성도 커집니다.

원문이 사용한 확률 모형에서 요청 N개가 모두 백분위 X의 경계 안에 있을 확률은 (X/100)^N입니다. 요청이 2개라면 둘 다 p50 안에 있을 확률은 50%를 곱한 25%입니다. 70개가 모두 p50 안에 머물 확률은 약 0.000000000000000000001%까지 작아집니다. 사실상 누구도 요청의 중앙값을 자신의 최악 지연으로 경험하지 않는다는 계산입니다.

사용자마다 가장 느린 요청을 골라 그 중앙값을 구하면 관점이 달라집니다. 요청 70개를 기준으로 이 값은 요청 분포의 약 p99에 해당합니다. 사용자 99%가 겪을 최악 요청 지연을 포괄하려면 약 p99.99를 봐야 합니다. 요청 차트에서 극단적으로 보이던 백분위가 여러 요청을 보내는 사용자에게는 훨씬 익숙한 경험인 것입니다.

물론 모든 요청이 끝나야 페이지나 애플리케이션을 쓸 수 있는 것은 아닙니다. 이런 차이를 다루는 브라우저 중심 지표가 따로 있으며, 그 논의는 후속 글로 남겼습니다. 여기서 계산한 대상은 여러 요청 가운데 사용자가 마주치는 가장 느린 요청입니다.

요청 90개로 다시 본 CDN 비교

고객의 실제 비교에서도 개별 요청만 보면 경쟁 CDN이 더 빨랐습니다. 제공자별 90,000개 표본을 분석한 결과, 거의 모든 백분위에서 경쟁사가 최대 약 30ms 앞섰습니다. 이때 비교한 지연 시간은 TLS + Connect + Wait, 곧 TTFB에서 DNS 조회 시간을 뺀 값입니다.

전체 분포를 그리자 예외가 드러났습니다. CDF 차트는 가로축에 지연 시간, 세로축에 백분위를 두므로 같은 백분위에서 왼쪽에 있는 곡선이 더 빠릅니다. 대부분의 구간에서는 경쟁사가 앞섰지만, 차트 맨 위에 Cloudflare가 앞서는 구간이 조금 남아 있었습니다.

그 작은 차이를 자세히 보려고 QQ plot을 사용했습니다. 각 점은 같은 백분위에서 두 제공자의 지연 시간을 짝지은 좌표입니다. 두 값이 같은 대각선을 기준으로 비교하면 어느 쪽이 빠른지 드러납니다. 이 차트에서는 p99를 넘는 구간에서 Cloudflare가 상당히 빠르다는 점이 선명했습니다.

이제 요청 수를 계산에 넣었습니다. 해당 페이지는 요청을 180개 넘게 보냈고, 그중 절반인 90개가 페이지 로드에 필요하다고 가정했습니다. 앞서 쓴 확률 계산을 적용하자 사용자 기준 중앙값은 두 제공자가 거의 같아졌습니다. 그 위아래의 차이는 달랐습니다. 사용자가 Cloudflare에서 상당히 빠른 경험을 할 가능성과 약간 느린 경험을 할 가능성이 각각 절반가량이었습니다.

기대값으로 보면 변화가 더 분명합니다. 개별 요청 지연의 기대값은 Cloudflare 141.9ms, 경쟁 CDN 129.9ms로 Cloudflare가 12.0ms 느렸습니다. 90개 요청을 고려한 사용자 경험 지연의 기대값은 각각 207.9ms와 281.8ms로, Cloudflare가 71.9ms 빨랐습니다. 같은 실측 표본이라도 어떤 경험을 계산하느냐에 따라 비교 결과가 뒤집힌 것입니다. 모든 페이지에 적용되는 실측 개선치가 아닌, 해당 표본과 요청 수 가정으로 계산한 결과입니다.

Cloudflare가 신뢰성과 꼬리 지연에 들인 노력이 이 비교에서는 사용자 경험의 이점으로 드러났습니다. 충분한 원시 데이터와 해석 지식, 분포를 보여 주는 도구가 없었다면 보이지 않았을 차이입니다. Cloudflare는 2025년 5월 원문을 게시할 당시 이 도구와 다른 도구를 고객에게 제공할 계획을 밝혔으며, 2025년 후반의 추가 발표를 예고했습니다.

측정 정의와 사례별 수치
항목값
브라우저 TTFB 정의 변경 계기2022년 6월 early hints 도입
Catchpoint 기준 TTFBDNS + Connect + TLS + Wait
내부 차트의 급등 사례약 14:40 UTC, 수 분간 p99 500ms → 6,500ms, p50 4.4ms → 600ms
www.cloudflare.com 트래픽 사례약 30,000req/s, Edge TTFB p99 500ms, 이를 넘는 요청 약 300req/s
페이지별 요청 수 사례www.cloudflare.com 70개 초과, www.amazon.com 400개 초과
원문의 확률 모형모든 요청이 백분위 X 경계 안에 있을 확률 = (X/100)^N
70개 요청이 모두 p50 경계 안에 있을 확률약 0.000000000000000000001%
70개 요청 기준 사용자 경험 환산중앙값 사용자의 최악 요청은 약 p99, 사용자 99%를 포괄하려면 약 p99.99
CDN 비교 표본과 지표제공자별 90,000개 표본, TLS + Connect + Wait
개별 요청 분포 비교거의 모든 백분위에서 경쟁사가 최대 약 30ms 빠름, p99 초과에서는 Cloudflare가 상당히 빠름
사용자 경험 환산 조건페이지 요청 180개 초과 중 절반인 90개가 필요하다고 가정
개별 요청 지연 기대값Cloudflare 141.9ms, 경쟁 CDN 129.9ms, 차이 +12.0ms
90개 요청 기준 사용자 경험 지연 기대값Cloudflare 207.9ms, 경쟁 CDN 281.8ms, 차이 −71.9ms
마지막 수정 일자