목차
필요한 트래픽만 옮기는 Cloudflare Traffic Manager (2023-09)
원문 정보
- 원문: How Cloudflare’s systems dynamically route traffic across the globe
- 매체 · 게시일: The Cloudflare Blog · 2023-09-25
- 저자: David Tuber, Luke Orden, Gonçalo Grilo
- 2024년 6월 장애 글인 DDoS 규칙이 깨운 rate limit 무한 루프 장애에도 Traffic Manager가 등장합니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
공항 검색대처럼 붐비는 데이터 센터
공항 보안 검색대에 긴 줄이 생깁니다. 직원 일부가 휴식에 들어가거나 천장에서 물이 새거나, 오후 6시 출발 항공편의 승객이 한꺼번에 몰려 검색대의 처리 능력과 승객 수가 어긋난 상황입니다. 대부분의 공항은 승객을 조금 더 먼 검색대로 안내합니다. 검색대마다 줄 길이를 알려 주는 표지가 있다면 어디로 갈지 정하기도 쉬워집니다.
Cloudflare의 300여 개 도시에서도 비슷한 일이 벌어집니다. 가장 가까운 데이터 센터에 늘 충분한 서버와 대역폭이 있으면 좋겠지만, 유지보수로 센터를 내리거나 연결이 끊기거나 장비가 고장 나는 순간이 있습니다. 검색대를 충분히 지어 두었어도 모든 승객을 받을 수 없는 상황입니다. Traffic Manager는 이런 때 전체 네트워크의 처리 능력과 들어오는 트래픽을 맞추는 서비스입니다.
그전에는 사람이 움직였습니다. 특정 데이터 센터에서 요청을 감당할 머신이 부족해 499나 500 오류가 나기 시작하면 네트워크 엔지니어에게 호출이 갔습니다. 엔지니어는 문제의 정도에 따라 그곳의 Anycast 경로 일부 또는 전부를 철회했습니다. Anycast에서는 접속하려는 프리픽스를 광고하는 데이터 센터 중 BGP가 가장 가깝다고 판단한 곳으로 트래픽이 향합니다. 한 곳에서 광고를 멈추면 다른 곳으로 요청이 이동하고, 처리 여력이 회복된 뒤 경로를 복구하면 트래픽도 돌아옵니다.
장비에 문제가 생길 때마다 이 작업을 반복하기는 어려웠습니다. 엔지니어가 진단하고 경로를 바꾸는 동안에는 고객도 영향을 받았습니다. Traffic Manager가 자동화한 것이 바로 이 과정입니다. 사용자가 데이터 센터에 도달하지 못하는 문제를 즉시 감지해 문제가 사라질 때까지 경로를 철회하고, 다시 트래픽을 받을 수 있다는 알림이 오면 경로를 복구합니다.
철회한 경로의 행선지를 찾는 Traffic Predictor
경로를 빼기 전에는 그 뒤의 일을 알아야 합니다. 우회한 요청이 한꺼번에 몰리면 두 번째 데이터 센터까지 장애를 겪을 수 있기 때문입니다. 엔지니어는 요청이 어디로 갈지 짐작한 뒤 그곳의 자원을 확인하고, 부족하다면 목적지의 경로부터 조정했습니다. 이 판단을 자동화하려면 직관을 데이터로 바꿔야 했습니다.
Cloudflare가 정할 수 있는 것은 어느 데이터 센터에서 경로를 광고할지까지입니다. 각 데이터 센터가 받는 트래픽의 비율은 정할 수 없습니다. 새 데이터 센터나 피어링 세션이 생길 때마다 분포도 달라집니다. 300여 개 도시와 12,500개 피어링 세션 사이의 이동을 사람이 계속 추적하기는 어려웠고, Traffic Manager에 예측을 담당할 짝인 Traffic Predictor가 필요해졌습니다.
Traffic Predictor는 실제 경로를 시험합니다. 뉴질랜드 Christchurch를 예로 들면, 최근 그곳에 요청을 보낸 수십만 개 IP에 ping을 보내고 전용 Anycast IP 대역을 이용해 응답이 Christchurch로 돌아오는지 확인합니다. 이렇게 응답한 IP 목록을 확보한 뒤 Christchurch에서 시험용 대역의 경로만 철회합니다. 인터넷 라우팅 테이블이 갱신되도록 몇 분 기다렸다가 다시 ping을 보내면, 이번에는 응답이 주변 데이터 센터로 향합니다. 그 도착지를 Christchurch의 장애 시 목적지로 기록합니다.
Christchurch 자체는 계속 서비스합니다. 시험용 경로만 바꿔도 그곳이 트래픽을 받지 못할 때의 이동을 관찰할 수 있기 때문입니다. 같은 방식으로 Christchurch와 주변 데이터 센터가 함께 빠지는 시나리오도 시험합니다. 여러 곳에 영향을 주는 지역 장애까지 대비하려면 경로와 정책의 조합이 복잡해져, 전체 계산에는 며칠이 걸립니다.
Christchurch 사례에서는 트래픽의 99.8%가 Auckland로 이동할 것으로 예측됐고, Auckland에는 Christchurch의 트래픽 전부를 받을 여력이 있었습니다. 이 예측은 목적지를 알려 주는 데서 끝나지 않습니다. Traffic Manager는 대체 데이터 센터의 요청을 미리 다른 곳으로 옮기는 정책도 준비합니다. 갑작스러운 요청 유입이 두 번째 데이터 센터까지 무너뜨리는 thundering herd를 막기 위한 조치입니다.
프리픽스보다 잘게 트래픽을 나누는 Plurimog
이동할 곳을 알아도 이동량을 세밀하게 정하기는 어려웠습니다. 인터넷에 맞닿은 라우터에서 프리픽스 광고를 철회하는 방법만으로 트래픽을 조절했기 때문입니다. 경로 하나를 빼는 것만으로도 많은 요청이 움직였습니다. 원문의 표현대로라면 쇠망치에 가까운 도구였습니다.
인터넷에 광고하는 프리픽스는 최소 /24 크기이고, 그보다 큰 주소 범위를 광고하는 경우도 많습니다. 경로 유출이나 하이재킹을 막기 위해 많은 사업자가 /24보다 더 구체적인 경로를 걸러 냅니다. 웹사이트와 IP가 1:1로 대응하고 IP마다 초당 요청을 하나씩 보낸다고 가정하면, 주소 256개를 담은 /24를 4개 철회해야 1,000 RPS를 옮길 수 있습니다.
실제 Cloudflare에서는 IP 하나에 수십만 개의 보호 대상이 연결됩니다. 예를 들어 /24 하나가 3,000 RPS를 받는다면, 1,000 RPS만 줄이고 싶어도 그 /24를 통째로 내보내야 합니다. /20으로 광고하면 조정 단위는 더 커집니다. 앞선 1:1 대응과 IP당 초당 요청 1건이라는 가정에서도 프리픽스 하나가 4,096 RPS에 해당합니다.
오류를 겪을 사용자는 구했지만, 원래 데이터 센터에서 문제없이 처리할 수 있던 사용자까지 옮긴 결과입니다. 이들은 조금이라도 더 느린 응답을 받을 수 있습니다. 데이터 센터에 처리 여력이 남아 있는데도 필요 이상으로 트래픽을 내보내 그 용량을 쓰지 못하는 상태가 stranding capacity입니다.
Cloudflare에는 메스처럼 필요한 부분만 옮길 방법이 필요했습니다. 그래서 L4 로드 밸런서 Unimog를 확장한 Plurimog를 만들었습니다.
Unimog는 모든 머신에서 실행되며 머신끼리 처리 여력을 계속 확인합니다. 해당 머신이 요청을 받을 수 있으면 HTTP 스택으로 넘기고, 받을 수 없으면 같은 데이터 센터의 다른 머신으로 보냅니다. Plurimog는 이 동작을 데이터 센터와 PoP 사이로 넓혔습니다. Philadelphia가 요청을 처리하지 못하면 Ashburn 같은 다른 데이터 센터로 전달하고, 요청을 받은 곳에서 복호화와 처리를 수행합니다.
L4에서 동작하므로 개별 TCP·UDP 요청을 다른 곳으로 보낼 수 있습니다. 프리픽스 전체를 철회할 때와 달리 트래픽의 일부 비율만 이동시키는 방식입니다. Frankfurt 사례에서는 Free 트래픽을 외부로 보내는 조치를 점진적으로 늘려 데이터 센터의 문제에 대응했습니다.
아예 데이터 센터 밖으로 나가지 않아도 되는 경우도 있습니다. 대형 데이터 센터인 Multi-Colo PoP(MCP)는 서로 구분된 논리적 컴퓨트 구역을 갖습니다. 여기서는 Unimog의 다른 버전인 Duomog가 구역 사이의 트래픽을 자동으로 옮깁니다.
Ashburn에는 이런 구역이 9개 있습니다. 8월 28일 그중 IAD02에 문제가 생겨 처리할 수 있는 트래픽이 줄자, Duomog는 요청을 Ashburn의 다른 구역으로 보냈습니다. Ashburn은 성능 영향 없이 서비스를 계속했고, IAD02가 회복되자 트래픽도 자동으로 돌아왔습니다. Traffic Manager가 조정할 수 있는 범위가 데이터 센터 사이에서 센터 내부까지 넓어진 것입니다.
사용자 지연에 맞춰 움직이는 최대 임계값
세밀하게 옮길 방법을 마련한 뒤에도 언제 움직일지 정하는 문제가 남았습니다. 서비스마다 요구하는 CPU 자원이 다르고 데이터 센터별 사용 패턴도 달라, 고정된 CPU 임계값으로는 고객이 겪는 지연을 놓치는 일이 있었습니다.
Cloudflare는 요청이 앞단 서버를 모두 통과하는 데 걸리는 시간을 cfcheck latency라고 부릅니다. 이 값이 높아질 때는 대개 CPU 사용률도 높습니다. 같은 데이터 센터의 머신들을 놓고 비교하면 CPU 사용률과 95번째 백분위 cfcheck latency 사이에 강한 상관관계가 나타납니다. Traffic Manager는 이 지연을 SLI로 삼고, 95번째 백분위가 20ms를 넘지 않도록 SLO를 정했습니다.
이제 최대 임계값을 사용자 지연에 맞춰 조정합니다. 정해진 주기로 데이터 센터의 지표를 수집하고 이상치를 제거한 뒤, CPU 사용률과 지연의 관계에 2차 곡선 맞춤을 적용합니다. 모델에서 SLI가 SLO와 같아지는 CPU 사용률을 찾으면 그 값이 해당 데이터 센터의 최대 임계값입니다. 고객이 성능 저하를 겪기 전에 트래픽을 돌리려는 기준입니다. 글이 게시된 시점에 선형 회귀는 시험 중이었습니다.
Lisbon에서는 차이가 드러났습니다. 이전에는 cfcheck latency가 자주 치솟아도 고정된 최대 임계값을 넘지 않아 Traffic Manager가 움직이지 않았습니다. 자동 조정을 도입한 뒤 원문에 제시된 7월 29일 이후 관측 구간에서는 cfcheck latency가 SLO에 닿지 않았습니다. Cloudflare는 이 모델로 SLO 위반을 크게 줄였다고 설명합니다.
요청 수보다 비용에 가까운 CPU 시간
얼마나 옮길지는 요청이 쓴 CPU 시간으로 계산합니다. RPS가 같아도 비용은 다릅니다. 대부분을 캐시에서 제공하고 WAF를 끈 사이트는 모든 WAF 규칙을 켜고 캐시를 끈 사이트보다 CPU가 훨씬 적게 듭니다. 요청 수만 세어서는 실제로 줄여야 할 부하를 정확히 알기 어렵습니다.
Traffic Manager는 요청마다 CPU에서 소비한 시간을 기록하고 요금제별로 합산합니다. 밀리초 단위로 측정한 시간을 초당 값으로 환산하므로 단위는 ms/s입니다. 데이터 센터 전체의 CPU 사용률은 모든 서버의 값을 집계해 구합니다. 일부 서버가 고장 나 요청이 남은 서버로 옮겨 가면 이 사용률이 올라갑니다.
앞서 조정한 최대 임계값 외에 목표와 허용 임계값도 사용합니다. 각각 조치를 시작할 때, 내보낼 양을 계산할 때, 다시 받을 여유를 판단할 때 쓰는 기준입니다.
| 임계값 | 역할 |
|---|---|
| 최대(maximum) | 성능이 떨어지기 시작하는 CPU 수준. 초과하면 Traffic Manager가 조치 |
| 목표(target) | 최적의 서비스를 회복하기 위해 낮추려는 CPU 수준 |
| 허용(acceptable) | 이보다 낮을 때 다른 데이터 센터의 요청을 받거나 기존 이동을 되돌릴 수 있는 CPU 수준 |
최대 임계값을 넘으면 현재 CPU 시간과 CPU 사용률의 비율을 목표 사용률에 적용합니다. 그렇게 구한 목표 CPU 시간을 현재 CPU 시간에서 빼면 옮길 양이 나옵니다. 예를 들어 현재 사용률이 90%, 목표가 85%, 모든 요금제의 CPU 시간 합계가 18,000ms/s라면, 목표 CPU 시간은 18,000 × 85 / 90으로 계산합니다. 현재 값과의 차이인 1,000ms/s가 이동할 양입니다.
이 계산은 부하가 선형으로 늘어난다는 가정에 기댑니다. Cloudflare는 이 용도에서는 실제 관계가 그 가정에 충분히 가깝다고 판단했습니다. 서버 수를 직접 비교하지 않아도 되므로 100대인 데이터 센터와 10대인 데이터 센터를 같은 방식으로 다룰 수 있습니다.
여유와 지연으로 고르는 목적지
트래픽을 받을 후보는 CPU 사용률이 허용 임계값보다 낮고, 자신도 다른 곳으로 트래픽을 보내고 있지 않은 데이터 센터입니다. 받을 수 있는 CPU 시간은 앞의 계산에서 목표 임계값 대신 허용 임계값을 넣어 구합니다. 허용 수준에 해당하는 CPU 시간에서 현재 쓰는 시간을 빼면 남는 여유입니다.
Traffic Manager는 후보들을 출발 데이터 센터에서의 지연이 낮은 순서로 정렬합니다. 한 곳의 가용 용량을 채우면 다음 곳으로 넘어갑니다. 여기서 요금제 우선순위는 대상을 고를 때와 목적지를 배정할 때 서로 다른 방향으로 작용합니다. 내보낼 트래픽은 Free부터 Pro, Business, Enterprise 순으로 고르지만, 이동 대상으로 정해진 트래픽 중에서는 우선순위가 높은 요금제부터 지연이 짧은 곳에 배치합니다.
A에서 1,000ms/s를 옮겨야 하는 상황을 보겠습니다. 요금제별 사용량이 아래 표와 같다면 Free와 Pro 전부를 옮기고 Business의 절반을 더해야 필요한 양이 채워집니다. Enterprise는 이동하지 않습니다.
목적지 후보 B, C, D의 여유 CPU 시간은 각각 300ms/s, 300ms/s, 1,000ms/s입니다. A에서의 지연은 B가 100ms, C가 110ms, D가 120ms입니다. 가장 가까운 B에는 이동할 Business 트래픽 전부와 Pro의 절반을 보냅니다. C에는 나머지 Pro와 Free 일부를, D에는 남은 Free를 보냅니다. 표의 비율은 모두 A에 있던 각 요금제의 전체 트래픽을 기준으로 합니다.
| 요금제 | A의 CPU 시간 | 옮길 비율 | 목적지와 비율 |
|---|---|---|---|
| Free | 500ms/s | 100% | C 20%, D 80% |
| Pro | 400ms/s | 100% | B 50%, C 50% |
| Business | 200ms/s | 50% | B 50% |
| Enterprise | 1000ms/s | 0% | 이동 없음 |
여유가 생기면 자기 트래픽부터 돌아옵니다. Traffic Manager는 현재 내보내고 있는 요청을 되가져오는 데 가용 CPU 시간을 우선 사용합니다. 다른 데이터 센터의 요청을 받는 일보다 기존 이동을 되돌리는 일이 앞섭니다.
원문에 제시된 한 시간 동안의 이동 사례에서는 Toronto, Detroit, New York, Kansas City가 하드웨어 문제로 처리하지 못한 요청을 Dallas, Chicago, Ashburn으로 보냈습니다. Detroit가 다시 요청을 감당할 수 있게 되면 Chicago로 보내는 양을 점차 줄이고, 문제가 완전히 해결되면 전달을 멈춥니다. 사용자는 그 과정에서도 하드웨어 문제의 영향을 받지 않고 서비스를 이용합니다.
인스턴스 생성 전에 용량을 묻는 Browser Isolation
Browser Isolation은 브라우저 인스턴스를 만들기 전부터 Traffic Manager에 용량을 묻습니다. 사용자가 호스팅 브라우저 인스턴스를 만들려고 데이터 센터에 연결하면, 먼저 그곳에 인스턴스를 실행할 여유가 있는지 확인합니다. 충분하다면 바로 생성합니다. 여유가 없다면 Traffic Manager가 용량을 확보한 가장 가까운 데이터 센터를 알려 줍니다.
이미 들어온 요청을 옮기는 데 쓰던 정보가 제품의 실행 위치를 미리 정하는 데도 쓰입니다. 내부 장비의 고장과 지역별 처리 능력의 변화는 Cloudflare가 다룰 문제입니다. 고객이 그 사정을 떠안을 문제는 아닙니다.
임계값과 수치
| 항목 | 값 |
|---|---|
| 데이터 센터가 있는 도시 | 300여 개 |
| 피어링 세션 | 12,500개 |
| 모든 장애 경로·정책 계산 시간 | 며칠 |
| Christchurch 장애 시 Auckland 이전 비율(예측) | 99.8% |
| SLI | cfcheck latency(95번째 백분위) |
| SLO | 20ms |
| Traffic Manager 임계값 | 최대, 목표, 허용 |
| 최대 임계값 모델 | 2차 곡선 맞춤(선형 회귀 시험 중) |
| 이동 우선순위(옮길 요금제) | Free, Pro, Business, Enterprise 순 |
| 이동량 계산 예 | CPU 90%, 목표 85%, 전체 18,000 → 1,000 이동 |
| 평가 단위 | CPU 시간(ms/s) |
| 알려진 적용 사례 | Lisbon에서 7월 29일 이후 SLO 미위반 |