본문으로 건너뛰기
Cloudflare 대시보드에서 시작된 Tenant Service 장애
목차

Cloudflare 대시보드에서 시작된 Tenant Service 장애 (2025-09)

원문 정보

인가 경로까지 번진 대시보드의 반복 호출

2025년 9월 12일 배포한 Cloudflare 대시보드에는 /organizations를 불필요하게 거듭 호출하고, 실패하면 재시도까지 하는 버그가 있었습니다. 렌더링 한 번에 한 번이면 될 호출이 여러 번 나갔습니다. 호출을 관리하던 React useEffect 훅의 의존성 배열에 넣은 객체가 문제였습니다.

이 객체는 상태나 props가 바뀔 때마다 새로 만들어졌습니다. React에는 매번 “새것”이었습니다. useEffect도 그때마다 다시 실행되면서 호출을 쏟아냈고, 마침 Tenant Service API 업데이트까지 겹치자 서비스는 과부하에 빠져 회복하지 못했습니다.

영향이 다른 API로 번진 이유는 Tenant Service의 위치에 있습니다. 이 서비스는 API 요청의 인가 로직에 참여합니다. Tenant Service를 사용할 수 없으면 인가를 평가할 수 없고, 평가에 실패한 요청은 5xx를 반환합니다. 대시보드의 반복 호출이 API 전반의 장애로 이어진 경로입니다.

장애는 컨트롤 플레인에 머물렀습니다. 데이터 플레인과 역할을 엄격히 분리해 둔 덕분에 Cloudflare 네트워크 위에서 동작하는 서비스에는 영향이 없었습니다. 설정을 변경하거나 대시보드를 사용하는 경우를 제외하면 대다수 사용자는 장애의 영향을 받지 않았습니다.

자원을 늘린 뒤에도 남아 있던 대시보드 오류

자동 알림 서비스는 대응할 담당자들을 빠르게 호출했습니다. 팀의 첫 목표는 서비스 복구였습니다. Tenant Service 사용량이 이례적으로 높다는 점을 확인한 뒤 부하를 줄이고 자원을 늘리는 데 집중했고, 다른 담당자들은 사용량이 급증한 이유를 계속 추적했습니다.

Tenant Service는 일부 데이터센터의 Kubernetes에서 실행하는 GoLang 프로세스입니다. 파드 수를 늘린 뒤 18:17 UTC에는 API 가용성이 98%까지 올라갔습니다. 증설의 효과는 있었지만 대시보드는 여전히 회복되지 않았습니다.

Tenant Service가 정상 상태를 보고한 뒤에도 오류는 상당량 남아 있었습니다. 팀은 이 오류가 대시보드의 복구를 막고 있다고 추정해, 18:58에 오류가 나던 코드 경로 일부를 제거한 새 버전을 배포했습니다. 복구를 기대한 패치였지만 서비스 상태는 더 나빠졌습니다. API가 심각한 영향을 받은 두 번째 구간입니다.

19:01에는 Tenant Service로 몰리는 트래픽을 줄이려고 임시 전역 속도 제한 규칙을 적용했습니다. 19:12에 문제가 된 변경을 되돌리고 나서야 대시보드 가용성이 100%로 돌아왔습니다. API는 Tenant Service가 내려간 두 구간에서 심각한 영향을 받았고, 대시보드는 17:57부터 19:12까지 장애 내내 심각한 영향을 받았습니다.

서비스 재시작 직후 몰려든 대시보드 재인증

서비스를 다시 띄우는 순간에도 부하가 몰렸습니다. Tenant Service를 재시작하자 모든 사용자의 대시보드가 API에 재인증을 시도했고, API가 다시 불안정해지면서 대시보드에도 문제가 생겼습니다.

서비스가 사용 가능해지자 모두가 한꺼번에 달려드는 Thundering Herd 패턴입니다. 흔히 나타나는 현상이지만, 이번에는 대시보드의 호출 버그가 이를 증폭했습니다. Cloudflare는 장애가 끝난 직후 핫픽스로 이 동작을 수정했습니다. 재시도 시점을 분산해 경합을 줄이는 무작위 지연은 앞으로 대시보드에 추가할 예정입니다.

Tenant Service에 배정된 용량도 이런 부하 급증을 감당하기에는 부족했습니다. 서비스 자원은 이미 크게 늘린 상태입니다. 용량 한계에 도달하기 전에 알림을 받도록 모니터링도 개선하고 있습니다.

두 번째 장애를 줄일 수 있었던 Argo Rollouts

Cloudflare는 배포 중 오류를 감시하고 문제가 감지되면 해당 서비스를 자동으로 롤백하는 Argo Rollouts로 서비스들을 옮기고 있었습니다. Tenant Service는 아직 적용 전이었습니다.

이미 적용돼 있었다면 두 번째 Tenant Service 업데이트를 자동으로 되돌려 두 번째 장애의 영향을 줄였을 것입니다. 이번 사고 뒤에 새로 나온 도입 계획은 아닙니다. 팀은 일정에 잡혀 있던 전환 작업의 우선순위를 높였습니다.

새 요청과 재시도를 구분하지 못한 API 관측

API 사용량이 늘었다는 사실은 바로 보였습니다. 어려웠던 것은 새 요청과 재시도의 구분이었습니다. 새 요청이 지속적으로 대량 발생한다는 사실을 알았다면, 대시보드에서 호출이 반복되고 있다는 점을 더 쉽게 찾아냈을 것입니다.

Cloudflare는 대시보드가 API를 호출할 때 새 요청인지 재시도인지 등 추가 정보를 보내도록 변경하고 있습니다. 요청량 급증을 확인한 뒤 그 성격까지 파악할 수 있도록 관측 정보를 보강하는 작업입니다.

배포부터 복구까지의 시각
시각(UTC, 2025-09-12)사건
16:32버그가 든 대시보드 버전 배포
17:50새 Tenant API Service 버전 배포
17:57Tenant API Service 과부하, 대시보드 가용성 하락 시작
18:17자원 증설 뒤 API 가용성 98%, 대시보드는 회복 안 됨
18:58오류 코드 경로를 제거한 새 버전 배포, API 영향 재발
19:01임시 속도 제한 규칙 게시
19:12문제 변경 되돌림, 대시보드 가용성 100%
마지막 수정 일자