본문으로 건너뛰기
Cloudflare의 HTTP 500 오류를 부른 WAF 킬스위치
목차

Cloudflare의 HTTP 500 오류를 부른 WAF 킬스위치 (2025-12)

원문 정보

  • 원문: Cloudflare outage on December 5, 2025
  • 매체 · 게시일: The Cloudflare Blog · 2025-12-05
  • 저자: Dane Knecht
  • 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 게시 후 내부 WAF 테스트 도구와 이번 장애의 관계를 명확히 하도록 수정됐습니다.

HTTP 500으로 바뀐 FL1의 응답

2025년 12월 5일, Cloudflare에서 다시 장애가 났습니다. 08:47 UTC에 시작된 장애는 설정 롤백이 끝난 09:12까지 약 25분간 이어졌고, 전체 HTTP 트래픽의 약 28%가 영향을 받았습니다. 사이버 공격이나 악의적 활동과는 관련이 없었습니다.

영향을 받은 고객에게는 공통된 구성이 있었습니다. 구형 FL1 프록시로 웹 자산을 서비스하면서 Cloudflare Managed Ruleset을 적용한 경우입니다. 이 조건을 모두 충족하는 사이트에서는 /cdn-cgi/trace 같은 일부 테스트 엔드포인트를 제외한 모든 요청에 HTTP 500이 돌아왔습니다. 해당 구성을 쓰지 않는 고객과 중국 네트워크에서 처리하는 트래픽은 영향을 받지 않았습니다.

장애를 촉발한 변경은 내부 WAF 테스트 도구의 비활성화였습니다. 고객 트래픽에 영향을 주지 않던 도구를 끄는 과정에서, FL1에 수년간 숨어 있던 코드 오류가 드러났습니다.

1MB 버퍼 배포 중에 끈 WAF 테스트 도구

Cloudflare의 WAF는 악성 페이로드를 찾기 위해 프록시가 HTTP 요청 바디를 메모리에 모아 분석하는 방식으로 동작합니다. 당시 버퍼 크기는 128KB였습니다. 그 주에 공개된 React Server Components 취약점 CVE-2025-55182에 대응하면서, React를 쓰는 고객을 최대한 넓게 보호하려고 버퍼를 Next.js 애플리케이션의 기본 한도인 1MB로 늘리기 시작했습니다.

버퍼 확대는 점진 배포로 진행했습니다. 배포 도중 내부 WAF 테스트 도구가 늘어난 버퍼 크기를 지원하지 않는다는 문제가 드러났습니다. 당시에는 필요하지 않은 도구였고 고객 트래픽에도 영향을 주지 않았으므로, Cloudflare는 이를 끄는 별도 변경을 적용했습니다.

이 변경은 다른 경로로 나갔습니다. 글로벌 설정 시스템은 점진 배포를 거치지 않고 몇 초 안에 전체 서버로 변경을 전파합니다. 11월 18일 장애 이후 재검토 중이던 시스템입니다. 테스트 도구를 끄는 설정이 퍼지자 FL1의 규칙 모듈에서 Lua 예외가 발생했고, 해당 요청에 HTTP 500을 반환하기 시작했습니다.

execute를 건너뛴 뒤의 FL1 결과 처리

Cloudflare의 rulesets 시스템은 들어오는 요청마다 규칙 집합을 평가합니다. 각 규칙에는 트래픽을 고르는 필터와 그 트래픽에 적용할 액션이 있습니다. block, log, skip 등이 그런 액션이며, execute는 다른 규칙 집합의 평가를 시작하는 역할입니다. 내부 로깅 시스템은 이 기능으로 새 규칙을 공개 전에 시험했습니다. 최상위 규칙 집합이 테스트 규칙을 담은 하위 규칙 집합을 실행하며, 이번에 끄려던 대상이 바로 그 테스트 규칙이었습니다.

규칙을 끄는 수단도 이미 있었습니다. rulesets의 킬스위치는 글로벌 설정 시스템에서 정보를 받아 오작동하는 규칙을 빠르게 비활성화합니다. 과거에도 여러 차례 장애 완화에 사용했고, 이번에도 정해진 표준 운영 절차를 따랐습니다. 액션이 execute인 규칙에 적용한 것은 처음이었습니다.

평가를 건너뛰는 동작 자체는 정상이었습니다. 킬스위치를 적용하자 execute 액션과 하위 규칙 집합을 평가하지 않았습니다. 오류는 그 뒤에 전체 평가 결과를 처리하는 아래 코드에서 발생했습니다.

if rule_result.action == "execute" then
  rule_result.execute.results = ruleset_results[tonumber(rule_result.execute.results_index)]
end

이 코드는 액션이 execute이면 rule_result.execute 객체도 존재한다고 가정합니다. 하지만 규칙 평가를 건너뛴 탓에 그 객체는 없었습니다. 없는 객체에서 값을 찾으려 한 결과, Lua가 nil 값에 대한 인덱싱 오류를 반환했습니다.

수년간 발견되지 않은 단순한 코드 오류였습니다. 강한 타입 시스템을 가진 언어는 이런 유형의 오류를 막습니다. Rust로 작성한 새 FL2 프록시의 대체 코드에서는 같은 오류가 발생하지 않았습니다.

Cloudflare는 변경 적용 직후 문제를 식별했습니다. 09:11에 설정을 되돌리기 시작했고, 09:12에 롤백이 전체 네트워크로 전파되면서 모든 트래픽이 정상으로 돌아왔습니다.

아직 배포를 마치지 못한 재발 방지책

11월 18일에는 이번과 무관한 변경이 더 긴 장애를 일으켰습니다. 변경은 달랐지만 고객 보안 문제를 완화하려던 배포가 전체 네트워크로 퍼져 오류를 일으킨 과정은 같았습니다.

Cloudflare는 11월 장애 뒤 수백 곳의 고객과 대화하며, 단일 업데이트가 광범위한 영향을 내지 않도록 바꾸겠다는 계획을 공유했습니다. 이 변경들이 이번 장애의 영향을 막는 데도 도움이 됐을 것이라는 판단입니다. 그러나 12월 5일 글을 게시한 시점에도 배포는 끝나지 않았습니다. 재발 방지 작업은 전사 최우선 과제로 남아 있었습니다.

롤아웃과 버전 관리 강화는 빠른 위협 대응용 데이터와 일반 설정에도 소프트웨어 배포와 같은 안전장치를 갖추려는 계획입니다. 엄격한 상태 검증을 거쳐 서서히 배포하고, 문제가 생기면 빠르게 롤백하는 기능 등이 여기에 포함됩니다.

비상시 핵심 작업을 수행하는 break glass 절차도 간소화할 계획입니다. 더 다양한 장애 상황에서도 필요한 작업을 계속할 수 있도록, 내부 서비스뿐 아니라 고객이 Cloudflare 컨트롤 플레인을 다루는 모든 표준 방식까지 개선 대상에 포함했습니다.

Fail-Open 오류 처리 작업도 진행 중이었습니다. 모든 핵심 데이터 플레인 구성요소에서 잘못 적용된 hard-fail 로직을 교체하는 작업입니다. 설정 파일이 손상되거나 기능 한도 초과처럼 허용 범위를 벗어나면, 요청을 버리는 대신 오류를 기록하고 정상으로 알려진 상태로 돌아가거나 점수를 매기지 않고 트래픽을 통과시키도록 바꿀 계획입니다. 일부 서비스에서는 특정 상황에 따라 고객이 fail open과 fail closed 중 하나를 선택하게 할 가능성도 있습니다. 정해 둔 오류 처리 방식이 계속 적용되도록 드리프트 방지 기능도 포함할 예정입니다.

Cloudflare는 글을 게시한 다음 주가 끝나기 전에 진행 중인 복원력 프로젝트의 상세 내역을 공개하겠다고 약속했습니다. 더 나은 완화·롤백 체계를 갖추기 전까지는 네트워크의 모든 변경을 동결하기로 했습니다. 짧은 간격으로 되풀이된 장애는 자사 네트워크에서 받아들일 수 없는 일이라며, 고객과 인터넷 전체에 다시 사과했습니다.

장애 시각과 영향 범위
시각(UTC)단계내용
08:47장애 시작설정 변경이 배포되어 네트워크로 전파
08:48전체 영향변경이 완전히 전파
08:50장애 선언자동 경보
09:11변경 되돌림설정 변경 롤백과 전파 시작
09:12장애 종료롤백 전파 완료, 모든 트래픽 복구
항목값
영향 시간약 25분
영향받은 트래픽Cloudflare 전체 HTTP 트래픽의 약 28%
WAF 바디 버퍼128KB에서 1MB로 확대 중
영향 조건FL1 프록시이면서 Cloudflare Managed Ruleset 적용
응답해당 요청 전부 HTTP 500 (일부 테스트 엔드포인트 제외)
관련 취약점CVE-2025-55182 (React Server Components)
마지막 수정 일자