목차
Cloudflare 트래픽을 멈춘 Bot Management 피처 파일 (2025-11)
원문 정보
- 원문: Cloudflare outage on November 18, 2025
- 매체 · 게시일: The Cloudflare Blog · 2025-11-18
- 저자: Matthew Prince
- 원문 내용을 바탕으로 재구성한 요약입니다.
회복과 실패를 반복한 Cloudflare 네트워크
2025년 11월 18일 11:20 UTC, Cloudflare의 핵심 트래픽이 제대로 흐르지 않기 시작했습니다. 고객 사이트를 열려던 사용자는 Cloudflare 네트워크 내부 오류를 알리는 페이지를 마주했습니다. 이하 시각은 모두 UTC입니다.
출발점은 데이터베이스 권한 변경이었습니다. 이 변경으로 Bot Management가 쓰는 피처 파일에 중복 항목이 들어갔고, 두 배로 커진 파일이 네트워크 전체로 퍼지면서 트래픽 처리 소프트웨어의 한도를 넘었습니다. 사이버 공격이나 악의적 활동은 직간접 원인이 아니었습니다.
초기 증상만으로는 이를 알아내기 어려웠습니다. 시스템이 잠시 회복했다가 다시 실패하는 일이 반복됐기 때문입니다. 내부 오류로는 이례적인 움직임에 팀은 초대형 DDoS 공격을 의심했습니다.
상태 페이지까지 내려가면서 혼란이 커졌습니다. 이 페이지는 Cloudflare 인프라 밖에서 운영되며 Cloudflare에 의존하지 않는데도 접속이 끊겼습니다. 우연히 겹친 일이었지만 일부 담당자는 공격자가 네트워크와 상태 페이지를 함께 노린다고 생각했습니다. 내부 채팅에서는 최근 이어진 Aisuru DDoS 공격의 연장일 가능성도 거론됐습니다.
ClickHouse 권한 변경 뒤 불어난 피처 파일
피처 파일은 Bot Management의 머신러닝 모델에 들어가는 설정입니다. 피처는 요청이 자동화된 것인지 판단할 때 모델이 사용하는 개별 특성을 뜻합니다. 새로운 봇과 공격 방식에 대응하려면 이 파일을 자주 갱신하고 빠르게 배포해야 합니다. Cloudflare는 ClickHouse 클러스터에서 5분마다 파일을 만들어 네트워크 전체에 배포하고 있었습니다.
ClickHouse에서는 default 데이터베이스의 Distributed 테이블이 각 샤드의 r0 테이블을 조회합니다. 실제 데이터는 r0에 있습니다. 당시 Cloudflare는 공용 시스템 계정으로 실행하던 분산 쿼리를 최초 사용자 계정으로 실행하도록 바꾸는 작업을 진행 중이었습니다. 사용자별 쿼리 제한과 접근 권한을 더 세밀하게 적용해, 문제가 있는 한 사용자의 서브쿼리가 다른 사용자에게 영향을 주지 않도록 하려는 목적이었습니다.
11:05에 배포한 변경은 이미 암묵적으로 허용하던 r0 접근 권한을 명시적으로 부여하는 것이었습니다. 사용자는 이제 r0 테이블의 메타데이터도 볼 수 있게 됐습니다. 이전에는 system.columns 같은 시스템 테이블을 조회하면 default의 메타데이터만 보였습니다.
문제는 피처 파일을 생성하던 쿼리였습니다. 결과에 default의 컬럼만 들어온다고 가정한 채, 데이터베이스 이름을 조건에서 빠뜨렸습니다.
SELECT name, type FROM system.columns WHERE table = 'http_requests_features' order by name;
권한 변경 뒤에는 r0에 있는 테이블의 컬럼도 결과에 포함됐습니다. 응답 행이 두 배 넘게 늘었고, 이를 입력으로 삼은 피처 파일에도 중복 항목이 들어갔습니다.
장애가 나타났다 사라진 이유도 여기에 있었습니다. 권한 변경은 클러스터에 점진적으로 적용됐으므로, 쿼리를 실행한 노드에 따라 정상 파일이나 잘못된 파일이 만들어졌습니다. 5분마다 어느 쪽이든 네트워크 전체로 빠르게 퍼졌고, 시스템은 회복과 실패를 반복했습니다. 모든 노드에 변경이 적용된 뒤에는 잘못된 파일만 생성되면서 실패 상태가 계속됐습니다.
피처 수 한도를 넘어 멈춘 FL2
이 파일을 읽는 Bot Management는 코어 프록시 안에서 실행됩니다. Cloudflare에 들어온 요청은 HTTP·TLS 계층을 거쳐 코어 프록시 FL(Frontline)에서 고객별 보안·성능 정책을 적용받고, Pingora로 넘어가 캐시를 조회하거나 원본 서버에서 데이터를 가져옵니다. Bot Management는 이 경로에서 요청마다 봇 점수를 매기는 모듈입니다.
프록시 모듈에는 메모리 사용 한도가 있습니다. 무제한으로 메모리를 쓰지 않게 하고, 성능을 위해 필요한 메모리를 미리 할당하기 위한 장치입니다. Bot Management의 피처 수 한도는 200개로, 실제 사용하던 약 60개보다 넉넉했습니다. 하지만 배포된 파일에는 200개가 넘는 피처가 들어 있었습니다.
새 프록시 엔진 FL2는 이 파일을 읽다가 패닉에 빠졌습니다. Rust 코드에서 처리하지 못한 오류가 called Result::unwrap() on an Err value라는 로그를 남겼고, 봇 모듈에 의존하는 요청에는 HTTP 5xx가 반환됐습니다.
당시 Cloudflare는 이번 장애와 별개로 고객 트래픽을 FL2로 옮기고 있었습니다. 이전 엔진 FL도 영향을 받았지만 증상은 달랐습니다. HTTP 오류 대신 모든 트래픽의 봇 점수가 0으로 매겨졌습니다. 봇 점수로 차단 여부를 결정하던 고객에게는 대량의 오탐이 생겼고, 규칙에서 봇 점수를 사용하지 않던 고객에게는 영향이 없었습니다.
코어 프록시의 실패는 다른 서비스로 이어졌습니다. Workers KV는 프런트엔드 게이트웨이가 요청을 처리하지 못해 5xx가 급증했습니다. Access에서도 인증 실패가 광범위하게 발생했으며, 실패한 요청은 오류 페이지에서 끝나 대상 애플리케이션에 도달하지 못했습니다. 기존 Access 세션은 영향을 받지 않았지만, 이 기간에 시도한 설정 변경은 실패하거나 매우 느리게 전파됐습니다.
오류 응답만 늘어난 것도 아닙니다. 처리하지 못한 오류에 디버깅 정보를 자동으로 덧붙이는 디버깅·관측 시스템이 CPU를 대량으로 소비하면서 CDN 응답 지연도 크게 늘었습니다.
Email Security는 메일 처리와 전달을 계속했습니다. IP 평판 소스에 일시적으로 접근하지 못해 스팸 탐지 정확도가 낮아졌지만, 심각한 고객 영향은 관측되지 않았습니다. 일부 Auto Move 작업도 실패했으며, 영향을 받은 메시지는 모두 검토하고 조치했습니다.
정상 파일 복구 뒤에도 밀려든 로그인 요청
첫 자동 테스트는 11:31에 이상을 탐지했습니다. 11:32에 수동 조사가 시작됐고 11:35에 인시던트 콜이 열렸습니다. 초기에는 Workers KV의 응답률 저하가 다른 서비스에 영향을 주는 것으로 보여, 팀은 트래픽 조정과 계정 제한으로 부하를 줄이려 했습니다.
13:05에는 Workers KV와 Access가 이전 버전 코어 프록시를 사용하도록 내부 우회를 적용했습니다. 이전 프록시에도 문제가 있었지만 영향은 더 작았습니다. Workers KV와 이를 사용하는 서비스의 오류율이 내려가기 시작했습니다.
13:37에는 Bot Management 설정 파일이 장애를 유발했다는 판단에 따라 마지막 정상 파일로 되돌리는 작업에 집중했습니다. 14:24에 새 파일의 생성과 전파를 중단하고, 이전 파일로 복구되는 것을 확인했습니다. 정상 파일을 배포 큐에 수동으로 넣고 코어 프록시를 강제로 재시작한 뒤, 14:30에는 핵심 트래픽이 대체로 정상으로 돌아왔습니다.
대시보드 복구는 여기서 끝나지 않았습니다. 대시보드는 내부적으로 Workers KV를 사용하고 로그인 과정에는 Turnstile을 사용합니다. Turnstile이 로드되지 않아 활성 세션이 없는 사용자는 로그인할 수 없었고, Workers KV 장애로 일부 컨트롤 플레인과 대시보드 기능도 영향을 받았습니다. 11:30~13:10의 가용성 저하는 Workers KV가 코어 프록시를 우회하면서 해소됐습니다.
정상 피처 파일을 복구한 뒤에는 밀린 로그인 시도가 한꺼번에 몰렸습니다. 여기에 재시도까지 더해지면서 지연이 늘어 14:40~15:30에 대시보드 가용성이 다시 떨어졌습니다. 컨트롤 플레인 동시성을 늘린 뒤 약 15:30에 회복됐습니다.
팀은 이후에도 비정상 상태에 남아 있던 서비스를 재시작하고, 트래픽이 돌아오면서 늘어난 부하를 완화했습니다. 모든 시스템이 정상화된 시각은 17:06입니다. Access 설정 변경도 모두 복구됐습니다.
내부 설정부터 다시 점검하는 Cloudflare
Cloudflare는 이번 일을 2019년 이후 가장 심각한 장애로 평가했습니다. 대시보드나 새 기능을 사용할 수 없던 장애는 있었지만, 핵심 트래픽 대부분이 네트워크를 통과하지 못한 일은 6년 넘게 없었습니다.
복구 뒤에는 설정 파일을 받아들이는 과정과 프록시의 오류 처리 경로를 강화하는 작업에 착수했습니다.
- Cloudflare가 생성한 설정 파일도 사용자 입력처럼 엄격하게 검증하도록 수집 절차 강화
- 기능별 글로벌 킬 스위치 확대
- 코어 덤프와 오류 보고가 시스템 자원을 압도하지 못하도록 차단
- 코어 프록시 전체 모듈의 오류 조건과 실패 양상 재검토
이 작업들은 아직 재발 방지 대책의 시작입니다. Matthew Prince는 트래픽을 계속 전달하도록 설계한 네트워크가 그 역할을 하지 못한 일을 용납할 수 없는 장애로 규정하고, 고객과 인터넷 전체에 사과했습니다.
장애 시각과 수치
| 항목 | 값 |
|---|---|
| 11:05 | 데이터베이스 접근 제어 변경 배포 |
| 11:20 | 네트워크 핵심 트래픽 실패 시작(원문 도입부 기준) |
| 11:28 | 배포가 고객 환경에 도달, 첫 오류 관측 |
| 11:31 / 11:32 / 11:35 | 첫 자동 테스트 탐지 / 수동 조사 시작 / 인시던트 콜 생성 |
| 13:04~13:05 | Workers KV·Access 우회 패치 적용 |
| 13:37 | Bot Management 설정 파일 롤백 작업에 집중 |
| 14:24 | 새 설정 파일 생성·전파 중단, 이전 파일 복구 테스트 완료 |
| 14:30 | 정상 파일 전 세계 배포, 주요 영향 해소 |
| 17:06 | 모든 서비스 정상화 |
| 대시보드 영향 구간 | 11:30~13:10, 14:40~15:30 |
| Bot Management 피처 수 한도 | 200개(실사용 약 60개) |
| 피처 파일 생성 주기 | 5분 |