목차
Cloudflare의 장애 확산을 막을 Code Orange Fail Small (2025-12)
원문 정보
- 원문: Code Orange: Fail Small — our resilience plan following recent incidents
- 매체 · 게시일: The Cloudflare Blog · 2025-12-19
- 저자: Dane Knecht
- 원문 내용을 바탕으로 재구성한 요약입니다. 2025년 11월 18일 장애와 12월 5일 장애의 후속 글입니다.
오류 페이지와 빈 화면 뒤의 Code Orange
11월에는 오류 페이지, 12월에는 빈 페이지였습니다. 2025년 11월 18일 Cloudflare 네트워크는 약 2시간 10분 동안 트래픽 전달에 심각한 장애를 겪었습니다. 3주 가까이 지난 12월 5일에는 네트워크 뒤 애플리케이션의 28%에 약 25분간 트래픽을 전달하지 못하는 일이 다시 벌어졌습니다.
Cloudflare는 두 장애를 깊이 부끄럽게 여긴다고 밝히며, 사후 분석을 공개한 뒤에도 신뢰를 되찾기 위한 일이 남았다고 인정했습니다. 그 작업에 붙인 이름이 Code Orange: Fail Small입니다. 오류나 실수가 큰 장애로 번지지 않게 하겠다는 목표를 담았습니다.
Code Orange를 선언하면 다른 작업을 멈추고 이 과제를 최우선으로 삼습니다. 필요한 팀들이 부서 경계를 넘어 협업하도록 하는 방식입니다. Cloudflare가 과거 대형 장애 이후 한 차례 사용했으며, 이번이 두 번째입니다.
거의 모든 제품·엔지니어링 팀에 걸친 작업입니다. 완료 목표는 1분기 말이며 대부분은 그 전에 끝낼 계획이지만, 개선 사항을 마지막에 한꺼번에 적용하지는 않습니다. 작업이 진행되는 동안 개별 변경을 차례로 적용해 복원력을 높여 나갈 예정입니다.
모든 설정에 배포 관문을 둘 Quicksilver
두 번 모두 공격자보다 앞서 움직이려던 변경이 발단이었습니다. 11월에는 Bot Management 분류기가 자동으로 업데이트됐습니다. Cloudflare는 네트워크 트래픽을 학습하는 AI 모델로 봇을 식별하며, 보호를 우회하려는 공격자에 대응하기 위해 탐지 시스템을 계속 갱신합니다.
12월에도 서둘러야 할 이유가 있었습니다. React 취약점을 악용하려는 공격자로부터 고객을 보호하는 과정에서, 보안 분석가가 시그니처를 개선할 때 쓰는 보안 도구를 변경했습니다. 이 변경이 장애를 일으켰습니다. 전 세계 수백 개 도시의 데이터센터에 설정을 즉시 배포한 직후 장애가 시작됐다는 점은 11월과 같았습니다.
이 전파 속도를 제공하는 구성요소가 Quicksilver입니다. 고객이 DNS 레코드나 보안 규칙을 만들면 몇 초 안에 네트워크 서버의 90%에 도달하고, 내부 팀의 설정 변경도 같은 구성요소로 전파됩니다. 네트워크 동작을 빠르게 바꾸는 기능이었지만, 두 장애에서는 잘못된 설정까지 검증 관문 없이 전체 네트워크로 퍼뜨렸습니다.
바이너리 배포에는 이미 관문이 있었습니다. 새 버전은 직원 트래픽에 먼저 적용하고, 무료 사용자부터 시작해 전 세계 고객에게 적용하는 비율을 늘립니다. 어느 단계에서든 이상을 감지하면 사람의 개입 없이 되돌립니다. 설정 역시 소프트웨어의 동작을 바꾸는데도 이 절차를 거치지 않았습니다.
Cloudflare가 하루에도 여러 번 소프트웨어를 배포할 때 쓰는 시스템은 Health Mediated Deployment(HMD)입니다. 각 서비스 담당 팀은 배포의 성공과 실패를 판단할 지표, 배포 계획, 실패했을 때의 조치를 정해야 합니다. HMD는 그 계획에 따라 단계마다 상태를 확인한 뒤 다음으로 진행하며, 실패하면 자동으로 롤백을 시작하고 필요하면 담당 팀을 호출합니다.
판단 기준은 서비스마다 다릅니다. 다음 데이터센터로 확대하기 전 대기 시간을 더 길게 잡을 수도 있고, 오탐을 감수하면서 오류율 허용치를 더 낮게 둘 수도 있습니다. 모든 서비스에 같은 속도와 허용치를 강제하는 방식은 아닙니다.
설정을 거의 즉시 배포하는 기능은 유용하지만, 반드시 필요한 경우는 드뭅니다. Cloudflare는 Quicksilver의 모든 설정 변경에 통제된 배포를 도입하는 작업을 진행 중이며, 이를 Code Orange에서 가장 우선하는 과제로 삼았습니다. 완료 시점에는 모든 프로덕션 시스템의 설정 관리를 HMD로 다룰 계획입니다. 최근 장애와 같은 문제를 널리 퍼지기 전에 발견할 수 있으리라는 기대입니다.
Bot Management의 실패 앞에 남겨 둘 기본값
배포를 통제해도 실수는 생깁니다. 두 장애에서는 네트워크 일부의 오류가 고객이 Cloudflare를 설정하는 컨트롤 플레인까지 번져 기술 스택 대부분에 영향을 줬습니다. 배포 범위를 나눌 때 데이터센터나 사용자 집단만 기준으로 삼아서는 부족합니다. Bot Management에서 생긴 실패가 무관한 대시보드까지 번지는 서비스 사이의 경계도 다뤄야 합니다.
Cloudflare는 모든 핵심 제품과 서비스 사이의 인터페이스 계약을 검토하고 있습니다. 각 경계에서 실패가 일어난다고 가정하고, 그때 가장 합리적인 동작이 무엇인지 정하는 작업입니다. 트래픽을 처리하는 시스템은 예기치 않은 오류 상태에서도 제품에 맞게 동작하도록 개선하고 테스트할 계획입니다.
11월 Bot Management 장애만 해도, 실패를 예상했다면 고객 영향 없이 처리했을 가능성이 큰 인터페이스가 적어도 두 곳 있었습니다. 하나는 손상된 설정 파일을 읽는 부분입니다. 여기서는 패닉을 일으키는 대신 검증된 기본값을 사용했어야 했습니다. 그러면 트래픽을 계속 통과시키면서, 최악의 경우에도 봇 탐지 머신러닝 모델에 들어가는 실시간 미세 조정을 잃는 데 그쳤을 것입니다.
네트워크 핵심 소프트웨어와 Bot Management 모듈 사이에서도 다른 동작을 정할 수 있었습니다. 실제 장애처럼 모듈이 실패했을 때 트래픽을 버리는 것이 기본 동작이어서는 안 됐습니다. 무난한 분류를 붙여 트래픽을 통과시키는 쪽이 더 합리적인 기본값이었다는 판단입니다.
Turnstile 장애에 막힌 대시보드 로그인
11월 18일에는 Turnstile 중단이 고객의 대시보드 접근까지 막았습니다. 캡차 없는 봇 대응 서비스인 Turnstile을 Cloudflare 대시보드의 로그인 과정에서도 쓰고 있었기 때문입니다. 활성 세션이나 API 서비스 토큰이 없는 고객은 긴급하게 설정을 바꿔야 하는 순간에 로그인할 수 없었습니다.
복구를 맡은 직원도 필요한 도구에 제때 접근하지 못했습니다. Cloudflare는 고객 데이터를 보호하고 무단 접근을 막기 위해 모든 도구에 인증 계층과 세분화된 접근 제어를 두고 있습니다. 두 장애에서는 이 보안 시스템이 팀원의 도구 접근을 막았고, 일부 내부 시스템까지 쓸 수 없게 된 순환 의존성도 복구를 늦췄습니다. 보호 장치를 유지하면서 긴급 조치에 걸리는 시간을 줄여야 했습니다.
이를 위해 break glass 절차와 기술을 전부 검토·개선할 계획입니다. break glass는 정해진 상황에서 특정 담당자가 권한을 높여 중대한 문제를 수습하게 하는 긴급 접근 절차입니다. 보안 요구를 지키면서도 필요한 사람이 필요한 도구에 빠르게 접근하도록 바꾸는 것이 목표입니다.
순환 의존성은 제거하거나 장애 때 신속히 우회할 수 있게 할 예정입니다. 장애가 나기 전에 모든 팀이 절차를 충분히 익히도록 훈련 횟수도 늘립니다.
이 작업의 일부는 상시 과제로 남습니다. 새 소프트웨어를 출시하면 순환 의존성을 계속 다뤄야 하고, 보안 기술이 달라지면 break glass 절차도 갱신해야 합니다. Cloudflare는 작업을 진행하며 후속 업데이트를 공유할 계획입니다.
두 장애와 계획의 주요 수치
| 항목 | 값 |
|---|---|
| 2025-11-18 장애 | 약 2시간 10분, 트래픽 전달 실패 |
| 2025-12-05 장애 | 약 25분, 네트워크 뒤 애플리케이션의 28% |
| 11월 장애의 변경 | Bot Management 분류기 자동 업데이트 |
| 12월 장애의 변경 | 보안 분석가용 도구의 시그니처 개선 변경 |
| 설정 전파 속도 | 서버의 90%에 수 초 이내(Quicksilver) |
| 완료 목표 | 1분기 말까지, 대부분은 그 전에 |