본문으로 건너뛰기
장애 반경을 줄인 Code Orange Fail Small
목차

장애 반경을 줄인 Code Orange Fail Small (2026-05)

원문 정보

두 차례 글로벌 장애에 남은 같은 가정

2025년 11월 18일과 12월 5일, Cloudflare에서 발생한 글로벌 장애에는 공통점이 있었습니다. 입력은 늘 유효하다는 가정입니다. Rust 서비스는 오류를 처리하지 않고 .unwrap()을 호출했고, Lua 코드는 존재하지 않는 객체를 인덱싱했습니다. 그 가정이 깨졌을 때 기능을 줄여서라도 서비스를 이어 갈 동작이 없었습니다.

Cloudflare는 인프라의 탄력성과 보안, 신뢰성을 높이기 위해 두 분기 남짓 “Code Orange: Fail Small”을 진행했습니다. 2026년 5월 1일 공개한 글은 그 완료 보고입니다. 두 글로벌 장애를 막았을 작업을 끝냈다는 설명으로, 설정이 퍼지는 방식부터 실패했을 때의 동작, 장애 중 복구 경로까지 바꿨습니다. 개선이 시간이 지나며 퇴행하지 않게 할 장치도 마련했습니다. 프로그램은 완료했지만 탄력성을 높이는 일은 계속한다는 입장입니다.

읽을 수 없는 설정 앞의 Bot Management

2025년 11월 장애는 Bot Management 탐지 머신러닝 분류기의 롤아웃 실패에서 시작됐습니다. 같은 상황이 다시 생긴다면 이제 시스템은 읽을 수 없는 새 설정을 거부하고 이전 설정을 씁니다. 이전 설정도 없을 수 있습니다. 그때는 fail open으로 고객 프로덕션 트래픽을 계속 처리하도록 바꿨습니다. 이 경우에는 기능이 줄더라도 트래픽을 제공하는 편이 서비스 중단보다 낫다는 판단입니다.

이런 판단을 위해 고객 트래픽 처리에 중요한 제품의 팀들은 실패할 수 있는 상황을 수작업과 프로그램으로 검토했습니다. 필수가 아닌 런타임 의존성을 없애고, 각 상황에 맞는 실패 시 동작을 구현한 것입니다. 가능한 곳에서는 마지막으로 정상이었던 설정을 유지하는 fail stale을 적용합니다. 그 설정을 쓸 수 없다면 기능을 줄인 채 서비스를 이어 가는 편이 나은지 검토해, 실패 사례마다 fail open 또는 fail close를 선택했습니다.

새 설정이 잘못됐을 때 이전 설정으로 돌아가는 동작은 트래픽을 계속 처리하기 위한 장치입니다. 잘못된 설정이 네트워크 전체에 퍼지기 전에 문제를 발견하려면 배포 방식도 바뀌어야 했습니다.

설정 배포의 기본 절차가 된 Snapstone

대부분의 Cloudflare 내부 설정 변경은 이제 네트워크 전체에 즉시 반영되지 않습니다. 서비스 상태를 실시간으로 확인하면서 배포 범위를 넓히고, 문제가 보이면 되돌립니다. 소프트웨어 릴리스에 쓰던 health-mediated deployment, 즉 서비스 상태에 따라 배포를 진행하는 방식을 설정에도 적용한 것입니다.

Cloudflare는 위험도가 높은 설정 파이프라인을 식별했습니다. 네트워크에서 고객 트래픽을 처리하고 설정 변경을 받는 제품의 팀들은 모든 설정 배포에 이 방식을 채택했습니다. 적용 범위에는 두 장애에 직접 영향을 받은 팀 외의 제품 팀도 포함됩니다.

이전에도 설정을 점진적으로 배포할 수는 있었습니다. 하지만 팀마다 상당한 노력이 필요했고, 네트워크 전체에서 일관되게 적용되지도 않았습니다. 새 내부 시스템인 Snapstone은 설정 변경을 패키지로 묶고 점진 배포, 실시간 상태 모니터링, 자동 롤백을 기본 절차로 제공합니다.

배포할 단위는 팀이 필요에 따라 정의합니다. 11월 18일 장애를 일으킨 것과 같은 데이터 파일도, 12월 5일 장애에 관련된 글로벌 설정 시스템의 제어 플래그도 대상이 됩니다. 위험 검토나 운영 경험에서 새로운 위험 패턴을 발견하면 해당 설정을 Snapstone으로 관리하도록 옮길 수 있습니다. 그러면 그 설정이 쓰이는 곳마다 같은 배포 절차를 적용받습니다.

이런 배포 절차와 실패 시 동작을 갖춘 지금, 11월 장애를 일으킨 Bot Management 변경이 다시 배포된다면 어떻게 될까요? Cloudflare의 설명은 배포 초기에 실패를 감지해, 영향이 작은 비율의 트래픽을 넘어서기 전에 잡아낸다는 것입니다.

고객 집단별로 나뉜 Workers 런타임

설정을 배포하는 속도와 별개로, 서비스를 실행하는 단위도 더 작게 나누기 시작했습니다. Cloudflare는 이미 고객 집단을 구분하는 트래픽 관리 기법으로 장애 반경을 줄이고 있었습니다. 여기에 서로 다른 트래픽 집단을 맡는 서비스 사본을 독립적으로 실행하는 방식까지 더한 것입니다.

Workers 런타임이 그 예입니다. 여러 독립 서비스가 각기 다른 트래픽 집단을 처리하며, 그중 하나는 무료 고객의 트래픽만 맡습니다. 변경 배포는 무료 고객 집단부터 시작합니다. 중요도가 낮은 세그먼트에는 더 빠르고 자주 업데이트를 보내고, 가장 중요한 세그먼트에는 더 천천히 배포하는 방식입니다. 런타임 변경으로 트래픽 처리에 문제가 생겨도 자동 감지와 롤백이 이뤄지기 전까지 영향은 무료 고객 중 일부에만 머물게 됩니다.

글에서 소개한 7일 동안 Workers 런타임의 배포 과정은 50번 넘게 실행됐습니다. 변경은 엣지로 퍼져 나가며 파도를 이루고, 앞뒤 릴리스의 파도와 병렬로 진행되는 경우도 많습니다. 이 배포 패턴을 더 많은 시스템으로 확대하는 작업은 진행 중입니다.

머지 리퀘스트에서 작동하는 Codex

장애 뒤에 만든 규칙도 강제하지 않으면 제안에 그칩니다. Cloudflare는 이번 개선이 시간이 지나며 흐트러지거나 이전 문제로 돌아가지 않도록 내부 지침을 Codex라는 규칙 저장소로 만들었습니다. 모든 엔지니어링·제품 팀이 따라야 하는 표준입니다.

규칙은 도메인 전문가가 RFC 절차로 작성한 엔지니어링 표준에서 나옵니다. 형식은 “X가 필요하면 Y를 써라”처럼 간단하고, 그 이유를 설명하는 RFC 링크가 붙습니다. 숙련된 엔지니어의 머릿속에 있거나 장애를 겪은 뒤에야 알게 된 경험을 누구나 확인하고 적용할 지침으로 옮긴 것입니다.

입력이 항상 유효하리라는 가정도 규칙의 대상입니다. 한 RFC는 “테스트와 build.rs 밖에서 .unwrap()을 쓰지 말라”고 제한합니다. 다른 RFC에는 “서비스는 처리 전에 업스트림 의존성이 예상 상태인지 검증해야 한다”는 원칙이 담겨 있습니다. Cloudflare는 이 규칙을 더 일찍 강제했다면 11월과 12월 장애로 이어진 변경이 머지 리퀘스트 단계에서 거절됐을 것이라고 설명합니다.

Codex 규칙은 코드베이스 전체에 예외 없이 적용됩니다. AI 코드 리뷰가 지침에서 벗어날 가능성이 있는 부분을 표시하면 추가 수동 리뷰를 거쳐야 합니다. 설계 리뷰부터 배포, 인시던트 분석까지 개발 수명주기의 모든 단계에서도 Codex가 AI 에이전트와 연동합니다. 수백만 건의 요청에 영향을 주는 장애가 발생한 뒤 문제를 발견하는 시점을, 코드가 프로덕션에 도달하기 전 개발자 한 명이 수정 가능한 피드백을 받는 시점으로 앞당기려는 것입니다.

규칙도 계속 바뀝니다. 전문가의 경험과 인시던트에서 드러난 빈틈이 새 RFC로 이어지고, 승인된 RFC마다 Codex 규칙이 생겨 다음 머지 리퀘스트를 검토하는 에이전트에 들어갑니다. 지식이 표준이 되고, 표준을 강제하면서 모두가 따르는 기준을 높이는 플라이휠입니다. 조직의 기억이 다음 변경에서도 작동하게 하려는 설계입니다.

복구 경로까지 잃을 때의 break glass

Cloudflare는 Cloudflare 위에서 운영됩니다. 인프라 보안에 쓰는 자사 Zero Trust 제품까지 네트워크 전체 장애의 영향을 받으면, 시스템을 고치는 데 필요한 접근 경로도 잃을 수 있습니다. Code Orange 이전에는 비상 접근을 위한 break glass 경로를 쓸 수 있는 사람이 소수였고, 접근 가능한 도구도 제한적이었습니다.

Cloudflare는 시스템 상태를 확인하고 디버깅하며 프로덕션을 변경하는 데 필요한 도구를 전수 점검했습니다. 그 결과 핵심 서비스 18개에 백업 인증 경로를 만들고, 이를 지원할 비상 스크립트와 프록시를 마련했습니다. 장애 중 더 많은 엔지니어가 복구 도구에 접근하도록 바꾼 것입니다.

경로를 만드는 데서 끝내지는 않았습니다. 소규모 훈련을 거쳐 2026년 4월 7일에는 200명이 넘는 팀원이 참여한 엔지니어링 전체 훈련을 진행했습니다. 자동화는 비상 경로가 계속 작동하도록 유지합니다. 훈련은 엔지니어가 실제 장애의 압박 속에서도 그 경로를 쓸 수 있도록 몸에 익히는 과정입니다.

새 소식이 없어도 이어지는 고객 공지

복구에 필요한 정보가 끊기면 대응이 늦어지고, 고객에게 상황을 설명하기도 어려워집니다. 내부에서 파악한 기술적 사실이 고객에게 명료한 공지로 이어지지 않는 일도 있었습니다. Cloudflare는 큰 인시던트에서 대응 담당자와 함께 움직이는 전담 커뮤니케이션 팀을 만들었습니다. 이 팀 역시 Code Orange 기간에 고객 공지의 주기와 명료성을 다듬는 훈련을 거쳤습니다.

운영 절차를 돌아보는 작업은 엔지니어링과 제품 개발 밖으로도 이어졌습니다. 모든 서비스에 서비스 수준 목표(SLO)를 추가하고 글로벌 변경 로그를 의무화했습니다. 모든 팀이 유지보수 조율 시스템을 사용하게 했으며, 인시던트 재발 방지를 위한 “prevents” 티켓 백로그도 전사에서 더 투명하게 볼 수 있도록 했습니다.

고객에게 알리는 시점은 더 앞당기는 것이 목표입니다. 문제를 확인하는 즉시 공지해, 고객이 지연이나 오류를 알아차렸을 때는 이미 알림이 도착해 있도록 하려는 것입니다. 장애가 진행되는 동안에는 예를 들어 30분 또는 60분처럼 예측 가능한 간격으로 소식을 전합니다. “수정을 아직 테스트 중이며 새 변경은 없다”는 내용이어도 공지를 보냅니다. 고객이 상태 페이지를 계속 새로고침하는 대신 자기 일정을 계획할 수 있게 하려는 조치입니다.

상태가 정상으로 돌아온 뒤에도 설명은 이어집니다. 무엇이 일어났고 왜 일어났는지, 재발을 막기 위해 시스템과 절차를 구체적으로 어떻게 바꾸는지 상세 포스트모템으로 공개합니다.

프로그램 관련 시점과 수치
항목값
계기가 된 글로벌 장애2025-11-18, 2025-12-05
프로그램 기간두 분기 남짓
2025년 11월 장애의 직접 계기Bot Management 탐지 ML 분류기 롤아웃 실패(원문 설명)
두 장애의 공통 실패 모드입력이 항상 유효하다고 가정한 코드(Rust .unwrap(), Lua의 존재하지 않는 객체 인덱싱)
백업 인증 경로를 만든 핵심 서비스18개
엔지니어링 전체 훈련2026-04-07, 200명 이상 참여
Workers 런타임 배포 실행 횟수7일 동안 50회 이상
인시던트 업데이트 주기예) 30분 또는 60분
새로 도입한 설정 배포 시스템Snapstone(패키지화, 점진 출시, 자동 롤백)
코드화한 표준Codex(RFC에서 규칙으로, AI 코드 리뷰로 집행)
마지막 수정 일자