본문으로 건너뛰기
두 번째 정전으로 검증한 Cloudflare의 Code Orange
목차

두 번째 정전으로 검증한 Cloudflare의 Code Orange (2024-04)

원문 정보

다시 전력을 잃은 PDX01

5개월도 안 돼 같은 데이터 센터가 다시 전력을 잃었습니다. 왜 그 시설을 계속 쓰느냐는 의문에는 Cloudflare도 같은 생각이라고 답합니다. 그 사이 크게 달라진 쪽은 Cloudflare였습니다.

Portland 시설은 고객용 웹사이트와 API를 포함한 컨트롤 플레인, 애널리틱스와 로깅 파이프라인을 주로 담당하는 곳입니다. 2024년 3월 26일 14:58 UTC에 이 지역의 PDX01이 전력을 모두 잃었지만, API와 대시보드는 15:05 UTC에 정상으로 돌아왔습니다. 사람의 개입 없이 7분 만에 로그인과 설정 변경이 가능해졌습니다.

앞선 11월에는 API와 대시보드, Zero Trust, Magic Transit, SSL, Workers, KV, Stream 등 14개 서비스가 최소 6시간의 컨트롤 플레인 중단을 겪었고, 일부는 기능 저하가 며칠씩 이어졌습니다. 이번에는 모두 몇 분 안에 돌아왔습니다. 전환 중에도 영향을 받지 않은 서비스가 많았다는 점도 차이입니다. 전 세계 300개가 넘는 도시에서 고객 트래픽을 처리하는 데이터 플레인은 영향을 받지 않았습니다.

모든 복구가 자동으로 끝난 것은 아닙니다. 일부 서비스에는 여전히 사람의 개입이 필요했고, 애널리틱스도 그날 늦게까지 완전히 복구되지 못했습니다. 그래도 고객이 Cloudflare 서비스를 설정하고 운영할 기본 인터페이스는 설계대로 동작했습니다.

Code Orange로 바뀐 엔지니어링 우선순위

2023년 11월 2일의 정전은 전력 회사의 유지보수에서 시작된 것으로 보이는 연쇄 고장이 지락 사고로 이어진 사건입니다. 이후에도 문제가 겹쳐 복구가 늦어졌습니다. 데이터 센터 전체의 정전은 애초에 예상해야 할 일이었습니다. Cloudflare가 인정한 실수는 그런 장애에도 제품이 계속 작동하도록 요구 사항을 강제하지 않았다는 점입니다.

이 실수를 반복하지 않으려고 선언한 것이 Code Orange입니다. Google이 사업을 위협하는 상황에서 Code Yellow나 Code Red를 선언한다는 이야기에서 이름을 빌리고, 색은 Cloudflare 로고에 맞췄습니다. 장애 대응을 이끈 기술 운영 SVP Jeremy Hartman에게는 가장 시급하다고 판단한 프로젝트에 어느 엔지니어든 배치할 권한을 줬습니다.

이후 5개월 동안 핵심 업무를 제외한 엔지니어링 역량을 모두 컨트롤 플레인의 신뢰성 확보에 집중했습니다. 해킹 사고로 Code Red를 선언했을 때는 그 대응이 더 높은 우선순위였습니다. Code Orange는 이름을 붙인 개선 목록에 그치지 않고, 엔지니어들이 실제로 무엇부터 할지 바꾸는 운영 방식이었습니다.

남은 Portland 시설에서 버틸 데이터베이스

수백 개 내부 서비스로 이뤄진 컨트롤 플레인의 기본 복구 경로는 Portland 안에 있습니다. 핵심 데이터 센터 세 곳 중 하나가 멈춰도 나머지 두 곳에서 정상 운영을 이어가는 설계입니다. Portland 전체를 쓸 수 없으면 유럽 데이터 센터로 넘길 능력도 있지만, 이는 즉시 선택하는 경로가 아닌 차선책입니다.

이 설계를 뒷받침하려고 모든 설정 데이터베이스를 고가용성(HA) 토폴로지로 옮기고, 시설 하나의 용량을 잃어도 감당할 만큼 네트워크와 서버 용량을 미리 확보했습니다. 3월 정전 때는 20개가 넘는 클러스터에 속한 100개가 넘는 데이터베이스가 한꺼번에 장애 시설 밖으로 페일오버하며 서비스를 자동 복구했습니다. 로그인과 설정 변경이 7분 만에 가능해진 배경입니다.

데이터베이스 전환은 1년 넘게 이어온 작업의 결실입니다. Cloudflare는 매주 페일오버를 시험하고, 2월에는 내부 컷 테스트로 시설 연결을 끊어 중복 시설로 자동 전환되는지 확인했습니다. 그래서 3월에 PDX01 연결 단절 경보가 울렸을 때는 11월과 달리 완전한 정전임을 빠르게 파악했으며, 시스템이 어떻게 반응해야 하는지도 알고 있었습니다.

각자의 복구 경로를 택한 서비스 팀

Logpush는 11월 정전 때 고객에게 로그를 보내지 못했던 서비스입니다. Code Orange 기간에 Portland 안에서 HA를 갖추고, Amsterdam에도 액티브 페일오버 경로를 마련했습니다. Portland의 모든 시설에 걸쳐 크게 확장한 Kubernetes 클러스터가 이 작업을 뒷받침했습니다. 서비스 담당자가 HA 요건을 갖춘 서비스를 배포할 수 있는 기반입니다.

2월 카오스 훈련에서는 Portland의 HA 배포에 결함이 드러났습니다. 그때는 Amsterdam의 Logpush가 처리를 넘겨받아 고객에게 영향이 없었습니다. 3월 정전은 그 뒤의 수정까지 확인한 시험이었습니다. 이번에는 Portland 지역에서 로그를 보낼 수 있었습니다.

모든 팀이 같은 복구 경로를 고른 것은 아닙니다. Cloudflare는 팀별로 구체적인 가용성 목표를 주고, 이를 달성할 여러 선택지를 제공했습니다. 영상 트랜스코딩에 많은 컴퓨팅 자원을 쓰는 Stream은 Amsterdam 시설로 처리를 끊김 없이 넘겼습니다. 다른 복원력 설계를 택하고도 목표를 달성한 사례입니다.

Zero Trust는 11월 장애 이후 기능 대부분을 수백 개 데이터 센터로 옮겨, 이번 정전 내내 원활하게 동작했습니다. 전 세계에 분산된 데이터 센터를 활용하는 이 방식은 Cloudflare가 모든 제품에 적용하려는 방향입니다.

전력 경로가 함께 끊긴 CSB

시설에서는 주 전원과 이중화 전원이 함께 끊겼습니다. Flexential의 보고에 따르면, Cloudflare의 모든 케이지에 전력을 공급하던 스위치보드 네 대가 한꺼번에 고장 났습니다. Flexential이 소유하고 운영하는 장비입니다.

조사는 회로 스위치보드(CSB)에 집중됐습니다. CSB는 주 입력 차단기와 여러 소형 출력 차단기가 있는 배전반 같은 장비입니다. Flexential 엔지니어들은 상류의 전력 인입선·발전기·UPS·PDU/변압기와 하류의 원격 전력 패널·스위치기어가 정상 동작했다고 보고했습니다. 문제가 CSB 자체에 국한됐음을 가리키는 정황이었습니다.

초기 평가에서 기여 요인 중 하나로 지목한 것은 네 CSB의 차단기 협조(breaker coordination) 설정입니다. 트립 설정이 지나치게 엄격하면 과전류 보호가 민감해져 불필요한 차단이 일어날 수 있습니다. 당시 설정값은 하류에 프로비저닝된 전력 용량에 비해 너무 낮았다고 합니다. 차단기 하나 이상이 트립하자 나머지 활성 CSB도 연쇄적으로 꺼졌고, 같은 전력 인프라를 공유하던 다른 고객까지 전력을 잃었습니다.

Flexential 시설 팀은 잘못된 값을 발견해 CSB를 리셋하고 설정을 조정했다고 설명했습니다. 그 뒤 Cloudflare는 서버를 단계적으로 켰습니다. 설정값을 언제 정했는지는 확인되지 않았습니다. 통상 고객의 중요 부하를 연결하기 전, 시설 커미셔닝이나 차단기 협조 검토에서 정하거나 조정하는 값입니다.

컨트롤 플레인의 동작을 확인한 뒤에는 꺼진 대형 데이터 센터를 처음부터 다시 올리는 콜드 스타트가 남았습니다. 11월에 약 72시간 걸렸던 작업을 이번에는 약 10시간 만에 끝냈습니다. Cloudflare는 이 시간도 더 줄이도록 복구 절차를 계속 개선할 계획입니다.

수치 비교
항목2023-11-02 정전2024-03-26 정전
API·대시보드 복구대부분 6시간 이상 중단, 일부 며칠간 기능 저하15:05 UTC(사람 개입 없음), 로그인·설정 변경은 7분 후 가능
대형 데이터 센터 콜드 스타트약 72시간약 10시간
애널리틱스영향영향, 그날 늦게 복구

그날 늦게야 복구된 애널리틱스

애널리틱스에는 아직 PDX01 의존성이 남아 있었습니다. 그날 늦게야 완전히 복구된 것도 이 때문에 예상했던 동작입니다. 11월 정전 직후부터 새 용량을 구축하기 시작했지만, 작업 규모가 커서 컨트롤 플레인보다 시간이 더 걸렸습니다. Cloudflare는 가까운 시일 안에 이 의존성을 없애는 작업을 끝낼 것으로 기대했습니다.

애널리틱스는 대시보드에 보기 좋은 차트를 그리는 데서 끝나지 않습니다. 공격 현황, 방화벽이 차단하는 활동, Cloudflare Tunnels 상태를 확인할 때도 필요합니다. 채택한 복원력 패턴이 의도대로 동작한다는 증거를 확보한 만큼, 애널리틱스 개선을 마치는 일이 최우선 과제입니다.

수동 개입이 필요했던 서비스별로도 데이터와 조치 항목을 모았습니다. 다음 장애에서는 사람의 손을 거치지 않고 복구하도록 고치고, 프로덕션 컷 테스트로 변경 사항을 계속 검증할 계획입니다.

시설 운영을 확인하는 후속 작업도 남았습니다. Cloudflare는 Flexential의 운영·검토 절차를 더 깊이 파악하고, 같은 점검을 모든 핵심 데이터 센터에 적용하는 절차를 만들 예정입니다.

마지막 수정 일자