본문으로 건너뛰기
PDX-04 정전으로 드러난 Cloudflare의 숨은 의존성
목차

PDX-04 정전으로 드러난 Cloudflare의 숨은 의존성 (2023-11)

원문 정보

트래픽이 흐르는 동안 멈춘 설정 화면

2023년 11월 2일, Cloudflare를 지나는 트래픽은 정상이었습니다. 네트워크와 보안 서비스도 계속 작동했습니다. 그런데 고객이 서비스를 설정하는 웹사이트와 API, 즉 컨트롤 플레인에는 장애가 났습니다. 로깅과 분석 리포트를 제공하는 애널리틱스도 멈춘 상태였습니다.

장애는 11:43 UTC부터 나타났고, 장애 구간은 11월 2일 11:44부터 11월 4일 04:25까지 약 41시간입니다. 그동안 모든 서비스가 줄곧 중단된 것은 아닙니다. 11월 2일 17:57에는 재해 복구 시설에서 컨트롤 플레인 대부분을 되살렸고, 이후 대부분의 고객은 직접적인 영향에서 벗어났습니다. 복구가 늦어진 서비스의 고객은 끝까지 문제를 겪었으며, 원시 로그 서비스는 대부분의 고객이 장애 내내 이용하지 못했습니다.

Matthew Prince는 일어나지 말았어야 할 일이라며 사과와 부끄러움을 전했습니다. 데이터 센터 공급업체에 심각한 장애가 나더라도 버틸 수 있다고 믿었기 때문입니다. 실제로 많은 시스템은 설계대로 살아남았지만, 일부 핵심 시스템에는 미처 파악하지 못한 의존성이 남아 있었습니다.

고가용성 클러스터 밖에 남은 Kafka와 ClickHouse

Cloudflare는 데이터 센터 한 곳의 정전을 예상하고 있었습니다. 컨트롤 플레인과 애널리틱스를 운영하는 Oregon 주 Hillsboro 인근의 세 시설은 각각 여러 전력 인입선과 독립적으로 이중화한 네트워크 연결을 갖췄습니다. 자연재해가 세 곳을 함께 덮칠 가능성은 줄이되, 데이터를 계속 동기화하는 액티브-액티브 클러스터를 운영할 만큼 가까운 위치를 골랐습니다. 한 곳이 꺼지면 남은 곳에서 서비스를 이어가는 설계입니다.

이 전환은 4년 전부터 진행했습니다. 핵심 컨트롤 플레인 시스템은 대부분 고가용성 클러스터로 옮겼지만, 일부 신제품의 서비스는 아직 그 밖에 있었습니다. 로깅 시스템은 의도적으로 제외한 경우입니다. 로그는 네트워크 엣지에서 대기하다 Oregon 코어 시설로 보내므로, 수신 시설이 멈추면 엣지의 큐에 쌓아 두면 된다고 봤습니다. 지역별 로깅 서비스를 쓰는 고객에게는 해당 지역 시설이 수신 지점입니다. Cloudflare가 감수하기로 한 것은 분석 결과의 지연이었습니다.

예상한 장애 범위도 여기에 맞춰져 있었습니다. 애널리틱스가 멈추고, 로그가 지연되며, 아직 고가용성 클러스터에 편입하지 않은 낮은 우선순위의 서비스가 다른 시설에서 복구될 때까지 중단되는 정도였습니다. 나머지 두 시설이 고가용성 클러스터를 이어받는 동작은 대체로 계획대로였습니다.

문제는 클러스터 밖으로 뻗은 의존성이었습니다. 로그 처리와 애널리틱스를 담당하는 Kafka와 ClickHouse는 PDX-04에만 있었는데, 고가용성 클러스터에서 실행하는 서비스 일부가 이들에 의존했습니다. Cloudflare는 이 결합이 지나치게 강했고, 의존 대상이 멈췄을 때 더 제한된 영향으로 실패하도록 만들었어야 했다고 인정했습니다.

시험에서도 이 연결을 놓쳤습니다. 다른 두 데이터 센터는 각각 끄거나 둘을 함께 끄는 시험까지 했습니다. PDX-04에서는 고가용성 클러스터에 속한 부분만 꺼 봤을 뿐, 시설 전체를 내린 적이 없었습니다. Kafka와 ClickHouse까지 사라지는 상황은 검증하지 못한 것입니다.

신제품의 출시 기준에도 공백이 있었습니다. 팀마다 빠르게 초기 제품을 만들고 나중에 백엔드를 권장 방식으로 옮기는 관행은 있었지만, 정식 출시(GA) 전에 제품과 데이터베이스를 고가용성 클러스터에 통합하도록 공식적으로 요구하지 않았습니다. 그 결과 같은 Cloudflare 제품이라도 이중화가 제공하는 보호는 일관되지 않았습니다.

발전기 10대까지 멈춘 PDX-04 정전

정전이 난 곳은 Flexential이 운영하는 PDX-DC04, 이하 PDX-04입니다. 세 시설 가운데 가장 크며, Cloudflare의 최대 애널리틱스 클러스터와 고가용성 클러스터 머신의 3분의 1 이상이 이곳에 있었습니다. 고가용성 클러스터에 아직 편입하지 않은 서비스도 기본적으로 이곳에 배치했습니다. 건설 전 설계가 Tier III 인증을 받은 시설로, Cloudflare는 전체 용량의 약 10%를 사용하는 고객이었습니다.

11월 2일 08:50 UTC, 전력 공급업체 Portland General Electric(PGE)의 계획에 없던 유지보수로 인입선 하나가 끊겼습니다. Flexential은 발전기를 가동해 전력을 보충하면서 남은 인입선도 계속 사용했습니다. 남은 인입선만으로 시설을 운영하거나, 예비 장치를 포함한 발전기 10대만으로 전체 부하를 감당하는 것도 가능한 상황이었습니다. 왜 외부 전력과 발전기를 함께 사용했는지는 명확한 답을 받지 못했습니다.

전력원이 바뀌었다는 통보도 없었습니다. Cloudflare의 관측 도구로는 이 변화를 알아낼 수 없었습니다. 통보를 받았다면 전담 팀이 시설을 면밀히 감시하고, 이곳에 의존하는 컨트롤 플레인 서비스를 다른 시설로 옮겼을 것이라는 설명입니다.

이후의 경위에는 확인되지 않은 부분이 있습니다. Cloudflare는 직원들의 비공식 설명과 가장 가능성이 높은 사건의 흐름을 바탕으로 일부를 추정했으며, Flexential과 PGE에서 정보를 더 받으면 설명을 갱신하겠다고 밝혔습니다.

남은 인입선을 유지한 배경으로 추정한 것은 Flexential이 참여한 PGE의 DSG 프로그램입니다. 전력회사가 데이터 센터 발전기를 가동해 전력망에 전기를 보태는 대신, 발전기 유지보수와 연료를 지원하는 프로그램입니다. Cloudflare는 이 프로그램을 통보받은 기록을 찾지 못했습니다. 사고 당시 DSG가 가동 중이었는지, Flexential의 판단에 영향을 줬는지도 확인하지 못했습니다.

11:40경에는 PDX-04의 PGE 변압기에서 지락 사고가 났습니다. Cloudflare는 남아 있던 두 번째 인입선의 전압을 낮추는 변압기였을 것으로 보지만, Flexential이나 PGE의 확인을 받지는 못했습니다. 앞선 유지보수가 지락을 일으켰을 가능성이 크다고 추정하면서도, 불운하게 겹친 별개의 사고일 가능성을 남겼습니다.

12,470볼트 고전압선의 지락에 대응한 보호 조치는 발전기 10대까지 멈춰 세웠습니다. 외부 전력과 발전기를 모두 잃은 것입니다. 남은 전원은 UPS 배터리였습니다. 약 10분 동안 시설을 유지하며 발전기가 가동될 때까지 버텨 줄 것으로 기대했지만, Cloudflare가 자체 장비의 중단을 관찰한 바로는 4분 만에 배터리가 버티지 못하기 시작했습니다.

발전기를 다시 켜는 데에는 10분보다 훨씬 오래 걸렸습니다. 직원들에게 비공식적으로 들은 설명에 따르면, 회로가 트립된 방식 때문에 발전기에 직접 접근해 수동으로 재시작해야 했습니다. 그런데 출입 통제 시스템은 배터리 백업에 연결되지 않아 꺼진 상태였습니다. 야간 근무자도 경비 인력과 입사한 지 1주일 된 기술자 한 명뿐이었고, 숙련된 운영·전기 담당자는 없었다는 설명입니다.

11:44~12:01 사이 UPS 배터리가 소진되면서 시설의 모든 고객이 전력을 잃었습니다. Cloudflare가 문제를 처음 알아챈 시각은 외부 연결 라우터 두 대가 꺼진 11:44입니다. 직접 접속과 대역 외 관리가 모두 실패하자 Flexential에 연락하고 현지 팀을 시설로 보냈습니다. Flexential의 첫 안내는 12:28에야 도착했습니다.

재해 복구 시설 앞에 몰린 API 호출

12:48 UTC에 발전기가 재시작되면서 시설 일부에 전력이 돌아왔습니다. 전력 복구는 끝이 아니었습니다. 부하가 한꺼번에 몰리지 않도록 회로를 하나씩 켜다가, Cloudflare 쪽 차단기에 불량이 있다는 사실을 발견했습니다. 가정집에 차단기가 있듯 데이터 센터의 각 고객에게도 이중화된 차단기가 연결돼 있는데, 이 장치들이 전력 공급을 막고 있었습니다.

차단기가 지락이나 뒤이은 서지로 손상됐는지, 이전부터 불량이었는지는 알 수 없습니다. 확실한 것은 교체가 필요했고, 불량 수량이 시설에 보유한 예비품보다 많았다는 점입니다. Flexential은 새 차단기를 조달해야 했습니다.

예상보다 많은 서비스가 멈췄고 복구 시각도 알 수 없었습니다. Cloudflare는 13:40에 유럽 재해 복구 시설로 장애 조치(failover)를 결정했습니다. 나머지 두 코어 시설의 고가용성 시스템은 계속 작동하고 있었으므로, 옮길 대상은 전체 컨트롤 플레인 가운데 작은 비율이었습니다. 첫 서비스는 13:43에 가동했습니다.

되살아난 서비스에는 그동안 실패하던 API 호출이 한꺼번에 몰렸습니다. 이른바 thundering herd 문제입니다. Cloudflare는 rate limit을 적용해 요청량을 제어했고, 그동안 대부분 제품의 고객은 대시보드나 API로 설정을 수정할 때 간헐적인 오류를 겪었습니다.

17:57에는 재해 복구 시설로 옮긴 서비스가 안정됐습니다. 대부분의 고객이 직접적인 영향에서 벗어난 시점입니다. Magic WAN 같은 일부 시스템에는 여전히 수동 설정이 필요했고, 로그 처리와 일부 맞춤 API는 PDX-04를 복구할 때까지 사용할 수 없었습니다. 재해 복구 시설은 애초에 일부 로그 처리 서비스를 지원하지 않았습니다.

그곳에서 제대로 가동하지 못한 제품도 있었습니다. 새 영상을 업로드하는 Stream 서비스를 비롯해, 재해 복구 절차를 충분히 구현하고 시험하지 않은 신제품이 주로 해당했습니다. 팀은 이들을 재해 복구 시설에 다시 구현하는 작업과 고가용성 클러스터로 옮기는 작업을 병행했습니다.

전력 복구 뒤 다시 세운 수천 대의 서버

Flexential이 불량 차단기를 교체하고 두 인입선을 복구해 안정적인 전력을 확인한 시각은 11월 2일 22:48 UTC입니다. 하루 종일 대응한 팀은 지쳐 있었습니다. Prince는 대부분의 인력이 쉬고 다음 날 아침부터 PDX-04로 돌아가는 작업을 시작하도록 결정했습니다. 전체 복구는 늦어졌지만, 추가 실수로 상황을 악화시킬 가능성을 줄였다고 판단했습니다.

11월 3일 아침, 복구는 네트워크 장비의 전원을 직접 켜는 일부터 시작했습니다. 이어 수천 대의 서버와 서비스를 복원해야 했습니다. 정전 중 전원이 여러 차례 꺼졌다 켜졌을 가능성이 있어, 시설 안의 서비스가 어떤 상태인지 알 수 없었습니다. 안전하게 복구하려면 시설 전체를 처음부터 부트스트랩해야 하는 상황이었습니다.

먼저 설정 관리 서버를 수동으로 가동했습니다. 이 서버들을 재구성하는 데만 3시간이 걸렸습니다. 이를 발판으로 나머지 서버를 재구축했으며, 서버 한 대에 걸린 시간은 10분에서 2시간입니다. 여러 서버를 병렬로 처리해도 서비스 간 의존성 때문에 순서대로 복구해야 하는 구간은 남았습니다. 모든 서비스가 돌아온 시각은 11월 4일 04:25입니다.

데이터 복구의 범위는 달랐습니다. Cloudflare는 애널리틱스를 유럽 코어 데이터 센터에도 저장하므로, 대부분의 고객은 대시보드와 API에서 조회하는 애널리틱스 대부분에 손실이 없을 것으로 안내했습니다. EU에 복제하지 않은 일부 데이터셋에는 영구적인 공백이 남습니다. Logpush 로그는 장애 기간 대부분 처리되지 않았으며, 고객이 받지 못한 로그는 복구되지 않습니다.

Code Orange에 모인 신뢰성 개선 작업

Cloudflare는 위기 때 엔지니어링 인력을 집중하는 Google의 Code Yellow·Code Red를 본떠 Code Orange를 도입했습니다. 필수 업무를 제외한 엔지니어링 역량 전체를 컨트롤 플레인의 신뢰성을 높이는 데 돌리기 시작했습니다. 공급업체에 답을 요구하는 것과 별개로, 데이터 센터 전체가 실패할 수 있다는 전제부터 지켜야 한다는 판단입니다.

먼저 GA의 조건을 강화하기로 했습니다. 코어 데이터 센터에 의존하는 모든 GA 제품과 기능은 고가용성 클러스터를 사용하고, 특정 시설에만 있는 소프트웨어에 의존하지 않도록 요구할 계획입니다. 시험을 거친 신뢰할 수 있는 재해 복구 계획도 모든 GA 제품과 기능의 요건으로 정했습니다.

코어 시설에 대한 의존 자체도 줄일 대상입니다. 장애 내내 글로벌 네트워크는 정상 작동했고, 일부 제품과 기능은 이미 코어 없이 엣지에서 설정과 서비스를 처리할 수 있었습니다. Cloudflare는 고객에게 제공하는 분산 시스템 제품을 자사 서비스에도 사용해, 가능한 한 분산 네트워크에서 컨트롤 플레인 설정을 처리하도록 옮길 계획입니다. 코어 시설이 전부 꺼져도 네트워크에서 실행하는 컨트롤 플레인이 계속 작동하는 것이 목표입니다.

검증과 복구를 강화하기 위한 작업도 계획에 포함했습니다.

  • 시스템 장애의 영향 범위 시험과 영향받는 서비스 수 축소
  • 각 코어 시설 전체를 끄는 시험을 포함한 모든 데이터 센터 기능의 엄격한 카오스 테스트
  • 모든 코어 데이터 센터의 철저한 감사와 기준 준수 여부를 확인할 재감사 계획
  • 코어 시설 전체가 실패해도 로그가 유실되지 않는 로깅·애널리틱스 재해 복구 계획
타임라인과 수치
시각 (UTC)사건
11-02 08:50PGE 계획 외 유지보수로 PDX-04 전력 인입선 하나 중단, Flexential이 발전기 가동(Cloudflare에 미통보)
11-02 11:40경PGE 변압기 지락 사고, 발전기 10대와 남은 인입선 모두 정지
11-02 11:43~11:44컨트롤 플레인·애널리틱스 장애 시작, 시설 연결 라우터 두 대 오프라인
11-02 11:44~12:01UPS 배터리 소진, 시설 전체 정전
11-02 12:28Flexential의 첫 안내
11-02 12:48발전기 재시작, 일부 전력 복구, 이후 불량 차단기 발견
11-02 13:40유럽 재해 복구 시설로 장애 조치 결정
11-02 13:43재해 복구 시설에서 첫 서비스 기동
11-02 17:57재해 복구 시설로 옮긴 컨트롤 플레인 대부분 안정
11-02 22:48Flexential이 차단기 교체와 두 인입선 복구, 깨끗한 전력 확인
11-03 아침PDX-04 복원 착수(설정 관리 서버 재구성 3시간, 서버당 10분~2시간)
11-04 04:25전체 서비스 복구
항목값
총 장애 시간11-02 11:44 ~ 11-04 04:25(원문은 대응 약 36시간이라 표현)
시설 내 Cloudflare 비중전체 용량의 약 10%
PDX-04 UPS 설계 지속 시간 / 관찰된 실제약 10분 / 4분 후 불량 징후
발전기 수10대(예비 포함)
지락 사고 선로 전압12,470볼트
마지막 수정 일자