본문으로 건너뛰기
Cloudflare의 복구 도구까지 멈춘 Workers KV 장애
목차

Cloudflare의 복구 도구까지 멈춘 Workers KV 장애 (2023-11)

원문 정보

  • 원문: Cloudflare incident on October 30, 2023
  • 매체 · 게시일: The Cloudflare Blog · 2023-11-01
  • 저자: Matt Silverlock, Kris Evans
  • 원문 내용을 바탕으로 재구성한 요약입니다.

프로덕션 목록에 섞인 스테이징 빌드

2023년 10월 30일, 여러 Cloudflare 서비스가 37분 동안 중단됐습니다. Workers KV의 새 배포 도구가 잘못된 버전을 참조한 것이 시작이었습니다. 변경을 되돌리려 했지만, 복구에 쓸 내부 도구까지 KV에 의존하고 있어 대응이 늦어졌습니다.

Workers KV는 사용자 가까이에서 데이터를 읽고 쓸 수 있도록 전 세계에 분산한 키-값 저장소입니다. 고객과 Cloudflare 내부 팀 모두 설정 데이터, 라우팅 정보, 정적 자산 번들, 인증 토큰처럼 지연이 짧아야 하는 데이터를 저장하는 데 씁니다.

KV 팀은 전용 도구로 새 릴리스를 점진적으로 배포하고 있었습니다. 스테이징과 프로덕션을 구분하고, 프로덕션 트래픽에서 새 버전이 받는 비율을 조금씩 높이는 방식입니다. 문제는 릴리스 목록이었습니다. 한 환경의 릴리스만 반환해야 할 도구가 의도보다 넓은 범위를 조회해 프로덕션과 스테이징 릴리스를 함께 돌려줬습니다.

서비스는 스테이징에서 배포와 테스트를 마친 상태였습니다. 하지만 프로덕션으로 승격할 때 도구는 프로덕션 계정의 사전 프로덕션 버전 대신 스테이징 계정에 배포된 스크립트를 참조했습니다. 프로덕션 어디에서도 실행되지 않는 버전으로 요청을 보내면서 트래픽이 블랙홀로 빠졌습니다. 그 버전에는 프로덕션 접근 권한이 없었으므로, KV가 반환한 것은 요청한 키-값 대신 HTTP 401(Unauthorized)이었습니다.

일부 트래픽이 잘못된 대상으로 흐르기 시작한 시각은 19:40 UTC입니다. 알림을 받고 롤백을 결정했지만, 19:54 UTC에 같은 배포 API로 롤백을 시도하자 트래픽이 대규모로 실패하기 시작했습니다.

Access에 의존하던 롤백 경로

알림은 문제를 곧바로 감지했습니다. 그런데 롤백에 필요한 도구도 장애의 영향을 받았습니다. Cloudflare Access는 사용자 JWT(JSON Web Tokens)를 검증할 때 KV를 쓰는데, 변경을 되돌릴 대시보드와 CI 시스템에 접근하기 위한 인증이 여기에 의존하고 있었습니다.

CI를 이용한 자동 롤백은 이전에 성공적으로 시험한 절차였습니다. 이번에는 인증이 막혀 롤백에 필요한 시크릿에 접근할 수 없었습니다. Cloudflare는 고객 피해를 사과하며 롤백 메커니즘을 충분히 시험하지 못했다는 점도 인정했습니다.

결국 일반 도구를 우회하는 비상 수단인 break glass가 필요했습니다. 20:15 UTC, 엔지니어들은 배포 경로를 수동으로 수정해 대부분의 트래픽을 직전 정상 빌드로 되돌렸습니다. 배포 이력과 정상 동작이 확인된 경로였습니다. 이 변경으로 실패하던 요청 경로를 제거했고, 20:29 UTC에는 KV 오류율이 장애 전 수준으로 돌아왔습니다. 전체 영향이 끝난 시각은 20:31 UTC입니다.

KV를 쓰는 자리마다 달라진 피해

KV 네임스페이스의 get, put, delete, list 어느 연산이든 401이 돌아왔습니다. KV로 보낸 요청은 해당 키-값을 로컬에 캐시했는지와 관계없이 실패했습니다. 제품마다 KV를 쓰는 자리가 달랐으므로, 사용자가 마주한 장애도 달랐습니다.

Pages에서는 기존 애플리케이션 접근과 새 배포가 모두 HTTP 500으로 실패했습니다. Access는 새 로그인뿐 아니라 기존 로그인 세션도 상당수가 영향을 받은 경우입니다. 다른 제품에서도 API, 배포, 이미 제공 중인 기능의 영향 범위가 서로 달랐습니다.

제품장애 중 영향영향을 받지 않은 범위
Workers KVWorkers 내부 KV API와 REST API를 사용하는 애플리케이션 실패KV를 쓰지 않는 Workers
Pages호스팅된 애플리케이션 접근과 새 배포에서 HTTP 500 반환—
Access미인증 사용자의 로그인 불가, /certs를 이용한 원 서버의 JWT 검증 실패, 디바이스 상태 정책을 쓰는 애플리케이션의 모든 사용자 영향/certs와 디바이스 상태 검사를 쓰지 않는 기존 로그인 세션
WARP / Zero Trust새 기기 등록 불가, 디바이스 상태 검사 또는 WARP 세션 만료 정책이 적용된 자원 접속 불가이미 등록된 기기, 디바이스 상태에 의존하지 않는 자원, 장애 시간대 밖에서 재인증한 경우
ImagesImages API 오류기존 이미지 전송
단일 파일 캐시 퍼지KV에서 설정을 읽지 못한 일부 데이터 센터에서 퍼지 불가설정을 로컬에 캐시한 데이터 센터, 태그 퍼지 등 다른 퍼지 방식
Workers대시보드·wrangler·API에서 업로드와 수정 오류KV를 쓰지 않는 배포된 Workers
AI Gateway요청 프록시 불가—
Cloudflare DashboardTurnstile이나 KV에서 설정을 읽는 내부 feature flag 도구에 의존하는 부분에서 오류—

Waiting Room은 요청을 통과시켰습니다. 엣지의 KV에 저장한 설정과 설정 변경을 사용할 수 없게 되자, 요청을 허용하는 fail open 상태로 동작했습니다. KV 접근이 복구된 뒤에는 서비스가 다시 작동하면서 일부 사용자가 대기열을 경험했을 것입니다.

Turnstile에서는 접근이 막혔습니다. JavaScript 자산을 KV에 저장하고 있어 진입점인 api.js를 제공하지 못한 탓입니다. 클라이언트는 위젯을 초기화하지 못했고, 접근을 차단하는 fail closed로 동작했을 것입니다. Custom·Managed·Rate Limiting 규칙 등이 사용하는 Challenge Pages도 Turnstile 인프라에 의존하므로, 장애 시간에 챌린지를 제시받은 사용자는 차단됐을 것입니다.

Access 없이도 작동해야 할 롤백

Workers를 쓰는 팀이 늘면서 KV는 어느새 수많은 제품과 서비스의 기반이 됐습니다. Cloudflare는 이번 장애를 계기로 이런 핵심 의존성의 피해 범위를 줄이는 작업을 우선하기로 했습니다. 배포 도구를 더 정교하고 쓰기 쉽게 만들고, 제품 수준에서 의존성을 제어하는 기능도 개선하겠다는 계획입니다.

아래는 글을 게시한 분기에 추진하겠다고 밝힌 후속 작업입니다.

  • KV 배포를 영향 감지와 복구가 자동화된 표준 Workers 배포 모델로 이전
  • 롤백 과정에서 정상 동작이 확인된 배포 식별자에 접근할 수 있도록 보장하고, Cloudflare Access가 멈춘 상태에서도 롤백이 작동하도록 보강
  • 배포 전 입력 매개변수를 검사해 버전 불일치가 프로덕션으로 전파되는 상황 방지
  • 단일 테넌트 모델을 가정한 점진적 배포 도구를 멀티테넌시에 맞게 보강
  • 점진적 배포 스크립트에 배포 대상과 앱 환경(프로덕션, 스테이징 등)이 일치하는지 확인하는 검증 추가
배포 시작부터 복구까지의 시간 기록
시각 (UTC, 2023-10-30)사건
18:58Workers KV 팀이 새 KV 빌드의 점진적 프로덕션 배포 시작
19:29내부 점진적 배포 API가 프로덕션 빌드 목록 조회에 스테이징 빌드 GUID를 반환
19:40배포 API로 롤아웃을 이어 가자 일부 트래픽이 잘못된 곳으로 가면서 알림이 울렸고 롤백 결정
19:54배포 API로 롤백을 시도했으나 트래픽이 대규모로 실패하기 시작(영향 시작)
20:15break glass로 배포 경로를 수동 수정해 대부분의 트래픽을 직전 정상 빌드로 되돌림
20:29KV 오류율이 장애 전 수준으로 복귀, 영향받은 서비스는 이후 1분 안에 복구
20:31영향 종료
항목값
총 영향 시간37분(19:54~20:31)
인지부터 롤백까지 지연19:54~20:15
반환된 오류HTTP 401(KV), HTTP 500(Pages)
마지막 수정 일자