목차
Cloudflare Workers KV 뒤에 남은 단일 장애점 (2025-06)
원문 정보
- 원문: Cloudflare service outage June 12, 2025
- 매체 · 게시일: The Cloudflare Blog · 2025-06-12
- 저자: Jeremy Hartman, CJ Desai
- 원문 내용을 바탕으로 재구성한 요약입니다.
WARP 등록 실패로 드러난 공통 의존성
2025년 6월 12일, Cloudflare에서 새 WARP 기기 등록이 실패하기 시작했습니다. Access의 신원 기반 로그인부터 영상 재생과 AI 추론까지 여러 서비스가 영향을 받았습니다. 공통 원인은 Workers KV가 사용하는 하부 스토리지 인프라의 장애였습니다. Cloudflare가 밝힌 장애 지속 시간은 2시간 28분으로, 해당 서비스를 쓰는 모든 고객이 전 세계에서 영향을 받았습니다.
방아쇠는 서드파티 클라우드 제공자의 장애였습니다. Workers KV 스토리지 인프라 일부가 이 제공자에 의존하고 있었습니다. Cloudflare는 외부 업체의 실패가 직접적인 계기였어도, 의존 대상을 고르고 그에 맞게 시스템을 설계할 책임은 자사에 있다고 인정했습니다.
데이터 손실은 없었습니다. 공격이나 보안 사건도 아니었으며, Magic Transit과 Magic WAN, DNS, 캐시, 프록시, WAF 등은 직접 영향을 받지 않았습니다.
코어리스 Workers KV의 중앙 저장소
Workers KV는 전 세계 각 거점에서 독립적으로 실행되는 ‘코어리스’ 서비스입니다. 단일 장애점이 없어야 하는 설계였습니다. 그런데 데이터의 최종 기준은 중앙 저장소가 맡고 있었습니다. 이곳이 멈추자 캐시에 없는 값을 읽는 요청과 KV 네임스페이스에 쓰는 요청이 완전히 막혔습니다.
실패한 요청은 전체의 90.22%였습니다. 캐시에 없어 원본 스토리지에서 값을 가져와야 하는 요청은 503 또는 500을 반환했습니다. 캐시에서는 계속 응답을 제공했지만, 중앙 저장소에 접근해야 하는 요청을 처리할 수는 없었습니다.
Cloudflare는 서비스 팀마다 저장소를 따로 만들기보다 자사 플랫폼인 Workers KV를 사용해 서비스의 안정성을 높여 왔습니다. 많은 제품의 설정·인증·콘텐츠 전달이 KV에 의존하는 이유입니다. 평소에는 도움이 되던 공통 기반이 이번에는 연쇄 장애의 범위를 넓혔습니다.
중앙 저장소를 더 견고한 인프라로 옮기는 작업은 이미 진행 중이었습니다. Cloudflare R2로의 이전을 포함한 백엔드 재설계 과정에서 스토리지 제공자 하나를 제거한 상태였습니다. 기존 데이터 동기화 방식이 일으킨 일관성 문제를 막고 데이터 상주 요건 지원을 개선하려던 작업이었지만, 전환 과정에 남은 공백이 이번 장애로 드러났습니다.
정책을 읽지 못한 Access와 Gateway
Access는 애플리케이션·정책 설정과 사용자 신원을 KV에 저장합니다. 장애 동안 모든 앱 유형에서 신원 기반 로그인이 100% 실패했습니다. 정책이나 신원을 가져오지 못하면 접근을 차단하는 fail closed 설계에 따른 결과입니다. 서비스 토큰, mTLS, IP 기반 정책과 Bypass 정책은 영향을 받지 않았고, 정책 편집 내용도 유실되지 않았습니다.
Gateway도 최신 신원과 디바이스 포스처 정보를 읽지 못하면 고객이 설정한 규칙을 우회하지 못하도록 접근을 차단합니다. 프록시·이그레스·TLS 복호화 사용자는 접속, 등록, 프록시 처리, 트래픽 로깅을 할 수 없었습니다. 대부분의 DNS 쿼리는 정상이었지만, 신원 기반 규칙을 쓰는 DoH 쿼리는 실패했습니다.
이 영향은 WARP로 이어졌습니다. 신규 클라이언트는 접속하거나 가입할 수 없었고, Gateway 프록시를 거치던 기존 세션도 영향을 받았습니다. 비상 연결 해제 오버라이드마저 작동하지 않았습니다. 이 기능 역시 KV에 의존했기 때문입니다.
대시보드에서는 로그인 경로마다 의존 서비스의 장애가 드러났습니다. 일반 로그인은 Turnstile, Google OIDC 로그인은 KV, SSO 로그인은 Access 장애로 실패했습니다. 기존 대시보드 세션 대부분도 사용할 수 없었으나 Cloudflare v4 API는 영향을 받지 않았습니다.
Workers KV와 Durable Objects에 의존하는 Turnstile과 Challenges의 siteverify API에서도 실패와 타임아웃이 급증했습니다. Cloudflare는 의존 서비스로 향하는 호출을 끄는 킬 스위치를 켜 사용자가 계속 진행하도록 했습니다. 그동안 siteverify API는 유효한 토큰을 여러 번 받아들일 수 있어, 공격자가 이전 토큰을 재사용해 우회할 가능성이 생겼습니다. 봇 탐지 능력에는 영향이 없었습니다. 챌린지를 풀지 못한 봇은 여전히 토큰을 받지 못했습니다.
콘텐츠와 AI 요청으로 번진 KV 장애
Workers AI는 AI 요청에 필요한 설정과 라우팅 정보를 전 세계에 배포할 때 KV를 사용합니다. 장애 동안 추론 요청은 전부 실패했습니다. 문서 변환과 임베딩 생성, 질의·검색에 Workers AI 모델을 쓰는 AutoRAG도 사용할 수 없었습니다. 클라이언트와 내부 설정을 KV에 두는 AI Gateway는 오류율이 정점에서 97%에 이르렀고, 웹사이트 설정을 KV에서 읽는 Zaraz도 모든 요청이 영향을 받았습니다.
콘텐츠 서비스에서는 같은 제품 안에서도 영향이 달랐습니다. Images 배치 업로드는 정점에서 100% 실패했지만 다른 업로드는 영향을 받지 않았습니다. Stream은 재생 목록을 제공하지 못해 오류율이 90%를 넘었으나 영상 업로드는 정상이었습니다. KV를 사용하는 Realtime TURN의 오류율은 거의 100%에 이르렀습니다. Pages도 오류율이 정점에서 약 100%였고, 모든 빌드가 완료되지 못했습니다.
KV를 직접 호출하지 않아도 같은 스토리지를 공유하면 장애를 피하지 못했습니다. SQLite 기반 Durable Objects와 D1은 KV와 하부 스토리지 인프라를 공유하며, 평균 오류율이 각각 정점 22%에서 복구 중 2%로 내려갔습니다. 기존 key-value 스토리지를 사용하는 Durable Objects 네임스페이스에는 영향이 없었습니다. Queues는 각 큐와 메시지를 담은 Durable Objects를 연결하는 정보를 KV에 두고 있어 메시지 넣기와 소비가 모두 멈췄습니다.
CDN에는 다른 경로로 부하가 몰렸습니다. Zero Trust 클라이언트의 등록 요청이 크게 늘자 자동 트래픽 관리가 CDN 트래픽을 인근 거점으로 돌렸지만, 일부는 예상대로 재라우팅되지 않았습니다. São Paulo, Philadelphia, Atlanta, Raleigh에서는 일부 요청에 지연 증가나 HTTP 499·503 오류가 발생했습니다. 재라우팅이 기대대로 동작하지 않은 부분은 게시 시점에도 조사 중이었습니다.
저장소 복구 뒤에도 몰려든 캐시 요청
대응 기록의 시각은 모두 UTC입니다. 17:52에 WARP 팀이 신규 기기 등록 실패를 조사하며 인시던트를 선언했고, 18:05에는 Access의 오류율 급증과 여러 서비스의 서비스 수준 목표인 SLO 하락이 알림을 일으켰습니다. 18:06에 Workers KV라는 공통 원인을 확인하면서 서비스별 인시던트를 하나로 합치고 P1로 지정했습니다. 영향의 심각성이 드러난 18:21에는 P0로 올렸습니다.
스토리지가 계속 복구되지 않을 경우에도 대비했습니다. 18:43에 Access 팀은 KV 엔지니어링 팀과 다른 데이터스토어로 옮겨 KV 의존을 없애는 방안을 검토하기 시작했습니다. 19:09에는 Gateway가 신원이나 디바이스 포스처를 참조하는 규칙의 기능을 축소해 KV 의존을 제거하는 작업에 들어갔습니다. 19:32에는 Access와 Device Posture가 신원·디바이스 포스처 요청을 강제로 드롭해 KV 부하를 줄였습니다. 19:45에도 대체 데이터스토어를 사용하는 KV 릴리스를 배포하고 핵심 서비스의 설정을 그곳에 쓰게 하는 방안을 준비 중이었습니다.
복구가 시작된 시각은 20:23입니다. 스토리지 인프라가 돌아오자 서비스들이 캐시를 다시 채우기 위해 몰려들었고, 적지 않은 오류와 인프라 속도 제한이 남았습니다. 20:25에 Access와 Device Posture가 KV 호출을 재개했습니다. 20:28에는 SLO가 장애 전 수준으로 돌아왔으며, 팀들은 의존 서비스들이 복구되는 동안 다시 문제가 생기지 않는지 감시를 이어갔습니다.
저장소 이중화와 복구 제어 도구
Cloudflare는 게시 시점에 KV 스토리지 이중화 작업을 앞당기고 있다고 밝혔습니다. 목표는 단일 제공자 의존을 없애는 것입니다. 장애 중에도 사태가 길어질 경우에 대비해 핵심 KV 네임스페이스를 자체 인프라로 전환하고 데이터를 백필하는 작업을 시작했습니다.
개별 제품에서도 피해 범위를 줄이는 작업이 진행 중이었습니다. 서드파티 의존성을 포함해 어느 한 지점이 실패하더라도 각 제품이 서비스 손실을 견디도록 하려는 조치입니다. Cloudflare는 발표한 작업 외에도 단기·장기 인프라 변경과 설계 결정을 계속 검토하겠다고 밝혔습니다.
복구 과정의 부하도 해결 대상입니다. 스토리지 장애 중 네임스페이스를 점진적으로 다시 활성화하는 도구를 구현하고 있었습니다. 캐시를 다시 채우다가 자사 인프라에 서비스 거부를 일으키지 않으면서 Access와 WARP 같은 핵심 서비스를 복구하려는 목적입니다.
장애 시각·수치 정리
| 항목 | 값 |
|---|---|
| 17:52 UTC | WARP 신규 기기 등록 실패, 인시던트 선언 |
| 18:05 UTC | Access 알림, 여러 서비스 SLO 하락 |
| 18:06 UTC | 인시던트 통합, P1 |
| 18:21 UTC | P0로 상향 |
| 18:43 UTC | Access가 KV 의존 제거 방안 탐색 |
| 19:09 UTC | Gateway가 KV 의존 제거 시작 |
| 19:32 UTC | Access와 Device Posture가 요청 강제 드롭 |
| 20:23 UTC | 스토리지 회복, 서비스 복구 시작 |
| 20:25 UTC | Access와 Device Posture가 KV 호출 재개 |
| 20:28 UTC | 영향 종료, SLO 복귀 |
| 장애 지속 시간 | 2시간 28분 |
| Workers KV 요청 실패율 | 90.22% |
| Access 신원 기반 로그인 실패율 | 100% |
| Workers 오류율 정점 | 약 2% |
| Workers for Platforms 오류율 정점 | 약 10% |
| Workers Assets 평균 오류율 증가 | 약 0.06% |
| Durable Objects·D1 평균 오류율 | 정점 22%, 복구 중 2% |