목차
피싱 신고 처리 중 닫힌 Cloudflare R2 Gateway (2025-02)
원문 정보
- 원문: Cloudflare incident on February 6, 2025
- 매체 · 게시일: The Cloudflare Blog · 2025-02-07
- 저자: Matt Silverlock, Javier Castro
- 원문 내용을 바탕으로 재구성한 요약입니다.
신고 대상 버킷 대신 꺼진 R2 Gateway
막으려던 대상은 R2에 호스팅된 피싱 사이트였습니다. 2025년 2월 6일, 신고를 처리하던 담당자가 고급 제품 비활성화 작업을 실행하면서 특정 엔드포인트나 버킷 대신 R2 API를 담당하는 production R2 Gateway를 껐습니다. 08:14~09:13 UTC, 59분 동안 모든 고객의 R2 버킷과 객체에 대한 작업이 실패했습니다.
잘못된 조작을 막을 장치가 없었습니다. 팀들은 보통 설정 변경과 배포의 영향 범위를 줄이려고 dev, staging, prod 계정을 나누어 쓰지만, 악용 신고 처리 시스템에는 이 내부 계정을 명시적으로 식별해 비활성화를 차단하는 설정이 없었습니다. R2 production 계정은 이미 새 Organizations 모델의 조직에 속해 있었습니다. 그런데도 악용 대응 엔진은 그 조직의 계정을 보호하지 못했습니다.
Cloudflare는 담당자 교육의 부족도 원인으로 짚었습니다. 그러나 우선적인 문제로 지목한 것은 여러 시스템 통제 장치의 실패입니다. 신고 하나를 처리하는 작업이 R2 서비스 전체를 비활성화할 수 있도록 허용되어 있었습니다.
R2와 함께 멈춘 복구 도구
원인을 찾은 뒤에도 곧바로 되돌리지 못했습니다. 08:42에 R2 팀이 서비스 배포 이력과 설정을 검토하다 비활성화 조작과 검증의 빈틈을 찾아냈지만, 08:46에 시도한 내부 관리 도구 역시 R2에 의존해 사용할 수 없었습니다.
제품 비활성화를 직접 되돌릴 제어 수단도 부족했습니다. 당직자는 평소보다 낮은 계층의 시스템에 접근할 권한을 가진 운영팀에 지원을 요청해야 했습니다. 운영팀이 서비스를 다시 활성화한 뒤에도 작업이 남았습니다. 엣지 네트워크 전반의 라우팅 파이프라인을 다시 만들기 위한 Gateway 재배포입니다.
09:09에 재배포를 시작하자 클라이언트가 다시 연결되기 시작했고, 09:13에는 R2 가용성이 서비스 수준 목표인 SLO 범위로 돌아왔습니다. 이번에는 밀린 요청과 재연결이 한꺼번에 몰렸습니다. R2의 메타데이터 계층을 맡은 Durable Objects에 부하가 늘면서 북미에서 실행되는 Durable Objects 호출의 오류율이 0.09% 증가했고, 이 후속 영향은 09:36에 해소됐습니다.
Gateway가 멈춰도 살아 있던 R2 저장소
모든 요청이 실패했어도 R2에 저장된 데이터는 손실되거나 손상되지 않았습니다. 멈춘 곳은 R2의 ‘현관’인 Gateway입니다. S3 및 REST API 요청을 인증하고 처리하는 이 HTTP 프런트엔드는 Durable Objects 기반 메타데이터 저장소, 중간 캐시, 객체를 영속적으로 보관하는 분산 스토리지 하위 시스템과 분리되어 있습니다.
성공 응답을 내보내는 순서에도 보존의 근거가 있습니다. Gateway는 인증과 권한을 확인한 뒤 새 데이터를 객체 저장소의 새로운 불변 키에 쓰고, 메타데이터가 그 객체를 가리키도록 갱신합니다. 클라이언트가 HTTP 200을 받았다면 저장소와 메타데이터에 이미 변경 사항이 반영된 상태입니다.
Gateway가 비활성화되자 실행 중인 프로세스가 모두 멈췄고, 처리 중이던 요청과 이후 도착한 요청은 실패했습니다. 하지만 성공 응답을 받은 작업이 복구 후 이전 버전으로 되돌아갈 위험은 없었습니다. Gateway 밖의 구성 요소는 계속 가동되고 있었으며, 이 분리 덕분에 Gateway를 복원하고 재배포한 뒤 서비스가 빠르게 회복됐습니다.
R2의 중단이 번진 의존 서비스
R2 저장소의 데이터는 보존됐지만, Log Delivery에서는 일부 로그가 유실됐습니다. R2로 데이터를 버퍼링하고 전송하려는 작업이 가용 자원을 포화시켜 다른 전송 작업까지 큐를 처리할 자원을 얻지 못했습니다. 새 로그를 받기 위해 큐의 기존 데이터가 만료되면서 로그가 버려졌습니다.
로그 처리 지연은 최대 1시간이었습니다. 유실은 R2 이외 목적지 작업에서 최대 4.5%, R2 목적지 작업에서 최대 13.6%였으며, 작업별 로그 양과 위치별 버퍼 용량에 따라 차이가 있었습니다. 시스템은 R2 전송 작업을 중지하는 kill switch를 켠 뒤 회복했습니다.
Stream의 업로드와 스트리밍 전송, Images의 자산 업로드와 다운로드도 주요 장애 구간에 모두 실패했습니다. Image Delivery는 영향이 작았습니다. 고객의 기존 백엔드에서 자산을 가져오고 중간 저장소에 의존하지 않는 서비스로, 성공률은 97%로 내려갔습니다.
Cache Reserve에서는 실패가 사용자 요청까지 이어지지 않았습니다. Cache Reserve 작업은 전부 실패했지만 캐시 미스가 원본 서버로 넘어갔고, 그만큼 원본 서버에서 자산을 가져오는 요청이 늘었습니다. 영속 저장소로 R2를 쓰는 Vectorize는 조회의 75%와 insert·upsert·delete 작업 전부가 실패했습니다. 나머지 조회는 캐시에서 처리됐습니다. Vectorize는 R2 복구 후 완전히 정상화됐으며, 인덱스 손상은 관찰되지 않았습니다.
장애 시간대와 서비스별 관측 수치
| 항목 | 값 |
|---|---|
| 시간 기준 | 모든 시각은 2025-02-06 UTC |
| Gateway 오차단 | 08:12 |
| 주요 장애 구간 | 08:14~09:13, 59분 |
| 초기 탐지와 대응 | 08:15 서비스 지표 이상, 08:17 중요 알림 발생, 08:18 R2 당직 대응 시작, 08:25 내부 사고 선언 |
| 원인 확인과 복구 제약 | 08:42 원인 확인, 08:46 R2 의존 관리 도구를 이용한 재활성화 불가 확인, 08:49 운영팀에 상향 요청 |
| 서비스 복구 | 08:57 운영팀 재활성화 착수, 09:09 재배포 실행, 09:10 회복 시작, 09:13 SLO 범위 회복 |
| 후속 영향과 종료 | 09:13~09:36 재연결 부하 발생, 오류율 관찰 후 10:29 사고 종료 |
| 비활성화 반영 지연 | 작업 적용에 1~2분 소요, 설정된 지표 집계 주기도 실패 관측 시점에 영향 |
| R2 | 주요 구간 업로드·다운로드·메타데이터 작업 100% 영향, 후속 구간 오류 증가 폭 1% 미만 |
| Stream | 주요 구간 업로드·스트리밍 전송 작업 100% 영향 |
| Images 및 Image Delivery | Images 업로드·다운로드 작업 100% 영향, Image Delivery 성공률 97%로 하락 |
| Cache Reserve | 작업 100% 실패, 해당 구간 전체 캐시 가능 요청의 0.049% 미만에 영향, 원본 서버 대체 처리로 사용자 요청 실패 없음 |
| Log Delivery 지연 | 로그 처리 지연 최대 1시간 |
| Log Delivery 유실 | R2 이외 목적지 작업 최대 4.5%, R2 목적지 작업 최대 13.6%; 작업별 로그 양과 위치별 버퍼 용량에 따라 차이 |
| Durable Objects | 후속 구간 북미에서 실행되는 Durable Objects 호출의 실제 오류율 증가 0.09% |
| Cache Purge | 주요 구간 HTTP 5xx 오류율 1.8% 증가, purge 작업 p90 지연 10배 증가; 주요 구간 종료 직후 오류율 정상화 |
| Vectorize | 주요 구간 조회 75% 실패, 나머지는 캐시에서 처리; insert·upsert·delete 100% 실패, 후속 구간 지속 영향 없음 |
| Key Transparency Auditor | 주요 구간 서명 게시·읽기 작업 100% 실패; 해당 구간 제3자 읽기는 발생하지 않아 영향 없음 |
| Workers 및 Pages | 주요 구간 배포의 0.002% 실패, R2 바인딩이 있는 서비스로 한정 |
계정 생성부터 보강하는 내부 서비스 보호
사고 직후 Cloudflare는 내부 계정에서 실행되는 서비스의 제품 비활성화를 막는 보호 장치를 Admin API에 배포했습니다. 악용 검토 UI의 제품 비활성화 기능도 중지했습니다. 더 강한 보호 장치를 마련하는 동안 비슷한 고위험 수동 조작을 반복하지 못하게 한 조치입니다.
보호의 출발점도 바꾸려 합니다. 팀마다 내부 계정에 태그를 정확히 붙이고 담당자가 절차를 빠짐없이 따르는 데 기대는 대신, 계정 생성부터 시스템이 보호를 보장하도록 하는 방향입니다. 아래 작업은 글이 게시된 시점에 진행 중이었습니다.
- dev, staging, production 계정을 올바른 조직에 생성하도록 생성 방식 변경, 독립 계정 생성 방지
- 내부 계정을 공개 전의 새 Organizations 모델로 이전
- 시스템이 권고한 대응 범위를 넘어서는 제품 비활성화 권한을 소수의 선임 담당자로 제한
- 임의의 추가 제품 비활성화에 2인 승인 적용. 조사 담당자가 요청한 추가 대응을 관리자나 승인된 검토자가 승인하도록 변경
- 내부 호스트명 오차단을 막던 검사를 내부 Cloudflare 계정에 연결된 제품의 비활성화 방지까지 확대
Cloudflare는 교육과 절차에 대한 의존을 줄이고 시스템에 보호 장치를 내장하는 데 우선순위를 두었습니다. 사람이나 시스템의 조작으로 production 서비스가 비활성화될 때 그 영향 범위를 더 줄일 조치도 계속 검토하고 있습니다.