본문으로 건너뛰기
새 인증 정보를 받지 못한 R2 Gateway Worker
목차

새 인증 정보를 받지 못한 R2 Gateway Worker (2025-03)

원문 정보

Cloudflare의 정기 인증 정보 교체가 R2 쓰기 작업 전체를 멈췄습니다. 2025년 3월 21일 21:38~22:45 UTC, 1시간 7분 동안 쓰기는 100%, 읽기는 전 세계 기준 약 35%가 실패했습니다. 새 인증 정보는 개발용 Worker에 배포됐고, 실제 요청을 처리하던 production Gateway Worker에는 이전 인증 정보가 남아 있었습니다.

기본 환경을 가리킨 Wrangler 명령

R2에서 S3 API, REST API, Workers API 요청을 받는 곳은 Gateway Worker입니다. R2는 주로 이 Worker와 메타데이터 서비스, 암호화된 객체 데이터를 저장하는 스토리지 인프라로 구성됩니다. Gateway Worker는 ID와 키 쌍으로 분산 스토리지 인프라에 인증합니다.

교체 중에도 요청을 처리하도록 새 인증 정보를 만들 때는 이전 인증 정보를 유지합니다. 그다음 wrangler secret put으로 production Gateway Worker의 secret을 바꾸고, wrangler deploy로 새 인증 정보 ID를 환경 변수에 반영합니다. Gateway가 새 인증 정보를 사용하기 시작하면 이전 인증 정보를 삭제하고 대시보드와 로그에서 교체 결과를 확인하는 절차였습니다.

여기서 배포할 환경을 지정하는 인자가 빠졌습니다. R2 팀은 Workers environments로 production과 개발 환경을 분리하며, 각 환경에는 환경 변수와 secret을 따로 갖는 독립된 Worker가 있습니다. 두 명령 모두 --env를 생략하면 default 환경을 사용하므로, production Worker를 갱신하려면 --env production을 명시해야 합니다.

20:19 UTC에 실행한 secret 설정과 배포 명령에는 이 인자가 없었습니다. 20:20 UTC부터 새 인증 정보를 쓰기 시작한 대상은 개발용 Worker였습니다. 팀은 올바른 Worker가 갱신됐다고 판단했고, 교체를 마무리하려고 20:37 UTC에 스토리지 인프라에서 이전 인증 정보를 삭제했습니다.

원인을 드러낸 production Worker의 릴리스 이력

삭제의 영향은 한꺼번에 나타나지 않았습니다. 이전 인증 정보의 삭제가 스토리지 인프라에 전파되는 데 지연이 있어 21:38 UTC부터 가용성이 점진적으로 떨어졌습니다. 이 때문에 처음 문제를 알아차리는 데도 시간이 걸렸습니다.

21:45 UTC에 전역 가용성 경보가 울린 뒤 팀은 대시보드와 로그를 조사했습니다. 읽기와 쓰기의 가용성이 서서히, 그러나 꾸준히 낮아지는 모습을 보고 새 인증 정보의 전파 과정에 회귀 문제가 생겼을 가능성을 의심했습니다. Gateway가 여전히 이전 인증 정보를 사용한다는 사실은 확인하지 못한 상태였습니다.

22:15 UTC에는 전파를 다시 유도하려고 인증 정보를 새로 만들었습니다. 가용성 지표는 나아지지 않았습니다. 22:30 UTC에는 Gateway에 전달한 인증 정보 자체에 문제가 있는지 확인하려고 재배포했지만, secret 설정과 배포 명령에서 또 환경 인자를 빠뜨렸습니다. 갱신된 대상은 다시 개발용 Worker였습니다.

22:36 UTC에 production Worker의 릴리스 이력을 검토하고서야 잘못된 배포 대상을 발견했습니다. 원인을 찾은 뒤의 복구는 빨랐습니다. 22:45 UTC에 올바른 production Worker로 새 인증 정보를 배포하자 R2 가용성이 즉시 회복됐습니다.

Cloudflare는 사람의 실수로 시작한 장애가 필요 이상으로 길어진 이유도 인정했습니다. Gateway Worker가 스토리지 인프라에 인증할 때 어떤 인증 정보를 쓰는지 확인할 가시성이 부족했습니다. 교체 뒤의 가용성 지표에 의존하는 대신, 실제 사용 중인 토큰을 명시적으로 확인했어야 했다는 설명입니다.

R2의 인증 오류가 번진 Cloudflare 서비스

데이터 손실이나 손상은 없었습니다. 장애는 R2 API 프런트엔드와 스토리지 인프라 사이의 일시적인 인증 문제였으며, 처리 중이던 업로드나 변경 작업도 성공 HTTP 상태 코드를 반환했다면 저장된 상태였습니다. head, list 같은 메타데이터 전용 작업 역시 영향을 받지 않았습니다.

읽기 피해를 크게 줄인 것은 스토리지 앞의 중간 캐시였습니다. 캐시는 계속 요청에 응답했습니다. 고객별 읽기 오류율은 접근 패턴에 따라 달랐고, custom domain으로 공개 자산에 접근한 고객은 캐시된 객체를 정상적으로 읽을 수 있어 오류율이 더 낮았습니다.

Cache Reserve를 사용하는 사이트에서도 사용자에게 자산을 전달하는 요청은 실패하지 않았습니다. R2 읽기에 실패한 캐시 미스 요청이 원본 서버로 전환됐기 때문입니다. 대신 해당 자산을 가져오기 위한 원본 서버 요청이 늘었습니다.

Images와 Stream에서는 업로드가 모두 실패했습니다. 저장된 이미지의 전달 성공률은 약 25%, Stream 동영상 세그먼트의 전달 성공률은 94%로 떨어졌습니다. Stream 시청자는 약 1분마다 영상 멈춤을 겪었을 수 있으나 실제 영향에는 차이가 있었습니다. 객체 쓰기에 의존하는 Stream Live도 중단됐습니다.

영구 저장소로 R2를 쓰는 Vectorize에서는 인덱스 읽기 쿼리의 오류율이 높아졌고, insert와 upsert는 100% 실패했습니다. R2 읽기나 쓰기에 의존하는 Key Transparency Auditor 역시 모든 작업이 실패했으며, 장애 해소 직후 정상 운영으로 돌아왔습니다.

Logpush와 Logpull의 로그 전달 지연은 로그 처리를 최대 70분 늦췄습니다. 장애가 끝난 뒤에는 모든 로그가 전달됐습니다. R2에 고객 청구서를 저장하는 Billing에서는 과거 청구서를 열거나 내려받을 때 오류가 발생했을 수 있고, Email Security에서는 R2에 의존하는 고객용 메트릭이 갱신되지 않았습니다.

이전 키를 지우기 전에 확인할 로그

복구 후 Cloudflare는 Gateway Worker가 인증에 쓰는 ID의 접미사를 로그 태그에 추가했습니다. 이제 이전 토큰을 삭제하려면 새 토큰 ID의 접미사가 스토리지 인프라 로그와 일치하는지 명시적으로 확인해야 합니다. 새 인증 정보를 배포했는지에 더해 실제로 사용하고 있는지도 확인하도록 절차를 바꿨습니다.

수동 명령 입력에서 생기는 실수에는 배포 도구로 대응했습니다. 인증 정보 교체는 환경 설정을 강제하고 다른 안전 검사도 수행하는 hotfix 릴리스 도구를 사용하도록 했습니다. 변경을 진행하며 최소 2명이 검증한다는 기존의 암묵적 기준도 SOP에 명시했습니다.

기존 폐쇄 루프 상태 검사 시스템을 확장하는 작업은 아직 진행 중입니다. 엔드포인트를 감시하는 이 시스템으로 새 키를 시험하고 알림 플랫폼에 상태를 자동 보고하며, Gateway Worker를 릴리스하기 전에 전 세계 전파를 확인하려고 합니다.

캐시를 거치지 않는 업스트림 성공률을 관측 플랫폼에 표시하는 작업도 진행 중입니다. 캐시 뒤의 분산 스토리지 엔드포인트에서 요청 처리에 문제가 생겼는지 더 명확하게 보여 주어, 이후 장애의 초기 진단을 앞당기려는 목적입니다. Cloudflare는 이 과정에서 발견할 추가 개선 사항도 적용할 계획입니다.

장애 시간과 서비스별 영향 및 배포 설정
항목값
주요 장애 구간2025-03-21 21:38~22:45 UTC, 1시간 7분
R2 오류율객체 쓰기 100%, 객체 읽기 전 세계 약 35%; 고객별 읽기 오류율은 접근 패턴에 따라 차이
R2 영향 제외메타데이터 전용 작업과 캐시된 객체 읽기; 데이터 손실·손상 없음
Images업로드 100% 실패, 저장된 이미지 전달 성공률 약 25%로 하락
Stream업로드 100% 실패, 동영상 세그먼트 전달 성공률 94%로 하락; Stream Live 중단
Key Transparency Auditor작업 100% 실패, 장애 해소 직후 정상화
Vectorize인덱스 읽기 쿼리 오류율 상승, insert·upsert 100% 실패
Log DeliveryLogpush·Logpull 로그 처리 최대 70분 지연, 장애 해소 후 전체 전달
교체 시작19:49 UTC 새 인증 정보 생성, 기존 인증 정보 유지
최초 잘못된 배포20:19 UTC secret 설정·배포 실행, 20:20 UTC 기본 환경 Worker가 새 인증 정보 사용
기존 인증 정보 삭제20:37 UTC; 삭제 전파 지연으로 가용성 저하가 점진적으로 발생
탐지와 공지21:45 UTC 전역 가용성 경보, 21:50 UTC 내부 장애 선언, 22:05 UTC 공개 상태 페이지 게시
복구 시도22:15 UTC 인증 정보 재생성, 22:30 UTC 잘못된 Worker에 재배포
원인 확인과 복구22:36 UTC 배포 대상 오류 확인, 22:45 UTC 올바른 Worker에 배포, 22:54 UTC 해결로 판정
배포 명령과 누락 인자wrangler secret put, wrangler deploy에서 --env 누락 시 기본 환경 사용; 올바른 대상 지정은 --env production
변경 검증 인원SOP에 최소 2명 명시
마지막 수정 일자