본문으로 건너뛰기
잘못된 설정에 얼어붙은 Workers KV와 점진 배포의 빈틈
목차

잘못된 설정에 얼어붙은 Workers KV와 점진 배포의 빈틈 (2023-08)

원문 정보

  • 원문: Hardening Workers KV
  • 매체 · 게시일: The Cloudflare Blog · 2023-08-02
  • 저자: Matt Silverlock, Charles Burnett, Rob Sutter, Kris Evans
  • 원문 내용을 바탕으로 재구성한 요약입니다.

20%에 가까운 오류를 겪은 고객

2023년 7월 17일 주간, Workers KV에서 장애가 세 차례 잇따랐습니다. 지난 두어 달간 계속된 사고의 연장이었습니다. Cloudflare가 오류 보고를 바탕으로 추정한 영향은 전 세계 KV 트래픽의 0.2~0.5%였지만, 일부 고객의 오류율은 KV 작업의 20%에 가까웠습니다.

KV는 높은 읽기 처리량이 필요한 데이터를 저장하는 키-값 서비스입니다. 사용자 설정, 서비스 라우팅, 작은 에셋, 인증 데이터 등에 쓰이며, Cloudflare Access와 Cloudflare Pages도 KV를 사용합니다. 외부 고객뿐 아니라 내부 팀도 같은 장애를 겪었습니다.

문제가 시작된 곳은 데이터센터 세 곳이었습니다. 영향이 오세아니아·유럽·아프리카의 데이터센터 전반으로 퍼진 이유는 이 세 곳이 새 백엔드의 리전 계층을 맡고 있었기 때문입니다. 다른 데이터센터의 트래픽도 읽기와 쓰기를 원본 데이터 저장 시스템으로 보낼 때 이곳을 거쳤습니다. 등록된 네임스페이스의 키 가운데 일부만 각 데이터센터를 리전 계층으로 쓰도록 제한해 둔 덕분에, 어느 데이터센터에서도 전체 트래픽이 영향을 받지는 않았습니다.

더 빠른 읽기를 위한 SuperCache

Cloudflare는 자주 읽지 않는 키나 다른 리전에서 읽는 키의 지연을 줄이려고 2023년 6월 새 아키텍처를 발표했습니다. 쓰기의 최종 일관성 상한을 “대체로 60초”가 아니라 확실한 60초로 만들겠다는 목표도 있었습니다.

새 백엔드의 바탕은 SuperCache입니다. KV는 Storage Gateway Worker와 SuperCache라는 두 Workers 스크립트로 이뤄지며, Storage Gateway Worker의 처리 흐름에서 SuperCache를 선택적으로 거칩니다.

발표 당시에는 이미 내부 테스트와 커뮤니티 챔피언의 사전 사용을 진행하고 있었고, 일부 프로덕션 트래픽으로도 안정성과 성능을 검증하던 중이었습니다. 스테이징에서 재현할 수 있는 범위를 넘어서 확인하려던 시도입니다. 하지만 6월 중순부터 새 경로로 보내는 트래픽을 늘릴 때마다 낯선 오류나 바로 설명하기 어려운 동작이 나타났습니다. 롤백하고 버그를 고친 뒤 다시 전환하면 또 문제가 나왔고, 팀도 이 방식을 지속하기 어렵다고 판단하고 있었습니다.

요청이 끝나도 남아 있던 Worker의 설정

7월 17일 MEL01(멜버른)에서 HTTP 500 알림이 울렸을 때는 원인부터 불분명했습니다. 최근 KV 배포가 없었고, 마침 데이터센터 세 곳이 운영에 복귀하던 시점이었습니다. 18일에는 VIE02(빈)와 요하네스버그에서도 같은 증상이 나타났고, Cloudflare는 13:51 UTC에 새 백엔드를 전역에서 껐습니다.

Worker의 환경 변수는 isolate 단위의 전역 상태입니다. 그런데 코드는 이를 요청 범위의 값으로 여겨 변경했고, 바뀐 값은 같은 위치의 같은 isolate를 지나는 모든 요청에 영향을 주었습니다. 데이터센터가 다시 운영에 들어와도 Worker는 이전의 잘못된 설정에 “얼어붙은” 채 정상 상태로 돌아오지 못했습니다.

원인을 보여 줄 로그도 부족했습니다. 요청 처리 초반의 미처리 예외가 실행을 끝내 버리는 데다, 비활성 데이터센터의 오류 보고마저 꺼 둔 상태였기 때문입니다. 과거 그곳에서 쏟아진 로그가 소음을 일으켜 서비스 상류에서 rate limit에 걸리자 취한 조치였지만, 이번에는 예외 자체를 파악할 기록까지 막았습니다.

복구 중에 다시 켜진 새 백엔드

18일의 장애 뒤 팀은 영향을 받을 계정 범위를 줄이려고 허용 목록 설정을 준비했습니다. 그런데 20일 19:12 UTC, Storage Gateway Worker 변경을 배포하던 중 스크립트의 설정 오류로 이전 설정이 적용되면서 새 백엔드가 다시 켜졌습니다. HTTP 500이 재발했고, 19:33 UTC에 다시 전역에서 꺼야 했습니다.

복구용 배포에도 오류가 있었습니다. 23:46 UTC에 팀이 배포를 수동으로 진행하다 형식이 잘못된 설정값을 넘겼고, 트래픽이 유효하지 않은 Workers 스크립트 구성으로 향했습니다. 한 자릿수 %의 트래픽이 블랙홀에 빠졌습니다. 10분 뒤인 23:56 UTC에 파이프라인을 롤백하자 오류율은 평소 수준으로 돌아왔습니다.

점진 배포는 이전 사고 뒤 배포 위험을 줄이려고 도입한 안전장치입니다. 하지만 대규모로 검증하지 않은 배포 코드의 버그가 장애를 더 오래, 더 넓게 만들었습니다. 20일 모든 배포와 잘못된 파이프라인을 되돌린 뒤에도 원인을 찾는 데는 3일이 더 걸렸습니다. 관측 공백과 상태 변경 문제는 찾아낸 뒤에는 빠르게 고쳤지만, 그때까지는 관측도 재현도 어려운 문제였습니다.

코드 리뷰라는 마지막 안전모

Cloudflare가 개선 방향을 설명하며 가져온 예는 건설 현장의 JSEA(작업 안전·환경 분석)입니다. 작업마다 위험과 이를 막을 수단을 검토하는 절차로, 통제 수단에는 보통 제거·대체·공학적 통제·행정적 통제·보호구라는 위계가 있습니다. 안전모 같은 보호구는 맨 마지막 수단입니다.

안전모가 있다고 안전을 보장할 수는 없습니다. 먼저 비계 바닥을 렌치 같은 큰 공구가 빠지지 않게 만들고, 공구를 작업자에게 묶어 떨어질 가능성을 줄여야 합니다. 보호구만을 대책으로 적어 놓은 위험은 충분히 통제한 것으로 인정하지 않습니다. 안전모가 필요해지기 전에 여러 겹의 방어를 마련하는 방식입니다.

소프트웨어에서 코드 리뷰는 이 안전모에 해당합니다. 유용하지만 버그나 검증하지 않은 코드의 배포를 막는 유일한 수단이어서는 안 됩니다. Cloudflare는 불필요한 변경을 줄이고 코드, 자동화, 배포 도구의 회복력을 높이는 일을 사람의 절차 개선보다 앞에 두었습니다. 린터와 더 견고한 테스트, 상세 지표가 코드 리뷰에만 의존하는 배포보다 안전하다는 판단입니다.

관측과 테스트부터 보강하는 Workers KV

KV 주 Worker의 해당 미처리 예외는 이미 수정했습니다. 내부 팀과 Workers 고객을 위한 예외 관측 도구는 개선 작업을 진행 중이며, 여기에 더 높은 우선순위를 둘 계획입니다. 요청량이 많은 서비스에서는 일반 로그가 지나치게 시끄럽고 문제를 특정하기에는 부족할 수 있기 때문입니다.

요청 처리 전반의 로깅과 샘플링도 개선 대상입니다. 특히 2xx가 아닌 응답을 낸 요청의 로그 부족이 이번 조사에 큰 어려움을 줬습니다. 오류율 알림 임계값도 검토하고 필요한 곳을 개선할 계획입니다. 전 세계 기준으로 1% 미만인 오류가 특정 고객이나 지역에 주는 피해를 놓치지 않으려는 조치입니다.

환경 변수 변경의 안전성을 높이는 작업에는 하위 호환을 고려해야 합니다. 테스트 커버리지도 확대해 어느 데이터센터에서 시작된 트래픽이든 시뮬레이션하도록 할 계획입니다. 이 기능이 있었다면 이번 문제를 더 빨리 재현하고 원인을 찾았을 것이라는 판단입니다.

릴리스의 변경 검토와 승인 기준은 더 엄격하게 적용할 예정입니다. 가능하면 한 번에 배포하는 변경 수를 줄이고, 새 인프라 의존성을 도입할 때는 설계와 테스트에 더 높은 기준을 적용하려 합니다. 점진 배포 도구 자체도 프로덕션의 기본 경로로 쓰기 전에 더 다듬어야 할 대상입니다. 이 도구는 장차 고객에게도 직접 공개할 계획입니다.

장애와 롤백의 시각 (UTC)
시각사건
2023-07-17 21:52MEL01(멜버른)에서 HTTP 500 알림 발생, 조사 시작. 데이터센터 세 곳의 복귀와 시점이 겹침
2023-07-18 00:09MEL01에서 KV 새 백엔드 비활성화
2023-07-18 05:42VIE02(빈), JNB 데이터센터(요하네스버그)의 500 알림 조사 시작
2023-07-18 13:51새 백엔드를 전역에서 비활성화
2023-07-20 19:12배포 스크립트 설정 오류로 새 백엔드가 의도치 않게 재활성화
2023-07-20 19:33500 오류 재발로 새 백엔드를 다시 전역 비활성화
2023-07-20 23:46잘못 정의된 파이프라인 설정이 점진 배포로 나가 일부 트래픽이 블랙홀로 빠짐
2023-07-20 23:56파이프라인 롤백, 오류율이 평소 수준으로 복귀 (약 10분간 한 자릿수 % 트래픽 손실)
영향 수치
항목값
KV 전체 트래픽 중 영향 비중 (추정)0.2~0.5%
일부 고객의 오류율KV 작업의 20%에 근접
영향 리전오세아니아, 유럽, 아프리카의 일부 트래픽
원인 데이터센터멜버른, 빈, 요하네스버그
장애 이후 원인 규명에 걸린 기간3일
마지막 수정 일자