목차
288바이트에 맞춰 다시 설계한 Workers KV 저장소 (2025-08)
원문 정보
- 원문: Redesigning Workers KV for increased availability and faster performance
- 매체 · 게시일: The Cloudflare Blog · 2025-08-08
- 저자: Alex Robinson, Tyson Trautmann
- 시리즈: 2025년 6월 12일 서비스 장애 포스트모템의 후속 글입니다. 장애 자체는 같은 사이트의 6월 12일 포스트모템에 정리했습니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
임시 구성에 닥친 6월 12일 장애
2025년 6월 12일, Workers KV가 의존하던 서드파티 클라우드 제공자에 전 세계 장애가 발생했습니다. 두 시간 넘게 KV 요청 상당수가 실패했습니다. 영향은 KV 밖으로 번졌습니다. 설정과 인증, 애셋 전달에 KV를 쓰던 서비스들이 영향을 받으면서 Access의 모든 ID 기반 로그인이 실패했고, Gateway 프록시는 사용할 수 없었으며 WARP 클라이언트도 연결하지 못했습니다.
출발점은 이중화였습니다. Workers KV는 지역 스토리지에 데이터를 저장하고 Cloudflare 네트워크 전역에 캐시해, 많은 읽기 요청을 낮은 지연으로 처리하는 키-값 저장소입니다. 2018년 9월 출시 당시에는 Durable Objects나 R2가 없었으므로 서드파티 오브젝트 스토리지 두 곳을 active-active로 사용했습니다. 한 제공자가 느려지거나 오류를 내거나 아예 응답하지 않아도 다른 쪽에서 요청을 처리하는 구성이었습니다.
규모가 커지면서 이 구성을 유지하는 부담도 늘었습니다. 제공자마다 한도와 장애 양상, API, 운영 절차가 달랐고, 독립적인 저장소 사이의 값을 맞추는 장치가 있어도 사용자가 요구하는 수준보다 일관성 예외가 잦았습니다. KV의 IOPS가 로컬 캐시의 쓰기 한도를 넘어서자 캐싱 방식도 바꿔야 했습니다. 원본 저장소에서 가져온 데이터를 캐시하는 방식에 의존하면서, 작은 규모에서는 보이지 않던 일관성 문제까지 드러났습니다.
Cloudflare는 2025년 초에 복잡도를 줄이려고 단일 제공자로 전환했습니다. 위험을 모른 채 내린 결정은 아니었습니다. 자체 스토리지를 만드는 동안 운영 부담을 줄이는 편이 낫다고 판단한 임시 구성이었고, 6월 12일 장애는 그 기간에 발생했습니다.
장애 뒤에는 독립적으로 모든 요청을 감당할 백엔드를 적어도 하나 더 확보해야 했습니다. 예전에 쓰던 제공자를 다시 켜는 일부터 간단하지 않았습니다. 이중 백엔드 운영에 필요한 인프라가 이미 사라졌고 코드도 그동안 낡았습니다. 해당 제공자의 높은 오류율과 낮은 요청 처리량 한도 역시 다시 의존하기를 망설이게 했습니다. 새 백엔드는 Cloudflare가 직접 소유하고 운영하기로 했습니다.
288바이트에 더 잘 맞는 데이터베이스
자체 스토리지 후보로는 R2가 있었습니다. R2 위에서 동작하는 Workers KV 비공개 베타도 이미 운영하고 있었습니다. 그런데 이 경험은 KV에 필요한 저장소가 일반적인 오브젝트 스토리지와 얼마나 다른지 보여 줬습니다. 수천억 개 객체의 크기 중앙값은 고작 288바이트였습니다.
작은 값 하나에 드는 부가 비용이 누적되는 규모입니다. 1KB 미만 객체가 대부분인 워크로드에서는 데이터베이스가 전통적인 오브젝트 스토리지보다 효율적이고 비용도 적게 듭니다. R2에서도 작은 객체를 메타데이터와 함께 저장해 추가 조회 단계를 없애는 최적화를 진행 중이었지만, 당장 필요한 해법으로는 데이터베이스가 더 유망했습니다.
처리해야 할 양은 컸습니다. 수천억 개의 키-값 쌍과 페타바이트 단위 데이터를 저장하면서 초당 수백만 건의 GET, 정상 상태에서 초당 수만 건의 PUT/DELETE, 초당 수십 기가비트의 처리량을 감당해야 했습니다. 높은 가용성과 낮은 한 자릿수 밀리초의 내부 지연도 요구 조건이었습니다.
Cloudflare는 R2와 Durable Objects가 내부에서 쓰는 분산 데이터베이스를 선택했습니다. 이미 프로덕션에서 운영하던 시스템입니다. 사내에 전문성과 배포·운영 자동화가 있었고, 대규모 환경에서의 신뢰성과 성능도 알고 있었습니다. 작은 객체에 맞는 저장 방식을 택하면서 기존 운영 경험까지 사용할 수 있었습니다.
SGW의 HTTP 요청을 받는 KVSP
데이터베이스를 골랐다고 연결 문제가 끝나지는 않았습니다. KV 요청을 받는 Storage Gateway Worker(SGW)는 Cloudflare Workers에서 실행되지만, 데이터베이스 클러스터는 코어 데이터센터에 있었습니다. 데이터베이스가 주로 쓰는 지속적인 TCP 연결과 바이너리 프로토콜은 Cloudflare 글로벌 네트워크에서 효율적으로 쓰던 HTTP 통신 방식과 달랐습니다.
그 사이에 KV Storage Proxy(KVSP)를 만들었습니다. SGW에는 HTTP 인터페이스를 제공하고, 데이터베이스 연결과 인증, 샤드 라우팅은 KVSP가 처리합니다. SGW가 데이터베이스별 연결 방식을 알지 않아도 되는 경계입니다.
데이터는 여러 클러스터에 나누고 각 클러스터에 3중 복제를 적용했습니다. 샤드 안에서는 강한 일관성을 유지하면서 용량을 수평으로 늘리는 방식입니다. 거대한 클러스터 하나를 택하지 않은 이유도 있었습니다. 클러스터가 불안정해졌을 때 피해 범위를 줄이고, KV가 커질수록 단일 클러스터의 확장 한계에 가까워지는 일을 피하려는 선택이었습니다.
KVSP는 일관된 해싱으로 네임스페이스의 데이터를 여러 클러스터에 분산합니다. 인기 있는 네임스페이스가 한 클러스터를 압도해 다른 사용자의 성능까지 떨어뜨리는 일을 막고, 용량 제약도 한곳에 집중되지 않게 했습니다.
큰 값에는 별도 경로가 필요했습니다. 분산 데이터베이스는 KV 트래픽의 대부분을 차지하는 작은 객체에 잘 맞지만, 일부 사용자가 저장하는 최대 25MiB의 값에는 최적이 아니었습니다. KVSP가 큰 객체를 자동으로 R2로 보내도록 확장한 이유입니다. SGW는 객체 크기와 무관하게 같은 HTTP API를 사용하고, 저장소 선택은 KVSP가 맡습니다.
빠른 응답 뒤에서 값을 맞추는 장치
자체 백엔드를 추가하면서 이전의 이중화 기능도 복구했습니다. 단일 제공자를 쓰는 동안 바뀐 KV 구현에 맞게 수정한 뒤, 쓰기 요청을 양쪽 백엔드로 보내 먼저 저장을 확인한 쪽의 응답으로 클라이언트에 성공을 알리도록 했습니다. 느린 쪽의 완료까지 기다리지 않는 방식입니다.
한쪽만 쓰기에 성공하면 두 저장소의 값이 달라질 수 있습니다. KV는 쓰기와 읽기에서 발견한 불일치를 백그라운드 동기화로 보내고, 그 과정에서 놓친 키는 별도로 훑습니다.
- 쓰기 실패 감지: 한쪽에서 실패한 쓰기를 조정 시스템에 전달하고, 실패한 키의 중복을 제거한 뒤 동기화
- 읽기 불일치 감지: 두 백엔드의 응답이 다르면 같은 동기화 과정 시작
- 백그라운드 크롤러: 두 저장소를 계속 스캔해 놓친 불일치를 수정하고, 불일치 발생률을 파악할 데이터 수집
어느 값을 남길지는 버전으로 결정합니다. KV는 쓸 때마다 고정밀 타임스탬프와 임의 논스로 된 버전을 값에 붙이고, 두 백엔드를 비교해 새 값을 오래된 쪽에 복사합니다. 복사 직전에도 대상의 타임스탬프가 더 오래됐는지 조건부 쓰기로 확인합니다. 가까운 시각의 쓰기가 서로 다른 백엔드에서 성공했을 때, 동기화가 더 새로운 값을 덮어쓰지 않게 하는 장치입니다.
시계 오차의 가능성은 남습니다. 타임스탬프 차이가 밀리초 이내라면 이론적으로 순서를 잘못 판단할 수 있습니다. Cloudflare Time Services가 유지하는 시계 오차 범위와 일반적인 쓰기 지연을 고려하면, 이런 충돌은 거의 같은 시각에 겹쳐 발생한 쓰기에서만 생길 수 있습니다.
삭제도 버전을 남겨야 합니다. 한쪽에서만 키를 지우면 동기화 과정이 이를 누락된 데이터로 보고 다른 쪽의 값을 다시 복사할 수 있기 때문입니다. KV는 실제 값 대신 더 새로운 타임스탬프를 가진 삭제 표시인 툼스톤을 기록합니다. 양쪽에 툼스톤이 생긴 뒤에야 키를 저장소에서 제거합니다.
이 장치들이 KV 전체의 강한 일관성을 보장하지는 않습니다. KV는 CAP에서 일관성보다 가용성을 택하는 AP이며, 네트워크 분할이 없을 때도 일관성보다 지연을 우선하는 PACELC의 PA/EL에 해당합니다. 대부분의 불일치는 쓰기·읽기에 반응하는 동기화로 수 초 안에 해소됩니다. 크롤러는 스캔을 계속하며 이 과정에서 빠진 예외도 대체로 찾아 고칩니다.
새 구현에서는 불일치가 생기는 빈도와 발견하는 방식이 모두 개선됐습니다. KVSP의 정상 상태 오류율이 이전 서드파티 제공자보다 훨씬 낮아, 값이 어긋나는 원인인 쓰기 실패가 줄었습니다. 읽기는 이제 항상 양쪽 백엔드에 요청해 먼저 도착한 응답을 사용합니다.
과거에는 SGW가 초기에 양쪽 응답 속도를 비교한 뒤, 더 빠른 제공자로만 읽기를 보냈습니다. 그 제공자가 실패하거나 비정상적으로 느려질 때만 다른 쪽을 사용했습니다. 비용과 읽기 지연에는 유리했지만, 계속 한쪽 값만 읽는 동안에는 두 백엔드의 불일치가 발견되지 않은 채 남을 수 있었습니다. 모든 읽기를 양쪽으로 보내면 이 사각지대가 줄어듭니다.
active-active 전환을 멈춘 오래된 값
배포는 쓰기부터 시작했습니다. SGW가 새 Cloudflare 백엔드에 백그라운드로 쓰도록 해 읽기 트래픽에 영향을 주지 않고 실제 부하에서 성능과 오류율을 확인했습니다. 이어서 서드파티에 있던 기존 데이터를 KVSP를 거쳐 복사했습니다. 이 단계에서 또 장애가 나더라도 몇 분 안에 모든 작업을 자체 백엔드로 수동 페일오버할 수 있게 됐습니다. 6월 장애를 일으킨 단일 장애점에서 벗어난 시점입니다.
active-active는 내부 서비스의 네임스페이스부터 켰습니다. 모니터링이 충분하고 워크로드도 잘 아는 대상이었습니다. 트래픽을 천천히 늘리면서 양쪽 응답을 비교했습니다. SGW는 사용자에게 먼저 응답한 뒤에도 늦게 도착한 백엔드 응답을 확인할 수 있어, 사용자 지연을 늘리지 않고 값의 차이를 검사했습니다.
여기서 전환이 잠시 멈췄습니다. 같은 Cloudflare 접속 거점인 PoP에서 값을 쓴 직후 읽었는데, 방금 쓴 값 대신 오래된 값이 돌아오는 문제가 발견됐습니다. 단일 제공자 구성에서는 유지되던 read-your-own-write(RYOW), 즉 자신이 쓴 값을 이어지는 읽기에서 확인하는 동작이 깨진 것입니다. 팀은 active-active 전환을 잠시 되돌렸습니다.
KV는 설계상 최종 일관성을 따릅니다. 캐시된 값이 만료되며 변경이 전 세계에 전파되기까지 최대 60초가 걸립니다. 그렇더라도 같은 PoP 안의 RYOW는 일부 고객이 이미 기대하고 사용하던 동작이었습니다. 문서화된 보장은 아니었지만, 전환 과정에서 사라져도 되는 동작으로 볼 수는 없었습니다.
과거의 이중 제공자 구성은 PUT을 로컬 캐시에 직접 써서 이 동작을 제공했습니다. 앞서 KV의 IOPS가 캐시 인프라의 한도를 넘어섰기 때문에 이제 그 방식으로 돌아갈 수 없었습니다. 캐시를 채우고 무효화하는 방법을 새로 설계해야 했습니다.
검증에는 일관성 예외를 최대한 자주 일으키는 테스트를 사용했습니다. 세계 몇 곳에서 소수의 키에 읽기와 쓰기를 빠르게 섞어 보내고, 같은 PoP에서 쓰기 직후 오래된 값을 읽는 비율을 측정했습니다. 이 테스트로 새 캐시 처리 방식을 설계하고 검증한 결과, 읽기 성능을 유지하면서 고객이 기대하던 RYOW 동작을 복구했습니다.
KVSP가 줄인 읽기 지연
일관성 문제를 수정한 뒤 내부와 외부 고객의 네임스페이스로 active-active를 확대했습니다. 가용성을 높이려고 시작한 작업은 읽기 지연도 크게 줄였습니다. 새 백엔드가 자리한 유럽에서 효과가 특히 컸지만, 가까운 거리만으로 설명되는 차이는 아니었습니다.
KVSP 읽기의 내부 p99 지연은 5ms 미만이었습니다. 비교 대상은 가장 가까운 위치에서 서드파티 오브젝트 스토리지로 보내는 캐시 미스 읽기입니다. 전송 시간을 보정해도 보통 p50은 약 80ms, p99는 약 200ms였습니다. 원문에 함께 제시된 그래프의 외부 제공자 측 관측값에는 추가 전송 시간 5~10ms가 포함돼 있습니다. 내부 저장소 지연과 전송 시간을 구분해서 읽어야 하는 비교입니다.
작은 객체가 대부분인 KV의 접근 패턴에는 데이터베이스 기반 저장소가 잘 맞았습니다. 줄어든 지연은 KV에 의존하는 Cloudflare 내부 서비스의 응답 시간에도 반영됐습니다.
현재는 모든 데이터를 자체 인프라에 저장하고, 이중화용 서드파티 백엔드와 함께 자체 인프라에서 모든 요청을 처리합니다. KVSP를 더 많은 거점으로 넓히는 작업도 진행 중입니다. 쓰기 뒤 백엔드 사이의 값과 캐시가 일치하기까지 걸리는 시간을 더 줄이는 일도 남아 있습니다. 최종 목표는 이중화용으로 남겨 둔 서드파티 스토리지 의존까지 완전히 없애는 것입니다.
규모와 지연 수치
| 항목 | 값 |
|---|---|
| KV 최초 출시 | 2018년 9월 |
| 목표 규모 | 키-값 쌍 수천억 개, 데이터 페타바이트급, 초당 GET 수백만 건, 정상 상태 초당 PUT/DELETE 수만 건, 처리량 초당 수십 Gbps |
| 객체 크기 중앙값 | 288바이트 |
| 데이터베이스 저장 대상 vs R2 저장 대상 | 작은 객체는 데이터베이스, 최대 25MiB의 큰 값은 R2 |
| 클러스터 복제 | 클러스터당 3중 복제 |
| 변경 전파 시간(최종 일관성) | 최대 60초 |
| KVSP 읽기 내부 p99 지연 | 5ms 미만 |
| 서드파티 오브젝트 스토리지 캐시 미스 읽기(전송 시간 보정) | p50 약 80ms, p99 약 200ms |
| 비교 시 전송 시간 | 5~10ms 추가 |