목차
Quicksilver v2로 가는 길을 연 RocksDB 영속 캐시 (2025-07)
원문 정보
- 원문: Quicksilver v2: evolution of a globally distributed key-value store (Part 1)
- 매체 · 게시일: The Cloudflare Blog · 2025-07-10
- 저자: Anton Dort-Golts, Marten van de Sanden
- 원문 내용을 바탕으로 재구성한 요약입니다.
모든 데이터를 담아야 했던 leaf의 디스크
Quicksilver는 빠른 전역 복제와 낮은 조회 지연 시간을 위해 Cloudflare가 만든 key-value 저장소입니다. 설정 배포용으로 출발했지만 여러 제품의 기반 저장소로 성장했습니다. 앞선 글에서는 production 도입을 거쳐 전역 네트워크의 모든 머신으로 복제를 확대한 과정을 소개했습니다.
그렇게 자리 잡은 v1에서는 각 서버가 전체 데이터를 보관하고 비동기로 갱신했습니다. 한동안은 잘 작동했습니다. 하지만 데이터와 데이터 센터가 늘자 모든 것을 모든 곳에 저장하는 비용이 커졌습니다. 한 지역에서만 조회하는 데이터도 다른 지역의 디스크를 차지했습니다.
부담이 더 급한 곳은 사용자 트래픽을 처리하는 leaf였습니다. Cloudflare의 복제 트리는 제어 평면의 대규모 데이터 센터에 있는 root에서 시작합니다. intermediate는 root나 다른 intermediate에서 데이터를 복제하고, leaf는 intermediate에서 갱신을 받습니다. 노드마다 디스크 용량은 달랐습니다. root에는 당장 공간이 부족할 우려가 없었지만, leaf에는 분명한 제약이었습니다.
전체 키 공간보다 작았던 작업 집합
전체 복제본을 캐시로 바꾸면 얼마나 줄일 수 있을지부터 확인해야 했습니다. 성능을 유지하려고 결국 모든 데이터를 캐시에 넣어야 한다면 이 설계는 막다른 길입니다. 전역 네트워크에서 접근한 키를 ClickHouse로 모아 분석하자, 실제 사용하는 키 공간은 대형 데이터 센터에서 약 20%, 소형에서는 약 1%에 그쳤습니다.
이 결과는 캐시를 도입할 근거가 됐습니다. 전체 데이터를 보관하는 replica와 자주 쓰는 데이터를 영속 캐시에 보관하는 proxy로 역할을 나누고, proxy의 캐시 미스는 replica가 처리하도록 했습니다. v2로 향하는 시리즈의 1편에서 소개하는 중간 단계, Quicksilver v1.5입니다.
배치는 단순하게 시작했습니다. 각 서버에는 DNS·CDN·WAF 등 서비스나 제품별로 독립된 Quicksilver 인스턴스가 10개 있습니다. 데이터 센터 규모가 수백 대에서 랙 하나의 몇 대까지 달랐으므로, 각 데이터 센터에 replica를 확보하도록 서버마다 replica 5개와 proxy 5개를 배치했습니다.
이 배치의 디스크 절약 기대치는 이론상 최대 50%였습니다. 병목을 완전히 없애지는 못해도, 여러 머신이 조회를 나누어 처리하는 설계를 운영에서 검증하고 이후 수평 확장으로 이어갈 기반을 마련할 수 있었습니다.
부재 조회 때문에 남겨 둔 모든 키
작업 집합이 작다고 해서 자주 찾는 키만 남기면 되는 것은 아니었습니다. Quicksilver에서는 존재하지 않는 키를 찾는 요청이 존재하는 키를 찾는 요청보다 약 10배 많았습니다. 이 요청이 매번 proxy의 캐시 미스로 이어지면 replica와 데이터 센터 네트워크에 부하가 몰리고 지연 시간도 크게 늘어납니다.
v1에서는 오히려 부재 조회가 가장 빨랐습니다. RocksDB의 메모리 Bloom filter가 키의 부재를 판별해, 약 99%를 디스크 접근 없이 처리했기 때문입니다. 새 설계에서도 이 속도를 지켜야 했습니다.
부재 결과를 캐시하는 방법은 대상부터 너무 컸습니다. 일부 인스턴스에서는 부재 조회 대상 키 공간이 실제 키 공간의 약 1,000배에 달했습니다. 결과를 캐시에 저장하더라도 Bloom filter만큼 높은 비율로 메모리에서 처리하지 못해 디스크 접근이 늘어난다는 문제도 있었습니다.
전체 키 공간을 압축해 표현할 Cuckoo filter도 검토했습니다. 그러나 키 50억 개에서 Bloom filter와 비슷한 오탐률을 얻으려면 약 18 GB가 필요했습니다. Bloom filter는 약 6 GB였습니다. 빠르게 조회하려면 그 공간을 메모리에도 확보해야 했습니다.
결국 proxy에 모든 키를 남겼습니다. 값은 캐시 대상만 보관하고, 캐시를 회수할 때도 값만 지웁니다. 키만 저장한 크기는 전체 데이터의 약 1/11이었습니다. 확률적 자료구조보다 공간은 더 쓰지만 기존 Bloom filter의 빠른 부재 조회를 유지하고, 분산 환경의 범위 조회를 최적화할 여지도 얻었습니다. 이 선택은 향후 다시 검토할 가능성을 열어 두었습니다.
재시작 뒤에도 값을 보존하는 RocksDB
캐시라고 해서 메모리에 둘 수는 없었습니다. 수십억 개의 키 중 일부만 담아도 메모리 사용량을 감당하기 어려웠습니다. 재시작 후 캐시가 비는 cold cache 문제로 성능이 떨어져서도 안 됐습니다. 그래서 전체 데이터를 저장하던 RocksDB에 캐시도 보관했습니다. proxy는 캐시 미스가 나면 내부 분산 key-value 프로토콜로 replica에서 값을 가져와 로컬에 저장합니다.
공간 회수는 RocksDB compaction filter가 맡습니다. 디스크 파일을 정리하는 백그라운드 작업에서 각 키·값을 검사하면서 오래 쓰지 않은 캐시 데이터를 제거합니다. 접근 기록은 메모리의 LRU 유사 자료구조로 추적하고, 필터가 이를 참고해 키 메타데이터의 마지막 접근 시점을 갱신합니다. 가용 디스크 공간이 soft limit 아래로 내려가면 회수를 시작합니다.
회수가 항상 디스크 증가 속도를 따라잡는 것은 아닙니다. 남은 공간이 hard limit 아래로 떨어지면 새 항목을 캐시에 추가하는 일을 일시 중단합니다. 성능은 떨어집니다. 그래도 요청이 급증했을 때 디스크를 가득 채우지 않고 proxy를 안정적으로 유지하기 위한 안전장치입니다.
proxy의 복제 시점에 맞춘 응답
공간을 줄이면서도 바꿀 수 없는 동작이 있었습니다. Quicksilver는 처음부터 sequential consistency를 제공했습니다. A를 쓴 뒤 B를 썼다면 B는 보이는데 A는 보이지 않는 조회를 허용하지 않습니다. 이미 다른 팀들이 기존 속성 하나하나에 의존하고 있어, 동작을 바꾸면 기능이 깨지고 버그가 생길 상황이었습니다.
비동기 복제는 이 보장을 유지하기 어렵게 만들었습니다. 세계 곳곳의 머신은 서로 다른 속도로 복제하며, 느린 서버 하나가 전체 트리를 지연시키지 않도록 기다리지 않습니다. 이제 조회까지 여러 replica에 나누면 어느 시점의 값을 반환해야 할지가 문제가 됩니다.
root에 A부터 K까지 차례로 썼다고 가정하겠습니다. 복제 인덱스가 5인 proxy는 A~E를 받았고, replica_1은 인덱스 2에서 A와 B만, replica_2는 인덱스 9에서 A~I를 받은 상태입니다. 여기서는 디스크 부족 등으로 조회 결과를 캐시하지 못한다고 가정합니다. 클라이언트가 E~I를 연달아 두 번 요청할 때, 첫 요청이 replica_2에 가면 모두 찾지만 다음 요청이 replica_1에 가면 하나도 찾지 못합니다.
어느 쪽도 맞는 응답이 아닙니다. v1에서 인덱스 5인 서버라면 두 번 모두 E만 반환하고, 나머지 키는 아직 없다고 응답했을 것입니다. 앞선 replica도, 뒤처진 replica도 이 동작을 깨뜨립니다.
앞선 replica가 보관하는 MVCC 이력
앞선 replica에는 과거 시점의 요청이 도착합니다. 서버 사이에 잠금을 걸어 시점을 맞추면 복제 트리에 지연이 생깁니다. 대신 replica가 최근 변경 이력을 보관해 여러 시점의 값을 읽는 MVCC를 도입했습니다.
최신 값은 RocksDB의 기본 column family에 두고, 덮어쓰기 전의 값은 복제 인덱스와 함께 별도 MVCC column family에 남깁니다. 조회할 때는 기본 column family부터 확인합니다. 최신 값의 쓰기 시점이 proxy의 요청 인덱스보다 늦으면 이력을 탐색하고, 해당 시점에 유효한 값이 없으면 키가 없다고 응답합니다. 앞선 예에서 E는 쓰기 인덱스가 5이므로 이력을 읽지 않고 바로 반환할 수 있습니다.
삭제했다가 다시 쓴 키에는 tombstone을 남겨 키가 없던 기간도 기록했습니다. 이력을 무한히 보관할 이유는 없었습니다. 실제로는 2시간이면 머신 간 복제 진도 차이를 감당하고도 충분했고, 추가 디스크 사용량은 약 500 MB였습니다. 그보다 오래된 이력은 compaction filter로 정리합니다.
최근 갱신을 지키는 sliding window
proxy가 앞서면 replica는 아직 받지 못한 미래 시점의 값을 요구받습니다. 초기 구현에서는 오류를 반환했습니다. 드문 상황일 것으로 예상했지만, 일부 데이터 센터에 점진 배포한 뒤 확인한 메트릭은 이 방식으로는 안 된다는 사실을 보여줬습니다.
오래전에 쓴 키는 문제가 아니었습니다. replica도 이미 받은 데이터입니다. 차이를 만드는 것은 proxy에는 도착했지만 replica에는 아직 없는 최근 갱신이었습니다. 이 갱신을 proxy가 모두 보관하면 replica에 물을 이유가 없어집니다.
이렇게 도입한 sliding window 안의 데이터는 일반 캐시와 달리 구간 밖으로 나가기 전까지 회수하지 않습니다. 새 복제 갱신이 도착하면 상한과 하한 포인터를 함께 이동해 고정 크기의 구간을 유지합니다. 포인터는 메모리에 두고, 재시작 후에는 현재 데이터베이스 인덱스와 설정된 구간 크기로 복원합니다. compaction filter는 이 경계를 참고해 하한보다 오래된 데이터를 회수할 수 있습니다.
가까운 데이터 센터를 찾는 Network Oracle
조회할 replica를 찾는 일도 로컬 데이터 센터 안에서는 어렵지 않았습니다. 각 데이터 센터의 consul에 머신이 서비스로 등록되고 내부 DNS와 연동되므로, DNS 질의 한 번으로 replica 목록을 얻습니다. 하지만 데이터 센터마다 규모가 다르고 서버가 계속 추가·제거되기 때문에, 안정적으로 동작하려면 가까운 다른 데이터 센터의 replica도 찾아야 했습니다.
복제 계층에는 이미 이 문제를 푼 Network Oracle이 있었습니다. 과거의 정적 복제 설정은 운영이 번거롭고 네트워크 변화에 적응하지 못했습니다. 이를 대신한 Network Oracle은 intermediate로 구성된 gossip 기반 오버레이입니다. 노드들이 상태와 메타정보를 교환하고 피어 간 왕복 시간인 RTT를 측정해, 가까운 활성 노드로 복제 트리를 구성합니다. 복제는 이제 변화와 장애에 스스로 적응하는 시스템이 됐습니다.
replica 탐색에도 이를 재사용했습니다. 모든 Quicksilver 머신을 오버레이에 넣으면 통신량과 메시지 전달 시간이 늘어나므로, leaf는 intermediate가 제공하는 근접 정보를 사용합니다. 가까운 데이터 센터를 먼저 찾고, 그곳에 DNS 질의를 보내 구체적인 replica를 확인하는 순서입니다.
proxy는 활성 replica의 연결 풀에 요청을 분산합니다. 연결 상태와 응답 오류도 추적해 문제가 의심되는 replica의 우선순위를 낮추거나 일시적으로 격리합니다. 새 탐색 체계를 도입한 뒤의 그래프에서는 replica 요청 오류가 거의 사라졌습니다.
차이가 거의 없었던 99.9백분위 지연 시간
출시된 v1.5는 상당한 디스크 공간을 절약했습니다. 조회 속도도 확인했습니다. 24시간 동안 요청 지연 시간의 99.9백분위를 비교한 그래프에서 proxy와 replica의 차이는 거의 없었습니다.
때로는 proxy가 조금 더 빨랐습니다. 저자들은 디스크에 저장한 데이터가 더 작기 때문일 가능성을 제시했습니다. 확장성과 효율성을 높이는 작업은 여기서 끝나지 않으며, 다음 글에서는 후속 단계에서 겪은 과제를 다룰 예정입니다.
배치와 조회 동작을 검증한 수치
| 항목 | 값 |
|---|---|
| 서버당 Quicksilver 인스턴스 | 10개, DNS·CDN·WAF 등 서비스나 제품별 독립 데이터베이스 |
| 초기 역할 배치 | 서버당 replica 5개와 proxy 5개 |
| 초기 배치의 디스크 절약 기대치 | 이론상 최대 50%, 실측 절감률로 제시한 값은 아님 |
| 접근 키 분석 | 대형 데이터 센터 약 20%, 소형 데이터 센터 약 1%의 키 공간 사용 |
| MVCC 이력 보존 | 2시간, 실제 운영에서 필요한 복제 진도 차이를 감당하기에 충분한 수준 |
| MVCC 추가 디스크 사용량 | 약 500 MB |
| 부재 조회 빈도 | 존재하는 키 조회의 약 10배 |
| v1 부재 조회 처리 | 약 99%를 메모리 Bloom filter만으로 처리 |
| 부재 조회 대상 키 공간 | 일부 인스턴스에서 실제 키 공간의 약 1,000배 |
| 필터 메모리 비교 | 키 50억 개와 비슷한 오탐률 조건에서 Cuckoo filter 약 18 GB, Bloom filter 약 6 GB |
| 키만 저장한 크기 | 전체 데이터 크기의 약 1/11 |
| 지연 시간 비교 조건 | 24시간 동안 요청 지연 시간의 99.9백분위 비교, proxy와 replica의 차이가 거의 없음 |