본문으로 건너뛰기
Quicksilver V2의 디스크 부족을 풀어낸 계층형 캐시
목차

Quicksilver V2의 디스크 부족을 풀어낸 계층형 캐시 (2025-07)

원문 정보

절반으로 줄이고도 다시 부족해진 디스크

Cloudflare 네트워크로 들어오는 모든 요청은 설정 데이터베이스 Quicksilver를 조회합니다. 전 세계에서 초당 30억 개가 넘는 키를 제공하는 시스템입니다. 빠른 조회를 유지해야 하는 팀이 수년간 싸워 온 상대는 디스크 공간이었습니다.

모든 서버에 전체 데이터를 저장하던 V1은 단순하고 빨랐습니다. 하지만 데이터가 늘면 모든 서버의 디스크 사용량이 커졌고, 서버를 추가할 때마다 같은 데이터를 보관하는 비용도 늘었습니다. Quicksilver가 차지하는 공간만큼 콘텐츠 캐시의 자리는 줄었습니다. 데이터베이스 크기는 지난 1년 동안에도 50% 증가해 약 1.6 TB에 이르렀습니다.

이 글은 시리즈의 두 번째이자 마지막 편입니다. 앞선 편에서 다룬 V1.5는 디스크가 너무 빨리 차올라 충분히 확장 가능한 설계를 기다릴 여유가 없던 때의 중간 해법이었습니다. 서버마다 약 10개인 인스턴스 중 절반을 캐시만 가진 프록시로 바꾸고, 나머지는 전체 데이터를 보관하는 replica로 남겼습니다. 프록시가 캐시에서 찾지 못한 키는 replica에서 가져왔습니다. 서버별 디스크 사용량은 V1의 절반으로, 네트워크 전체 사용량은 최대 40% 줄었습니다.

처음의 균형은 오래가지 않았습니다. 키 공간을 소유한 각 팀이 사용 방식을 바꾸면서 어떤 인스턴스는 커지고, 사용을 최적화한 인스턴스는 오히려 작아졌습니다. 크기가 계속 달라지는 인스턴스를 절반씩 나누는 배치로는 균형을 유지하기 어려웠습니다.

캐시 크기 추정도 빗나갔습니다. 사흘 동안 접근한 키면 충분하다는 가정으로 키 공간의 약 20%를 예상했는데, 대부분의 인스턴스는 그 이하로도 적중률이 좋았지만 일부는 훨씬 높은 비율이 필요했습니다. 무엇보다 데이터 증가는 멈추지 않았습니다. 공간을 크게 줄인 뒤에도 약 2년 만에 다시 디스크가 부족해졌습니다.

거의 쓰이지 않는 키를 보관할 소수의 저장 서버

V2의 실마리는 거의 조회되지 않는 콜드 키에 있었습니다. 정리하지 않은 오래된 데이터도 있었고, 특정 지역이나 데이터 센터에서만 쓰는 키도 있었습니다. 한 번도 조회하지 않는 도메인 이름이나 업로드만 하고 실행하지 않은 스크립트처럼, 오랫동안 쓰이지 않거나 아예 쓰이지 않는 데이터도 포함됐습니다.

팀은 처음에 전체 데이터를 샤딩해 서버에 나누는 방식을 검토했습니다. 그러나 복잡성과 예외 상황이 늘어나는 데다, 요청한 데이터를 가까이 두는 데도 유리하지 않았습니다. 예를 들어 전체 키 공간을 4개 샤드로 나눠 서버마다 하나씩 맡기면, 각 서버가 자기 디스크에서 제공할 수 있는 요청 키는 25%입니다. 거의 쓰지 않는 콜드 키도 여전히 샤드 안에서 공간을 차지합니다.

캐시는 쓰이지 않는 키를 보관하지 않으면서 실제 요청에 맞춰 데이터를 가까이 둘 수 있습니다. 팀은 큰 디스크를 가진 소수의 저장 서버에만 전체 데이터를 남기고, 나머지 서버에는 캐시만 두기로 했습니다. V1.5에서 한 걸음 더 나아간 설계입니다. 캐싱 프록시와 데이터 센터 간 탐색 기능은 2021년부터 사용하며 검증한 상태였습니다.

새로 필요한 구성 요소는 릴레이였습니다. 모든 서버의 모든 인스턴스가 소수의 저장 서버에 직접 연결하면 연결 수가 지나치게 많아질 우려가 있었습니다. 데이터 센터마다 인스턴스별로 일부 서버를 릴레이로 선출해 replica 연결을 유지하게 했습니다. 프록시는 이 릴레이를 찾아 캐시 미스 요청을 보내고, 릴레이가 저장 서버로 중계합니다.

99.9% 적중률로도 부족했던 dnsv2

한 서버가 놓친 키는 이웃 서버도 곧 놓칠 가능성이 높았습니다. 같은 데이터 센터 안에서 이 패턴을 확인한 팀은, 릴레이가 해결한 캐시 미스를 다른 서버에도 미리 전달하도록 바꿨습니다. 릴레이가 key-value를 스트림으로 발행하면 모든 프록시가 이를 구독해 자기 캐시에 넣습니다.

이 방식이 반응형 프리페치입니다. 실제로 발생한 캐시 미스에 반응해 캐시를 채웁니다. 아직 요청하지 않은 키를 알고리즘으로 예측하는 예측형 프리페치도 여러 방식으로 시도했지만, 개선이 없어 중단했습니다.

반응형 프리페치만으로 적중률이 가장 낮던 인스턴스도 약 99.9%에 도달했습니다. 팀이 세운 목표였습니다. 그런데 배포 범위를 넓히자 이 수치로도 충분하지 않은 사용자가 나타났습니다. DNS 조회를 처리하는 dnsv2 인스턴스에서 꼬리 지연이 너무 높았습니다. 일부 DNS 요청은 내부에서 Quicksilver를 여러 번 조회하므로, 한 번의 조회에 더해진 지연이 거듭 누적됐습니다.

dnsv2는 캐시 적중률이 가장 낮은 인스턴스이기도 했습니다. 분석 결과 필요한 것은 더 긴 보존 기간이었습니다. 보존 기간은 마지막 접근 이후 key-value를 캐시에 남겨 두는 일수입니다. 더 오래 보관하면 적중률을 높일 수 있었지만, 그만큼 더 쓸 디스크가 없었습니다.

데이터 센터 전체의 공간을 쓰는 샤딩 캐시

해법은 V1.5를 운영하며 발견한 패턴에서 나왔습니다. 서버가 적은 작은 데이터 센터에서는 대체로 더 적은 캐시 공간으로도 성능이 좋았습니다. 큰 데이터 센터는 보통 더 많은 이용자의 다양한 요청을 처리하므로 캐시도 커져야 했습니다. 그런데 서버가 많다는 것은 데이터 센터 전체의 디스크 공간도 많다는 뜻입니다.

팀은 샤딩을 다시 도입했습니다. 이번에는 전체 데이터 대신 캐시를 나눴습니다. 각 서버가 로컬 캐시를 유지하면서 키 공간의 일부를 맡아 더 오래 보관하면, 서버들의 디스크를 데이터 센터 전체의 캐시로 쓸 수 있습니다.

요청한 키는 최근 접근한 데이터를 보관하는 서버별 로컬 캐시, Level 1에서 먼저 찾습니다. 여기에 없으면 한동안 조회하지 않았지만 사용 이력이 있는 키를 보관하는 샤딩 캐시, Level 2를 조회합니다. 두 캐시에서 모두 찾지 못하면 전체 데이터를 가진 저장 서버의 replica, Level 3으로 넘어갑니다. 로컬 캐시를 그대로 두었으므로 전체 데이터 샤딩에서 우려했던 데이터 지역성 문제도 피했습니다.

키를 나누는 방식은 범위를 기준으로 합니다. 키 해시의 범위를 1,024개 논리 샤드로 나누고, 이를 다시 범위별로 묶어 물리 샤드를 만듭니다. 서버 호스트명에도 같은 방식의 해시 범위 할당을 적용해 서버마다 물리 샤드 하나를 맡깁니다. 큰 키 공간에서 균일한 무작위 부분집합을 취하므로 샤드 간 균형도 유지됩니다.

물리 샤드 수를 2배로 늘려도 캐시를 다른 서버로 복사할 필요가 없습니다. 각 서버가 새로 맡는 범위가 이전 범위의 부분집합이 되기 때문입니다. 필요한 키는 이미 캐시에 있고, 담당 범위에서 빠진 키는 시간이 지나며 퇴출됩니다.

캐시를 채울 때도 기존 프리페치 스트림을 사용했습니다. 해결한 캐시 미스는 이미 데이터 센터의 모든 서버에 전달되고 있었습니다. 각 서버는 그중 자신이 맡은 물리 샤드의 키를 다른 키보다 오래 보관하면 됩니다.

Level 2를 추가하자 데이터 센터 안에서 처리하는 키의 비율이 크게 높아졌습니다. Level 1·2 통합 적중률은 가장 낮은 인스턴스에서도 99.99%를 넘었고, 나머지 인스턴스는 모두 99.999%를 초과했습니다.

과거 버전 조회를 맡은 replica

캐시 샤드가 모든 조회를 해결할 필요는 없습니다. 팀은 캐시 샤드에 과거 버전 조회 기능을 구현하지 않았습니다. 필요한 버전이 없으면 최근에 변경한 키의 여러 버전을 보관하는 저장 서버의 replica로 조회를 넘길 수 있기 때문입니다. Cloudflare는 서버 간 조회에서 이런 버전 처리가 필요한 이유를 앞선 별도 글에서 설명했습니다.

예를 들어 프록시의 데이터베이스 버전이 1000인데, 캐시 샤드의 key1이 버전 1002에서 기록됐다면 그 값은 너무 새롭습니다. 프록시가 읽어야 할 버전과 일치하지 않으므로 릴레이가 replica에서 일관된 과거 버전을 가져옵니다. 버전 994에서 기록된 key2라면 캐시 값을 사용할 수 있습니다.

이런 경우는 드뭅니다. 프록시와 캐시 샤드의 데이터베이스 버전은 대체로 매우 가깝고, 그 사이에 쓰인 키에서만 문제가 발생합니다. 이때 저장 서버로 조회를 넘겨도 캐시 적중률에는 눈에 띄는 영향이 없었습니다.

수십만 개의 데이터베이스를 옮긴 무중단 이전 작업

V1에서 V2로 옮기는 데는 수년이 걸렸습니다. 팀은 초당 수십억 건의 요청을 처리하는 동안 수십만 개의 가동 중인 데이터베이스를 중단 없이 이전했습니다. 많은 코드를 바꾸고 저장 방식을 크게 변경했지만, 고객은 그 전환을 의식할 필요가 없었습니다.

각 단계에서 배운 내용을 다음 변경에 반영했습니다. V1.5에서 사용한 프록시와 탐색 기능이 V2의 기반이 됐고, 프리페치로 배포한 데이터를 샤딩 캐시에서도 활용했습니다. 팀은 이 과정을 반복하면서 가능한 한 변경을 쉽게 되돌릴 수 있도록 했습니다.

규모와 캐시 설계를 뒷받침하는 수치
항목값
서비스 범위330개 도시, 125개 초과 국가
현재 응답 지연요청의 90%가 1 ms 미만, 99.9%가 7 ms 미만
데이터와 처리 규모50억 개 초과 key-value, 약 1.6 TB, 전 세계 초당 30억 개 초과 키 제공
최근 데이터 증가지난 1년 동안 데이터베이스 크기 50% 증가
V1.5 서버별 구성약 10개 인스턴스 중 절반은 프록시, 절반은 replica
V1.5 공간 절감서버별 V1 대비 절반, 네트워크 전체 최대 40% 절감
V1.5 캐시 추정의 조건사흘간 접근한 키를 충분한 캐시로 가정해 키 공간의 약 20%로 추정했으나, 일부 인스턴스는 훨씬 높은 비율 필요
기존 구성 요소 사용 이력캐싱 프록시와 데이터 센터 간 탐색 기능을 2021년부터 사용
반응형 프리페치 적용 결과최저 성능 인스턴스 적중률 약 99.9%, Level 1 적중률은 평균적으로 99.9% 이상
논리 샤드와 확장 방식키 해시 범위를 1,024개 논리 샤드로 분할, 샤딩 계수를 2배 단위로 확장 가능
전체 데이터 샤딩의 설명 예시4개 샤드 중 서버가 하나를 보관하면 로컬에서 제공할 수 있는 요청 키는 25%
버전 일관성 설명 예시프록시 버전 1000에서 버전 1002에 기록된 캐시 값은 사용 불가, 버전 994에 기록된 값은 사용 가능
Level 1·2 통합 적중률최저 성능 인스턴스 99.99% 초과, 나머지 인스턴스 99.999% 초과
마지막 수정 일자