목차
Docstore의 읽기 확장을 바꾼 통합 캐시 CacheFront (2024-02)
원문 정보
- 원문: How Uber Serves Over 40 Million Reads Per Second from Online Storage Using an Integrated Cache
- 매체 · 게시일: Uber Engineering Blog · 2024-02-15
- 저자: Preetham Narayanareddy(Staff Software Engineer, Core Storage), Eli Pozniansky(Sr Staff Engineer, Core Storage, CacheFront·Flux 테크 리드), Zurab Kutsia(Staff Engineer, TLM, Core Storage), Afshin Salek(Staff Engineer, Core Storage, Redis 팀 리드), Piyush Patel(Sr. Engineering Manager, Core Storage Platform)
- 원문 내용을 바탕으로 재구성한 요약입니다.
MySQL 증설로 풀기 어려운 읽기 부하
시작은 유난히 읽기가 많은 사용 사례 하나였습니다. 기존 어느 사용자보다 훨씬 높은 읽기 처리량을 요구했지만, NVMe SSD를 쓰는 Docstore는 기술적으로 그 요청을 감당할 수 있었습니다. 문제는 비용이었습니다. 디스크 기반 저장소를 그만큼 늘리려면 지나치게 많은 비용을 들여야 했고, 확장과 운영 부담도 컸습니다.
Docstore는 우버가 MySQL 위에 만든 분산 데이터베이스입니다. 수십 PB의 데이터를 저장하고 초당 수천만 요청을 처리하는데, 2020년 도입 이후 사용자와 요청량, 데이터 규모가 계속 늘었습니다. 마이크로서비스의 호출 그래프가 복잡해질수록 애플리케이션은 더 낮은 지연과 높은 처리량을 요구하면서 데이터베이스에 더 큰 부하를 보냈습니다.
기존 확장 방식에는 한계가 있었습니다. 데이터 모델과 쿼리를 아무리 다듬어도 디스크에서 데이터를 가져오는 시간을 끝없이 줄일 수는 없고, 수직 확장은 결국 데이터베이스 엔진 자체의 병목에 부딪힙니다. 읽기가 쓰기보다 몇 자릿수 많은 경우도 흔합니다. 이 불균형을 MySQL 노드가 감당하다 보면 지연이 늘어납니다.
파티션을 늘려 샤드를 나누는 수평 확장도 간단하지 않았습니다. 서비스를 멈추지 않고 내구성과 복원력을 지키며 데이터를 나눠야 하므로 작업이 복잡하고 오래 걸립니다. 그렇게 나눠도 핫 키·핫 샤드·핫 파티션 문제까지 완전히 풀리지는 않습니다. 리더 하나와 팔로워 둘을 두 리전에 유지하는 배치에서는 상태 있는 노드의 비용도 6배로 커집니다.
캐시는 이미 쓰고 있었습니다. 우버가 제공하는 Redis에 캐시를 마련하고, DB와 캐시에 함께 쓴 뒤 읽기는 캐시에서 처리하는 방식이 흔했습니다. 하지만 팀마다 Redis를 준비하고 운영해야 했으며, 무효화 로직도 각 마이크로서비스에 흩어져 있었습니다. 리전 장애로 트래픽을 옮길 때는 캐시 복제를 미리 유지하거나, 옮긴 곳의 캐시가 데워질 때까지 높은 지연을 견뎌야 했습니다. 캐싱이 본업도 아닌 기능 팀들이 이 일을 반복하고 있었습니다.
CacheFront를 통합한 쿼리 엔진
우버는 캐시를 Docstore 안으로 가져와 CacheFront를 만들었습니다. 기존 Docstore 클라이언트를 그대로 쓰되, Redis 운영과 온콜은 Docstore 팀이 맡는 방식입니다. 애플리케이션마다 캐시 코드를 작성할 일이 줄고, 나중에 캐싱 기술을 교체하거나 기능을 추가할 때도 클라이언트를 바꾸지 않을 수 있습니다.
캐시를 통합한 곳은 쿼리 엔진입니다. Docstore는 상태 없는 쿼리 엔진, 상태를 가진 스토리지 엔진, 컨트롤 플레인으로 나뉩니다. 쿼리 엔진은 요청 파싱과 검증, 인증·인가부터 쿼리 계획, 라우팅, 샤딩, 스키마 관리와 노드 상태 감시까지 맡습니다. 스토리지 엔진은 NVMe SSD 위의 MySQL 노드들로 데이터를 저장하며 Raft 합의와 복제, 트랜잭션, 동시성 제어와 부하 관리를 담당합니다.
읽기와 쓰기를 이미 처리하던 쿼리 엔진에 Redis 인터페이스와 캐시 무효화 기능을 넣으면, 캐시를 디스크 저장소와 독립적으로 확장할 수 있습니다. 값싼 호스트로 읽기를 받아 데이터베이스 증설을 줄이려는 설계였습니다. P50·P99 지연을 낮추고 마이크로버스트에 따른 지연 스파이크를 안정시키는 것도 목표였습니다.
처음부터 모든 쿼리를 캐시하지는 않았습니다. Docstore에는 필터 없이 행을 읽는 ReadRows, 필터 없이 파티션을 읽는 ReadPartition, 파티션에 WHERE 필터를 적용하는 QueryRows가 있습니다. 이 가운데 가장 단순한 점 조회인 ReadRows가 전체 쿼리의 50%를 넘었습니다. CacheFront는 가장 흔한 이 요청부터 지원했습니다.
캐시 사용 여부는 데이터베이스·테이블·요청 단위로 명시적으로 켭니다. Docstore 자체는 강한 일관성을 보장하지만, 캐시 무효화는 늦거나 실패할 수 있기 때문입니다. 장바구니의 항목처럼 강한 일관성이 필요한 조회는 캐시를 건너뛰고, 음식점 메뉴처럼 쓰기가 적은 데이터는 캐시의 이득을 얻습니다.
캐시를 켠 읽기는 캐시 어사이드 방식으로 처리합니다. 쿼리 엔진은 Redis에 있는 행부터 사용자에게 스트리밍하고, 빠진 행만 스토리지 엔진에서 가져옵니다. DB에서 읽은 행은 사용자에게 마저 보내면서 Redis에도 비동기로 채웁니다.
존재하지 않는 행도 캐시 대상입니다. 없는 행을 반복해서 읽을 때마다 DB까지 조회하지 않도록, 조회 결과가 없었다는 사실을 특별한 플래그로 저장하는 네거티브 캐싱을 적용했습니다. 이후 같은 행을 읽으면 플래그를 확인해 DB 조회를 생략하고 해당 행의 데이터도 반환하지 않습니다.
행의 식별자와 Redis 코덱
행을 캐시에 담으려면 식별자와 표현 형식도 정해야 합니다. Docstore의 기본 키는 하나 이상의 컬럼으로 행을 유일하게 식별하며, 파티션 키는 기본 키의 접두부로서 행이 속할 샤드를 결정합니다. person 테이블에서는 person_id가 기본 키이자 파티션 키입니다. orders 테이블에서는 cust_id가 파티션 키이고, cust_id와 order_id를 합쳐 기본 키로 씁니다.
Redis의 키와 값은 문자열입니다. MySQL 행을 이 형식으로 인코딩하는 코덱을 두고, 여러 데이터베이스가 캐시 자원을 공유하면서도 데이터를 격리할 수 있도록 형식을 정했습니다.
바뀐 행을 찾아 캐시에 반영하는 Flux
“컴퓨터 과학에서 어려운 것은 캐시 무효화와 이름 짓기 둘뿐"이라는 Phil Karlton의 말처럼, 캐시를 채운 뒤에는 변경된 데이터를 언제 반영할지가 문제였습니다. 명시적으로 무효화하지 않은 항목은 TTL이 끝날 때까지 남습니다. 기본 TTL은 5분입니다. 사용자는 변경이 그보다 빨리 보이길 기대하지만, TTL을 짧게 줄이면 적중률이 떨어지고 일관성은 눈에 띄게 나아지지 않습니다.
쓰기가 끝날 때 해당 캐시를 지우는 방법에도 걸림돌이 있었습니다. Docstore는 필터 조건에 맞는 여러 행을 한꺼번에 바꾸는 조건부 갱신을 지원합니다. 한 지역에 있는 모든 음식점 체인의 휴일 일정을 바꾸는 작업이 한 예입니다. 어떤 행이 바뀔지는 DB가 갱신을 실행해야 알 수 있으므로, 상태 없는 쿼리 엔진은 쓰기 요청만 보고 해당 행의 캐시를 무효화하거나 새 값으로 채울 수 없습니다.
해법은 DB에서 실제로 일어난 변경을 따라가는 것이었습니다. Docstore의 데이터 변경 캡처·스트리밍 서비스 Flux는 스토리지 클러스터마다 MySQL 바이너리 로그 이벤트를 읽어 소비자에게 발행합니다. 이미 CDC와 복제, 머티리얼라이즈드 뷰, 데이터 레이크 적재, 노드 간 일관성 검증에 쓰이던 서비스입니다. 여기에 데이터 이벤트를 받아 Redis의 행을 무효화하거나 upsert하는 소비자를 추가했습니다.
조건부 갱신도 실행되고 나면 영향을 받은 행의 변경 이벤트를 남깁니다. Flux가 이 이벤트를 처리하면서 캐시가 DB 변경을 따라잡는 시간이 몇 분에서 몇 초로 줄었습니다. 바이너리 로그를 기준으로 삼으므로 커밋되지 않은 트랜잭션이 캐시를 오염시키지도 않습니다.
이번에는 캐시에 쓰는 경로가 겹쳤습니다. 읽기 경로가 DB에서 가져온 행을 Redis에 채우기 전에 Flux가 더 새로운 값을 쓸 수 있습니다. 뒤늦게 도착한 읽기 결과를 그대로 저장하면 오래된 값이 최신 값을 덮어쓰게 됩니다.
우버는 MySQL이 행에 붙인 타임스탬프를 버전으로 삼았습니다. Redis에 인코딩된 값에서 타임스탬프를 읽고, 새로 쓰려는 행의 값이 더 최신일 때만 갱신합니다. 이 비교와 쓰기는 Redis의 EVAL로 Lua 스크립트를 원자적으로 실행해 처리합니다. MSET과 같은 매개변수를 받으면서도 기존 값의 버전을 검사하므로, 여러 번 왕복할 일을 한 번의 요청으로 끝냅니다.
그래도 Flux가 제공하는 보장은 최종 일관성입니다. 자신이 쓴 값을 바로 읽어야 하는 흐름을 위해서는 쓰기 완료 후 사용자가 캐시 행을 명시적으로 무효화하는 API를 추가했습니다. 이 더 강한 보장은 점 쓰기에만 적용됩니다. 조건부 갱신의 무효화는 계속 Flux가 맡습니다.
일관성은 Compare Cache 모드로 확인했습니다. 읽기 요청을 캐시에도 보내 DB 응답과 비교하고, 오래된 행이나 DB에는 없는데 캐시에 남아 있는 행을 발견하면 로그와 메트릭을 남깁니다. Flux 무효화를 적용한 캐시에서 확인한 일관성은 99.99%였습니다.
리전 전환 전에 데워 두는 원격 캐시
평소 읽기 부하를 캐시가 맡아도 리전 장애 때 DB로 요청이 몰린다면 스토리지 엔진 용량을 줄이기 어렵습니다. Docstore는 지리적으로 떨어진 두 리전에서 active-active로 동작하고 모든 쓰기를 리전 간에 복제합니다. 한 리전에 장애가 나면 다른 리전이 모든 요청을 받아야 합니다. 그곳의 캐시가 비어 있다면 캐시 미스가 늘고, 그 요청을 DB가 처리해야 합니다.
Redis의 값을 다른 리전에 그대로 복제하는 방법에는 일관성 문제가 있었습니다. Docstore와 Redis가 각자의 방식으로 복제를 진행하면 원격 리전의 캐시와 DB가 어긋날 수 있습니다. 우버는 Redis 복제 컴포넌트에 캐시 워밍 모드를 추가해, 값을 복제하는 대신 키만 전달하도록 했습니다.
이 모드는 Redis 쓰기 스트림을 따라가며 키를 원격 리전으로 보냅니다. 받은 쪽은 캐시를 직접 갱신하지 않고 그 키로 쿼리 엔진에 읽기를 요청합니다. 캐시에 없는 행이라면 평소 읽기와 똑같이 해당 리전의 DB에서 가져와 캐시를 채웁니다. 읽기 응답 스트림은 버립니다. 응답을 사용할 목적이 아니라 캐시를 미리 데우려고 보낸 요청이기 때문입니다.
값은 각 리전의 DB에서 읽으므로 캐시가 해당 리전의 데이터와 일치합니다. 두 리전의 캐시는 같은 작업 집합을 유지하고, 키만 전송하므로 리전 간 대역폭도 아낍니다. 이렇게 원격 캐시를 미리 채워 두어야 페일오버 때 스토리지 엔진으로 부하가 몰리는 상황을 피하면서 DB 용량도 줄일 수 있습니다.
Redis가 멈추거나 느려지는 순간
일부 대형 사용자의 읽기·쓰기 요청량은 Redis 클러스터 하나로 감당하기 어려웠습니다. 클러스터당 노드 수에도 제한이 있었습니다. CacheFront는 한 Docstore 인스턴스를 여러 Redis 클러스터에 연결하도록 했습니다.
클러스터를 나누는 방식에는 장애 때의 부하도 고려했습니다. Redis 클러스터 하나가 사라졌을 때 그 키들의 읽기가 특정 DB 샤드로 몰리면 데이터베이스까지 위험해집니다. 그래서 Redis 클러스터는 파티션 키를 기준으로 나누되, Docstore DB와 다른 샤딩 방식을 썼습니다. 실패한 Redis 샤드에서 빠져나온 요청은 모든 DB 샤드로 분산됩니다.
실패한 노드에는 계속 요청을 보내며 시간을 쓰지 않도록 서킷 브레이커를 뒀습니다. 노드별 오류를 시간 버킷에 세고, 슬라이딩 윈도 안의 오류 수에 비례해 일부 요청을 차단합니다. 오류가 허용된 최대 수에 이르면 브레이커가 작동해 윈도가 지날 때까지 해당 노드로 요청을 보내지 않습니다.
느린 노드는 타임아웃으로 다룹니다. 고정 타임아웃을 너무 짧게 잡으면 아직 처리 중인 Redis 요청을 포기해 자원을 낭비하고 DB 부하를 늘립니다. 너무 길게 잡으면 P99.9·P99.99 지연이 나빠지고, 최악에는 캐시를 기다리다가 쿼리에 허용된 시간을 다 쓸 수 있습니다.
우버는 Redis get/set의 타임아웃을 동적으로 조절했습니다. P99 요청이 할당된 시간 안에 성공하게 하면서 긴 꼬리 지연을 줄이려는 목적입니다. 실제 타임아웃 기준은 캐시 요청의 P99.99 지연으로 잡았습니다. 99.99%의 요청은 캐시에서 빠르게 처리하고, 나머지 0.01%는 일찍 취소해 DB에서 읽도록 했습니다. 수동으로 계속 조정할 값은 없으며, 클라이언트 요청이 허용하는 최대 타임아웃만 설정합니다.
초당 4,000만 읽기를 넘긴 CacheFront
스토리지 엔진에서 읽을 때와 비교하면 CacheFront의 P75 지연은 75%, P99.9 지연은 67% 넘게 줄었습니다. 지연 스파이크도 억제했습니다. 사용자는 기존 API를 유지한 채 헤더 기반 옵션으로 캐시 동작을 선택하고, 캐시 자체는 Docstore 팀의 관리 아래 사용합니다.
초기의 대형 사용 사례 하나는 6M RPS가 넘는 요청을 캐시 적중률 99%로 처리했습니다. 모든 트래픽을 원격 리전으로 돌리는 페일오버도 성공적으로 검증했습니다. 캐시가 있는 상태에서 빠르게 읽는 것뿐 아니라, 리전을 바꾼 뒤에도 그 부하를 받아 낸 결과입니다.
같은 사용 사례의 자원 비교에서는 6M RPS를 스토리지 엔진에서 직접 처리하려면 약 60K CPU 코어가 필요할 것으로 추산했습니다. CacheFront를 쓴 경우에는 약 99.9%의 캐시 적중률에서 Redis 코어 3K개로 처리했습니다. 이 코어 수 비교에 쓰인 적중률은 앞의 운영 사례에 제시된 99%와 구분됩니다.
글이 게시된 시점에 CacheFront는 프로덕션의 모든 Docstore 인스턴스에서 초당 4,000만 건 넘는 읽기를 처리했고, 처리량은 계속 늘고 있었습니다. 우버는 높은 처리량과 낮은 지연을 요구하는 대규모 사용 사례를 받아들이면서 스토리지 엔진의 부하와 자원 사용을 줄였습니다. 기능 팀도 Redis 운영과 캐시 무효화를 직접 관리하던 부담을 덜고 제품 개발에 집중하게 됐습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| Docstore 데이터 규모 | 수십 PB, 초당 수천만 요청 |
| 샤드 구성 | 리더 1, 팔로워 2(Raft) |
| 비용 증폭 | 두 리전의 상태 있는 노드 3개마다 6배 |
| ReadRows 비중 | Docstore 쿼리의 50% 초과 |
| 기본 TTL | 5분 |
| 캐시 일관성(Flux 무효화 적용) | 99.99% |
| 적응형 타임아웃 기준 | 캐시 요청 P99.99 지연 |
| 지연 개선 | P75 75% 감소, P99.9 67% 이상 감소 |
| 대표 사용 사례 | 6M RPS, 적중률 99%, 페일오버 검증 |
| 코어 수 비교 | 스토리지 엔진 직접 처리 약 60K 코어, CacheFront Redis 약 3K 코어(적중 약 99.9%) |
| 전체 처리량 | 모든 Docstore 인스턴스에서 4,000만 RPS 이상 |