목차
더 긴 TTL을 위해 바꾼 CacheFront의 쓰기 경로 (2025-08)
원문 정보
- 원문: How Uber Serves over 150 Million Reads per Second from Integrated Cache with Stronger Consistency Guarantees
- 매체 · 게시일: Uber Engineering Blog · 2025-08-26
- 저자: Eli Pozniansky(Sr Staff Engineer, Core Storage), Preetham Narayanareddy(Staff Software Engineer, Core Storage)
- 원문 내용을 바탕으로 재구성한 요약입니다.
적중률을 올리려고 TTL을 늘렸더니 오래된 값도 더 많이 나갔습니다. 서비스 소유자들은 불만이었습니다. Uber의 온라인 스토리지 Docstore에 통합된 CacheFront는 규모가 커질수록 더 높은 적중률과 더 강한 일관성을 요구받았지만, TTL과 비동기 변경 반영에 기댄 최종 일관성 때문에 도입하지 못하는 서비스도 있었습니다.
CacheFront를 다룬 두 번째 글은 이 문제에서 출발합니다. 첫 글이 기능과 설계 원칙, 아키텍처를 소개했다면, 이번 글은 캐시 규모를 거의 4배로 키우는 동안 무엇을 바꿨는지 들려줍니다. 캐시 무효화와 이름 짓기가 어렵다는 Phil Karlton의 말까지 불러와, 이번 개선으로 그가 틀렸음을 증명했다고 말할 정도의 자신감도 담았습니다.
방금 넣은 행이 없다고 답하는 캐시
DB에 쓰기가 반영됐다고 해서 캐시에서도 바로 그 값을 읽는 것은 아니었습니다. 어떤 행을 읽어 캐시에 넣은 뒤 값을 수정했는데, 다시 읽으면 수정 전 값이 돌아옵니다. 자신이 쓴 값을 뒤이은 읽기에서 확인해야 한다는 read-own-writes가 깨지는 상황입니다.
행이 없다는 결과를 저장하는 negative caching에서는 문제가 더 선명해집니다. 새 행을 넣었는데도 캐시가 계속 not-found를 반환합니다. 자신이 삽입한 행을 읽지 못하는 read-own-inserts 불일치이며, 비즈니스 로직을 깨뜨릴 수도 있어 서비스 소유자에게 더 잘 드러나는 증상이었습니다.
이렇게 캐시 값의 타임스탬프가 DB에서 읽을 값보다 뒤처진 상태를 stale이라고 부릅니다. 불일치가 보이는 기간의 상한은 TTL입니다. 비동기로 캐시를 갱신하는 Flux는 그 기간을 줄여 줄 뿐, 무효화에 실패했을 때 TTL을 대신할 수는 없습니다.
그렇다고 TTL이 값의 낡은 정도까지 제한하지는 않습니다. DB 행과 캐시 행의 타임스탬프 차이로 staleness를 재면, 이론상 상한이 없습니다.
1년 전에 기록한 행을 T 시점에 읽고 수정하는 경우를 생각해 보겠습니다. 첫 읽기가 캐시 미스라면 DB에서 가져온 1년 전 값이 캐시에 들어갑니다. 이어서 수정한 값을 DB에 쓰지만 Flux의 무효화가 실패하면, [T, T+TTL] 동안 읽기 요청은 계속 1년 전 값을 받습니다. TTL을 1시간으로 늘렸다면 그렇게 낡은 값을 한 시간 내내 내보낼 수 있습니다.
Uber가 도입 시 권하는 기본 TTL은 5분입니다. 다른 값을 쓰려면 정당한 사유가 있어야 하며, 오래된 값이 비즈니스에 미칠 영향을 판단할 서비스 소유자가 결정합니다. 캐시 미스 뒤에 채울 항목의 TTL은 읽기 요청의 선택적 헤더로 지정할 수 있습니다.
무효화를 Flux에 맡겼던 CacheFront
쓰기 직후에도 예전 값이 남은 이유는 CacheFront의 위치와 처리 방식에 있었습니다. CacheFront는 상태가 없는 Docstore 쿼리 엔진에 구현되어 있습니다. 쿼리 엔진은 상태를 가진 스토리지 엔진 노드와 통신하며 모든 읽기와 쓰기를 처리합니다.
읽기는 중간에서 가로챕니다. 먼저 Redis에서 행을 찾고, 없는 행만 스토리지 엔진에서 읽어 캐시에 채운 뒤 결과를 합쳐 클라이언트에 스트리밍합니다. 이 과정에서 여러 읽기와 쓰기가 서로 다른 값을 캐시에 넣으려는 경합은 이미 처리하고 있었습니다. Lua 스크립트가 행 타임스탬프를 기준으로 새 항목과 기존 항목을 비교해 중복을 제거하므로, CacheFront에서는 이 경합이 오래된 값을 만드는 문제가 되지 않았습니다.
쓰기는 사정이 달랐습니다. INSERT·UPDATE·DELETE의 대상 행이 인자로 정해진 point write라면 무효화할 키를 압니다. 하지만 WHERE 조건으로 행을 고르는 조건부 UPDATE·DELETE는 실행하기 전까지 어느 행이 몇 개나 바뀔지 알 수 없습니다. 이 때문에 기존 CacheFront는 쓰기를 가로채지 않았습니다.
뒤처리는 상태가 없는 CDC 서비스 Flux가 맡았습니다. MySQL binlog를 따라가며 Redis의 항목을 비동기로 채우거나 무효화하는 방식입니다. 무효화할 때는 항목을 삭제하지 않고 특별한 무효화 마커로 덮어씁니다.
Flux의 지연은 보통 1초 안쪽입니다. 짧지만 쓰기 직후 읽기에는 충분히 드러납니다. 배포나 워커 재조정, 스토리지 토폴로지 변경 뒤의 스트림 재연결로 Flux가 재시작되면 기다림은 더 길어질 수 있습니다. Redis 노드가 일시적으로 느리거나 응답하지 않거나 접근할 수 없는 상태라면 재시도에도 무효화가 실패할 수 있고, 그러면 캐시는 TTL 만료 때까지 DB와 어긋납니다.
캐시를 다시 채우는 출처에도 선택이 남아 있습니다. 지연된 follower에서 읽으면 오래된 값이 캐시에 들어갈 수 있습니다. leader에서 채우면 일관성이 더 강해지고, follower에서 채우면 leader의 부담을 줄이면서 읽기를 분산하기 좋습니다. CacheFront는 사용자가 이 정책을 고르게 합니다.
삭제한 행까지 찾아내는 트랜잭션 타임스탬프
쓰기 경로에서 바로 무효화하려면 조건부 업데이트가 실제로 바꾼 행부터 알아야 했습니다. Uber는 몇 년에 걸쳐 스토리지 엔진을 바꾸면서, 트랜잭션마다 그 행들을 돌려줄 수 있게 했습니다. 이를 가능하게 한 것은 삭제 방식과 시간의 할당 방식입니다.
삭제해도 행은 바로 사라지지 않습니다. 모든 삭제를 soft delete로 처리해 tombstone 필드에 표시하고, 나중에 비동기 삭제 작업이 정리합니다. 따라서 방금 삭제한 행도 내부에서는 조회할 수 있습니다.
MySQL 세션 타임스탬프에는 마이크로초 정밀도의 엄격한 단조 증가 시간을 할당합니다. 이 값은 스토리지 노드와 해당 노드가 속한 Raft 그룹 안에서 유일하므로, 트랜잭션을 식별하는 데 쓸 수 있습니다.
이제 바뀐 행을 찾는 방법은 명확합니다. 행을 갱신할 때 update timestamp 컬럼에 트랜잭션 타임스탬프를 기록하고, COMMIT 직전에 그 값으로 모든 수정된 행의 키를 다시 읽습니다. 삭제 역시 tombstone 필드를 갱신하는 작업이므로 같은 조회에 잡힙니다.
추가 조회는 보통 아주 가벼운 쿼리입니다. 방금 다룬 데이터가 MySQL 캐시에 있고, 타임스탬프 컬럼에는 항상 인덱스가 있기 때문입니다. 원문의 예시는 이 흐름을 단순화한 것으로, 실제 구현에는 클라이언트가 주도하는 하나의 shard-local 트랜잭션 안에서 여러 종류의 update와 delete를 묶는 처리가 더 있습니다. point write는 인자에 키가 이미 있으므로 이런 조회가 필요 없습니다.
쓰기 응답 전에 실행하는 무효화 콜백
스토리지 엔진이 바뀐 행을 알려 주면서 쿼리 엔진도 쓰기에 관여할 수 있게 됐습니다. 모든 쓰기 API에 등록한 콜백은 스토리지 엔진의 응답에서 영향받은 행 키와 세션 타임스탬프를 받습니다. 그 키에 해당하는 Redis 항목을 무효화 마커로 덮어쓰는 것이 콜백의 일입니다.
Flux도 계속 동작합니다. binlog를 따라 비동기로 캐시를 채우며, 기존 TTL 만료와 Flux에 쓰기 경로의 직접 무효화가 더해져 일관성이 나아졌습니다.
콜백을 언제 실행할지는 선택할 수 있습니다. 동기 무효화는 클라이언트에 상태를 반환하기 전에 요청 안에서 실행합니다. 쓰기 지연이 조금 늘지만 read-own-writes와 read-own-inserts가 필요한 경우에 알맞습니다. 비동기 무효화는 요청 밖의 큐에서 처리하므로 쓰기 지연을 늘리지 않는 대신 일관성이 조금 약합니다.
동기 방식에도 실패 조건은 남습니다. DB 쓰기가 성공했지만 캐시 무효화가 실패했다면, 클라이언트에는 여전히 쓰기 성공을 반환합니다.
행 키만큼 타임스탬프도 중요했습니다. 스토리지 엔진이 커밋 타임스탬프를 돌려주므로, 쿼리 엔진의 무효화 마커와 Flux가 채우는 항목을 같은 기준으로 비교하고 중복을 제거할 수 있습니다. 이 변경으로 첫 글에서 point write용으로 권했던 명시적 무효화 전용 API도 없앴습니다.
이전 API는 현재 시계로 무효화 타임스탬프를 만들었습니다. 그 값 때문에 뒤이어 들어오는 캐시 채우기가 실패했고, 마커가 만료될 때까지 예상보다 많은 캐시 미스가 발생했습니다. DB가 만든 행 타임스탬프를 쓰는 일은 적중률에도 직접 영향을 줬습니다. 사용자는 이제 별도 API를 호출하지 않아도 어떤 쓰기에서든 자동으로 캐시를 무효화합니다.
읽기 중심 서비스에서 감당한 무효화 비용
피크 시간대에 CacheFront가 제공하는 데이터는 초당 1억 5천만 행을 넘습니다. 여기에 쓰기마다 무효화 요청을 추가했지만, 추가 부하의 크기를 결정하는 것은 쓰기 QPS입니다. 캐시가 잘 맞는 읽기 중심 서비스에서는 읽기 대 쓰기 비율이 보통 20, 때로는 100에 이르므로 무효화가 늘리는 전체 부하는 크지 않습니다. 필요하면 쿼리 엔진이나 Redis 클러스터의 규모를 늘려 대응할 수 있습니다.
이 규모의 읽기를 처리하면서 CacheFront가 갖춘 장치들은 각기 다른 비용과 장애를 다룹니다.
- 읽기 지연 감소: adaptive timeout, negative caching, pipelined read
- 복원력 확보: sharding, 리전 간 복제, cache warming
- 비정상 노드 대응: circuit breaker
- 연결 폭주 방지: connection rate limiter
- 메모리·네트워크 대역폭·CPU 사용 절감: 압축
일관성을 위한 Lua 스크립트, TTL, CDC 무효화에 직접 쓰기 무효화까지 추가했지만, 오래된 값이 얼마나 줄었는지는 별도로 확인해야 했습니다. compare-cache 모드와 함께 관측을 담당하는 Cache Inspector가 그 판단에 쓰였습니다.
24시간 TTL의 근거를 찾은 Cache Inspector
Cache Inspector는 오래된 값을 찾아 수치로 보여 줍니다. 개선 효과를 확인하고 버그를 찾는 데 쓰며, TTL을 더 늘려도 되는지 판단할 근거도 제공합니다.
구현에는 Flux를 재사용했습니다. 같은 MySQL binlog를 따라가되 의도적으로 1분 늦게 읽습니다. 캐시를 채우거나 무효화하는 대신 binlog의 값과 캐시에 있는 값을 비교하고, 검사한 항목 수와 stale 항목 수, 테이블별 불일치율, staleness 히스토그램을 지표로 내보냅니다.
orderability_features_ping 테이블에서는 TTL을 24시간까지 늘리고 캐시 적중률을 99.9% 넘게 끌어올렸습니다. 근거는 일주일간의 관측입니다. 24시간 TTL에서 발견한 stale 값이 읽고 쓴 전체 행 수에 비해 무시할 만큼 적었습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 피크 시간대 읽기 | 초당 1억 5천만 행 이상 |
| 캐시 규모 확대 | 약 4배 |
| 권장 기본 TTL | 5분 |
| Flux 무효화 지연 | 보통 1초 안쪽 |
| Cache Inspector 의도적 지연 | 1분 |
| 세션 타임스탬프 정밀도 | 마이크로초, 단조 증가 |
| 읽기 대 쓰기 비율 | 보통 20, 때로 100 |
| 24시간 TTL 테이블의 캐시 적중률 | 99.9% 초과 |