목차
최대 2만 TPS를 버티는 토스뱅크 약관 서버의 Redis 캐시 (2025-03)
원문 정보
- 원문: 캐시를 적용하기 까지의 험난한 길 (TPS 1만 안정적으로 서비스하기)
- 매체 · 게시일: 토스 기술 블로그 · 2025-03-31
- 저자: 김경윤 (토스뱅크 Server Developer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
롤백 뒤에도 양보할 수 없던 동의 상태
토스뱅크 약관 서버는 사용자가 약관과 동의서에 동의하거나 철회한 상태를 기록하고 조회합니다. 상태를 바꾸는 일은 많지 않습니다. 하지만 개인정보를 특정 목적으로 사용하거나 제3자에게 제공해도 되는지 여러 비즈니스에서 동의 여부를 확인합니다. 토스뱅크에서 신규 제품이 빠르게 출시되고 사용자가 늘면서 TPS는 평균 1만, 최대 2만까지 늘었습니다.
새 서비스를 배포한 어느 날에는 조회량이 급증해 DB 부하가 심각해졌습니다. 이대로라면 다른 서비스에도 문제가 생길 수 있다고 판단해 급히 롤백했습니다. 읽기 부하를 줄여야 했지만, 복제 DB로 조회를 나누기는 어려웠습니다. 복제 지연으로 이전 값을 응답하면 고객이 동의를 철회한 뒤에도 개인정보가 공유될 수 있기 때문입니다.
처음 세운 Strong Consistency의 기준은 엄격했습니다. 동의 상태가 DB에 Commit되면 바로 다음 요청부터 저장된 값을 정확히 응답해야 했습니다. 한 번의 잘못된 응답도 문제가 되는 서비스에서 복제 지연의 가능성을 받아들이지 않기로 했습니다.
선택은 Redis 캐시였습니다. 조회가 대부분이고 DB 정보가 자주 바뀌지 않아 Cache Hit를 기대할 수 있는 환경이므로 Look-aside 전략을 적용했습니다. 캐시에 값이 있으면 사용하고, 없으면 DB를 읽어 캐시에 저장한 뒤 응답하는 방식입니다. DB 정보가 자주 바뀌는 환경이라면 다른 전략을 검토해야 합니다.
캐시 만료를 앞질렀던 Kafka 이벤트
캐시에 넣은 값은 언제 지워야 할까요? Commit 전에 지우면 과거 값이 다시 들어올 수 있습니다. A 스레드가 Entity Version을 1에서 2로 바꾸고 캐시를 지웠지만 아직 Commit하지 않은 상황을 생각해 보면 됩니다. 그 사이 B 스레드가 Cache Miss로 DB의 Version 1을 읽어 캐시에 넣으면, A가 Version 2를 Commit한 뒤에도 C 스레드는 캐시에 남은 Version 1을 응답합니다.
그래서 만료 시점을 Commit 뒤로 잡았습니다. Spring의 @EntityListener에서 변경 이벤트를 발행하고, @TransactionalEventListener의 AFTER_COMMIT 단계에서 캐시를 지우도록 했습니다.
이제 검증할 차례였습니다. 서버에 캐시를 적용하되 실제 응답에는 항상 DB 값을 쓰고, 캐시와 DB 데이터를 비교했습니다. 불일치는 Commit과 Cache Evict 사이의 약 0.003초에서 드러났습니다. 당시에는 동의 변경 Kafka 이벤트를 Commit 전에 발행했는데, 이벤트를 소비한 B 스레드가 Commit 직후이자 캐시 만료 전인 순간에 조회하면서 이전 Version을 읽었습니다.
Kafka 발행을 캐시 만료 뒤로 옮겼습니다. Evict 리스너에는 @Order(Ordered.LOWEST_PRECEDENCE - 1)를 지정하고, Kafka 발행은 TransactionSynchronizationManager로 Commit 이후에 실행하도록 바꿨습니다. 둘 다 Commit 뒤에 실행하는 것만으로는 부족하므로, TransactionSynchronization의 getOrder를 오버라이드해 순서도 정했습니다. DB Commit, Cache Evict, Kafka 발행과 소비 순으로 처리하면 이벤트를 소비한 쪽에서 변경 후 Version을 읽게 됩니다.
만료 실패 때 Redis 조회를 막는 Circuit Breaker
실행 순서를 정해도 캐시 삭제 자체가 실패할 수 있습니다. AFTER_COMMIT에서 Evict가 실패하면 DB는 이미 Commit된 상태라 트랜잭션을 롤백할 수 없습니다. 오래된 캐시가 남아 계속 응답에 쓰일 수 있는 상황입니다.
이때는 캐시 조회를 막습니다. Evict가 실패하면 Circuit Breaker를 Force Open으로 전환해 자동으로 닫히지 않게 하고, 이후 Cache Get에서 Circuit이 열려 있으면 모든 조회를 DB로 보냅니다.
DB에는 큰 부하가 걸릴 수 있습니다. 토스뱅크는 그 부담을 감수하더라도 잘못된 동의 상태를 응답하지 않고, 캐시 문제를 빠르게 찾아 해결하는 편을 택했습니다. 원문 작성 시점까지 이런 실패를 겪은 적은 없으며, 발생하면 곧바로 확인하고 대응하도록 상시 모니터링하고 있습니다.
Commit보다 뒤에 놓인 API 응답의 경계
Kafka 발행 순서를 바꿔도 일반 사용자 요청은 남습니다. 가능성은 아주 낮지만, DB Commit과 Cache Evict 사이에 조회 요청이 들어오면 여전히 이전 값을 읽을 수 있습니다. 이 구간은 코드로 해결할 수도 있었지만, 토스뱅크는 동의·철회 요청이 언제 끝나는지부터 다시 살폈습니다.
@TransactionalEventListener로 전달한 이벤트를 모두 처리하기 전에는 API가 아직 응답하지 않은 상태입니다. 캐시를 지우는 동안에도 동의·철회 요청은 처리 중입니다. DB Commit은 끝났어도 사용자의 요청 전체가 완료된 것은 아닙니다.
최종 정책은 이 경계를 기준으로 정했습니다. 약관 동의 또는 철회 API 처리가 완료된 순간부터, 바로 다음 요청에는 DB에 저장된 값을 응답해야 한다는 기준입니다. 일관성을 보장하는 시작점을 DB Commit에서 API 처리 완료로 옮기면서, 처리 중인 요청 사이의 짧은 간격을 추가 코드로 해결하지 않아도 됐습니다.
정책 변경까지의 과정은 짧지 않았습니다. 저자는 여러 방법을 고민하며 많은 코드를 쓰고 지운 끝에 이 기준에 도달했습니다. 중요한 시스템인 만큼 Legal, Compliance 검토와 발생 가능한 문제를 살피는 데도 시간이 들었습니다. 검토를 마친 뒤 정책을 먼저 정하고, 캐시를 적용해 모니터링하면서 문제를 풀었다면 더 빨랐을 것이라는 회고입니다. 토스의 Core Value인 Execution Over Perfection을 이번 작업에서 되짚은 이유이기도 합니다.
반복 호출을 줄이기 위한 TermsPassport 구상
캐시를 적용한 약관 서버는 DB에 큰 부하를 주지 않으면서 최대 2만 TPS를 처리하게 됐습니다. 이 수치에는 사용자 요청 한 번에 MSA 서비스들이 약관 서버를 여러 번 호출해 높아진 부분도 있습니다.
다음으로 고민하는 대상은 그 불필요한 호출입니다. Netflix의 Passport와 비슷한 개념인 TermsPassport를 검토하고 있지만, 아직 적용할 만큼 트래픽이 높지는 않다고 판단했습니다. 원문 작성 시점에는 구상 단계이며, 실제로 적용한다면 후속 글에서 소개하겠다고 밝혔습니다.
트래픽 수치와 캐시 처리 기준
| 항목 | 값 |
|---|---|
| 약관 서버 TPS | 평균 1만, 최대 2만 |
| 캐시 전략 | Look-aside (Redis) |
| 만료 시점 | DB Commit 이후 (AFTER_COMMIT) |
| Evict 실패 시 | Circuit Force Open, 이후 조회는 DB로 직행 |
| 불일치 구간 | Commit 후 Evict 전 약 0.003초 |
| 처리 순서 | Commit, Cache Evict, Kafka 발행 (@Order, getOrder로 보장) |