본문으로 건너뛰기
캐시가 있어도 DB로 몰리는 트래픽을 줄이기 위한 설계
목차

캐시가 있어도 DB로 몰리는 트래픽을 줄이기 위한 설계 (2024-02)

원문 정보

확장에 앞서 줄이는 DB 부하

데이터베이스를 확장하는 일은 까다롭습니다. 확장에 주로 쓰는 샤딩과 복제부터 쉽지 않고, 일관성·가용성·분할 내성을 모두 만족시킬 수 없다는 CAP 이론의 제약도 고려해야 합니다. 조회 전에 캐시를 확인하고 높은 캐시 히트율을 유지하면, 데이터베이스를 확장하지 않고도 상당한 트래픽을 처리할 수 있습니다.

캐시 저장소로는 사용하기 쉽고 응답이 빠른 Redis나 Memcached를 많이 씁니다. 캐시가 있어도 데이터베이스로 요청이 몰리는 상황은 남습니다. 여기서 다루는 대응도 모든 환경에 맞는 해법은 아닙니다. 데이터베이스와 캐시의 상호작용은 예측하기 어려우므로, 실제 적용할 때는 더 다양한 요소를 고려해야 합니다.

캐시 장애 때도 남겨 둘 기능

캐시가 고장 나면 모든 요청을 데이터베이스로 보내도 될까요? 트래픽이 평이한 상황에서는 그렇게 서비스를 정상 운영할 수 있습니다. 하지만 트래픽이 많다면 캐시가 복구되기를 기다리는 동안 데이터베이스에 과부하가 걸릴 수 있고, 한계를 넘으면 캐시와 무관한 기능까지 정상 작동하지 못할 수 있습니다.

대체 작동(Failover)을 준비할 때는 반드시 유지할 핵심 기능부터 정해야 합니다. 편의를 위한 부가 기능은 잠시 중단하고, 사용자에게 대체 UI를 보여 주거나 양해를 구하는 편이 현실적입니다. 캐시가 복구될 때까지 데이터베이스가 감당할 범위 안에서 핵심 기능의 요청을 처리하도록 하는 대응입니다.

놓치기 쉬운 곳은 공통화한 캐시 코드입니다. 기능의 중요도를 따지지 않은 채 데이터베이스로 fallback하도록 만들기 쉽습니다. 부하를 감수하고도 꼭 동작해야 하는 기능인지 개발자가 미리 판단해야 합니다.

자정에 한꺼번에 만료되는 캐시

매일 자정에 캐시를 갱신한다고 가정해 보겠습니다. 갱신 시간에 맞춰 캐시를 일제히 만료시키면 구현이 쉽고 최신 정보를 바로 제공하기도 좋습니다. 문제는 그 순간입니다. 캐시 미스가 한꺼번에 발생하면서 데이터베이스로 트래픽이 쏠려 장애가 날 위험이 있습니다. 이런 캐시 쇄도(Cache Stampede)는 만료 시각을 정확히 같게 구현했을 때 자주 나타납니다.

만료 시간을 조금씩 늦추면 부하를 분산할 수 있습니다. 전자 신호를 읽는 과정에서 생기는 짧은 지연을 뜻하는 지터(Jitter)를 활용하는 방법입니다. 예를 들어 만료 시간에 0~10초 사이의 무작위 지연을 더하면, 데이터베이스의 부담이 10초에 걸쳐 분산됩니다.

지연이 길다고 무조건 좋지는 않습니다. 지터가 길어질수록 사용자는 더 오래된 정보를 볼 수 있으므로, 최대 지터 시간은 서비스가 허용할 수 있는 지연에 맞춰 정해야 합니다.

핫키가 만료되는 순간의 분산 락

만료되는 키가 하나여도 요청은 몰릴 수 있습니다. 많은 요청이 집중되는 핫키가 만료되면, 여러 요청이 데이터베이스를 불필요하게 반복 조회할 수 있기 때문입니다. 가능하다면 만료 기한을 없애거나 백그라운드에서 주기적으로 새 값을 적용해 캐시가 만료되지 않게 하는 편이 좋습니다. 그러나 핫키가 때에 따라 바뀌는 환경에서는 더 이상 핫키가 아닌 데이터가 남아 캐시 저장소 공간을 낭비할 수 있습니다.

분산 락(Distributed Lock)은 이런 공간 낭비 없이 중복 조회를 막는 방법입니다. 멀티 스레드 프로그램에서 공유 자원에 락을 거는 것처럼, 캐시를 애플리케이션 서버들이 함께 쓰는 자원으로 봅니다. 캐시 미스가 발생하면 락을 설정하고 캐시를 채운 뒤 해제해, 한 번의 쓰기 작업만 허용합니다.

Redis에서는 여러 프로그래밍 언어로 제공되는 레드락 구현 라이브러리로 분산 락을 쉽게 적용할 수 있습니다. Redis 없이도 분산 락을 구현할 방법은 다양합니다.

값의 부재까지 담는 널 오브젝트 패턴

데이터베이스에 값이 없다는 사실도 캐시에 남겨야 합니다. 보통 캐시에서 null을 받으면 데이터베이스를 조회해 캐시를 채우지만, 데이터베이스마저 null을 반환하면 아무것도 캐싱하지 않는 구현이 흔합니다. 조회는 했는데 그 결과가 캐시에 남지 않는 것입니다. 이런 캐시 관통(Cache Penetration)이 잦아지면 불필요한 데이터베이스 조회도 늘어납니다.

블룸 필터로 캐시 관통을 확률적으로 막을 수도 있습니다. 문제는 복구입니다. 블룸 필터의 정합성이 깨지면 복구하려고 모든 캐시를 읽어야 해서 운영이 어렵습니다. 운영하기 더 쉬운 방법은 널 오브젝트 패턴으로 ‘값이 없음’을 캐싱하는 것입니다.

객체 타입이라면 부재를 뜻하는 객체를 선언해 사용합니다. 원시 타입에는 그 객체를 대신할 특정 값이 필요합니다. 예를 들어 양수만 존재하는 정수 데이터를 캐싱한다면, 음수인 정수의 최솟값을 ‘값이 없음’으로 쓰기로 애플리케이션에서 약속할 수 있습니다.

DB로 요청이 몰리는 상황과 대응
문제원인해법
캐시 쇄도캐시가 같은 시각에 일제히 만료만료 시간에 무작위 지연(지터) 추가, 예시는 0~10초
캐시 관통데이터베이스에도 없는 값이 캐싱되지 않음널 오브젝트 패턴(블룸 필터는 복구가 어려움)
캐시 시스템 장애캐시 복구 전까지 트래픽이 데이터베이스로 몰림핵심 기능만 유지하는 대체 작동
핫키 만료만료 순간 중복 조회분산 락(Redis 레드락 등)
마지막 수정 일자