본문으로 건너뛰기
서버 증설 없이 피크 트래픽을 줄인 토스 라이브 쇼핑 서버
목차

서버 증설 없이 피크 트래픽을 줄인 토스 라이브 쇼핑 서버 (2024-05)

원문 정보

방송과 함께 불어난 포인트 요청

토스 앱 혜택 탭의 라이브 쇼핑 보기는 상품을 구매한 유저에게 포인트를 적립해 주는 서비스입니다. 광고주는 상품 물량을 빠르게 소진합니다. 론칭 날부터 예상보다 많은 유저가 들어왔고, 라이브 방송을 하는 광고주도 늘었습니다. 방송이 많아지면 받을 포인트도 늘어 그 시간대에 유저가 더 몰렸습니다.

피크 시간대 동시 접속자는 분당 수십만 명, 포인트 지급 요청 API는 초당 수십만 건에 이르렀습니다. 서버를 늘리는 데는 비용이 듭니다. 특정 시점의 트래픽에 맞춰 증설하면 나머지 시간에는 자원이 낭비될 수 있고, 증설만으로 해결되지 않는 문제도 있습니다.

세 번의 호출을 하나로 묶은 /view

서비스에 접속할 때마다 방송 리스트, 포인트 지급 예정, 공지사항 API를 한꺼번에 호출하던 방식을 바꿨습니다. 이 3개를 /view 하나로 묶자 피크 트래픽 규모가 50% 줄었습니다. 요청과 응답에 드는 오버헤드, Gateway가 처리할 요청을 줄인 결과입니다. 물론 응답 시간이 긴 API까지 묶으면 전체 응답이 길어질 수 있어, 합칠 수 있는 API인지 구분해야 합니다.

중복 요청도 줄일 대상이었습니다. 유저 한 명이 보내는 불필요한 요청은 서비스가 성장할수록 늘어나며, Gateway와 웹 서버, Redis, 데이터베이스 등 요청을 처리하는 모든 컴포넌트에 부하를 줍니다. 특히 토스의 Gateway는 서버로 오는 모든 요청 값과 응답 값을 암호화합니다. 이곳에 걸린 부하는 토스 전체 서비스에 영향을 줄 수 있습니다.

분석은 API 요청이 가장 많은 유저 ID의 기록에서 시작했습니다. 짧은 시간에 같은 API를 다시 호출하는 상황을 재현하고, 클라이언트 개발자와 함께 중복 요청을 제거했습니다. 수정 후에는 요청량 감소뿐 아니라 서비스와 유저 경험에 문제가 없는지도 모니터링했습니다.

같은 방송 정보에 GET이 몰린 Redis

매일 정각이면 Redis에 방송 리스트와 포인트 적립 내역 등을 읽고 쓰는 요청이 몰렸습니다. 유저가 늘면서 커맨드 수와 캐싱하는 데이터 양도 급격히 늘어난 상황입니다. 여기서는 어떤 데이터를 저장하느냐에 따라 부하를 줄이는 방법이 달라집니다.

방송 리스트와 상세 정보처럼 모든 유저에게 같은 데이터는 Universal Data입니다. 한 키에 GET이 집중되면 Redis의 CPU와 Network IO가 늘고, 커맨드가 밀리면서 Redis를 쓰는 모든 곳이 느려집니다. 웹 서버의 Local Cache에 이 데이터를 전부 저장하면 Redis 사용량을 줄일 수 있습니다. 빠른 캐시 초기화가 필요한 경우에는 Redis Pub/Sub으로 비동기 초기화 메시지를 받아 로컬 캐시를 비우는 방법도 있습니다.

방송 시청 여부처럼 유저마다 다른 User-Specific Data는 저장량이 문제입니다. 유저가 늘면 캐싱할 데이터도 늘어나므로, DTO 등을 압축해 데이터 하나의 크기를 줄이는 방법이 효과적입니다. 단, 너무 작은 데이터는 압축한 뒤 오히려 커질 수 있습니다.

Redis가 과부하로 데이터를 처리하지 못할 때의 fallback 로직도 고려해야 합니다. 거대한 트래픽이 그대로 데이터베이스로 향하면 큰 장애로 이어질 수 있기 때문입니다. 토스가 제시한 그래프에는 1주일 사이 트래픽이 크게 늘었는데도 Redis 커맨드가 밀리지 않은 모습이 담겨 있습니다.

즉시 확인해야 하는 선착순 포인트

포인트는 선착순 안에 든 유저에게 중복 없이 지급해야 했습니다. 유저가 지급 사실을 즉시 알아야 하고, 토스의 포인트 지급 내역 원장에도 기록이 남아야 합니다. 요청이 몰려도 이 조건들은 지켜야 합니다.

저장소에서 지급 여부를 확인하고, 지급한 뒤 내역을 남기는 로직만으로는 중복을 막지 못합니다. 요청이 연달아 2개 들어오면 내역을 저장하기 전에 각 서버가 지급 요청을 처리할 수 있기 때문입니다. 그래서 RedLock으로 API 요청에 Distributed Lock을 겁니다.

지급 사실을 바로 알리고 중복 여부도 확인하도록 Redis 같은 캐시의 한 키에 적립 내역을 Append합니다. 원장에 남길 내역은 데이터베이스에도 저장해야 합니다. 하지만 순간적으로 몰린 요청을 곧바로 Insert하면 데이터베이스가 감당할 수 있는 Insert QPS를 넘을 수 있습니다.

이 쓰기는 Kafka로 비동기 처리합니다. Consumer에서 Throttling을 걸어 데이터베이스의 최대 QPS에 닿지 않도록 조절하고, Insert한 지급 내역은 원장에 쌓입니다. 유저가 지급을 확인하는 시점과 데이터베이스에 기록하는 속도를 나눠 처리하는 방식입니다.

엄격한 Cap을 보장하지 않는 Local Cache 집계

선착순 지급에는 인원 제한도 있습니다. Redis Increment로 리워드 지급 인원을 세고, 지정한 Cap에 도달했는지 확인합니다. 아직 도달하지 않았다면 지급하고 인원을 늘리며, 도달했다면 더 지급하지 않는 방식입니다.

Redis는 싱글 스레드로 동작하므로 Increment는 thread-safe합니다. 그래도 단시간에 커맨드가 너무 많이 들어오면 스레드가 밀리고 CPU가 상승합니다. 이때 Local Cache에서 먼저 집계한 뒤 특정 시점에 ScheduleJob으로 Redis에 flush하면 성능 문제를 줄일 수 있습니다.

이 집계 방식은 엄격하게 인원을 제한하는 Hard Capping이 아닙니다. Redis 호출을 줄이는 방법을 택하기 전에 서비스가 요구하는 선착순의 개념과 맞는지 확인해야 합니다.

문제와 대응 방식
문제대응
Universal Data로 Redis CPU 상승Local Cache, 필요하면 Redis Pub/Sub으로 초기화
User-Specific Data로 Redis 메모리 증가데이터 압축(작은 데이터는 역효과 가능), fallback 로직
포인트 중복 지급RedLock Distributed Lock, 캐시에 적립 내역 Append
데이터베이스 Insert QPS 초과Kafka 비동기 Insert, Consumer Throttling
선착순 Cap 확인Redis Increment, 필요하면 Local Cache 집계 후 ScheduleJob flush(Hard Capping 아님)
중복 요청과 API 3건 동시 호출중복 요청 제거, /view로 통합해 피크 트래픽 50% 감소

이전 버전과 성능을 비교하는 Canary 배포

성능 개선을 시작하려면 모니터링 환경부터 갖춰야 합니다. 서버와 Redis, DB, Kafka의 상태뿐 아니라 PV, UV, 리텐션 같은 서비스 지표를 실시간으로 보고, 문제가 생길 수 있는 수준에 이르면 Alert를 받도록 준비합니다. 장애가 유저 경험을 해치면 리텐션이나 신규 유입에도 악영향을 줄 수 있기 때문입니다.

서버 모니터링에서 문제를 찾으면 해결책을 제안하고 적용합니다. 프로파일러로 메모리나 연산이 많은 부분을 찾아 최적화하고, 중복 실행되는 로직도 제거합니다. 증설 전에 이 과정을 반복하면 증설 여부를 다시 따져 볼 수 있고, 이미 서버를 늘린 뒤라도 성능을 개선하면 리소스를 절약할 수 있습니다.

최적화한 버전은 Canary로 배포합니다. 장애가 생기는지, 이전 버전보다 성능이 유의미하게 나아졌는지 모니터링하며 적용한 해결책의 효과를 확인합니다.

마지막 수정 일자