본문으로 건너뛰기
쿠팡 코어 서빙 레이어에서 대규모 트래픽을 받아 낸 캐시
목차

쿠팡 코어 서빙 레이어에서 대규모 트래픽을 받아 낸 캐시 (2022-08)

원문 정보

고객 페이지의 가용성을 좌우하는 캐시 계층

2021년 한 해 동안 쿠팡 이커머스 앱의 활성 고객은 21% 늘었습니다. 고객이 늘어도 서비스는 끊김 없이 이어져야 합니다. 쿠팡이 마이크로서비스로 만든 코어 서빙 레이어는 높은 가용성과 처리량, 낮은 지연으로 고객 페이지에 백엔드 데이터를 제공하는 역할을 맡았습니다.

이 레이어에는 read-through와 realtime 캐시 계층이 있습니다. 각 계층은 60~100개 노드로 분당 최대 1억 건의 요청을 처리합니다. 유입 트래픽의 95%를 캐시가 처리하므로 영구 저장소인 공통 스토리지 레이어까지 가는 요청은 일부입니다. 코어 서빙 레이어의 가용성은 그만큼 캐시의 가용성에 크게 의존했습니다.

마스크 재입고로 몰린 요청

디지털 기기나 휴대폰 사전 예약처럼 일정을 아는 행사에는 서버를 미리 확보해 대응했습니다. COVID-19 기간의 급증은 달랐습니다. 예상하지 못한 요청이 자주 몰렸고, 원인을 모르는 상태에서는 권장 용량의 3배에 이르는 서버를 확보해야 했습니다. 늘어난 트래픽은 사업에 반가운 소식이었지만, 이렇게 대응하는 데는 비용과 낭비가 컸습니다.

요청이 어디에 몰리는지부터 확인했습니다. 들어오는 요청을 메시지 큐에 저장한 뒤 MapReduce로 분 단위 사용자·상품 정보를 분석하자, 특정 상품의 요청이 전체 트래픽에서 큰 비중을 차지한다는 사실이 드러났습니다. COVID-19 기간에 발생한 급증 대부분은 마스크 재입고와 관련이 있었습니다.

쿠팡은 소수 사용자와 상품에서 발생하는 급증을 처리하려고 로컬 캐시 계층을 추가했습니다. 보관할 데이터에는 조건을 뒀습니다. 이 계층에는 별도 캐시 무효화 과정이 없었으므로 캐시 시간을 1분으로 제한하고, 최종 일관성을 허용하는 데이터만 담았습니다. 강한 일관성을 요구하는 데이터는 대상에서 제외했습니다.

로컬 캐시의 GC 횟수와 소요 시간도 과제였습니다. 데이터를 DTO 객체 대신 바이트 배열로 저장하자 직렬화 비용은 늘었지만 GC 비용은 크게 줄었습니다. 이렇게 구성한 로컬 캐시는 평상시 트래픽의 약 35%, 갑작스러운 급증 때는 최대 70%를 처리했습니다.

급증할 때 서버를 안정적으로 운영하기 위해 애플리케이션의 I/O 방식도 바꿨습니다. 블로킹 I/O에서 논블로킹 I/O(NIO)로 전환하는 작업은 비교적 수월했습니다. 기존 저장소와 캐시 시스템이 이미 NIO를 지원하고 있었기 때문입니다. 이 전환으로 CPU 사용률이 50% 넘게 줄었고, NIO 스레드로 CPU 오버헤드도 최소화했습니다.

가장 빠른 노드에 집중된 트래픽

캐시 클러스터 내부의 트래픽 편차는 요청마다 노드를 무작위로 고르는 방식으로 줄였습니다. 기존 캐시 클라이언트는 응답이 가장 빠른 샤드와 노드를 찾은 뒤, 선택한 노드에 계속 요청을 보내고 있었습니다.

그 결과 노드별 요청량은 5배에서 많게는 10배까지 차이가 났습니다. CPU 사용률도 비슷한 편차를 보였습니다. 클러스터 크기를 가장 바쁜 노드에 맞추다 보니, 전체 트래픽을 처리하는 데 필요한 규모보다 클러스터가 커지고 자원이 낭비됐습니다.

클라이언트의 연결 모드를 바꾼 시점은 결과 그래프의 04:30입니다. 요청마다 노드를 동적으로 선택하게 하자 크게 벌어져 있던 노드별 트래픽이 거의 같은 수준으로 모였습니다. 동적 할당 때문에 CPU 사용률은 조금 높아졌지만, 쿠팡 팀은 균등한 분산과 안정성을 얻기 위한 작은 비용으로 받아들였습니다.

응답 없는 TCP 연결에 주어진 1초

일부 노드가 멈췄을 때는 감지 속도가 문제였습니다. 클라우드 서버에서 운영하는 캐시에는 개별 노드 장애가 흔했고, 호스트 문제로 여러 노드가 함께 멈추기도 했습니다. 장애는 1~10분 동안 이어졌습니다.

기존 서킷 브레이커는 장애가 난 구성 요소를 격리하는 장치였습니다. 하지만 노드 하나가 멈추면 전체 트래픽 중 작은 일부만 영향을 받았고, 서킷 브레이커는 이 변화를 감지할 만큼 민감하지 않았습니다. 토폴로지를 갱신하면서 장애 노드를 찾아 클러스터 구성을 바꾸는 방법도 몇 분이 걸렸습니다. 기다리는 동안 요청은 타임아웃되거나 큐에 쌓였습니다.

구성이 바뀌어도 문제가 남았습니다. 갱신된 토폴로지와 실제 TCP 연결 사용이 일치하지 않아, 멈춘 노드로 요청이 계속 향하는 경우가 있었습니다.

쿠팡은 토폴로지 갱신에 더해 TCP 연결의 응답 여부를 감시했습니다. 평소 수 밀리초 안에 응답하는 캐시에서 1초 동안 응답이 없다면 문제가 있는 연결로 판정하고 자동으로 닫았습니다. 이 변경으로 장애 노드를 찾는 시간이 수십 초~몇 분에서 수 초로 줄었습니다.

full sync를 가로막은 빈 레플리카

장애 노드를 찾아내도 복구가 끝난 것은 아니었습니다. 노드를 복구하려면 전체 동기화인 full sync를 거쳐야 하는데, 그동안 마스터에 들어온 쓰기 명령은 버퍼에서 기다립니다. 들어오는 쓰기가 버퍼 용량을 넘으면서 full sync와 복구가 자주 실패했습니다.

당장 쓸 수 있는 대책은 수작업이 많이 들었습니다. 복구하는 5~10분 동안 캐시 무효화를 멈추거나, 기존 클러스터를 완전히 새로운 클러스터로 교체해야 했습니다.

팀은 먼저 버퍼 크기를 조정했습니다. full sync 중 발생할 쓰기 명령 수를 추정하고 여러 크기로 시험했지만 결과가 일정하지 않았습니다. 실제 쓰기 명령 수가 추정치를 훨씬 웃돌았습니다.

원인은 복구 중인 레플리카에 있었습니다. full sync 과정에서 새로 만들어진 레플리카가 빈 데이터셋으로 요청에 응답하고 있었고, 코어 서빙 플랫폼은 이를 캐시에 데이터가 없는 상태로 판단했습니다. 그러자 쓰기 명령이 급격히 늘어나 복구에 필요한 버퍼를 넘겼습니다.

이를 막기 위해 레플리카의 데이터 크기나 상태 정보로 요청을 처리할 준비가 됐는지 판단했습니다. 준비되지 않은 레플리카에는 트래픽을 모두 차단했습니다. 쓰기 폭증과 full sync 실패가 사라졌고, 팀은 이 조치를 모든 캐시 클러스터에 적용했습니다.

효과는 피크 트래픽을 받는 60노드 테스트 클러스터 두 개로 확인했습니다. 기존 구성과 트래픽 차단을 적용한 구성에서 각각 노드 12개를 종료했습니다. 기존 구성의 P95 지연은 약 500~1000ms까지 치솟았고, 마이너·풀 GC가 발생하면서 애플리케이션 CPU 사용률도 불안정했습니다.

수정한 구성의 P95 지연 급증은 100ms 미만에 머물렀습니다. 마이너 GC는 발생했지만 다른 오류 없이 CPU 사용률이 안정됐습니다. 복구 중인 레플리카에 요청을 보내지 않는 조치가 쓰기 폭증을 없애고 복구 실패를 막았습니다.

캐시 구성과 실험 수치
항목값
캐시 계층read-through, realtime 두 계층
계층당 규모60~100노드, 분당 최대 1억 요청
캐시 처리 비율유입 트래픽의 95%
노드 장애 지속 시간1~10분
장애 연결 판정응답 없음 1초
테스트 클러스터60노드, 12노드 종료
기존 구성 P95 지연500~1000ms 급증
수정 구성 P95 지연100ms 미만 급증
노드 간 트래픽 편차5~10배
로컬 캐시 TTL1분
로컬 캐시 처리 비율평상시 약 35%, 급증 시 최대 70%
NIO 전환 효과CPU 사용률 50% 이상 감소
마지막 수정 일자