목차
수많은 마이크로서비스와 고객 화면 사이의 쿠팡 코어 서빙 레이어 (2022-08)
원문 정보
- 원문: Our backend strategy to handle massive traffic (Part 1)
- 한국어판: 대용량 트래픽 처리를 위한 쿠팡의 백엔드 전략
- 매체 · 게시일: Coupang Engineering Blog · 2022-08-12
- 저자: Gogi (Du Hyeong) Kim, Key (Ki Hyeon) Kim
- 시리즈: 대용량 트래픽 처리 1편. 운영 중 겪은 문제는 2편에서 다룹니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
실시간으로 달라지는 상품 화면
상품 화면 하나를 채우는 데이터의 출처는 제각각입니다. 이미지와 제목은 Catalog 마이크로서비스가, 도착 보장일은 Stock and Fulfillment 마이크로서비스가 제공합니다. 이 데이터는 고객마다 다르고 실시간으로 바뀝니다. 예를 들어 풀필먼트 센터의 일일 출고 용량이 차면 더는 새 주문을 받을 수 없습니다. 영향을 받는 고객의 화면에서도 재고와 도착 보장일을 갱신해야 합니다.
쿠팡은 마켓플레이스를 운영하면서 상품을 도매로 사들여 로켓배송으로 판매하기도 합니다. 그만큼 비즈니스 로직과 데이터 로직이 일반적인 이커머스보다 복잡합니다. 여기에 성장 속도도 빨랐습니다. 2018년 대비 매출이 4배로 늘고 활성 사용자도 빠르게 증가한 가운데, ‘Wow the Customer’라는 사명 아래 로켓배송과 로켓프레시 같은 서비스를 계속 추가했습니다. 1,800만 고객에게 데이터를 제공하는 시스템은 점점 더 복잡해졌습니다.
각 앱 화면이 필요한 마이크로서비스를 직접 호출한다면 부담은 양쪽에 생깁니다. 호출받는 서비스는 모두 항상 높은 가용성을 유지해야 하고, 프런트엔드에는 같은 비즈니스 로직이 중복됩니다. 공통 로직을 한곳에서 관리하기도 어렵습니다.
Materialization Platform 팀은 공통 비즈니스 로직과 데이터 제공을 맡는 단일 마이크로서비스, 코어 서빙 레이어를 만들었습니다. 앱 화면은 이 레이어를 호출해 필요한 데이터와 로직을 이용합니다. 높은 읽기 트래픽을 낮은 지연으로 처리하면서, 여러 소스에서 실시간으로 모은 데이터의 일관성과 신선도를 지키려는 설계였습니다.
중요한 화면의 요청을 분리한 CSP 클러스터
코어 서빙 레이어가 가장 우선한 특성은 가용성입니다. 고객 경험을 해치는 장애를 최소화하기 위해 99.99% 가용성과 장애 발생 뒤 가능한 한 빠른 복구를 목표로 삼았습니다.
우선 모든 네트워크 호출을 서킷 브레이커로 감쌌습니다. 어느 I/O 지점에서든 장애가 발생하면 그 지점을 격리해 다른 곳으로 전파되지 않게 합니다. 이후 엔지니어가 문제가 생긴 컴포넌트의 I/O를 수동으로 다른 곳으로 돌립니다. 장애를 격리하는 동작과 I/O를 우회시키는 작업은 구분됩니다.
화면의 중요도에 따라서도 요청 경로를 나눴습니다. 쿠팡의 수많은 화면 중 장애가 고객 경험과 매출에 큰 타격을 주는 화면은 소수입니다. 홈, 검색, 결제가 대표적인 예입니다. 이런 화면의 서빙 경로를 Critical Serving Path(CSP)로 구분해 CSP 클러스터가 맡고, 나머지 화면은 non-critical serving path(N-CSP) 클러스터가 담당하도록 했습니다.
두 클러스터는 서로 독립입니다. N-CSP에 장애가 나도 CSP는 영향을 받지 않습니다. CSP에 문제가 생기면 중요한 화면의 호출 대상을 동적으로 N-CSP 클러스터로 전환합니다. 중요한 화면이 계속 동작하도록 마련한 경로입니다.
여러 서비스의 데이터를 한 번에 읽는 NoSQL 저장소
가용성을 위한 경로와 별개로, 데이터를 읽는 비용도 줄여야 했습니다. 가격은 Pricing 팀, 재고는 Fulfillment 팀이 관리하는 등 상품 데이터는 별도 마이크로서비스에 나뉘어 있습니다. 이 분리는 읽기 처리량을 높여 줍니다. 그렇다고 코어 서빙 레이어가 모든 서비스의 변경을 일일이 추적하게 하지는 않았습니다.
데이터를 갱신한 백엔드 마이크로서비스가 변경 내용을 큐로 보내고 공통 NoSQL 저장소에 저장합니다. 서빙 레이어는 최종 일관성을 활용하는 이 저장소에서 여러 마이크로서비스의 데이터를 한 번의 읽기로 가져옵니다. 필요한 데이터를 읽기 위해 발생하던 I/O가 크게 줄었고, 처리량은 높아졌습니다.
빠른 캐시에 남은 오래된 상품 이미지
공통 저장소는 데이터를 안정적으로 보관하지만, 더 많은 읽기를 처리하려면 성능을 높여야 했습니다. 쿠팡은 여기에 read-through 캐시 계층을 추가했습니다. 효과는 컸습니다. 공통 저장소를 읽을 때보다 처리량은 10배 높아지고 지연은 3분의 1로 줄었습니다.
속도가 개선돼도 갱신 문제는 남습니다. Catalog 서비스가 상품 이미지를 바꿔 공통 저장소에 저장했다고 해서 캐시까지 곧바로 바뀌지는 않습니다. 고객 화면에 예전 이미지가 나갈 수 있습니다.
이를 해결하기 위해 캐시 무효화를 도입했습니다. 공통 저장소의 갱신을 알림 큐로 보내고, 그 신호에 따라 캐시의 오래된 데이터를 최신 데이터로 교체합니다. 이 방식으로 공통 저장소와 캐시의 데이터는 분 단위로 99.99% 일치합니다.
분 단위를 기다릴 수 없는 재고를 위한 실시간 캐시
재고에는 분 단위 갱신도 늦습니다. 품절을 바로 반영하지 못하면 고객이 상품을 구매한 뒤 환불받는 일이 생길 수 있습니다. 고객 경험과 신뢰를 해치는 상황입니다. 이런 데이터는 몇 초 안에 갱신해야 합니다.
쿠팡은 실시간 스트림 처리와 별도의 실시간 캐시를 추가했습니다. 실시간 데이터 갱신기가 큐에서 변경된 데이터를 읽어 이 캐시에 곧바로 기록합니다. 서빙 레이어는 기존 캐시와 실시간 캐시를 병렬로 읽고, 둘 중 더 최신인 데이터를 반환합니다. 이 방식은 응답 지연을 줄이는 데도 도움이 됩니다.
기존 read-through 캐시가 제공하는 분 단위 신선도에 더해, 실시간 캐시로 재고처럼 빠른 갱신이 필요한 데이터까지 처리합니다. 높은 처리량과 실시간 데이터 제공을 함께 확보하기 위한 구성입니다.
쿠팡이츠까지 이어진 코어 서빙 레이어 템플릿
같은 요구는 상품 도메인 밖에도 있었습니다. 주문 도메인은 주문·배송 상태를 고객에게 전달해야 하고, 쿠팡이츠도 데이터를 화면에 제공해야 합니다. 도메인이나 앱마다 같은 기능의 코드베이스를 따로 만들면 중복이 늘고 관리도 어려워집니다.
쿠팡은 공통 비즈니스 로직을 공유하면서 도메인에 맞게 설정할 수 있도록 코어 서빙 레이어를 템플릿으로 만들었습니다. 사용자는 공통 저장소, 캐시, 실시간 캐시의 주소 같은 기본 설정을 입력해 자기 도메인에 맞는 서빙 레이어를 구성합니다. 쿠팡과 쿠팡이츠의 여러 도메인이 이 템플릿으로 인스턴스를 운영합니다.
2편에서는 이 레이어를 운영하며 겪은 문제를 다룹니다.
원문의 목표와 수치
| 항목 | 값 |
|---|---|
| 서빙 대상 고객 | 1,800만 명 |
| 매출 | 2018년 대비 4배 |
| 가용성 목표 | 99.99% |
| 캐시 계층 효과 | 공통 저장소 대비 처리량 10배, 지연 3분의 1 |
| 캐시와 저장소 일치도 | 분 단위 99.99% |
| 중요 화면 예 | 홈, 검색, 결제 |
| 클러스터 분리 | CSP, N-CSP |