목차
설정값 없이 과부하를 견디는 로드 셰더 Cinnamon (2023-11)
원문 정보
- 원문: Cinnamon: Using Century Old Tech to Build a Mean Load Shedder
- 매체 · 게시일: Uber Engineering Blog · 2023-11-22
- 저자: Jakob Holdgaard Thomsen(Principal Engineer), Vladimir Gavrilenko(Software Engineer, Inventory and Catalog), Jesper Lindstrom Nielsen(Staff Engineer, Inventory and Catalog), Timothy Smyth(Staff Engineer, Delivery Backend Platform)
- 원문 내용을 바탕으로 재구성한 요약입니다. Cinnamon 로드 셰더 시리즈의 첫 번째 글입니다.
설정 하나도 부담이 되는 수천 개의 서비스
과부하가 닥치면 배치 작업의 요청부터 거절하고, 고객이 앱에서 보낸 요청은 최대한 처리해야 합니다. Uber가 로드 셰더에 기대한 동작입니다. 월 약 1억 3천만 명의 고객(승객, 이터, 어너)을 받는 수천 개 마이크로서비스에서는 앱의 버튼을 누를 때 생기는 온라인 요청과 운행 데이터를 집계하는 배치 작업을 합쳐 초당 수백만 요청이 오갑니다. 배치 작업이 지나치게 많은 요청을 보내거나 데이터베이스가 느려지면 과부하를 피하기 어렵습니다.
일부 요청을 버려서라도 고객의 사용 경험을 지키는 우아한 저하가 필요했습니다. 운영자가 서비스마다 적정 한도를 찾아 입력하는 방식으로는 부족했습니다. 설정값이 하나뿐이어도 수천 개 서비스에 적용하려면 엔지니어의 시간이 많이 들고, 어렵게 정한 값도 금세 낡습니다. 자동으로 조절하면서 별도 설정 없이 쓸 수 있어야 했습니다.
Cinnamon은 기존 로드 셰더 QALM을 운영하며 얻은 경험에서 출발한 라이브러리입니다. 요청의 우선순위를 전파하는 방식을 고치고, 거절할 비율과 서비스가 감당할 동시 요청 수를 각각 자동으로 조절합니다. 요청당 오버헤드는 대체로 약 1마이크로초이며, Uber 서비스에 빠르게 도입되고 있습니다. 설계와 구현에는 Jaeger, WeChat, Facebook, Netflix, Amazon의 기술과 아이디어를 참고했습니다.
이 글은 3부작의 첫 편으로 Cinnamon의 설계와 CoDel 기반 QALM의 비교 실험을 다룹니다. 다음 두 편에서는 PID 컨트롤러로 거절률을 찾는 방법과 수정한 TCP Vegas로 용량을 자동 조정하는 방법을 설명합니다.
1,300 RPS 너머에서 버틴 Cinnamon
비교 실험에 쓴 백엔드의 용량은 합계 약 1,300 RPS였습니다. 프로덕션에서 각각 약 650 RPS를 처리하는 백엔드 인스턴스 둘에 다른 머신 둘이 요청을 보냈습니다. 테스트 엔드포인트는 메모리 할당, CPU 작업인 정렬, time.Sleep을 이용한 재스케줄링을 섞었으며, 부하가 없을 때 응답 시간은 약 120ms입니다. 각 실험은 1,000 RPS 같은 고정 부하로 5분간 진행했고, 요청의 50%는 티어 1, 나머지 50%는 우선순위가 낮은 티어 5로 보냈습니다. 요청 타임아웃은 1초로 설정했습니다.
많이 보내는 것만으로는 성공을 판단할 수 없습니다. 백엔드로 보낸 요청 수인 처리량과 그중 성공 응답을 받은 굿풋을 구분해 측정했습니다. 굿풋은 처리량에 (1 - 오류율)을 곱한 값이며, 오류에는 rate limiting 오류와 타임아웃이 모두 포함됩니다. 전체 굿풋을 지키는지와 함께, 요청을 버려야 할 때 낮은 우선순위부터 버리는지도 확인했습니다.
200~1,000 RPS에서는 요청이 모두 통과했습니다. 1,500 RPS부터 두 로드 셰더가 작동했고, 2,000 RPS 이상에서는 차이가 커졌습니다. Cinnamon은 서비스 용량에 가까운 굿풋을 유지했지만 QALM에서는 높은 우선순위인 티어 1 요청도 실패하기 시작했습니다. 대부분 타임아웃이었습니다. 3,000 RPS에서 QALM의 전체 굿풋은 552로, 서비스 용량의 약 40%까지 떨어졌습니다. 로드 셰더가 없는 서비스는 3,000 RPS를 넘기자 멈춰 버려 요청이 하나도 통과하지 못했습니다.
Cinnamon에 2,000 RPS를 보낸 경우에는 티어 1의 굿풋 1,000과 티어 5의 굿풋 302를 합쳐 총 1,302를 얻었습니다. 낮은 우선순위의 요청도 일부 통과했습니다. 두 부하 발생기가 완벽하게 동기화되지 않았기 때문입니다. 부하가 더 커져도 Cinnamon은 용량에 가까운 굿풋을 지켰지만, 요청을 거절하는 데 자원을 더 쓰면서 처리 가능한 용량 자체는 조금 줄었습니다.
응답 시간에서도 격차가 드러났습니다. 가벼운 부하에서 티어 1의 P99는 모두 약 140ms였고, 1,000 RPS 부근에서는 약 190ms로 늘었습니다. 용량을 넘는 1,500 RPS부터 QALM의 P50과 P99는 타임아웃 한도인 1초에 가까워졌습니다. Cinnamon은 둘 다 500ms 아래에 머물렀고 P50은 약 180ms였습니다. 티어 5도 비슷한 지연 분포를 보였습니다. 300% 과부하에서 P50 지연의 증가 폭은 50%였습니다.
서비스를 건너도 유지되는 요청의 우선순위
고객 요청부터 지키려면 요청이 어디서 시작됐는지 알아야 합니다. QALM에서는 호출 서비스별로 우선순위를 설정했는데, 호출자의 이름만으로는 요청의 성격을 구분하지 못했습니다. Service 1이 사용자의 온라인 요청과 테스트 시스템의 요청을 모두 받아 Service 2를 호출하는 경우가 그 예입니다. Service 2에서 Service 1을 높은 우선순위로 지정하면 테스트 요청까지 높은 우선순위를 얻습니다.
Cinnamon은 요청이 들어오는 엣지에서 우선순위를 붙이고 하위 서비스까지 전파합니다. Go 서비스가 import하는 RPC 미들웨어로 동작하며, 우선순위 전달에는 Jaeger를 사용합니다. 앱의 요청을 엣지가 Service 1로 넘기고 Service 1이 데이터베이스와 Service 2를 조회한다면, 엣지 엔드포인트에 지정한 우선순위가 모든 하위 의존성까지 이어집니다. 각 인스턴스는 독립적으로 거절 여부를 결정하지만, 어떤 요청을 먼저 처리할지는 서비스 전체에서 같은 기준을 따릅니다. 우선순위가 붙지 않은 요청에는 호출 서비스에 따른 기본값을 지정합니다.
우선순위는 요청의 중요도를 나타내는 티어와, 같은 티어 안에서 사용자를 나누는 코호트로 구성됩니다. 티어는 0부터 5까지 6단계이며 0이 가장 높습니다. 각 티어에는 사용자 기준으로 나눈 코호트 128개가 있고, 코호트 0이 가장 높고 127이 가장 낮습니다.
코호트는 WeChat의 접근에서 얻은 아이디어입니다. 티어 1 요청의 5%를 거절한다면 서비스마다 같은 5%의 사용자가 거절 대상이 됩니다. 그렇다고 같은 사용자가 늘 먼저 거절당하지는 않습니다. 해싱에 시간 정보를 사용해 사용자의 코호트를 옮깁니다. 6개 티어와 128개 코호트를 조합하면 우선순위는 768개입니다. 우선순위마다 버킷 하나를 두어 효율적인 큐를 만들기에 충분히 작은 수입니다.
비즈니스 로직으로 들어가기 전의 대기열
우선순위를 확인한 요청은 거절기인 Rejector를 먼저 만납니다. 거절기를 통과한 요청은 Priority Queue에서 기다리고, Scheduler가 우선순위가 높은 요청부터 꺼내 비즈니스 로직에 넘깁니다. 이때 실행 중인 요청 수가 정해진 한도를 넘지 않게 합니다. 이 한도가 인플라이트 제한입니다.
큐에서 기다리는 시간에도 상한이 있습니다. 너무 오래 기다린 요청은 타임아웃 처리하고 rate limiting 오류를 반환합니다. 큐 타임아웃은 보통 일반 요청 타임아웃의 33%입니다. 요청을 받아들였다는 이유만으로 비즈니스 로직을 실행할 때까지 계속 기다리게 하지는 않습니다.
QALM의 진동을 줄인 PID 컨트롤러
QALM은 요청이 큐에서 기다린 시간으로 과부하를 감지했습니다. Controlled Delay(CoDel) 알고리즘은 100ms 창 안에서 모든 요청의 대기 시간이 예컨대 5ms를 넘으면 요청을 버리기 시작합니다. QALM에서는 낮은 우선순위의 요청부터 거절하는 방식으로 적용했습니다. Go 구현에서는 모든 요청을 하나의 채널에 넣고, 백그라운드 고루틴들이 설정한 동시 요청 한도까지 꺼내 처리했습니다. 채널은 동기화 지점이므로 로드 셰딩에 쓰기에는 비용도 컸습니다.
부하가 아주 커지면 이 방식은 흔들렸습니다. CoDel이 모든 요청의 지연을 감지하고 거의 전부를 거절하면서, 전부 거절하는 상태와 전혀 거절하지 않는 상태 사이를 오가기 쉬웠습니다. 단일 Go 채널은 이 현상을 더 키웠습니다. 4,000 RPS 실험에서 QALM은 계속 타임아웃을 반환했고, 성공 응답 수는 약 0에서 500 사이를 오르내렸습니다. Cinnamon에도 초반 큐 때문에 생긴 타임아웃은 조금 있었지만 거절률은 꽤 안정적이었습니다.
Cinnamon은 큐가 마지막으로 비었던 시각을 추적합니다. 예컨대 10초 동안 한 번도 비지 않았다면 해당 엔드포인트가 과부하라고 판단합니다. Facebook에서 영감을 받은 방식입니다. 과부하를 감지하면 백그라운드 고루틴이 우선순위 큐로 들어오고 나가는 요청을 관찰하고, PID 컨트롤러가 큐를 가능한 한 작게 유지할 거절 비율을 계산합니다.
PID 컨트롤러는 적은 반복만으로 적정 거절률에 도달합니다. 큐가 비었다고 거절을 곧바로 멈추지는 않습니다. 비율을 천천히 낮춰 거절률의 진동이 응답 지연을 악화시키지 않게 합니다. 큐의 유입과 유출만 보기 때문에 RPS가 높은 서비스와 낮은 서비스 모두에서 동작합니다. 앞선 실험에서 Cinnamon이 큰 부하를 받아도 지연을 억제한 이유가 이 안정적인 거절률에 있습니다.
동시 처리 한도를 찾아가는 Auto-tuner
거절률을 안정시켜도 처리 한도는 남습니다. QALM 사용자는 최대 동시 요청 수를 직접 정해야 했는데, 적정값은 요청 패턴과 하드웨어, 같은 하드웨어를 쓰는 이웃의 부하에 따라 달라졌습니다. 한 번 정한 값으로 계속 운영하기 어려웠습니다.
Cinnamon에서는 Auto-tuner가 이 한도를 찾습니다. 엔드포인트의 응답 지연을 관찰하면서 크게 수정한 TCP Vegas 알고리즘으로 인플라이트 제한을 조절합니다. 지연이 늘면 과부하의 신호로 보고 한도를 낮추고, 지연이 안정적이거나 줄면 한도를 높여 처리량을 늘립니다. 거절률을 다루는 PID 컨트롤러의 기원이 17세기까지 올라가니, 1994년에 나온 TCP Vegas는 이 조합에서 비교적 젊은 아이디어입니다.
백그라운드에서 제어기를 따로 돌리는 이유도 여기에 있습니다. 동시 요청 수만 제한하면 큐에 요청이 계속 쌓일 수 있고, 거절 임계값만 조절하면 너무 많은 요청을 한꺼번에 실행해 서비스가 과부하에 빠지는 일을 막지 못합니다. PID 컨트롤러는 큐에 쌓인 요청을 최소화합니다. Auto-tuner는 지연을 지나치게 늘리지 않으면서 처리량을 최대화하도록 동시 실행 수를 조절합니다.
자동 조정에도 시간이 듭니다. 1,500 RPS 실험에서 인플라이트 제한은 처음 약 240이었다가 약 60으로 내려갔고, 몇 분에 걸쳐 약 110에서 안정됐습니다. 그동안 요청은 계속 들어오므로 큐가 쌓이고 거절기가 작동했습니다. Auto-tuner가 한도를 바꿔 굿풋이 달라질 때마다 거절기도 큐를 줄이도록 거절률을 조절했습니다.
이 구간에서는 QALM의 굿풋이 1,280으로 Cinnamon의 1,258보다 약 2% 높았습니다. Uber는 Auto-tuner가 아직 적정 한도를 찾는 중이라는 점과 프로덕션 환경의 노이즈가 원인일 것으로 봤습니다. 2,000 RPS 실험에서는 인플라이트 제한이 이미 110이어서 그대로 유지됐고, 거절률도 약 30%로 안정됐습니다.
주요 수치와 실험 조건
| 항목 | 값 |
|---|---|
| 우버 월간 고객 | 약 1억 3천만 명 |
| 오버헤드 | 요청당 약 1마이크로초 |
| 과부하 시 지연 | 300% 과부하에서 P50 지연 50% 증가 |
| 우선순위 | 티어 6단계(0~5) x 코호트 128개 = 768개 |
| 큐 타임아웃 | 보통 일반 요청 타임아웃의 33% |
| 과부하 판정 | 요청 큐가 예컨대 10초 동안 비지 않음 |
| 테스트 서비스 | 부하 없을 때 약 120ms, 백엔드 2대 합계 약 1,300 RPS |
| 테스트 조건 | 5분, 티어 1 50% + 티어 5 50%, 요청 타임아웃 1초 |
| 1,500 RPS 굿풋 | QALM 1,280, Cinnamon 1,258 |
| 2,000 RPS 굿풋 예시 | Cinnamon 1,000(티어 1) + 302(티어 5) = 1,302 |
| 3,000 RPS QALM 굿풋 | 552(용량의 40%) |
| 용량 초과 시 티어 1 지연 | QALM은 1초 한도에 근접, Cinnamon은 500ms 미만(P50 약 180ms) |
| 인플라이트 제한(1,500 RPS) | 약 240, 약 60을 거쳐 약 110에서 안정 |
| 2,000 RPS 거절률 | 약 30% 유지 |