목차
과부하 속에서 한계를 찾는 Cinnamon Auto-tuner (2023-12)
원문 정보
- 원문: Cinnamon Auto-Tuner: Adaptive Concurrency in the Wild
- 매체 · 게시일: Uber Engineering Blog · 2023-12-07
- 저자: Timothy Smyth(Staff Engineer, Delivery Backend Platform), Jakob Holdgaard Thomsen(Principal Engineer), Vladimir Gavrilenko(Software Engineer, Inventory and Catalog), Jesper Lindstrom Nielsen(Staff Engineer, Inventory and Catalog)
- 원문 내용을 바탕으로 재구성한 요약입니다. Cinnamon 로드 셰더 시리즈의 세 번째 글입니다.
Cinnamon 로드 셰더 시리즈의 1편은 전체 그림을, 2편은 PID 조절기를 다뤘습니다. 마지막인 3편은 10년 된 TCP Vegas 알고리즘을 다양한 서비스와 설정에서 쓸 수 있도록 다듬은 이야기입니다.
CPU가 남아 있던 foo의 과부하
트래픽은 늘지 않았고 CPU에도 여유가 있었습니다. 그런데 서비스 foo는 과부하에 빠졌습니다. 의존하던 다운스트림 서비스 bar가 느려져, 같은 양의 요청을 처리하는 데 더 오랜 시간이 들었기 때문입니다.
이때 Cinnamon의 Auto-tuner는 foo가 처리할 최대 동시 요청 수, 즉 인플라이트 제한(inflight limit)을 낮췄습니다. bar는 느려졌어도 완전히 무너지지는 않았습니다. 이 조정이 없었다면 foo의 요청이 bar를 압도해 모든 요청이 실패했을 것입니다.
원문에 실린 그래프는 한 데이터센터에 있는 foo의 노드 9개를 보여 줍니다. P99와 P90 지연은 올랐지만 P50은 그대로였습니다. 인플라이트 제한을 줄이지 않았다면 P50도 크게 올랐을 것입니다. 이 사례에서 처리량을 제한한 것은 CPU 부족이나 늘어난 트래픽이 아닌 요청 처리 지연이었습니다.
수천 개 서비스에 고정할 수 없던 한도
로드 셰더가 받아들일 요청 수를 정하려면 서비스의 용량부터 알아야 합니다. 너무 낮게 잡으면 처리할 수 있는 요청까지 거절하며 자원을 놀립니다. 너무 높게 잡으면 감당하지 못할 요청을 받아 지연이 늘고, 끝내 서비스가 무너질 수도 있습니다. 동시 요청 수를 늘리면 처리량도 오르지만, 서비스가 버틸 수 있는 지점을 넘어서면 처리량은 급격히 떨어집니다. 찾아야 할 값은 처리량이 최대가 되는 동시 요청 수입니다.
그 값은 서비스마다 다릅니다. 한 번에 요청 하나만 처리하는 서비스가 있는가 하면 수백 개를 처리하는 서비스도 있고, 같은 서비스 안에서도 데이터를 많이 반환하는 엔드포인트와 적게 반환하는 엔드포인트의 용량은 다릅니다. 노드의 하드웨어와 호스트 부하도 영향을 줍니다. 하루 중 요청의 성격이 달라지거나 새 버전을 배포하면, 같은 엔드포인트에서도 최적값이 바뀝니다.
Uber가 Cinnamon을 적용하려던 대상은 수천 개 마이크로서비스였습니다. 서비스 소유자가 이런 변화를 따라가며 한도를 조정하게 할 수는 없었습니다. 그래서 엔드포인트별로 관찰한 지연을 바탕으로 인플라이트 제한을 계속 추정하게 했습니다. 이 자동화로 인플라이트 제한을 수작업으로 튜닝하는 과정이 사라졌고, Cinnamon 도입도 크게 간단해졌습니다. 서비스와 운영 환경이 달라진 뒤에도 제한을 현재 상태에 맞춰 갱신합니다.
Auto-tuner의 출발점이 된 TCP Vegas
Auto-tuner는 백그라운드 고루틴에서 인플라이트 제한을 갱신합니다. 그 값을 실제 요청 처리에 적용하는 쪽은 스케줄러입니다. 스케줄러는 제한을 확인해 우선순위 큐에서 요청을 더 꺼내도 되는지 판단합니다.
Uber는 이 제한을 조정할 알고리즘으로 AIMD와 경사 하강도 시험했습니다. 최종 선택은 TCP Vegas였습니다. 인플라이트 제한이 더 안정적이었고, 동시 요청 수가 적을 때의 지연 변동도 더 잘 다뤘기 때문입니다.
Vegas는 관찰한 요청 처리 시간을 기준 지연과 비교합니다. 기준보다 훨씬 오래 걸리면 과부하로 보고 제한을 낮추고, 훨씬 짧으면 여유가 있다고 보고 높입니다. 조정하지 않는 구간도 있습니다. 실제 계산에서는 최신 관찰 지연인 sample, 기준 지연인 targetLatency, 현재 제한인 currentLimit을 사용합니다. 기준 지연과 표본의 비율에 현재 제한을 함께 반영해 증감을 정하고, 로그 함수로 변화를 부드럽게 만듭니다.
이때 제한이 작을수록 조정하지 않는 비율 구간이 넓습니다. 동시 요청 수가 적은 서비스에서는 지연이 더 크게 변해야 제한을 조정한다는 뜻입니다. 제한이 커지면 이 구간도 좁아집니다.
기본 알고리즘은 요청률과 하드웨어가 일정한 환경에서 잘 동작했습니다. 하지만 프로덕션에서는 비교할 표본도, 기준 지연도 계속 달라졌습니다. Uber가 비슷한 프로젝트의 출발점으로 소개한 구현은 Netflix의 오픈소스 concurrency-limits 라이브러리입니다.
한 행과 수천 행 사이를 오가는 응답
SQL 쿼리 하나가 한 행을 반환할 수도, 수천 행을 반환할 수도 있습니다. 한 행짜리 응답에서 얻은 기준 지연으로 수천 행짜리 응답을 판단하기는 어렵습니다. 요청 구성이 시간에 따라 바뀌면 문제는 더 커집니다. 부하가 없을 때 얻은 기준도 부하가 걸린 상태에는 맞지 않습니다.
관찰한 지연 하나를 그대로 쓰기도 어렵습니다. 라우팅 불균형, 일시적인 CPU 부하, 네트워크 타임아웃 같은 순간적인 변화가 제한 조정에 큰 영향을 주기 때문입니다. Auto-tuner는 개별 요청 시간을 바로 비교하는 대신, 일정 구간의 지연 분포에서 대표값을 구하도록 바뀌었습니다.
성공한 요청에서 모으는 지연 표본
측정 대상은 성공한 요청의 비즈니스 로직 실행 시간입니다. Cinnamon 큐에서 기다린 시간은 제외합니다. 이렇게 모은 지연에서 기본으로 P90을 구하고, 중앙값 필터와 지수 평활을 적용한 값을 Vegas에 전달합니다.
집계 구간은 최소 2초, 최대 30초이며 둘 다 설정할 수 있습니다. 최소 2초 동안 요청을 모으고, 요청이 250개 이상 쌓여야 표본으로 씁니다. 다만 30초가 지나면 250개를 채우지 못했더라도 그때까지 관찰한 요청으로 계산합니다.
오래 모으면 판단에 쓸 요청은 많아지지만 반응은 늦어집니다. 10~50밀리초에 응답하는 서비스는 짧은 시간에 수백 개 요청을 모으므로 2초라는 하한이 잘 맞았습니다. 응답에 1~10초가 걸리는 서비스에서는 요청 수를 채울 때까지 계속 기다릴 수 없습니다. 30초라는 상한은 이런 서비스의 반응 시간을 제한하기 위한 값입니다.
백분위에도 예외가 있었습니다. P90은 대체로 충분했지만, 캐시 적중률이 90% 안팎인 서비스에서는 구간마다 값이 아주 낮아졌다가 아주 높아졌습니다. 이 경우에는 보통 P95나 P80으로 바꿉니다. 더 높은 백분위를 고르면 지연 변화에 반응하는 방식이 달라지지만 노이즈의 영향도 커지므로, 높은 값이 늘 더 나은 선택은 아닙니다.
성공한 요청의 시간은 모두 t-digest라는 근사 자료 구조에 기록해 분위수를 구합니다. 정확도는 조금 낮아집니다. 대신 메모리 사용량이 안정적이어서, 요청이 많거나 엔드포인트가 많은 서비스에서도 집계를 유지할 수 있습니다.
과부하를 새 기준으로 삼았던 리셋
표본을 안정시켜도 기준 지연을 잘못 갱신하면 제한이 잘못 움직입니다. 초기 Cinnamon에서 실제로 겪은 문제입니다. 과부하가 오래 이어지는 동안 기준 지연과 인플라이트 제한이 계속 올라갔습니다.
보통 Vegas 구현은 지금까지 관찰한 가장 낮은 표본을 targetLatency로 삼고, 주기적으로 이를 리셋합니다. 서비스나 요청 패턴의 변화를 따라가기 위한 동작입니다. 초기 Cinnamon도 주기적으로 최신 표본을 새 기준으로 삼았는데, 과부하 중에는 그 표본부터 이미 높았습니다. 부하가 계속되니 더 낮은 표본을 볼 가능성도 작았습니다. 높아진 기준에서는 이전보다 긴 지연도 제한을 낮추지 못하고, 오히려 제한을 높이는 결과를 낳았습니다.
Uber는 리셋할 때 최근 동시 요청 수의 증가가 실제 처리량 증가로 이어졌는지를 확인하도록 바꿨습니다. 여기에 쓴 통계량이 공분산입니다. 동시 요청 수와 처리량이 함께 늘면 공분산은 양수입니다. 요청을 더 처리 중인데 처리량은 떨어졌다면 음수이며, 제한을 더 높여서는 안 된다는 신호입니다.
계산에는 보통 최근 50개 구간을 씁니다. 각 구간에서 관찰한 최대 동시 요청 수와 지연 표본으로 리틀의 법칙에 따라 처리량을 추정한 뒤, 동시 요청 수와 추정 처리량 사이의 공분산을 구합니다. 공분산이 음수이면 targetLatency를 리셋할 때 인플라이트 제한을 항상 줄입니다.
여기서 쓸 값은 설정한 제한이 아니라 실제 관찰한 동시 요청 수입니다. 제한이 20이어도 실제로 처리 중인 요청은 3개뿐일 수 있기 때문입니다. 이 보정을 적용하자, 이전에 기준과 제한이 계속 올라갔던 과부하 상황에서도 인플라이트 제한과 지연 표본이 안정됐습니다.
계산할 데이터 포인트를 더 골라 쓰는 방안도 검토했습니다. 원문 그래프에서는 동시 요청 수가 10~35인 구간만 보면 양의 공분산이 나타나기도 했습니다. 그래도 최근 50개를 모두 사용하는 것으로 충분했습니다. Uber 엔지니어들은 이력을 제한했기 때문에 긴 과부하 중 리셋 시점의 공분산이 양수와 음수를 오가게 된 것으로 추측합니다.
실제 동시 요청 수로 정한 인플라이트 상한
과부하가 없는 시간에도 문제가 생겼습니다. 표본과 targetLatency가 비슷해 비율이 1에 가까우면, 기본 Vegas는 실제 동시 요청 수가 안정적인데도 제한을 계속 높일 수 있습니다. 그렇게 한참 높아진 제한은 과부하가 시작된 뒤 충분히 낮아지기까지 “영원히” 걸립니다.
그래서 상한을 실제 관찰한 최대 동시 처리 요청 수의 10배로 뒀습니다. 한 구간에서 최대 10개를 처리했다면 상한은 100입니다. 과부하 때 제한을 낮추는 데 걸리는 시간을 줄이되, 갑작스러운 요청 증가를 받을 여유는 남긴 값입니다. 큰 배치 작업이 시작되면 요청률이 몇 초 만에 10배로 뛰기도 합니다. 서비스가 감당할 수 있는 급증까지 지나치게 거절해서는 안 됐습니다.
앞서 본 foo에서도 이 경계가 드러납니다. 처리 중인 요청 수를 제한으로 나눈 사용률은 평소 10% 안팎이었습니다. 10배 상한의 영향입니다. 과부하가 시작되자 제한이 내려갔고, 그 한도까지 요청이 들어오면서 사용률은 100%로 올랐습니다. 평소 비교적 높은 값 주변에서 오르내리던 제한은 과부하 동안 낮아졌다가, 17:45 무렵 P90 지연이 떨어지자 다시 올라갔습니다.
하한은 서비스에 할당된 CPU 코어 수로 정했습니다. CPU 바운드 엔드포인트에서 요청 하나가 코어 하나를 온전히 쓰게 해 CPU를 활용하려는 선택입니다. 요청 하나가 여러 코어를 필요로 할 수도 있지만, 그 가능성이 실제 문제로 이어진 적은 없었습니다.
하한은 기준 지연을 점검하는 신호이기도 합니다. Auto-tuner가 연속으로 여러 번 하한에 닿으면 targetLatency가 잘못 잡혔다고 판단해 리셋합니다. 지나치게 튀는 기준값 때문에 제한을 계속 낮추려는 상황에서 빠져나오기 위한 장치입니다.
하한에 닿은 뒤 균형을 찾은 Ballast 테스트
이 동작은 Ballast 부하 테스트에서도 확인됐습니다. Ballast는 서비스 노드 하나에만 부하를 걸고, 테스트 트래픽에 낮은 우선순위를 붙여 Cinnamon이 먼저 거절하게 하며, 부하를 서서히 올릴 수 있는 프레임워크입니다. Uber는 이를 사용해 프로덕션에서 Auto-tuner를 시험했습니다.
테스트는 Ta에서 시작했습니다. 낮은 우선순위 트래픽인 티어 4, 5를 점차 늘리자 Tb에서 지연이 오르며 과부하가 드러났습니다. Auto-tuner는 인플라이트 제한을 줄였고, 이 서비스의 하한인 16까지 내려갔습니다.
하한에 연속으로 여러 번 닿자 Tc에서 현재 targetLatency를 버렸습니다. 리셋 뒤 제한은 잠깐 적정값을 넘었다가 Td에서 18로 안정됐습니다. 그 값은 테스트가 끝난 Te까지 유지됐습니다.
원문에 나온 설정값과 테스트 결과
| 항목 | 값 |
|---|---|
| 표본 구간 길이 | 최소 2초, 최대 30초(설정 가능) |
| 구간당 최소 요청 수 | 250개 |
| 기본 집계 백분위 | P90(캐시 적중률 약 90% 서비스는 P95 또는 P80) |
| 평활화 | 중앙값 필터 + 지수 평활 |
| 분위수 집계 자료 구조 | t-digest |
| 공분산 윈도 | 보통 50개 구간 |
| 인플라이트 상한 | 기록한 동시 처리 요청 수 x 10 |
| 인플라이트 하한 | 서비스에 할당된 CPU 코어 수 |
| 부하 테스트 사례 | 제한이 최저 16까지 내려간 뒤 리셋 후 18에서 안정 |