목차
한 고객의 폭주에도 처리를 이어 가는 Cadence의 큐 (2021-12)
원문 정보
- 원문: Cadence Multi-Tenant Task Processing
- 매체 · 게시일: Uber Engineering Blog · 2021-12-16
- 저자: Yichao Yang(Software Engineer II, Uber Cadence 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
월말 배치에 밀린 워크플로
월말 배치가 시작되자 사람이 응답을 기다리는 워크플로까지 늦어집니다. 한 고객이 만든 태스크가 클러스터 자원을 전부 차지하면 다른 고객도 기다려야 했습니다. 부하가 더 커지면 하위 데이터베이스까지 과부하에 걸렸습니다.
Cadence는 장애에 강한 장기 실행 애플리케이션을 워크플로로 작성하도록 돕는 멀티 테넌트 오케스트레이션 프레임워크입니다. 수평 확장으로 수백만 개의 동시 실행을 처리하며, Uber 안에서도 수백 개 팀이 사용합니다. 고객과 사용 사례가 늘자 함께 쓰는 자원을 어떻게 나눌지가 절실한 문제가 됐습니다.
요청 속도를 제한하는 것만으로는 부족했습니다. Cadence는 워크플로를 진행하면서 타이머, 시그널, 액티비티와 자식 워크플로, ElasticSearch에 메타데이터를 기록하는 태스크를 만들고 처리합니다. 태스크는 워크플로 상태 전이와 함께 원자적으로 커밋되지만, 처리는 비동기로 진행됩니다. 워크플로 시작이나 시그널 전송, 워커 API의 요청 속도를 제한해도 이 백그라운드 작업까지 제어되지는 않습니다.
타이머가 그 차이를 잘 보여 줍니다. 한 고객이 오랫동안 조금씩 타이머를 예약하되 모두 같은 시각에 발화하도록 설정하면, 외부 요청 RPS가 낮아도 타이머가 터지는 순간에는 막대한 태스크가 몰립니다. 요청을 받는 속도와 실제 일을 처리해야 하는 속도가 달랐습니다. Uber가 바꿔야 했던 곳은 태스크를 처리하는 내부였습니다.
샤드의 경계를 넘어 모인 100개 워커
변경 뒤 Cadence history 호스트당 워커 고루틴은 같은 부하에서 1만 6천 개에서 100개로 줄었습니다. 95% 넘게 줄인 결과입니다. 피크 부하에서도 DB 과부하를 막았습니다. 출발점은 샤드마다 따로 두었던 워커 풀을 호스트가 공유하는 풀로 모으는 일이었습니다.
기존에는 워크플로와 그 비동기 태스크가 샤드, 즉 워크플로 파티션 하나에 속했습니다. 각 샤드의 큐 프로세서가 DB에서 태스크를 읽어 자기 워커 풀에 넘기는 방식입니다. 확장성을 위해 샤드를 많이 두다 보니 풀 하나가 작아도 전체 워커 수는 크게 불어났습니다. 그렇다고 풀을 더 줄이면 바쁜 워크플로의 처리가 느려졌습니다.
부하가 낮을 때는 워커 대부분이 쉬었습니다. 부하가 높아지면 많은 워커가 한꺼번에 일을 시작해 DB를 압박했습니다. 샤드별로 나뉜 풀을 호스트 안의 모든 샤드가 공유하도록 바꾸자, 훨씬 적은 워커로 같은 부하를 처리하게 됐습니다. 워커 수에 상한이 생겼으므로 모두 바쁘게 움직여도 DB로 몰리는 작업량을 제한하게 됩니다.
그다음은 제한된 처리 기회를 고객 사이에 나누는 일입니다. 생성 순서만 따르면 한 고객의 폭주가 다른 고객을 계속 막습니다. 새 처리기는 모든 태스크를 Priority Assigner에 먼저 보내 우선순위를 정합니다. 고객을 구분하는 도메인마다 레이트 리미터를 두고, 사용할 토큰이 떨어진 도메인은 이미 태스크를 너무 많이 만들었다고 판단해 이후 태스크에 낮은 우선순위를 부여합니다.
워커 풀은 가중 라운드 로빈으로 각 우선순위의 태스크를 처리합니다. 높은 우선순위에는 더 자주 차례를 주되, 낮은 우선순위에도 너무 오래 기다리지 않도록 처리 기회를 남깁니다. 높은 우선순위 태스크가 없으면 낮은 우선순위 태스크도 지연 없이 처리됩니다. 부하가 큰 고객의 처리 속도를 낮추면서 다른 고객의 지연을 낮게 유지하는 방식입니다.
적어진 워커를 실패한 태스크가 계속 차지해서도 안 됩니다. 예전에는 실패한 태스크가 워커 풀에 남아 재시도를 반복했고, 이런 태스크가 쌓이면 샤드 전체가 막혔습니다. 새 처리기는 연속 실패 횟수가 정해진 한도를 넘으면 태스크를 소유 샤드로 돌려보냅니다. 처리할 수 없는 태스크는 빠르게 실패해야 했으며, 드물게 지연이 길어지는 태스크도 하나씩 찾아 워커를 모두 점유하지 않도록 완화했습니다.
우선순위를 낮춘 뒤 남은 메모리 압박
처리를 늦추는 것과 읽기를 멈추는 것은 달랐습니다. 낮은 우선순위 태스크를 제한하는 동안에도, 그 뒤에 어떤 우선순위의 태스크가 있는지 알려면 DB에서 계속 읽어야 합니다. 처리하지 못한 태스크는 메모리에 남습니다. 폭주가 이어지면 이 버퍼가 커지다가 결국 메모리가 부족해집니다.
처리 진도를 기록하는 방식에도 문제가 드러났습니다. 큐 프로세서는 태스크의 상태를 추적하고, 안전하게 삭제할 수 있는 완료 태스크를 주기적으로 DB에서 지웁니다. 이때 읽기 레벨은 어디까지 태스크를 불러왔는지, ACK 레벨은 어디까지 처리를 마쳤는지를 나타내는 커서입니다. 샤드를 다시 로드할 때는 저장된 ACK 레벨부터 처리를 시작합니다.
ACK 레벨은 미처리 태스크를 건너뛰지 못합니다. 버퍼의 앞쪽에 낮은 우선순위 태스크 하나가 남아 있으면, 뒤쪽의 높은 우선순위 태스크를 이미 처리했어도 그 자리에서 멈춥니다. 이 상태에서 샤드를 다시 로드하면 완료한 태스크까지 많이 재처리하게 됩니다. 멱등한 처리 덕분에 정확성은 보장되지만, 같은 일에 자원을 다시 쓰는 낭비는 남았습니다.
Uber는 우선순위가 낮을 만한 태스크 범위를 별도 가상 큐에 맡겼습니다. 가상 큐마다 읽기 레벨과 ACK 레벨을 따로 두고, 태스크를 읽고 처리하는 속도도 독립적으로 조절합니다. 분리된 큐는 필요한 지점에서 읽기를 멈춰 메모리에 태스크가 더 쌓이지 않게 합니다. 원래 큐는 그 큐에 속한 태스크를 만나면 무시하므로, 낮은 우선순위 태스크를 계속 버퍼에 쌓지 않아도 됩니다.
ACK 레벨도 분리됩니다. 새 큐의 ACK 레벨이 멈춰 있어도 높은 우선순위 태스크가 주로 남은 원래 큐는 처리 진도를 기록할 수 있습니다. 샤드를 다시 로드했을 때 이미 끝낸 일을 반복하는 양도 줄어듭니다. 한 도메인의 느린 처리가 다른 도메인의 읽기와 처리 기록까지 붙잡지 않도록 한 것입니다.
새 가상 큐를 만드는 과정을 분할이라고 부릅니다. 태스크를 taskID와 분할 속성으로 나누되, 각 그룹이 서로 겹치지 않고 모두 합치면 원래 큐 전체를 포함해야 합니다. 이 조건을 지키면 워크플로 ID나 태스크 유형도 분할 속성으로 사용할 수 있습니다. Cadence 구현은 멀티 테넌시 요구에 가장 잘 맞는 도메인 이름을 택했습니다.
아직 읽지 않은 태스크까지 맡는 룩어헤드
도메인을 분리할 시점은 버퍼에 쌓인 태스크 수로 판단합니다. 분할 정책이 큐 안의 도메인별 버퍼 태스크 수를 주기적으로 확인하다가 임계값을 넘은 도메인을 새 큐로 옮깁니다. 새 큐의 taskID 범위는 [원래 큐의 ACK 레벨, 원래 큐의 읽기 레벨 + 룩어헤드]입니다. ACK 레벨부터 읽기 레벨까지를 포함하므로, 이미 버퍼에 있는 해당 도메인의 태스크가 모두 새 큐로 넘어갑니다.
이미 읽은 태스크만 옮겨서는 부족합니다. 원래 큐가 계속 읽다가 같은 도메인의 태스크를 다시 만나면 버퍼가 또 늘기 때문입니다. 룩어헤드는 현재 읽기 레벨보다 뒤쪽의 범위까지 새 큐에 맡겨, 앞으로 읽을 태스크도 조절하게 해 줍니다. 그 범위는 경험과 사용 사례에 맞춰 도메인별로 설정합니다.
원문 그림은 고객을 색으로 구분하고, 주황색 도메인을 분리하는 예를 듭니다. 룩어헤드가 없으면 분할된 Q1과 Q2의 읽기 커서는 원래 큐의 최대 taskID에 닿아 있어 더 읽을 것이 없습니다. Q3는 곧바로 읽기를 시작하고, 주황색 태스크를 만날 때마다 다시 메모리에 쌓습니다. 큐를 나눴는데도 버퍼를 줄이려던 목적을 이루지 못합니다.
룩어헤드를 두면 아직 읽지 않은 주황색 태스크도 Q2가 맡습니다. 메모리 압박이 생겼을 때 Q2의 읽기를 멈추면, 룩어헤드로 정한 범위의 주황색 태스크가 계속 버퍼에 쌓이는 일을 막습니다. 분할하는 순간의 버퍼뿐 아니라 그 뒤에 읽을 범위까지 따로 관리해야 하는 이유입니다.
분할 로직은 정책 인터페이스로 분리했습니다. 도메인 하나가 태스크를 많이 쌓는 경우와 잘못된 워크플로 상태 때문에 태스크가 막히는 경우에 맞는 정책을 구현했고, 도메인 처리 일시 중지 같은 기능으로 확장할 여지도 뒀습니다. 분할 코드 경로를 시험하기 위한 무작위 분할 정책도 만들었습니다.
큐를 나눌수록 늘어나는 DB 읽기
가상 큐를 계속 늘리면 다른 비용이 커집니다. 도메인별 필터링은 DB에서 태스크를 읽은 뒤에야 가능하므로, 큐가 많을수록 같은 범위를 읽는 작업과 DB IO도 늘어납니다. 도메인을 격리하려고 만든 큐가 DB에 과도한 부하를 주지 않도록 제한해야 했습니다.
Uber는 큐에 레벨을 두었습니다. 원래 큐는 레벨 0, 여기서 분리된 큐는 레벨 1입니다. 레벨 0에서 새 큐를 만들 때 레벨 1의 기존 큐와 taskID 범위가 겹치면 합칩니다. 한 레벨의 같은 taskID 범위에는 가상 큐 하나만 남기는 방식입니다. 정해진 최대 레벨을 넘는 분할도 금지해, 특정 범위의 태스크를 읽는 횟수에 상한을 뒀습니다.
앞서 주황색 도메인을 분리한 뒤 파란색 도메인도 분리한다고 가정합니다. 파란색 태스크를 맡을 큐의 범위가 레벨 1의 기존 큐와 겹치면, 별도 큐를 늘리지 않고 그 큐와 합칩니다. 이 예에서는 해당 범위의 태스크를 두 번만 읽습니다. 도메인을 하나 더 분리해도 같은 범위의 DB 읽기를 더 늘리지 않는 것입니다.
10분 안에 몰린 3백만 개의 타이머
설계가 정해져도 설정값은 남았습니다. 낮은 우선순위로 내릴 태스크 RPS 임계값, 태스크 채널 크기, 라운드 로빈 가중치를 정해야 했지만 처음에는 판단할 데이터가 없었습니다. 값은 고객의 사용 사례와 부하 패턴에 따라 달라졌습니다. Uber는 프로덕션 트래픽을 관찰하고 여러 값을 시험하는 시행착오 끝에 대부분의 사용 사례에 맞는 설정을 찾았습니다.
우선순위 처리기는 프로덕션 클러스터에서 겪은 폭주 부하 상황을 모두 해소했습니다. 폭주하는 도메인의 처리를 제한하면서 나머지 도메인의 지연은 낮게 유지했습니다. 그런데 이 성과가 다중 커서 큐의 튜닝에는 어려움이 됐습니다. 대부분의 폭주를 우선순위 처리기가 소화하니 다중 커서 큐가 작동하는 일이 드물었고, 설정값을 판단할 신호도 부족했습니다.
운영 관찰만으로는 충분하지 않았습니다. Uber는 프로덕션 트래픽을 섀도잉하고 테스트 환경에서 통제된 실험을 진행했습니다. 다중 커서 큐 시험에서는 3백만 개의 타이머를 10분 안에 발화하도록 예약했습니다. 초당 5천 개로, 테스트 클러스터가 감당할 수준을 훨씬 넘는 부하였습니다.
다중 커서 큐는 이 부하를 약 1.6시간에 걸쳐 나누어 처리했습니다. 몰린 타이머를 처리하는 동안에도 다른 도메인에서 새로 들어온 태스크의 지연은 낮게 유지했습니다.
설계 조건과 시험 수치
| 항목 | 값 |
|---|---|
| history 호스트당 워커 고루틴 | 1만 6천 개에서 100개 (95% 이상 감소) |
| 시험 부하 | 타이머 300만 개를 10분 안에 발화 (초당 약 5천 개) |
| 시험 결과 | 약 1.6시간에 걸쳐 분산 처리, 다른 도메인 지연 낮게 유지 |
| 우선순위 판정 | 도메인별 레이트 리미터에 토큰이 없으면 낮은 우선순위 |
| 신규 큐의 taskID 범위 | [원래 큐 ACK 레벨, 원래 큐 읽기 레벨 + 룩어헤드] |
| 분할 속성 | 도메인 이름 |
| 큐 레벨 | 원래 큐는 레벨 0, 분할된 큐는 레벨 1부터, 최대 레벨 제한 |