본문으로 건너뛰기
전역 부하로 요청을 거르는 Global Rate Limiter
목차

전역 부하로 요청을 거르는 Global Rate Limiter (2026-02)

원문 정보

  • 원문: Uber’s Rate Limiting System
  • 매체 · 게시일: Uber Engineering Blog · 2026-02-12
  • 저자: Chien-Chih Liao(Senior Staff Software Engineer), Rahul Gutal(Senior Software Engineer), Smit Sheth(Software Engineer II). 본문 하단에 Ying Jiang(Manager)도 소개됨
  • 원문 내용을 바탕으로 재구성한 요약입니다.

장애 중에도 찾기 어려웠던 제한기

초기 우버에서는 한도 하나를 바꾸려 해도 서버를 다시 배포해야 하는 경우가 많았습니다. 장애 중에는 제한기가 어디 있는지부터 찾기 어려웠습니다. 과부하를 막으려고 만든 장치였지만, 급할 때 손대기 어려운 상태였습니다.

각 팀이 따로 구현한 결과입니다. 비즈니스 로직에 제한을 넣은 팀도, 커스텀 미들웨어를 만든 팀도, Redis 카운터를 쓴 팀도 있었습니다. 같은 쿼터를 설정해도 구현에 따라 동작이 달랐고, 작은 서비스 상당수에는 제한기가 아예 없었습니다. 제한기마다 지표와 오류를 보고하는 방식마저 달라, 요청 실패가 속도 제한 때문인지 다른 문제 때문인지 판단할 공통 기준도 없었습니다.

Redis를 쓰면 운영할 대상이 더 생깁니다. 요청마다 네트워크 왕복 비용을 치러야 했고, 제한기용 Redis 플릿도 관리해야 했습니다. 외부 의존성에 숨어 있는 복잡성도 문제였습니다. 라이브러리를 업그레이드한 뒤 제한기의 동작이 예상치 못하게 바뀔 가능성까지 살펴야 했습니다.

우버의 서비스 지향 아키텍처는 수천 개 서비스에서 초당 수억 건의 RPC를 처리합니다. 이 규모에서 속도 제한은 공유 서비스를 보호하고 연쇄 장애를 막으며, 한 호출자가 용량을 과도하게 차지하지 못하게 하는 장치입니다. 팀마다 보호 수준과 운영 방식이 다른 상태를 유지하기는 어려웠습니다.

중앙 카운터의 부담을 피한 서비스 메시

흩어진 제한기를 합칠 때 가장 먼저 떠올릴 만한 방식은 중앙 카운터입니다. Redis 같은 분산 저장소에 카운터를 두는 것은 가장 흔한 속도 제한 설계이기도 합니다. 요청마다 호출자나 엔드포인트에 해당하는 키의 값을 올리고, 임계치를 넘으면 거절합니다. 많은 애플리케이션에서는 정확도와 비용 사이에서 적절한 선택입니다.

우버에는 요청별 원격 조회가 너무 비쌌습니다. 여러 리전에 걸친 수십만 호스트가 초당 수억 요청을 보내는데, 매번 카운터를 올리고 읽으려면 지연과 리전 간 일관성 문제를 감당해야 했습니다. 샤딩하고 복제하더라도 실시간 전역 상태를 유지하려면 Redis 클러스터가 수백 개 필요한 규모였습니다. 제한기를 통합한 뒤에도 운영 복잡성과 장애 요인이 크게 남는 설계입니다.

카운터를 주기적으로 동기화하는 안도 검토했습니다. 네트워크 사용량은 줄지만, 동기화 사이에 데이터가 낡고 급격한 트래픽 증가에 늦게 반응한다는 문제가 있었습니다. 팀은 집계된 부하를 바탕으로 로컬 프록시가 판단하는 완전 분산 아키텍처를 선택했습니다. 낮은 지연과 전역 확장성을 함께 얻으려면 이 방식이 필요하다고 판단한 것입니다.

그 판단을 실행할 자리는 서비스 메시였습니다. 대부분의 우버 서비스가 RPC를 주고받는 이 계층에 Global Rate Limiter(GRL)를 넣으면, 언어나 프레임워크와 관계없이 요청이 목적지에 닿기 전에 검사할 수 있습니다. 서비스 코드를 바꾸지 않고 호출자별·프로시저별 한도를 설정하는 것이 목표였습니다. 초당 수억 요청과 수만 개의 서비스 쌍, 여러 리전에 걸친 트래픽을 감당하면서 추가 지연은 최소로 줄여야 했습니다.

용량이 남아도 요청을 버리던 토큰 버킷

처음에는 프록시마다 토큰 버킷을 두었습니다. 프록시는 로컬 요청 수를 추적하고, 로컬 부하와 전역 부하 목표의 비율에 따라 ratio × limitRPS 속도로 토큰을 채웠습니다. 요청이 왔을 때 토큰이 있으면 하나를 소비하고 통과시키며, 없으면 속도 제한으로 표시하는 방식입니다. 쓰지 않은 토큰은 원형 버퍼에 보관해 짧은 트래픽 급증에 썼습니다. 기본 보관 시간은 10초였고, 버스트가 큰 서비스는 최대 20초까지 늘릴 수 있었습니다.

운영에서는 개별 프록시의 토큰 잔량과 시스템 전체의 여유가 어긋났습니다. 호출자 수가 설정 한도를 넘는 상황에서는 용량을 호출자 사이에 공정하게 나누지 못했습니다. 버스트가 몰린 호스트에서는 전체 부하가 전역 한도 아래인데도 요청을 버리기 시작했습니다. 시스템에 용량이 남아 있는데 유효한 요청을 잃는 문제입니다.

팀이 추가한 drop-by-ratio는 전역 부하가 한도를 넘었을 때 요청의 일정 비율을 확률적으로 버리는 방식입니다. 한도를 초과한 호출자의 모든 인스턴스에 적용합니다. 호출자의 집계 RPS가 한도의 1.5배라면 각 인스턴스가 요청의 약 33%를 버립니다. 드롭 비율은 drop_ratio = (actual_rps - limit_rps) / actual_rps로 계산합니다. 컨트롤 플레인이 몇 초마다 이 비율을 갱신하므로, 초과 트래픽을 호출자의 여러 인스턴스에서 고르게 줄일 수 있었습니다. 호출자 인스턴스가 수백, 수천 개인 게이트웨이형 서비스에 특히 잘 맞았습니다.

한동안 토큰 버킷과 확률적 드롭을 함께 유지했지만, 그만큼 설정이 복잡해졌습니다. 토큰 보충 속도를 맞추려고 주기적으로 부하 정보를 주고받는 데도 네트워크 비용이 들었습니다. 결국 토큰 버킷은 완전히 폐기했습니다. 집계된 전역 부하에 따라 드롭 비율을 정하는 모델로 통일하면서 설정을 단순하게 만들고, 컨트롤 플레인 대역폭을 줄였으며, 프록시마다 일관된 기준으로 요청을 제한하게 했습니다.

프록시까지 드롭 비율을 전달하는 GRL

최종 모델에서 요청 하나를 처리하는 과정은 짧습니다. 프록시는 요청이 설정된 버킷에 해당하는지 확인합니다. 해당 버킷에 활성 드롭 비율이 있으면 그 비율에 따라 확률적으로 버리고, 없으면 그대로 전달합니다. 로컬 토큰 잔량을 계산하거나 요청마다 컨트롤 플레인에 질의하는 과정은 없습니다. 요청 전달 경로에서 하는 일은 프로세스 안의 확률적 샘플링입니다.

드롭 비율을 구하는 계산은 이 경로 밖에서 이뤄집니다. 서비스 메시 데이터 플레인의 속도 제한 클라이언트가 호스트별 RPS를 존 단위 집계기에 보고하면, 집계기는 같은 존의 모든 클라이언트가 보낸 수치를 모아 존 사용량을 계산합니다. 리전별·전역 컨트롤러는 이 데이터를 합쳐 전역 부하를 구합니다. 클라이언트, 집계기, 컨트롤러로 이어지는 3단 피드백 루프입니다(원문 그림 1).

집계기와 컨트롤러는 요청 수를 모으고 임계치와 비교해 매초 새 드롭 비율을 계산합니다. 갱신된 지시는 집계기를 거쳐 연결된 클라이언트로 내려갑니다. 프록시가 요청을 전달하는 동안 무거운 집계 계산을 기다릴 이유가 없습니다. 이 설계는 요청별 판단을 로컬에 유지하면서 초당 수억 요청까지 확장하고, 몇 초 안에 전역 부하를 집행에 반영합니다(원문 그림 2).

그 몇 초가 설계상의 절충점입니다. 전역 집계 데이터는 매초 갱신되지만, 집행은 실제 트래픽보다 2~3초 늦을 수 있습니다. 팀은 거의 모든 워크로드에서 무시할 만한 지연이라고 판단했습니다. 아주 짧은 시간에 극단적으로 높은 버스트가 발생할 때만 정확도에 영향을 줍니다. 전체 용량이 남아 있는데도 요청을 미리 버리던 문제보다는 이 지연을 받아들이는 편을 택했습니다.

컨트롤 플레인을 사용할 수 없으면 클라이언트는 fail open으로 동작합니다. 트래픽을 계속 통과시키는 방식입니다. 과부하를 막으려고 만든 제어 계층이 오히려 서비스 장애를 일으키는 일을 피하려는 선택입니다.

서비스 소유자는 설정 파일에 버킷을 정의합니다. 호출자 이름이나 프로시저, 또는 둘을 조합해 요청을 매칭하고, 한도의 적용 범위는 전역·리전·존 중에서 정합니다. 동작은 실제로 제한을 집행하는 deny와, 차단 없이 시험하는 shadow 모드인 allow로 구분합니다. 설정은 대상 서비스의 코드 변경 없이 적용됩니다.

15배 급증을 견딘 GRL의 운영 현장

GRL은 1,100개가 넘는 서비스에서 초당 약 8,000만 요청을 처리하는 규모에 이르렀습니다. 요청별 원격 카운터 조회를 없앤 효과는 지연 분포에서 드러났습니다.

대규모 핵심 서비스 하나가 Redis 제한기를 GRL로 바꾸자 요청이 더 짧은 지연 구간으로 이동했습니다. 3~4ms 구간의 요청은 50K RPS에서 170K RPS로 늘었고, 6ms를 넘기는 요청은 100K RPS에서 20K RPS로 줄었습니다(원문 그림 3). 주요 API 엔드포인트에서도 모든 백분위의 지연이 개선됐습니다. P50은 약 1밀리초, P90은 수십 밀리초 줄었습니다. P99.5에서는 수백 밀리초 걸리던 응답이 수십 밀리초로 짧아져, 가장 느린 응답에서 최대 90% 개선을 보였습니다(원문 그림 4).

운영할 저장소도 줄었습니다. 서비스마다 쿼터 집행용 데이터 저장소나 캐시를 따로 유지하지 않아도 되면서, 속도 제한에 쓰던 Redis 인스턴스를 상당수 반납했습니다. 서비스 메시에서 요청을 평가하는 방식이 지연뿐 아니라 제한기용 인프라의 운영 부담도 줄인 것입니다.

과부하 방어에서도 효과를 확인했습니다. GRL은 트래픽 급증, 장애 조치, 재시도 폭주 때의 과부하를 반복해서 막았습니다. 핵심 서비스 하나는 22K에서 367K RPS로 늘어난 15배 급증을 성능 저하 없이 견뎠습니다. DDoS 공격을 내부 시스템에 닿기 전에 흡수한 사례도 있습니다(원문 그림 5, 6).

장애 대응에서 쓰는 방식도 달라졌습니다. Production Engineering 팀은 트래픽이 많은 호출자나 프로시저를 골라 제한할 때 GRL을 일상적으로 사용합니다. 설정 갱신이 매초 전파되므로 몇 초 안에 과부하에 대응하며, 이를 위해 서버를 재배포하지 않아도 됩니다. 처음 통합을 추진할 때 겪었던 한도 변경의 마찰이 줄어든 지점입니다.

한도 수작업을 줄인 Rate Limit Configurator

집행을 통합한 뒤에도 한도 설정은 수작업으로 남았습니다. 서비스 소유자는 호출자별·프로시저별 쿼터를 YAML에 적고, 트래픽이 바뀔 때마다 대시보드를 읽어 숫자를 고쳐야 했습니다. 정적 설정은 금방 낡았습니다. 너무 낮으면 정상적인 피크를 막고, 너무 높으면 과부하 방어에 도움이 되지 않았습니다.

Rate Limit Configurator(RLC)는 이 한도를 계산하고 갱신합니다. 정해진 주기가 돌아오거나 설정이 바뀌면 우버의 관측성 플랫폼에서 지난 몇 주의 트래픽 지표를 모읍니다. 과거 피크에 여유분을 더해 호출자나 프로시저별 한도를 계산한 뒤, 공유 설정 저장소에 새 값을 씁니다. 이후 배포 경로는 GRL이 이미 쓰고 있는 컨트롤 플레인입니다. 관측한 수요가 다음 설정에 반영되는 폐루프로, 사람의 개입을 최소화하면서 과부하 보호를 유지합니다.

수천 개 규칙이 이 흐름으로 자동 갱신됩니다. 서비스 소유자가 규칙마다 숫자를 직접 편집하던 작업을 줄이고, 공통 공식과 데이터 출처로 한도를 생성해 정책의 일관성을 높였습니다. 그렇다고 모든 서비스가 과거 RPS만으로 한도를 계산하는 것은 아닙니다.

RLC는 모듈식 인터페이스로 여러 계산 정책을 지원합니다. 기본 정책은 과거 RPS를 사용하지만, 지도와 위치 데이터를 다루는 일부 서비스는 트래픽 예측과 미리 계획한 용량을 반영합니다. 과거 피크에만 반응하지 않고 앞으로 들어올 부하에 맞춰 한도를 구하는 방식입니다. 호출자나 서비스별로 고정 쿼터를 주는 정책도 있습니다. 계약이나 운영 합의에 따라 정한 이 한도는 드물게 변경하며, 장기간 예측 가능한 쿼터를 제공합니다.

자동으로 만든 한도는 shadow 모드에서 먼저 관찰할 수 있습니다. 대시보드와 알림에는 실제 트래픽과, 그 한도를 집행했다면 버렸을 요청이 함께 나타납니다. 서비스 소유자는 실제 차단을 시작하기 전에 동작을 확인합니다. 한도 계산은 자동화하되 서비스에 맞는 정책을 선택하고 집행 전 결과를 검토할 수 있도록 한 설계입니다.

설정 변경의 영향 범위를 좁힌 리전별 한도

팀은 버퍼 튜닝을 확장하고, 설정 변경이 미치는 영향을 줄이기 위해 리전별 속도 제한을 도입했습니다. 갱신 빈도도 높여 실시간 트래픽 변화에 더 민감하게 반응하도록 개선했습니다. 이미 통합한 집행과 자동 설정을 계속 조정하는 작업입니다.

과부하 보호가 GRL에서 끝나는 것은 아닙니다. 애플리케이션에 더 가까운 곳에서는 우버의 throttler 계층이 추가로 보호합니다. GRL은 이 여러 겹의 신뢰성 장치 가운데 하나로 동작합니다.

원문에 제시된 규모와 지연 수치
항목값
전체 RPC 규모초당 수억 건, 수천 개 서비스
GRL 처리량초당 약 8,000만 요청, 1,100개 이상 서비스
토큰 보관 시간기본 10초, 버스트 큰 서비스는 최대 20초
드롭 비율 공식(actual_rps - limit_rps) / actual_rps (RPS가 한도의 1.5배면 약 33%)
전역 집계 갱신 / 집행 지연매초 갱신 / 실시간보다 2~3초까지 지연 가능
핫 패스프로세스 안 확률적 샘플링, 요청별 컨트롤 플레인 통신 없음
컨트롤 플레인 장애 시클라이언트 fail open
버킷 속성범위(전역, 리전, 존), 매칭(호출자, 프로시저), 동작(deny, shadow allow)
트래픽 급증 방어 사례15배 급증(22K에서 367K RPS)을 성능 저하 없이 흡수
꼬리 지연(P99.5)수백 밀리초에서 수십 밀리초 (최대 90% 개선)
중앙값 / P90약 1밀리초 감소 / 수십 밀리초 감소

Redis 제한기를 GRL로 바꾼 핵심 서비스의 지연 구간별 요청 분포입니다(원문 그림 3).

지연 구간이전 RPS이후 RPS변화
2~3ms2.5K30K+1100%
3~4ms50K170K+240%
4~5ms120K120K0%
5~6ms80K34K-57.5%
6ms 초과100K20K-80%
마지막 수정 일자