목차
깊은 호출 체인의 재시도 폭주를 막은 Uber의 에러 소유권 (2026-09)
원문 정보
- 원문: How Uber Protects Against Retry Storms
- 매체 · 게시일: Uber Engineering Blog · 2026-09-17
- 저자: Deepanshu Mehndiratta(Senior Staff Engineer), Alok Srivastava(Principal Engineer), Vibhor Dhingra(Sr Software Engineer), Ankit Srivastava(Distinguished Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
호출 체인 깊은 곳의 Core Entity 장애
2025년 11월 18일, 우버의 Core Entity 서비스가 인프라 문제로 매우 높은 에러율을 내기 시작했습니다. 호출 체인에서 5단계보다 깊은 곳에 있던 서비스입니다. 에러는 호출 체인을 따라 상위로 전해졌고, 그 경로에 있는 호출자들에게는 실패한 요청을 다시 보낼 기회가 남아 있었습니다.
재시도 예산만으로는 부족한 상황이었습니다. 단순한 예산 제한만 적용했다면 문제가 생긴 서비스의 트래픽은 46%~135% 늘고, 장애도 길어졌을 것입니다. 당시 우버에는 에러를 직접 낸 서비스와 전달만 한 서비스를 구분하는 ‘에러 소유권’이 이미 적용돼 있었습니다. 이 구분에 따라 직접 호출자들의 즉각적인 재시도가 멈췄고, 일부 호출자는 최대 20만 건의 추가 요청을 보내지 않았습니다. 루트 노드에 이르는 상위 호출자들에서 멈춘 재시도까지 합치면, 서비스 메시에서 막은 불필요한 요청은 약 950만 건입니다.
우버는 이 방식의 효과를 ‘최대 재시도 폭주 반경’으로도 측정했습니다. 각 루트 노드의 호출 그래프에서 재시도 폭주가 일어날 수 있는 경로의 최대 깊이를 뜻합니다. 사용자용 API 전체에서 이 값의 최댓값은 25에서 3으로, 평균은 20에서 2로 줄었습니다.
10% 예산 안에서도 불어나는 요청
재시도 설정을 조정하고 예산을 정해도, 깊은 곳의 서비스 하나가 여러 서비스를 도미노처럼 쓰러뜨릴 수 있습니다. 서비스별로 사람이 설정한 재시도 정책은 깊은 의존 체인과 팬아웃에서 생기는 서비스 간 증폭을 보지 못하기 때문입니다. 이렇게 번진 장애는 사업 운영과 브랜드 신뢰까지 해칩니다.
문제는 횟수만이 아닙니다. 몇 번 재시도할지는 제어해도, 언제 재시도할지는 제대로 판단하기 어렵습니다. 호출 대상이 직접 낸 에러인지, 하류에서 받아 전달한 에러인지 구분하기 어려워 재시도가 일률적으로 적용됩니다. 일시적이거나 드문 실패에는 통하는 방식입니다. 그러나 서비스 상태가 중간 이상으로 나빠지면, 이미 허덕이는 서비스에 요청을 더 보내 부하와 실패를 키우고 상위 서비스들의 재시도까지 불러옵니다.
A에서 G까지 1:1로 이어진 호출 체인에 대입하면 증폭이 드러납니다. A에 Ƞ개의 요청이 들어오면 정상 상태에서는 모든 노드가 Ƞ개씩 처리합니다. D가 에러를 내기 시작하고 각 서비스가 실패한 하류 호출을 한 번씩 재시도하면, 처리 요청 수는 A에서 Ƞ, B에서 2Ƞ, C에서 4Ƞ로 늘어납니다. D부터 G까지는 각각 8Ƞ입니다. 서비스마다 한 번 더 호출했을 뿐인데 깊은 곳에는 여덟 배의 요청이 도착합니다.
재시도 예산을 10%로 제한해도 증폭은 남습니다. B는 1.1Ƞ, C는 1.21Ƞ, D부터 G까지는 약 1.33Ƞ를 처리합니다. 각 홉이 자기 예산을 지키더라도, 앞선 홉에서 늘어난 요청을 다시 받아 재시도하기 때문입니다.
에러를 낸 곳이 D라면 재시도를 C→D에만 남길 수 있습니다. A와 B가 이 에러를 이유로 재시도하지 않으면 A, B, C의 요청량은 Ƞ에 머물고, D부터 G까지도 1.1Ƞ로 제한됩니다. 에러가 발생한 서비스에 재시도할 기회를 주면서, 그 위의 모든 호출자가 같은 실패를 거듭 재시도하는 상황은 막는 방식입니다.
이를 구현하려면 에러가 어디서 시작됐는지 알아야 합니다. 하류의 에러 코드를 상위 서비스가 이해하도록 번역하는 방법도 있지만, 팬인·팬아웃이 크고 호출 흐름이 계속 바뀌는 우버에서는 유지하기 어려웠습니다. 우버는 이 판단을 공유 인프라에 넣었습니다.
증상과 원인을 가르는 에러 소유권 헤더
에러를 반환했다고 모두 원인은 아닙니다. 서비스가 하류 호출의 실패 때문에 자신도 에러를 반환했다면, 그 응답은 하류 문제의 ‘증상’입니다. 하류 호출은 실패하지 않았는데 서비스가 에러를 반환했다면 그 서비스가 ‘원인’이며 에러의 소유자입니다.
서비스 의존성 분석 솔루션(Service Dependency Analysis Solution)은 들어온 요청의 실패와 하류 호출의 실패 사이에 상관관계가 있는지 살펴봅니다. 그 결과에 따라 서비스가 에러 소유를 주장(claim)하거나 철회(unclaim)하고, 호출자는 응답에 담긴 소유권 헤더를 보고 재시도 여부를 정합니다.
A→B와 B→C가 모두 하류 실패를 자신의 실패로 이어가는 fail-close 의존성이라고 가정합니다. C가 내부 에러를 내고 소유를 주장하면 B는 C를 재시도합니다. 그 시도마저 실패하면 B는 A에 에러를 반환하면서 소유를 철회합니다. B는 C의 실패를 전달했을 뿐입니다. A는 철회된 소유권을 보고 B를 다시 호출하지 않습니다.
| 호출 대상 에러 | 호출자 에러 | 호출 대상의 소유 주장 | 호출자의 재시도 | 호출자가 전파할 소유 주장 |
|---|---|---|---|---|
| 없음 | 있음 | 해당 없음 | 해당 없음 | 주장 |
| 있음 | 있음 | 없음(누락) | 함 | 철회 |
| 있음 | 있음 | 주장됨 | 함 | 철회 |
| 있음 | 있음 | 철회됨 | 안 함 | 철회 |
모든 서비스가 소유권 헤더를 돌려주는 것은 아닙니다. 하류에 의존성 분석 솔루션이 없거나 컨텍스트 전파가 빠지면 헤더가 누락될 수 있습니다. 이때 헤더 누락을 처음 만난 호출자는 해당 하류를 재시도하되, 자신이 상위로 에러를 보낼 때는 소유를 철회합니다. 에러를 반환한 서비스에는 재시도를 허용하면서, 그 위로 재시도 폭주가 번지는 범위를 제한합니다.
이 로직은 우버 서비스 메시 전체에 구현돼 있습니다. 사용자용 API의 요청 경로에 있는 재시도 미들웨어와 서비스 의존성 분석 솔루션이 계속 소유를 주장하고 철회합니다. 서비스마다 별도의 에러 처리 로직을 작성하지 않아도 공유 인프라에서 보호를 받습니다.
한 번의 재시도에 걸린 가용성
재시도를 C→D에만 남겨도 가용성을 지킬 수 있다는 계산에는 조건이 붙습니다. 재시도 예산이 10%일 때, 호출 대상의 기본 가용성이 90% 이상이면 한 번의 재시도로 호출자가 보는 가용성은 99% 이상이 됩니다. 기본 가용성이 그보다 낮아지면 예산 때문에 재시도하지 못하는 요청이 많아집니다. 기본 가용성 80%에서는 재시도 후에도 88%에 그칩니다.
이 계산은 에러가 서로 독립적이고 재시도가 회복으로 이어진다고 가정합니다. 실제 장애는 그 가정대로 움직이지 않습니다. 서비스 과부하, 불량 DB 호스트, DB 과부하, 샤딩 문제에서는 다시 호출해도 계속 실패할 수 있습니다. 에러율이 높아질수록 실패의 무작위성이 줄어, 재시도가 가용성을 높이기는커녕 상태를 더 악화시키기도 합니다. 에러 소유권은 이런 상황에서 여러 단계의 재시도가 겹치는 것을 막습니다.
그렇다고 상위의 재시도를 무조건 끊을 수는 없습니다. 많은 서비스가 fail-close 하류 호출에 재시도를 설정해 두지 않았기 때문입니다. 에러를 낸 서비스와 맞닿은 호출자가 재시도하지 않는데 상위 호출자의 재시도까지 없애면, 호출 체인의 가용성이 떨어집니다.
우버는 하류 에러가 재시도 기준을 충족하는지 알리는 플래그를 추가했습니다. 재시도 미들웨어가 기준 충족 여부를 계산해 의존성 분석 솔루션에 넘깁니다. 분석 솔루션은 들어온 요청에 응답할 때 이 신호를 참고해, 서비스가 fail-close 하류에서 받은 에러의 소유를 주장할지 결정합니다.
새로운 재시도를 추가하는 장치는 아닙니다. 최소 한 번의 재시도는 호출 체인 안의 서비스 중 적어도 하나에 재시도가 설정돼 있을 때만 보장됩니다. 우버는 이 처리로 호출 체인의 가용성 하락을 없애면서 재시도 폭주 보호를 유지했습니다.
서로 무관한 실패가 겹친 A의 에러
하류 호출이 실패한 순간에 서비스 자체도 다른 이유로 실패할 수 있습니다. 실패 시점이 겹쳤다는 이유만으로 에러의 소유를 철회하면, 실제 원인을 낸 서비스에 필요한 재시도까지 막게 됩니다.
A가 B와 C를 호출하되, 이들의 실패가 A 요청의 실패로 이어지지 않는 fail-open 의존성이라고 가정합니다. A는 의존성 분석이 추적하지 않는 과부하 캐시나 DB 때문에 10%의 에러율을 보입니다. B와 C도 서로 무관한 이유로 각각 10%의 에러율을 냅니다. 이때 A 자신의 실패와 B 또는 C의 실패가 우연히 겹칠 수 있습니다.
의존성 분석은 하류를 먼저 원인으로 보고, 서비스 자신은 마지막에 판단합니다. 실패가 겹치면 A가 자기 에러의 소유를 철회할 수 있다는 뜻입니다. A가 100개 요청 중 10개에서 내부 에러를 냈다면, 이 가운데 1.9개는 잘못 철회된 것으로 계산됩니다. A의 상위 호출자는 철회 헤더를 보고 재시도하지 않으므로, 회복할 수도 있었던 요청을 놓칩니다.
6개월치 의존성 분석 데이터에서 이런 우연한 겹침은 아주 드물었습니다. 최악의 경우, 1분 동안 호출 대상의 실패가 100건을 넘은 간선의 80%에서 호출자도 함께 실패한 비율은 약 2%였습니다. 이 관측값을 앞의 예시에 대입하면 잘못 철회되는 요청은 10건 중 0.396건입니다.
실패 패턴의 기록을 쓰면 이 오판도 피할 수 있습니다. 의존성 분석 솔루션은 이전의 실패 패턴을 기억하므로, fail-close 의존성에서 나간 호출의 실패와 들어온 요청의 실패가 상관될 때만 소유를 철회할 수 있습니다. 이 조건을 적용하면 fail-open 하류의 에러가 우연히 겹쳤다는 이유로 정당한 재시도를 막는 문제는 사라집니다.
컨텍스트 유실로 상위에 옮겨 간 재시도
서비스 내부에서 컨텍스트가 끊기면 에러의 발생지를 끝까지 추적하지 못합니다. D가 C에 내부 에러를 반환했는데, C가 D로 보낸 호출과 B에서 받은 요청을 연결하지 못하는 경우입니다. 의존성 분석 솔루션은 C의 응답이 D의 실패에서 비롯됐다는 사실을 알아내지 못합니다.
이때 C는 에러의 소유를 주장합니다. 재시도할 수 있는 에러가 호출 체인의 왼쪽, 즉 상위로 옮겨 간 것입니다. C→D에서는 재시도 미들웨어가 계속 재시도하고, C가 소유를 주장했으므로 B→C에서도 재시도가 일어납니다. 그래도 B가 재시도에 실패해 A에 에러를 반환할 때는 소유를 철회합니다. A는 B를 다시 호출하지 않습니다.
컨텍스트가 끊겨도 그 위의 재시도까지 모두 허용하지는 않습니다. 모든 노드가 시도 1회와 재시도 1회로 설정된 경우, 에러 소유권을 적용하면 B부터 D까지의 총 요청은 절반으로 줄어듭니다. A보다 상위에 노드가 5개 더 있었다면, 소유권을 전파하지 않을 때의 요청은 최악에 32배 더 많았을 것입니다.
원문의 주요 수치와 계산
| 항목 | 값 |
|---|---|
| 재시도 1회, 예산 없음 (A~G, D에서 에러) | Ƞ, 2Ƞ, 4Ƞ, 8Ƞ, 8Ƞ, 8Ƞ, 8Ƞ |
| 예산 10%, 모든 홉 재시도 | Ƞ, 1.1Ƞ, 1.21Ƞ, 1.33Ƞ 이후 1.33Ƞ |
| 예산 10%, C→D 간선만 재시도 | Ƞ, Ƞ, Ƞ, 1.1Ƞ 이후 1.1Ƞ |
| 기본 가용성 99.9% / 예산 10% | 재시도 후 99.9999% |
| 기본 가용성 99% / 예산 10% | 재시도 후 99.99% |
| 기본 가용성 95% / 예산 10% | 재시도 후 99.75% |
| 기본 가용성 90% / 예산 10% | 재시도 후 99% |
| 기본 가용성 80% / 예산 10% | 재시도 후 88% |
| 기본 가용성 70% / 예산 10% | 재시도 후 77% |
| 우연한 겹침 최악 사례 | 호출 대상 실패 분당 100건 초과 간선의 80%에서 약 2% |
| 2025-11-18 장애, 단순 예산 시 예상 증가 | 성능 저하 서비스 트래픽 46%~135% 증가 |
| 직접 호출자에서 멈춘 추가 요청 | 호출자 일부에서 최대 20만 건 |
| 루트 기준 합산해 막은 요청 | 약 950만 건 |
| 최대 재시도 폭주 반경 | 25에서 3으로 |
| 평균 재시도 폭주 반경 | 20에서 2로 |