본문으로 건너뛰기
모든 실패로 그린 Uber의 fail-close 의존성 지도
목차

모든 실패로 그린 Uber의 fail-close 의존성 지도 (2026-09)

원문 정보

  • 원문: Large-Scale Automated Dependency Analysis Across Uber’s Service Mesh
  • 매체 · 게시일: Uber Engineering Blog · 2026-09-15
  • 저자: Deepanshu Mehndiratta(Senior Staff Engineer), Alok Srivastava(Principal Engineer), Shivam Jindal(Staff Software Engineer), Ankit Srivastava(Distinguished Engineer)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

핵심 API의 실패 뒤에 놓인 호출 트리

요청을 처음 받은 서비스에서 오류가 났다고 해서 실패의 출처까지 드러나는 것은 아닙니다. 그 아래에는 여러 겹으로 중첩된 비동기 호출이 이어집니다. 간접 의존성도 계속 바뀝니다. 서비스 소유자가 이 관계를 모두 추적하기 어려운 환경에서 Uber는 어떤 하위 의존성의 실패가 핵심 API까지 번지는지 알아내려 했습니다.

API의 의존성을 펼치면 호출 트리가 됩니다. 각 노드는 서비스와 엔드포인트의 쌍이거나 데이터스토어입니다. 어떤 의존성이 실패할 때 호출자도 일관되게 실패한다면, 그 관계를 fail-close, 즉 하드 의존성이라고 부릅니다.

이 관계를 알면 신뢰성에 투자할 지점도 구체적으로 고를 수 있습니다. 하드 의존성과 그 영향을 알림에 반영해 감지 시간(TTD)을 줄이고, 근본 원인을 빨리 찾아 복구 시간(TTM)을 줄이는 데 쓰는 것입니다. 페이저 알림을 줄여 온콜 부담을 낮추거나, 핵심 사용자 여정에서 가용성 개선 효과가 큰 호출 경로를 찾는 데도 필요한 정보입니다.

Uber는 실제로 핵심 API 전체의 의존성을 목록으로 만들었습니다. 이 작업은 서비스 복원력 기준을 다루는 신뢰성 개선 과제로 이어졌고, 서비스 메시의 fail-close 이상 징후 대부분을 색인했고, 이는 Failover Architecture 2.0의 회귀 방지 안전장치를 다지는 기반이 되었습니다. 서비스들이 트래픽이 몰리는 시간에도 장애를 더 잘 견디고 안정성을 유지할 기반을 갖춘 것입니다.

실패 열 건을 기다리기엔 느린 트레이스

fail-close를 판별하려면 실패 사이의 상관관계부터 관측해야 합니다. A→B→C→D→E라는 호출 경로에서 E의 오류가 A까지 전파되는 장면은 분산 트레이스에 드러납니다. 같은 실패를 열 번 관측했고 매번 A도 실패했다면, E의 실패가 A를 실패시킨다는 인과관계를 판단할 수 있습니다.

문제는 그 열 번을 모으는 시간입니다. Uber 요청의 99.9% 이상은 허용 가능한 지연 시간 안에 성공하므로 모든 요청의 트레이스를 수집하는 비용을 정당화하기 어려웠습니다. 실패 여부를 확인한 뒤 수집을 결정하는 tail sampling도 구현이 까다롭고 인프라 비용이 너무 컸습니다. Uber가 사용하던 방식은 head sampling이었습니다.

샘플링률이 0.01%이고 API 가용성이 99.9%라면, 오류 요청이 샘플링될 확률은 1천만 분의 1입니다. 초당 500건을 처리하는 API에서도 실패 요청 하나를 잡는 데 5시간 33분 20초가 걸립니다. API에 수백 개 의존성이 있고 각각의 실패 가능성이 같다고 가정하면, 이런 실패 열 건을 관측하는 데 걸리는 시간은 2일 7시간 55분 31초입니다.

그 사이 호출 경로가 바뀔 수 있습니다. 의존성을 판별할 만큼 관측을 쌓기도 전에 분석 대상이 달라지는 것입니다. Uber는 개별 실패를 트레이스로 자세히 들여다보는 대신, 프로덕션에서 발생하는 모든 실패를 메트릭으로 관측해 더 빨리 판정에 도달하기로 했습니다.

Muttley의 메트릭에 빠진 엔드포인트

성공과 실패를 세는 장치는 이미 있었습니다. 온호스트 프록시 Muttley가 서비스 사이의 요청을 라우팅하면서 메트릭도 내고 있었습니다. 하지만 Muttley가 아는 것은 호출자 서비스와 피호출 노드뿐입니다. 호출자 서비스의 어느 엔드포인트가 요청을 받아 하위 호출을 일으켰는지는 알지 못합니다.

예를 들어 서비스의 엔드포인트 11개 중 10개가 같은 피호출 노드를 호출한다면, 서비스 단위의 메트릭에는 그 10개 엔드포인트의 동작이 섞입니다. 관심 있는 엔드포인트 하나에서 나타나는 실패 관계와 서비스 전체의 집계 결과는 다를 수 있습니다. 어느 하위 호출이 어느 인바운드 요청에서 시작됐는지 연결하려면 애플리케이션 안쪽의 정보가 필요했습니다.

요청의 시작과 끝을 연결한 yarpc 미들웨어

Uber의 메시지 전달 플랫폼 yarpc에는 그 연결에 쓸 미들웨어가 있었습니다. yarpc는 Go와 Java를 지원하며, HTTP/gRPC/TChannel 전송과 JSON/Proto/Thrift 인코딩을 추상화합니다. 클라이언트는 자동 생성되고, 인바운드와 아웃바운드에 미들웨어를 이어 붙여 요청과 응답을 살펴볼 수 있습니다.

공개된 Go 구현에서 인바운드 미들웨어의 Handle이 반환하는 오류는 애플리케이션이 호출자에게 오류를 돌려주려는지 알려줍니다. 아웃바운드 미들웨어의 Call이 반환하는 오류는 하위 호출의 실패 여부를 나타냅니다. 두 메서드는 모두 context.Context를 첫 인자로 받습니다. Java 구현도 같은 패턴을 따릅니다.

요청을 잇는 열쇠는 이 컨텍스트에 넣은 ID입니다. 인바운드 미들웨어는 애플리케이션 로직을 실행하기 전에 메모리의 원자 카운터로 고유한 requestID를 만들고, 공유 저장소 RequestTracker에 항목을 생성합니다. RequestTracker는 map[RequestID]IngressLog 형태이며, IngressLog에는 현재 서비스와 요청을 받은 엔드포인트가 Node로 들어갑니다. 인바운드 미들웨어는 ID를 컨텍스트에 넣은 뒤 요청을 넘깁니다.

애플리케이션이 같은 컨텍스트로 하위 서비스를 호출하면 아웃바운드 미들웨어가 ID를 읽어 해당 IngressLog를 찾습니다. 여기에 하위 서비스, 대상 엔드포인트, 호출의 실패 여부를 기록한 EgressLog를 덧붙입니다. 요청 처리가 끝날 무렵이면 IngressLog 하나에 인바운드 요청과 그 요청에서 시작된 모든 아웃바운드 호출이 모입니다.

응답이 인바운드 미들웨어로 돌아오면 기록을 읽어 메트릭을 냅니다. 각 아웃바운드 호출마다 호출자 서비스와 인바운드 엔드포인트, 인바운드 오류 여부, 피호출 서비스와 엔드포인트, 아웃바운드 오류 여부를 함께 기록합니다. 이 메트릭은 서비스가 처리하는 모든 요청에서 나옵니다.

공유 메모리 덕분에 인바운드 쪽에서도 하위 호출의 결과를 읽습니다. 컨텍스트로 내려보낸 요청 ID를 기준으로 아웃바운드의 정보를 다시 인바운드로 전달하는 방식입니다. Uber는 이 연결을 재시도 폭주를 막는 데도 사용합니다.

Pc로 판별하는 fail-close 경로

판정에 쓰는 것은 재시도를 모두 마친 호출의 결과입니다. 애플리케이션 계층에서는 재시도를 허용하지 않고, 의존성 분석용 아웃바운드 미들웨어 뒤에 연결한 별도 미들웨어가 재시도를 수행합니다. 분석 미들웨어가 아웃바운드 상태를 읽을 때는 이미 모든 시도가 끝나 있으므로, 중간에 발생한 실패를 최종 실패로 세지 않습니다.

메트릭을 모아 간선이 fail-close일 확률 Pc를 구합니다. 피호출 노드가 실패한 요청 전체를 분모로 삼고, 그중 호출 노드도 실패한 요청 수를 분자로 놓습니다. 하위 호출이 실패했을 때 호출자도 실패했는지, 아니면 성공했는지를 나누어 보는 비율입니다.

판정 경계는 휴리스틱으로 정했습니다. Pc가 0.8 이상이면 fail-close, 0.2 이하이면 fail-open으로 분류하며, 그 사이는 알 수 없음으로 남깁니다. fail-open은 하위 의존성의 실패가 호출자의 실패로 반드시 이어지지는 않는 소프트 의존성입니다.

간선의 판정을 연결하면 경로의 성격도 드러납니다. 루트 A 아래의 A→C→E에서 두 간선이 모두 fail-close라면, E의 실패는 C를 거쳐 A까지 전파됩니다. 따라서 E와 C는 A의 fail-close 의존성입니다.

A→B→D에서는 B→D가 fail-open입니다. D가 실패해도 B는 성공하므로 오류가 A까지 올라오지 않습니다. D는 A의 fail-open 의존성으로 분류되지만, B와 F는 상관시킬 오류가 관측되지 않았으므로 알 수 없음으로 남습니다.

트레이스 샘플링 계산과 의존성 판정값
항목값
분산 트레이스 샘플링률0.01% (1만 건에 1건)
API 가용성 가정99.9% (1천 건에 1건 오류)
오류 요청이 샘플링될 확률1천만 건에 1건
초당 500건 API에서 실패 1건 샘플링5시간 33분 20초
실패 10건 샘플링2일 7시간 55분 31초
Pc >= 0.8fail-close
Pc <= 0.2fail-open
0.2 < Pc < 0.8알 수 없음
마지막 수정 일자