본문으로 건너뛰기
서비스 메시의 연결 폭을 조절하는 Uber 동적 서브셋팅
목차

서비스 메시의 연결 폭을 조절하는 Uber 동적 서브셋팅 (2022-05)

원문 정보

  • 원문: Better Load Balancing: Real-Time Dynamic Subsetting
  • 매체 · 게시일: Uber Engineering Blog · 2022-05-17
  • 저자: Chien-Chih Liao(Senior Staff Software Engineer, Software Networking), Pawel Krolikowski(Staff Software Engineer, Software Networking), Sangeeta Kundu(Senior Engineering Manager, Software Networking)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

Uber에서는 서비스 하나의 요청량이 몇 분 만에 100 QPS에서 10만 QPS로 뛰기도 합니다. 서비스 인스턴스인 task가 수십 개인 서비스와 수만 개인 서비스가 함께 돌아가고, 호출자의 잘못된 설정으로 10~100배의 재시도 폭주가 일어나는 일도 드물지 않습니다.

이런 변화는 예외적인 운영 상황만은 아닙니다. Uber는 2014년부터 마이크로서비스를 사용했고, 현재 세대의 서비스 메시는 2016년부터 수천 개의 핵심 서비스와 수백만 개의 컨테이너 사이 RPC를 맡아 왔습니다. 각 제품 팀이 서비스를 소유하며, 인증을 통과하면 어느 서비스든 다른 서비스를 호출할 수 있습니다. 용량도 미리 할당하지 않습니다.

네트워킹 팀이 고정값으로 관리하던 설정도 이 변화를 따라가야 했습니다. 프록시가 연결할 백엔드의 수, 곧 서브셋 크기입니다.

120 QPS가 고르게 퍼지지 않던 백엔드

Uber는 호스트 프록시가 전체 백엔드 중 일부만 골라 요청을 보내는 서브셋팅을 쓰고 있었습니다. 처음에는 기본 크기를 정해 두고, 필요하면 서비스 소유자가 값을 덮어썼습니다. 초기에는 잘 작동했습니다. 문제는 프록시마다 백엔드를 무작위로 고르면서 드러났습니다.

원문에 나온 예시는 작습니다. 서비스 A가 B에 합계 120 QPS를 보내고, B에는 task가 5개 있습니다. 각 프록시의 서브셋 크기는 3입니다. 프록시들이 독립적으로 고른 task가 겹치면서 B의 어느 인스턴스는 다른 인스턴스보다 더 많은 요청을 받습니다. 호출하는 쪽의 task가 적으면 과부하와 낮은 사용률이 나란히 나타나고, 아예 선택되지 않는 백엔드도 생깁니다.

팀은 메시가 커지면 이 편차가 줄어들리라 기대했습니다. 호출자가 수백 개쯤 되면 무작위 선택도 고르게 퍼질 것 같았습니다. 실제로는 가장 큰 서비스들에도 높은 불균형이 남았습니다. 호출자와 피호출자의 task 수 비율이 크게 다르고, 요청마다 부하도 달랐기 때문입니다.

최소 대기 요청 방식의 로드 밸런싱도 충분한 보정 수단이 되지 못했습니다. 프록시는 각자 보낸 요청만 세었고, 다른 프록시의 부하를 간접적으로 알 수 있는 신호는 응답 지연뿐이었습니다. 그런데 컨테이너 사용률이 낮아 응답 지연에는 부하 차이가 잘 드러나지 않았습니다. Uber가 균형을 잡고 싶었던 시점은 과부하가 사용자에게 보이기 전이었습니다.

호스트 배치도 영향을 줬습니다. 프록시 하나를 같은 호스트의 모든 task가 공유하므로, 서비스 A와 D가 한 호스트에서 B를 호출하면 같은 서브셋으로 요청이 몰립니다. Compute Platform이 같은 서비스의 task 여러 개를 한 호스트에 배치해도 같은 일이 벌어집니다.

불균형이 생길 때마다 네트워킹 팀은 서비스 소유자와 함께 크기를 다시 골랐습니다. 서비스별 용량과 호출자 조합이 다르니 공통 정답은 없었습니다. 맞춰 놓은 값이 일주일 뒤나 한 달 뒤에도 맞는다는 보장도 없었습니다. 팀이 이를 “운영의 악몽”이라고 부른 이유입니다.

1억 개의 TCP 연결 앞에 놓인 서비스 메시

백엔드 선택이 문제라면 모든 백엔드에 연결하는 방법을 떠올릴 만합니다. 하지만 연결 자체에도 비용이 듭니다. 오래 유지하는 TCP 연결은 매번 연결을 맺는 비용을 아끼는 대신, 요청이 없을 때도 양쪽의 CPU와 메모리를 사용합니다. task가 1만 개인 서비스가 다른 1만 개짜리 서비스의 모든 task에 연결하면 TCP 연결은 1억 개가 됩니다.

서브셋팅은 이 수를 줄입니다. 프록시별로 서로 겹치는 백엔드 집합을 두어, 전체적으로는 모든 백엔드가 요청을 받되 각 프록시는 제한된 수의 task에만 연결하게 합니다. 백엔드로 들어오는 연결과 프록시가 유지하는 연결을 함께 줄이는 방식입니다. Google SRE 책, Twitter, Netflix Ribbon, Envoy도 같은 문제를 다뤘습니다.

Uber가 원하는 균형은 각 백엔드 task가 비슷한 비율로 CPU를 쓰는 상태입니다. 과부하에 걸린 task는 성능이 나빠집니다. 일부 task에만 부하가 몰리면 이들을 보호하려고 서비스 전체에 용량을 더 할당해야 하므로 효율도 떨어집니다. 이를 살피는 지표가 서비스 내 task의 p99 CPU 사용률을 평균 CPU 사용률로 나눈 부하 불균형 값입니다.

연결이 많다고 이 값이 반드시 좋아지지는 않습니다. 최소 대기 요청 방식은 선택 대상이 지나치게 많으면 사실상 라운드 로빈처럼 동작할 수 있어, 잘 고른 서브셋이 완전 연결 메시보다 나은 균형을 보이기도 합니다. 어려운 부분은 크기 선택입니다. 너무 작은 서브셋의 손해가 너무 큰 서브셋의 손해보다 크므로, 크기를 정할 때는 여유를 두는 편이 낫습니다.

전체 부하를 프록시로 돌려보내는 Traffic Control

Uber가 바꾼 것은 프록시마다 연결 수를 정하는 기준입니다. 대상 서비스가 받는 전체 QPS와 자신이 보내는 QPS를 알면, 프록시는 전체 부하에서 자신이 차지하는 비율을 계산할 수 있습니다. 많이 보내는 프록시는 더 많은 백엔드에 연결하고, 적게 보내는 프록시는 작은 서브셋을 쓰도록 했습니다.

필요한 부하 보고서는 이미 있었습니다. 이를 이해하려면 호스트 프록시와 Traffic Control 사이의 관계를 먼저 볼 필요가 있습니다.

호출 서비스는 목적지 서비스 이름과 프로시저, 요청을 호스트의 로컬 포트로 보냅니다. 그 포트를 듣는 L7 리버스 프록시가 피호출 서비스의 백엔드 task로 RPC를 직접 전달합니다. 서비스 탐색과 비정상 task 제외, 로드 밸런싱, 인증, 관측성, 스로틀링, 자동 페일오버는 메시가 처리합니다.

여기서 Traffic Control은 트래픽의 지휘자입니다. 어느 존과 클러스터에 얼마나 보낼지 정한 배분 정보를 프록시에 전달하며, 서비스 소유자가 특정 풀을 비우거나 데이터센터 간 페일오버를 설정하는 창구이기도 합니다. 프록시는 배분 정보에 담긴 task 풀의 URI로 디스커버리 서비스에서 최신 배치를 가져옵니다. 풀은 같은 서비스의 task를 묶은 단위입니다.

프록시는 원래도 Traffic Control에 트래픽 부하를 주기적으로 보고했습니다. 호스트 수에 맞춰 수평 확장하는 Aggregator가 보고서를 모으고, 전체 트래픽을 보는 소수의 Controller가 다시 집계합니다. 동적 서브셋팅을 위해 새로 만든 것은 이 집계 결과를 프록시로 돌려보내는 경로였습니다. 수 초면 전달됩니다. 모든 프록시가 정확히 같은 순간의 값을 보지는 않지만, 크기를 조절하기에는 충분했습니다.

프록시는 자신이 대상 서비스로 보내는 부하 load를 측정하고, 순간적인 급증에 덜 흔들리도록 측정값을 평활화합니다. Traffic Control에서 받은 풀별 배분 비율 assignment와 대상 서비스 전체의 부하 aggregateLoad를 함께 써서 풀마다 원하는 크기를 계산합니다.

desiredSubsetSize = numberOfTaskInPool * load / (aggregateLoad * assignment) * constant

수식의 constant는 연결 폭을 조절하는 팬아웃 상수(aperture 상수)입니다. 이 값을 조절하면 프록시가 여는 연결 수와 부하 균형 수준이 달라집니다. 고정 크기를 쓰던 때와 달리, 같은 서비스를 호출하는 프록시라도 보내는 트래픽에 따라 연결할 백엔드 수가 달라집니다.

수식보다 까다로운 부분은 프록시의 처리 비용이었습니다. 호스트에 어떤 워크로드가 들어오고 어느 서비스를 호출할지 미리 알 수 없으므로 수만 개 풀의 서브셋 크기를 감시해야 했습니다. 다행히 대부분의 풀은 크기가 자주 바뀌지 않았고, 보통 프록시 하나가 실제로 통신하는 풀은 수백 개 정도였습니다.

백엔드를 고르는 방식은 여전히 무작위입니다. 프록시끼리 선택을 조율하지 않으므로 불균형을 없애지는 못하며, 크기 조정에도 부하 정보가 전파되는 몇 초의 지연이 있습니다. 저자들은 선택을 조율할 별도의 조율자가 없는 접근을 복원력과 확장성의 장점으로 꼽았습니다.

사람이 먼저 튜닝했던 36개 서비스

전환에는 약 6개월이 걸렸습니다. 내부 테스트와 소수의 초기 도입 서비스를 거쳐 일괄 적용한 뒤에도, 직접 설정을 조정해 둔 “파워 서비스”가 남았습니다. 이 마지막 그룹에 유난히 시간이 많이 들었습니다. 더 중요한 서비스인 데다 사용 형태도 일반적이지 않아, 소유자와 하나씩 확인하며 성능 저하를 막아야 했습니다.

가장 분명한 성과는 운영 부담에서 나왔습니다. 2022년 5월 원문 작성 시점까지 도입 후 약 12~18개월 동안, 서비스 소유자가 서브셋팅 때문에 불만을 제기한 사례가 한 건도 없었습니다. 동적 서브셋팅은 수백만 개 컨테이너를 대상으로 2년 가까이 운영되고 있었습니다.

효율 개선을 메시 전체의 정확한 수치로 제시하기는 어려웠습니다. 대규모 적용 때 충분한 기록을 남기지 못했고, 리전 간 A/B 테스트를 하지 않은 것도 아쉬움으로 남았습니다. 메시의 지표에는 잡음이 많았습니다. 적용 시기가 COVID-19와 겹치면서, 서브셋팅 변경보다 훨씬 큰 변화가 통계에 나타났습니다.

그래도 비교할 수 있는 기록은 있었습니다. Delivery 조직의 production engineer들이 큰 서비스 8개를 수동 튜닝했을 때 p99 CPU 사용률이 15~30% 줄었다고 보고했습니다. 이는 수동 튜닝의 성과입니다. 이후 이 서비스들을 동적 서브셋팅으로 옮겼을 때 성능 저하가 없었고, 일부는 더 좋아졌습니다.

마지막으로 전환한 파워 서비스 36개에는 더 정확한 데이터가 남았습니다. 그중 17개에서 p99 CPU 사용률이 10% 이상 줄었고, 일부는 최대 40% 감소했습니다. 이미 사람이 공들여 맞춰 둔 서비스들이었습니다. 자동 조정으로 전환해도 성능이 떨어지지 않았고, 절반 가까이에서는 그 설정보다 나은 결과를 얻었습니다. 함께 공개한 그래프에서도 주요 서비스의 배포별 CPU 사용률이 비슷한 수준으로 모이고, 부하 불균형 지표가 낮아지는 모습을 보여 줬습니다.

몇 달 뒤 메모리 압박이 커진 호스트

동적 서브셋팅으로의 전환을 마친 지 몇 달 뒤, 별도로 진행하던 tchannel에서 HTTP2로의 마이그레이션 중 프록시의 메모리 압박이 커졌습니다. 연결 유지 비용이 드러난 순간이었습니다.

문제가 생긴 호스트에는 요청량이 많은 인스턴스가 여러 개 있었고, 이들이 수만 task 규모의 풀 여러 곳을 호출했습니다. 동적 서브셋팅이 트래픽에 맞춰 연결을 늘리자 열린 연결이 수천 개에 이르렀습니다. Go HTTP2의 문제까지 겹쳐 프록시 메모리 사용량이 치솟았습니다. 해당 호스트는 전체의 0.01% 미만이었지만, 백엔드로 여는 최대 연결 수에 상한을 두고 신중하게 배포해 해결해야 했습니다.

앞선 롤아웃에서는 연결 수의 하한도 높였습니다. 부하가 적더라도 프록시가 최소한 몇 개의 백엔드에는 연결하도록 한 것입니다. RPS가 낮아도 CPU를 많이 쓰는 호출자가 있었고, 새 워크로드가 호스트에 배치되거나 RPS가 급증했을 때 서브셋이 커지기까지 기다리는 문제도 있었습니다. 최소 서브셋 크기를 높여 이 영향을 완화했습니다.

자동 설정을 신중하게 받아들이던 일부 서비스에는 aperture 상수를 직접 정할 수 있게 했습니다. 원문 작성 시점에는 아주 적은 수만 이 설정을 사용했습니다. Uber는 더 줄일 여지가 있다고 봤지만, 특히 도입 초기부터 수동 설정을 선호한 소유자도 있었습니다.

더 키웠다가 다시 줄인 팬아웃 상수

처음의 팬아웃 상수에는 충분한 평가 근거가 없었습니다. 약 1년 뒤 더 포괄적인 평가 파이프라인을 만든 뒤에는 상수를 높였습니다. 이때 서브셋을 계속 키워 완전 연결에 이르더라도, 크기를 늘릴수록 추가로 얻는 균형 개선 효과는 줄어든다는 예상도 확인했습니다.

더 손볼 여지는 남았습니다. 아래 항목은 검토한 개선안이며, 시스템이 이미 충분히 잘 작동하고 있어 구현 계획으로 이어지지는 않았습니다.

  • 서브셋을 빨리 늘리고 천천히 줄이는 히스테리시스. 비용이 큰 서브셋 변경과 연결 변동을 줄여 급변하는 트래픽에 대응
  • 풀 크기 비율을 계산에 추가. task 풀이 아주 큰 저 RPS 호출자가 여러 대형 호출자와 함께 있을 때, 전역 집계 때문에 모든 백엔드를 호출하지 못할 수 있는 이론상의 사례를 보정
  • Twitter·Google처럼 결정적 서브셋팅으로 무작위 선택을 대체. 더 고른 선택을 얻는 대신 프록시 간 조율이 필요
  • 호출자·프로시저별 부하 추적. 정밀도는 높아지지만 복잡도가 늘고, 요청마다 다른 부하까지 반영하려면 비용이 큰 심층 요청 검사가 필요

약 12개월 뒤에는 별도 프로젝트인 Assisted Load Balancing을 프록시에 도입했습니다. 이 작업으로 무작위 백엔드 선택의 영향이 줄었고, 팬아웃 상수를 낮출 수 있었습니다. 저자들은 이 후속 작업을 별도 글에서 다룰 예정이라고 밝혔습니다.

롤아웃 결과 수치
항목값
서브셋 크기 수식numberOfTaskInPool * load / (aggregateLoad * assignment) * constant
롤아웃 기간약 6개월
수동 튜닝했던 큰 서비스 8개p99 CPU 사용률 15~30% 감소(수동 튜닝 시점 보고), 동적 전환 후 저하 없음
파워 서비스 36개17개가 p99 CPU 사용률 10% 이상 감소, 최대 40%
연결 급증이 일어난 호스트0.01% 미만
정적 서브셋 예시호출 120 QPS, 서브셋 3, 백엔드 task 5개
완전 연결 시 연결 수 예시1만 x 1만 task = 1억 TCP 연결
마지막 수정 일자