본문으로 건너뛰기
고르게 나눈 요청에도 남는 CPU 불균형과 Uber의 ALB
목차

고르게 나눈 요청에도 남는 CPU 불균형과 Uber의 ALB (2024-03)

원문 정보

  • 원문: Load Balancing: Handling Heterogeneous Hardware
  • 매체 · 게시일: Uber Engineering Blog · 2024-03-07
  • 저자: Pawel Krolikowski(Staff Software Engineer, Software Networking), Chien-Chih Liao(Senior Staff Software Engineer, Software Networking), Ying Jiang(Manager, Observability Application)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

소수의 과부하가 낮춘 전체 사용률

요청 수는 고른데 CPU 사용률은 제각각이었습니다. Uber가 큰 서비스 몇 개를 조사했을 때, 1분 단위로 본 초당 요청 수(RPS)는 대부분의 애플리케이션에서 컨테이너 간 차이가 0.1% 미만이었습니다. 로드 밸런서는 요청을 거의 완벽하게 나누고 있었습니다. 그런데 같은 시간 동안 컨테이너가 쓴 CPU에는 큰 차이가 났습니다.

이 편차는 용량을 줄이려는 작업을 가로막았습니다. Uber는 2020년부터 멀티 테넌트 플랫폼의 효율을 높이려고 상태 없는 서비스에 할당하는 용량을 줄이려 했습니다. 주된 제약은 CPU였습니다. 예산을 검토하면 사용률이 지나치게 낮은 서비스가 보였지만, 제품 팀에 사용률을 높이자고 하면 신뢰성과 가용성, 지연 목표를 지킬 수 있을지부터 걱정했습니다.

제품 팀의 우려에는 이유가 있었습니다. 평균보다 CPU를 많이 쓰는 태스크는 평소에는 버텨도 페일오버 때 어려움을 겪었습니다. 일부 태스크의 사용률만 유난히 솟는 경우도 있었고, 전체가 넓은 띠처럼 퍼져 있어 얼핏 보면 덜 심각해 보이는 경우도 있었습니다. 어느 쪽이든 SLA를 지키려는 팀은 평균 사용률을 낮게 잡았습니다.

과소 사용과 과부하는 비용이 같지 않습니다. 100개 워크로드 중 5개가 덜 쓰이면 머신 5%를 비효율적으로 쓰는 데 그칩니다. 같은 5개가 과부하에 빠지면 고객 경험과 신뢰성이 위험해집니다. 이를 피하려고 클러스터 전체의 평균 사용률을 낮추는 순간, 나머지 95%까지 덜 쓰게 됩니다. 작은 편차를 피하는 선택이 훨씬 큰 낭비로 이어졌습니다.

플랫폼 팀이 권장 목표와 오토스케일러를 제공해도 실제 용량은 각 제품 팀이 정했습니다. 예산 절차로 할당량을 제한할 수는 있었지만, 사용률을 안전하게 높이려면 먼저 그 편차를 설명하고 줄여야 했습니다. 처음에는 네트워크 로드 밸런싱을 의심했습니다. 앞서 본 요청 수 분포는 그 짐작과 어긋났습니다.

이 작업은 이전 글인 「Better Load Balancing: Real-Time Dynamic Subsetting」에서 이어집니다. 범위는 서비스 메시로 통신하는 워크로드, 곧 상태 없는 워크로드 대부분이며 CPU에 초점을 맞춥니다. 여러 팀이 1년 넘게 함께한 작업에서, 최종 해법을 구현하는 일만큼이나 무엇을 고쳐야 하는지 알아내는 과정이 어려웠습니다.

요청과 CPU를 연결한 임시 계측

처음 만든 Grafana 대시보드는 불균형이 얼마나 큰지 보여 줬습니다. 원인은 알려 주지 않았습니다. 로드 밸런서가 요청을 잘못 나누는지 확인하려면 백엔드별 요청 통계를 CPU 사용량과 연결해야 했는데, 그 연결부터 막혀 있었습니다.

로드 밸런서는 백엔드 인스턴스별 통계를 내보내지 않았습니다. 이유는 카디널리티, 즉 구분해서 저장해야 할 시계열의 수였습니다. 컨테이너가 수천 개이고 프로시저가 수백 개인 서비스에서 이를 모두 기록하면 프록시 메모리가 폭증하고, 중간 규모 서비스조차 통계를 조회하기 어려워집니다. 여름 인턴 프로젝트에서 필요한 서비스만 켤 수 있는 인스턴스별 통계를 새 메트릭 네임스페이스에 추가했습니다. 롤업 규칙도 붙였습니다. 한 번에 몇 개 서비스만 관측하면 분석할 데이터를 얻을 수 있었습니다.

통계가 생겨도 컴퓨트와 네트워킹 스택의 인스턴스를 서로 대응시키기 어려웠습니다. 타깃별 CPU 사용량은 보이는데 어느 컨테이너인지 쉽게 알아낼 수 없었습니다. host:port를 식별자로 쓰기에는 IP 범위가 넓고 포트가 동적으로 바뀌어 카디널리티가 너무 커졌습니다. 제대로 된 해법을 둘러싼 논의는 몇 분기째 멈춰 있었습니다.

네트워킹 팀은 IP 주소를 정렬한 뒤 정수 인스턴스 ID를 내보내는 임시 방편을 만들었습니다. 배포가 바뀌면 같은 ID를 보장하지 못했습니다. 그래도 스크립트를 보태면 조사에 쓸 수 있었습니다. 완전한 실시간 관측성을 갖추는 데 몇 달이나 몇 분기를 쓰기 전에, 일부 서비스를 골라 가정을 검증할 길이 열린 것입니다.

큰 서비스 몇 개를 수작업으로 분석하자 처음의 가정이 무너졌습니다. 요청 수는 고르게 나뉘고 있었습니다. 몇 주에 걸쳐 CPU 편차를 분해해 보니, 네트워크의 요청 분배만으로 설명할 수 없는 원인들이 드러났습니다.

트래픽이 들어오는 곳부터 고르지 않았습니다. Uber의 많은 시스템은 도시를 구분해 동작하고, 각 도시는 한 리전에 속합니다. 도시가 깨어나고 잠들 때마다 리전별 트래픽 비중이 달라집니다. 여기에 한 서비스가 클러스터 안팎의 여러 하드웨어 SKU에 걸쳐 실행된다는 사정이 더해졌습니다. 같은 수의 요청을 받아도 하드웨어가 다르면 CPU 사용률이 달랐고, 명목상 같은 하드웨어끼리도 성능 차이가 컸습니다.

설명하지 못한 편차도 남았습니다. 상당 부분은 관측성의 한계였으며, 시끄러운 이웃(noisy neighbor)의 영향으로 추정한 부분은 원래 불균형의 20% 미만이었습니다.

처음에는 눈에 잘 띄는 이상치를 하나씩 고쳤습니다. 어떤 수정은 기대보다 효과가 작았고, 어떤 수정은 시스템 일부에만 통했으며, 나중에 뜻밖에 큰 개선으로 이어진 것도 있었습니다. 서로 독립된 문제가 모인 숲이었습니다. 큰 문제를 고친 뒤에야 그 뒤의 작은 문제가 보였습니다.

분석을 더 엄밀하게 시작했다면 예상 밖의 결과는 줄었을 것입니다. 그래도 이 순서를 완전히 피하기는 어려웠을 것이라는 회고입니다. 무엇을 재야 하는지, 그 숫자를 어떻게 읽어야 하는지 자체를 조사하면서 배웠기 때문입니다.

피크와 배포를 함께 재는 불균형 지표

원인을 찾는 일과 개선 폭을 증명하는 일은 달랐습니다. 이전 글의 Real-Time Dynamic Subsetting에서 마련한 조절 장치를 바꾸면 서비스 메시가 만든 불균형은 줄었습니다. 전체 문제에서 차지하는 비중은 작았습니다. 더구나 서비스에는 뚜렷한 일간·주간 주기가 있고, 장애와 배포, 페일오버가 그래프에 큰 스파이크를 만듭니다. 눈으로 알아볼 만한 변화는 20% 이상의 개선이었는데, 당시 변경의 효과는 그보다 미묘했습니다.

측정 방식은 프로젝트가 끝날 때까지 논쟁거리였습니다. 여러 팀의 엔지니어가 참여하고 떠나는 동안 관점도 달라졌습니다. CPU 사용률의 p99를 평균으로 나눈 값을 불균형 지표로 삼자는 데는 합의했습니다. 그 뒤에도 어느 범위와 시간대를 계산할지가 남았습니다.

한 워크로드가 여러 존과 클러스터에 걸쳐 있으면 전체 인스턴스를 한데 놓고 잴 수도 있고, 클러스터마다 따로 잴 수도 있습니다. 리전은 격리가 강하고 트래픽을 어느 리전으로 보낼지는 네트워킹 팀의 통제 밖입니다. 사업 관점에서 필요한 지표와 네트워킹 팀이 개선할 수 있는 범위를 나타내는 지표가 꼭 같지는 않았습니다. 커스텀 샤드나 피어 투 피어 라우팅, 전용 호스트를 쓰는 서비스도 고려해야 했습니다.

시간대를 정하는 일도 간단하지 않았습니다. 하루 전체를 볼지, 피크만 볼지, 피크라면 어느 길이의 구간을 택할지가 문제였습니다. active-active 구성에서 불균형이 가장 위협적인 때는 페일오버지만, 그때만 재면 표본이 주 1회 수준으로 줄어듭니다. 배포 직후 컨테이너가 워밍업하는 동안에도 불균형은 치솟습니다. 어떤 서비스는 CD로 하루 수십 번씩 조금씩 배포하고, 어떤 서비스는 한 번 배포하는 데 몇 시간이 걸렸습니다. 드레인과 부하 테스트, 일시적인 성능 저하까지 섞여 있었습니다.

서비스 여럿을 합치면 가중치가 필요했습니다. 서비스 티어를 어떻게 반영할지, 서로 다른 시간에 오는 일간·주간 피크를 어떻게 합칠지, 결과를 존이나 클러스터별로 다시 나눠 볼 수 있을지도 쟁점이었습니다. 개발과 모니터링에는 1분 이내의 정밀도가 필요했고, 장기 추세는 몇 년 치를 일 단위로 모아 볼 수 있어야 했습니다.

바쁜 시간의 비중을 담은 Continuous Imbalance Indicator

이 요구를 맞추려고 만든 지표가 Continuous Imbalance Indicator입니다. 워크로드마다 분 단위로 p99와 평균 CPU 사용량을 구하고, 컨테이너 수를 반영해 사용한 코어와 낭비로 계산할 코어를 구합니다.

p99가 5코어, 평균이 4코어이고 컨테이너가 10개라면 사용량은 10×4=40코어입니다. 지표에서 낭비로 잡는 양은 (5-4)×10=10코어입니다. 따라서 지표는 1+10/40=1.25가 됩니다. 실시간으로 그래프를 볼 때 쓰던 p99/평균 125%와 같은 값입니다. 시간 구간으로 넓히면 p99 곡선과 평균 곡선 아래 면적의 비가 됩니다.

비율부터 평균내지 않고 절대 코어 수를 합산한다는 점이 유용했습니다. 서비스, 서비스별 클러스터, 서비스 묶음, 클러스터, 존으로 범위를 바꾸거나 시간 구간을 늘려도 정수를 더해 계산할 수 있습니다. CPU를 많이 쓰는 바쁜 시간대의 불균형에 자연스럽게 더 큰 비중이 실립니다.

설명은 쉽지 않았습니다. 사람에게는 ‘가중 p99/평균’이라는 근사가 통했습니다. 주간 p99의 p99를 주간 평균의 평균으로 나누는 대안은 서비스 하나를 설명할 때는 단순했지만, 우발적인 이벤트에 너무 민감하고 여러 서비스를 합칠 때도 다루기 어려웠습니다. 실시간 지표는 Grafana에, 장기 데이터는 Hive에 두고 일별 전처리 파이프라인을 만들었습니다.

데이터를 자르는 위치도 지표를 바꿉니다. 두 클러스터의 p99/평균이 각각 110%여도 워크로드 전체에서는 140%가 나올 수 있습니다. 불균형이 심한 두 클러스터를 합쳤는데 전체 불균형이 더 낮아지는 경우도 있습니다. 클러스터별 비율을 평균내는 것으로 전체 불균형을 대신할 수는 없었습니다.

지표의 정의를 정한 뒤에는 수집 과정도 고쳐야 했습니다. cgroups, cexporter, 사내 Prometheus 스크레이퍼, m3가 맞물리는 과정에 오류가 있었습니다. 메트릭을 계속 증가하는 게이지로 내보냈기 때문에, 중간 어디서든 수집이 지연되면 백분위 계산에 실제로는 없었던 큰 스파이크가 생겼습니다. 충분히 큰 서비스에서는 수집 자체가 사실상 망가지는 문제도 발견했습니다. 샘플의 타임스탬프를 보존하고 타깃과 수집기의 재시작을 처리하는 데 많은 작업이 들어갔습니다.

숫자를 바로잡은 뒤에는 뜻밖의 일이 생겼습니다. 프로젝트 초기에 서비스 소유자에게 어느 CPU 사용률부터 사용자에게 보이는 지연이 늘어나는지 물었습니다. 수정 배포 후 몇 달이 지나 다시 물어도 답은 같았습니다. 예전 계측이 틀렸는데도 사용률에 관한 판단은 그대로였던 것입니다. 서비스 소유자들은 아무것도 달라지지 않았다고 생각하면서 실제로는 더 높은 CPU 사용률로 서비스를 운영하게 됐습니다.

이렇게 마련한 장기 데이터는 이후에도 쓰였습니다. 기존 데이터 웨어하우스에 집계 기반을 갖춰 놓으니, 로드 불균형에 관한 질문이 다시 들어와도 대시보드 링크로 대부분 답할 수 있었습니다. 데이터는 처음의 가정을 깨는 데서 끝나지 않고, 다른 팀과 작업의 우선순위를 정하는 근거가 됐습니다.

하룻밤 사이 빨라진 CPU

같은 SKU의 머신이라고 성능까지 같지는 않았습니다. 편차를 추적하자 OS 설정, CPU 거버너 설정, 펌웨어와 드라이버, CPU 마이크로코드 버전이 제각각이었습니다. Intel HWP와 커널 버전이 맞지 않는 문제까지 나왔습니다. 하드웨어를 도입해 가동한 뒤에는 고장 나지 않는 한 그대로 두던 운영 방식이 머신 사이의 차이를 쌓고 있었습니다.

클라우드와 사설 환경을 섞어 쓰면서 다른 종류의 차이도 드러났습니다. 같은 사양으로 생성한 VM의 성능이 달랐고, 온프렘에서 잘 돌던 워크로드가 클라우드에서는 문제를 일으켰습니다. 클라우드에서는 하부 인프라를 들여다볼 수 있는 범위도 좁았습니다. 같은 사양의 VM에서 성능이 달라지는 현상은 글을 쓰는 시점에도 남아 있었습니다.

마침 Crane 프로젝트가 끝난 참이었습니다. 사람 손을 거치지 않고 수만 대 머신을 측정하고 수정한 뒤 변경을 배포할 수 있게 됐습니다. 조사에서 찾아낸 문제는 자동으로 감지하고 복구하도록 만들었습니다. 로드 밸런싱을 바꾸기 전에도 얻을 수 있는 용량이 있었습니다. 일부 CPU는 하룻밤 사이에 빨라졌습니다.

이 개선은 서비스 메시로 통신하는 상태 없는 서비스에만 머물지 않았습니다. Kafka, Cadence, RPC, 타이머, 배치 등 모든 워크로드가 혜택을 받았습니다. 머신 간 편차를 줄였을 뿐 아니라 사용할 수 있는 순수 컴퓨트 용량도 늘었습니다.

서로 다른 호스트에 맞춘 클러스터 트래픽

설정 오류를 고쳐도 서로 다른 세대의 하드웨어가 같아지지는 않습니다. 남은 성능 차이를 처리할 위치를 골라야 했습니다. Uber는 서비스 메시를 바꾸기로 했습니다. 데이터센터 배치를 바꾸거나 서비스를 하나씩 옮기지 않고도 대부분의 서비스에 빠르게 적용할 수 있었기 때문입니다.

다른 선택지도 검토했습니다. CFS 파라미터를 조정해 모든 호스트가 같은 성능으로 보이게 하는 방법은 매력적이었지만, GOMAXPROCS 같은 소프트웨어 스택에 어떤 영향을 줄지 불분명했습니다. 돌아보면 같은 우려가 cpu-set 활용도 막았습니다. 호스트를 다시 배치해 클러스터를 균일하게 만들거나, 서비스별 배치를 바꿔 균일하지는 않아도 일정한 호스트 구성을 유지하는 방안도 있었습니다. 팀마다 하드웨어 종류를 고르는 클라우드식 호스트 관리로 옮기는 길도 후보였습니다.

서비스 메시 안에는 이미 조정할 지점이 있었습니다. 컨트롤 플레인이 타깃 클러스터별 트래픽 비율을 정하고, 데이터 플레인이 각 클러스터 안에서 요청을 받을 호스트를 고릅니다. 이 모델은 유지했습니다. 클러스터 사이의 배분과 클러스터 안의 피어 선택을 각각 손봤습니다.

존 평균에서 시작한 NCU 가중치

먼저 존별로 정적 가중치를 줬습니다. 존은 서로 다른 시기에 만들어지므로 새 존에 더 최신 하드웨어가 있는 경우가 많습니다. 각 존에 속한 호스트의 NCU(Normalized Compute Unit) 계수를 평균내 트래픽 비율에 곱했습니다. NCU는 클럭당 명령 수와 코어의 클럭 주파수에 따른 코어당 성능을 벤치마크로 나타낸 값입니다.

A존과 B존에 인스턴스가 10개씩 있다고 가정합니다. A의 가중치가 1이고 B가 1.2라면, 트래픽을 나눌 때는 B에 인스턴스가 12개 있는 것처럼 계산합니다. 더 빠른 존으로 요청이 더 많이 갑니다. 이 작은 변경만으로도 불균형 대부분을 줄였습니다.

존 평균이라는 한계는 남았습니다. 어떤 서비스는 우연히 존에서 가장 빠른 호스트에 배치되고, 다른 서비스는 가장 느린 호스트에 배치될 수 있습니다. 존을 늘리거나 줄일 때, 하드웨어를 조금씩 도입할 때, 기존 존에 다른 종류의 하드웨어를 넣을 때마다 가중치를 다시 조정해야 했습니다.

다음 단계인 Dynamic Host-Aware Cluster Load Balancing은 서비스가 실제로 배치된 호스트를 반영했습니다. 디스커버리 시스템이 호스트 IP와 서버 유형, 가중치의 매핑을 파악하고, 각 서비스가 클러스터에서 사용하는 호스트의 가중치 정보를 트래픽 제어 시스템에 전달합니다. 클러스터별 트래픽 비율을 서비스마다 동적으로 정할 수 있게 됐습니다.

서비스 Foo의 예에서는 인스턴스 수만 세면 37.5%/62.5%로 나눌 트래픽을 호스트 성능까지 반영해 36%/64%로 나눴습니다. 이 예의 차이는 작지만 여러 세대의 호스트가 섞이면 더 커집니다. Uber 플릿에는 호스트 간 가중치가 최대 2배까지 벌어지는 경우가 있었습니다. 새 호스트 유형은 자주 추가되지 않으므로, 존 구성이 바뀔 때마다 평균 가중치를 고치는 방식보다 유지하기도 수월했습니다.

백엔드의 부하를 응답으로 배우는 Muttley

클러스터 안에서는 호스트에 있는 프록시 Muttley가 피어를 고릅니다. 기존 알고리즘은 Muttley 자신이 알고 있는 미처리 요청이 가장 적은 피어를 선택하는 least-pending이었습니다. 요청 수를 고르게 나누는 데는 잘 맞았습니다. 서로 다른 하드웨어의 CPU 사용률까지 맞춰 주지는 못했습니다.

Assisted Load Balancing(ALB)은 백엔드가 자신의 부하를 알려 주도록 바꿨습니다. 애플리케이션 미들웨어가 응답 헤더에 부하 메타데이터를 붙이면, Muttley는 이를 다음 피어 선택에 사용합니다. 중앙에서 상태를 모아 조율하지 않아도 각 호출자가 백엔드의 전체 부하를 알게 됩니다.

이 정보에는 다른 Muttley가 보낸 요청의 영향도 들어 있습니다. 어떤 백엔드가 우연히 너무 많은 서브셋에 포함됐다면, 그 결과 높아진 부하가 응답에 드러납니다. 자기 요청만 보던 때보다 백엔드의 상태를 잘 알게 된 덕분에 ALB를 쓰는 서비스는 나중에 서브셋 크기도 줄일 수 있었습니다. 설계의 영감 일부는 Google SRE 책의 짧은 언급에서 얻었습니다. 구현 막바지에 발견한 Netflix 블로그에서도 독립적으로 비슷한 결론에 도달해 있었습니다.

정수 하나로 표현한 백엔드 부하

백엔드가 보고하는 값은 CPU 사용률이 아닙니다. 현재 처리 중인 요청 수를 q=1, q=2, …, q=100처럼 정수로 보냅니다. 사용률을 보고하는 방법도 검토했지만 getrusage와 cgroups 중 어느 값을 쓸지부터 결정해야 했습니다.

cgroups의 값은 서비스 소유자가 목표를 정할 때 쓰는 기준과 맞았습니다. 하지만 모든 컨테이너가 cgroups를 읽는 비용이 우려됐고, cgroupsv2 이전을 포함한 레이아웃 변경에 구현이 묶이는 문제도 있었습니다. 호스트 데몬이 대신 값을 제공하게 하면 런타임 의존성이 늘어납니다. 요청 수라는 논리적인 정수만으로도 충분히 잘 동작했습니다. 일부 비동기 애플리케이션은 로드 밸런서 코드를 바꾸지 않고 이 기본 지표를 자체 부하 값으로 바꿀 수도 있었습니다.

응답에 실을 수 있었던 8바이트

부하 정보를 응답 헤더에 붙이는 결정에는 대역폭 문제가 있었습니다. 설계 문서의 상당 부분은 중앙에서 부하를 수집해 배포하는 대안을 검토하는 데 쓰였습니다. 이미 플릿 전체의 상태를 거의 실시간으로 수집하는 헬스 체크 시스템이 있었지만, 그 시스템은 상태 변화를 드물게 배포했습니다. 대부분의 컨테이너는 계속 건강하기 때문입니다. 부하 값은 끊임없이 바뀝니다.

모든 컨테이너가 서로 호출할 수 있는 플랫 메시에서 중앙 배포를 택하면, 수백만 컨테이너의 정보를 수십만 대 머신에 계속 전달해야 했습니다. 이를 줄이려면 새 집계·캐시 계층이 필요했습니다. 이전 글에서 다룬 실시간 집계 시스템은 클러스터 단위로 동작해 카디널리티가 수 자릿수 낮았습니다. 그대로 가져다 쓸 수 있는 규모가 아니었습니다.

응답 헤더 방식의 추가 비용은 요청당 약 8바이트였습니다. 추적과 인증 메타데이터에 비하면 작은 양이었고, 요청을 많이 보내는 서비스가 그만큼 대역폭을 더 쓰므로 비용을 귀속시키기도 쉬웠습니다. 구현도 단순했습니다.

정보가 퍼지는 속도에서는 다른 절충이 있었습니다. 응답 헤더는 이론상 거의 실시간이지만, 각 Muttley가 직접 요청을 보내고 응답을 받아 이전 값과 평균내야 합니다. RPS가 낮으면 새 상태를 배우는 데 시간이 걸립니다. 헬스 체크 방식이라면 약 5초의 왕복 뒤 모든 호출자에게 상태를 한 번에 전달할 수 있습니다. 그러나 대역폭을 고려하면 실제 푸시 주기는 약 1분으로 늘렸을 가능성이 큽니다. 하드웨어 성능 차이를 보정하기에는 충분해도 트래픽 스파이크, 느린 기동, 페일오버를 따라가기에는 느렸을 것입니다.

Uber는 각 호출자가 응답에서 배우는 방식을 택했습니다. 동작을 이해하기 쉽고, 고장 날 중앙 컴포넌트를 추가하지 않아도 됐습니다. 대신 대상 서비스에 부하를 보고하는 미들웨어가 있어야 한다는 조건이 붙었습니다.

선택에서 밀린 피어에 남은 부하 값

피어 선택에는 가중 라운드로빈 대신 power of two random choices, 즉 pick-2를 썼습니다. 무작위로 고른 두 후보 중 부하가 낮은 쪽을 택하는 방식입니다. 정수 하나를 사용하는 설계에는 더 단순하고 안전했습니다. 가중 라운드로빈은 더 정밀하지만 thundering herd를 일으킬 가능성이 있었습니다. 실제 운영에서는 미들웨어 구현에 버그가 있어도 사고로 이어지지 않을 만큼 pick-2가 오류를 잘 견뎠습니다.

Muttley는 피어마다 직전 25개 요청의 보고값으로 수정된 이동 평균을 유지합니다. 테스트에서 가장 잘 맞은 길이였습니다. RPS가 낮을 때도 점수를 세밀하게 다루도록 보고된 부하는 1000배로 확대했습니다.

여기서 응답을 받아야 상태를 안다는 설계의 약점이 드러났습니다. pick-2는 부하가 가장 높은 피어를 고르지 않습니다. 선택받지 못하면 응답도 오지 않아, 그 피어에 남아 있는 높은 부하 값이 갱신되지 않습니다. 다른 피어의 상태가 더 나빠질 때까지 계속 선택에서 밀릴 수 있었습니다.

처음에는 선택에서 질 때마다 부하 값을 조금 내리는 ‘loser penalty’를 넣었습니다. 호출자 인스턴스는 많고 각 호출자의 RPS는 낮은 경우에는 부족했습니다. 피어가 다시 선택되기까지 때로는 몇 분이 걸렸습니다. 결국 마지막 선택 시점을 기준으로 점수를 낮추는 시간 감쇠로 바꿨습니다. 반감기는 5초입니다.

빠른 하드웨어를 더 활용하기 위한 ‘throughput reward’도 추가했습니다. 두 피어가 모두 Q=5를 보고해도 CPU 사용률은 다를 수 있습니다. 예를 들어 빠른 피어는 요청 15개를 처리하며 CPU 10%를 쓰고, 느린 피어는 요청 10개를 처리하며 CPU 12%를 씁니다. 처리 중인 요청 수만 같게 맞추면 빠른 피어의 CPU가 계속 덜 쓰입니다.

이를 보정하려고 요청을 하나 끝낼 때마다 해당 피어의 부하 점수를 조금 낮췄습니다. 서브셋 안에서 상대적으로 빠른 피어일수록 더 크게 낮춰 다음 요청을 받을 가능성을 높였습니다. 이 보정으로 P99 CPU 사용률이 2% 줄었습니다.

한가한 시간까지 보정하는 ALB v1.1

첫 롤아웃은 하드웨어 불균형을 줄이겠다는 목표에 못 미쳤습니다. 부하가 높을 때는 밸런싱이 잘 됐습니다. 문제는 하드웨어가 대부분의 시간 동안 그만큼 바쁘지 않다는 데 있었습니다.

Uber는 리전 페일오버와 주간 피크를 감당할 여유 용량을 유지합니다. 사용률이 낮으면 오래된 하드웨어도 순간적으로 성능을 높여 지연 차이가 드러나지 않게 요청을 처리할 수 있었습니다. 그러면서 CPU 시간은 더 썼습니다. 실제로 부하가 몰리는 순간의 동작은 좋아졌지만, 피크가 아닌 시간대의 CPU 그래프에는 여전히 편차가 남았습니다. 제품 엔지니어들은 그 그래프를 보며 목표 사용률을 높이기를 꺼렸습니다.

ALB v1.1에는 정적 가중치를 더했습니다. Uber에서는 호스트 IP가 바뀌지 않았고, 프록시는 요청의 목적지 IP를 알고 있었습니다. IP와 상대적인 호스트 성능의 매핑을 빌드 시점 설정으로 제공하면 프록시가 이를 피어 선택에 반영할 수 있었습니다.

같은 하드웨어에서도 애플리케이션마다 성능은 다르므로 정적 가중치만으로 완벽하게 맞출 수는 없습니다. 응답에서 배우는 동적 부하 정보와 함께 쓰자 잘 동작했습니다. 애플리케이션별 가중치를 따로 만들지 않고도 한가한 시간에 드러나는 하드웨어 편차를 보정했습니다.

300회 넘는 시뮬레이션을 거친 ALB

파라미터를 정하려면 서로 다른 서비스의 동작을 재현해야 했습니다. 호출자와 피호출자 인스턴스 수는 3개부터 3천 개까지 벌어졌습니다. 백엔드의 RPS는 1 미만부터 1,000 초과까지, 프로시저 수는 하나부터 수백 개까지였습니다. 요청 지연도 몇 밀리초에서 수십 초까지 다양했습니다. 제한된 스테이징 환경으로는 이 범위를 검증하기 어려웠습니다.

프로덕션에 더미 서비스를 두고 가짜 부하 생성기로 이종 부하를 재현했습니다. 적합한 파라미터를 골라 실서비스에 적용하기까지 300회가 넘는 시뮬레이션을 돌렸습니다. 작은 변경을 넣고 가정을 확인한 다음 다시 조정하는 방식은 존 가중치에서 ALB까지 이어졌습니다.

적용 결과 P99 CPU 사용률은 평균 12% 낮아졌습니다. 일부 서비스는 30% 넘게 줄었고, 백엔드당 인스턴스가 많은 서비스일수록 개선 폭이 컸습니다. Uber에는 마이크로서비스가 4,000개 이상 있지만 상위 100개에 적용하는 것만으로도 대부분의 효과를 얻었습니다. 이 작업으로 상태 없는 워크로드의 로드 불균형 문제를 해결하고 컨테이너를 더 높은 CPU 사용률로 운영할 수 있게 됐습니다.

수천 개 서비스에 미들웨어를 넣는 일은 공통 프레임워크 덕에 가능했습니다. 최근에 만든 애플리케이션 대부분은 이미 이 프레임워크를 사용했습니다. 기존 서비스도 수년간 진행한 마이그레이션으로 거의 다 옮겨 왔기 때문에, ALB의 미들웨어를 빠르게 적용할 수 있었습니다. ALB는 남은 서비스 소유자에게 프레임워크로 옮길 이유를 하나 더 제공했습니다. 글을 쓰는 시점에는 사실상 모든 서비스가 공통 프레임워크 위에 있었습니다.

프레임워크에 건 투자는 복리 효과를 냈습니다. 구현과 배포에는 기존 대시보드, 디버그 도구, 운영 지식, 롤아웃 정책을 활용했습니다. 서비스 메시의 모델을 유지하고 이미 마련된 플랫폼을 따라 구현했기에, 프로젝트 전체를 흔들 큰 재작성 없이 적용 범위를 넓힐 수 있었습니다.

기본 부하 지표도 대부분의 서비스에 통했습니다. 기본 부하 제공자를 덮어쓴 서비스는 둘이었고, 둘 다 백그라운드 작업 처리량에 맞춘 부하 값을 보고했습니다. 공통 구현을 유지하면서 비동기 작업의 사정도 반영한 사례였습니다.

롤아웃 뒤에도 조정이 남은 서비스

롤아웃은 티어별로, 리전별로 진행했습니다. 수백 개 대형 서비스에 적용하는 동안 중대한 버그는 없었습니다. pick-2와 안전한 폴백이 잘 버텼습니다. 그래도 일부 서비스는 요청의 수명이나 시작 방식 때문에 별도 처리가 필요했습니다.

소수의 긴 RPC 스트림과 많은 짧은 요청을 섞어 처리하는 서비스가 있었습니다. 이 작은 범주의 서비스에서는 ALB 온보딩을 롤백했습니다.

느리게 기동하는 Java 서비스는 롤아웃을 시작한 지 약 2년 뒤에 조정했습니다. JIT 때문에 시작 직후부터 같은 요청률을 받을 수 없었습니다. 기록해 둔 정적 요청으로 워밍업하는 것만으로는 부족했고, 실제 요청을 낮은 비율로 받아야 했습니다. 각 피어의 초기 가중치를 풀 평균 가중치의 일정 비율로 설정하도록 바꿨습니다. 기본 알고리즘은 유지했으며, Envoy의 slow start와 달리 정적인 시간 창을 설정하지 않아도 됐습니다.

시작할 때 몇 분 동안 데이터를 미리 읽는 서비스도 예외였습니다. 이들은 준비하는 동안 디스커버리에서 unhealthy로 보입니다. 기존 알고리즘은 healthy 인스턴스를 강하게 선호했습니다. ALB 역시 일시 과부하 뒤의 thundering herd를 피하도록 healthy 인스턴스를 크게 선호하지만, unhealthy 노드에도 일부 요청을 보냅니다. 데이터를 아직 읽고 있는 서비스는 이 요청을 받아들이지 못했습니다.

보고된 오류율은 0.01%와 0.002% 미만이었습니다. Uber는 panic threshold와 비슷한 방식으로 이 오류를 없애는 방안을 찾고 있었습니다. 호스트 IP와 서버 유형을 잇는 정적 매핑도 2년 넘게 잘 동작했지만, 워크로드를 클라우드로 옮기면 조정이 필요해질 가능성이 컸습니다.

원문의 주요 수치와 설정값
항목값
불균형 지표 예시p99 5코어, 평균 4코어, 컨테이너 10개이면 지표 1.25(125%)
수작업 분석 시 RPS 편차대부분의 애플리케이션에서 0.1% 미만(1분 창)
원인 미상으로 남은 불균형원래 불균형의 20% 미만(시끄러운 이웃으로 추정)
플릿 내 호스트 간 가중치 차이최대 2배
ALB 피어 점수 이동 평균직전 25개 요청, 보고 부하는 1000배로 확대
ALB 점수 감쇠 반감기5초
throughput reward 효과P99 CPU 사용률 2% 감소
응답 헤더 추가 오버헤드요청당 약 8바이트
시뮬레이션 횟수300회 이상
평균 효과P99 CPU 사용률 12% 감소, 일부 서비스는 30% 이상
마이크로서비스 수와 온보딩 범위4,000개 이상 중 상위 100개 온보딩으로 대부분의 효과, 롤아웃 대상은 수백 개 대형 서비스
프리페치 서비스의 오류율0.01%와 0.002% 미만
마지막 수정 일자