목차
다음 피크에 맞춘 Capacity Recommendation Engine (2022-01)
원문 정보
- 원문: Capacity Recommendation Engine: Throughput and Utilization Based Predictive Scaling
- 매체 · 게시일: Uber Engineering Blog · 2022-01-19
- 저자: Shu-Ming Peng(Sr. Software Engineer, Maps Production Engineering), Jianing He(Software Engineer, Maps Production Engineering), Ranjib Dey(Staff Software Engineer, Maps Production Engineering)
- 원문 내용을 바탕으로 재구성한 요약입니다.
사용률 기반 오토스케일링에 더한 처리량
우버에는 이미 수천 개의 마이크로서비스를 관리하는 오토스케일링 서비스가 있었습니다. 기준은 사용률 하나였습니다. 새로 만든 Capacity Recommendation Engine(CRE)은 여기에 처리량을 더한 엔진입니다. 일일 피크와 여러 사업 부문의 수요를 감당할 자원을 확보하면서, 수동 용량 관리에서 생기기 쉬운 과잉 할당을 줄이려는 시도였습니다.
사용률은 오토스케일링에서 가장 흔히 쓰는 지표입니다. 처리량은 제품이 요구하는 부하를 드러내며, 서비스 수준에서는 인스턴스당 초당 요청 수(RPS)로 봅니다. 새 제품을 출시하거나 의존 서비스로 요청이 퍼지는 팬아웃이 달라지면 처리량과 필요한 용량도 곧바로 바뀝니다. CRE가 구하려는 값은 그 처리량을 주어진 사용률 안에서 감당할 인스턴스 수입니다.
존마다 따로 그리는 회귀 직선
같은 서비스라도 실행 환경은 같지 않습니다. 우버는 여러 클라우드 플랫폼과 데이터센터에 서비스를 나눠 배포하며, 이 배포 영역을 존이라고 부릅니다. 클라우드 제공자마다 네트워크 스택, 하드웨어 구성, 트래픽 패턴이 달라 CRE도 각 존을 독립적인 스케일링 대상으로 다룹니다. 회귀 모델 역시 존마다 따로 만듭니다.
모델의 재료는 처리량·사용률·할당량의 시계열입니다. 인스턴스당 CPU 코어 수에 인스턴스 수를 곱하면 서비스에 할당한 총 코어 수가 나옵니다. 이 할당량까지 포함해야 처리량과 사용률의 관계를 필요한 용량으로 연결할 수 있습니다.
사용률이 한계가 되는 서비스에서는 처리량과 용량뿐 아니라 서비스와 하드웨어 성능도 사용률에 영향을 줍니다. CRE는 인스턴스당 처리량을 인스턴스의 코어 수로 나눈 코어당 처리량(TPC)을 사용합니다. 사용률을 절편 + 기울기 × TPC로 나타내는 선형 회귀 모델입니다. 이 직선의 기울기와 절편에는 성능 차이가 드러납니다.
데이터를 그대로 믿지는 않습니다. 이상치를 제거하고 정규화하며, 컨트롤 플레인 문제로 크게 어긋난 데이터도 제외합니다. 교차 검증으로 모델 품질을 높이고, 수정 결정계수 R2adj로 회귀 모델이 데이터를 얼마나 잘 설명하는지 확인합니다.
원문 그림 3에서는 이상치가 조금 섞여 있어도 직선이 사용률의 상승 경향을 잘 잡았습니다. 그림 4는 다른 모습입니다. 데이터가 서로 다른 선형 관계를 갖는 두 집단을 이뤘는데, 주된 원인은 시간에 따라 달라진 서비스나 하드웨어 성능이었습니다.
피크와 존 장애를 감당할 목표 용량
회귀 직선만으로 인스턴스 수가 정해지지는 않습니다. 앞으로 얼마나 많은 요청을 처리해야 하는지, 그때 사용률을 어디까지 허용할지 정해야 합니다.
목표 사용률은 서비스가 앞으로 도달할 최대 사용률을 추정한 값입니다. 효율을 높이려면 가능한 한 높게 잡되, 예상 밖의 트래픽 증가를 감당할 여유를 남깁니다. 평상시 일일 트래픽이 이 값에 닿아서는 안 됩니다. 존 하나를 갑자기 잃으면 남은 존으로 트래픽이 옮겨 가 사용률이 오르므로, 목표 사용률에는 이런 장애 대응 여유도 포함해야 합니다.
예상 피크를 구하는 방법은 스케일링 주기에 따라 달라집니다. 시간·일·주 단위 가운데 주 단위로 스케일링한다면 목표 처리량 RPSTarget은 다음 주 피크 트래픽의 추정치입니다. 기본 방법은 STL 기반 시계열 분해입니다. 전체 처리량 시계열을 추세·계절성·잔차로 나누며, 이들을 더하면 원래 시계열이 됩니다.
계절성은 일정한 주기로 되풀이되는 패턴입니다. 원문의 예시에서는 미국과 라틴아메리카의 출퇴근 시간대마다 트래픽이 솟아 일 단위 계절성을 보입니다. 며칠에 걸쳐 나타나는 흐름은 추세로, 나머지 잡음은 잔차로 분리합니다. 이 방식은 대부분의 서비스에서 안정적인 예측을 제공합니다.
이제 회귀 직선에 목표 사용률을 넣어 목표 TPC를 구합니다. 예측한 RPSTarget을 목표 TPC로 나누면 필요한 총 코어 수(CoresTotal)가 나오고, 이를 인스턴스당 코어 수(CoresInstance)로 나누면 추천 인스턴스 수가 됩니다. 회귀 관계와 피크 트래픽 추정을 결합해 존별 용량을 구하는 이 방식을 우버는 ‘리액티브 예측’이라고 부릅니다.
용량 변경 앞에서 작동하는 가드레일
계산을 마쳤다고 바로 용량을 바꾸지는 않습니다. 추천 결과는 오토스케일링에 쓰기 전에 가드레일을 거칩니다. 예를 들어 추천 용량을 현재 용량과 비교해, 현재 용량 대비 미리 정한 비율 임계값을 넘으면 결과를 조정합니다.
결과를 조정하는 데서 끝나지 않는 검사도 있습니다. 모델 품질 등 다른 가드레일에 걸리면 오토스케일링 자체를 중단하고, 엔지니어가 데이터를 살펴볼 수 있도록 분석 리포트에 경고를 남깁니다.
M3 시계열에서 시작하는 분석 흐름
분석에 쓸 데이터는 전용 지표 서비스가 수집합니다. 설정에 지정한 주요 서비스를 대상으로 워크플로 매니저가 예약 워크플로를 만들고 실행하면, 수집 모듈이 M3의 원시 시계열을 가져와 지표 저장소에 보관하는 흐름입니다.
정기 분석도 워크플로 매니저가 시작합니다. 설정 저장소의 주기 설정에 맞춰 워크플로를 생성하고 실행한 뒤, 분석 모듈이 지표 저장소와 수집 흐름에서 받은 데이터를 선택한 방식으로 분석합니다. 분석 결과의 목적지는 결과 저장소입니다.
서비스 소유자가 즉석에서 추천을 요청할 수도 있습니다. 사용자 요청은 게이트웨이 서비스를 거쳐 CRE가 있는 분석 서비스로 전달됩니다. 요청에 이메일 주소를 포함했다면 분석을 마친 뒤 해당 주소로 리포트를 보냅니다.
목표 TPC에 남은 존별 성능의 단서
추천값은 성능을 살피는 자료이기도 합니다. 목표 사용률을 0.7로 설정한 예시에서 목표 TPC는 시간에 따라 비교적 안정적인 흐름을 보였습니다. R2adj가 안정적이라면 이 값으로 존별 인프라 차이를 읽을 수 있습니다.
예시의 zoneF는 다른 존보다 목표 TPC가 낮았습니다. 인프라나 하드웨어 효율이 낮을 가능성을 보여 주는 대목입니다. 여러 존에 걸쳐 목표 TPC가 내려가는 추세도 보였는데, 서비스 성능이 퇴행했을 가능성이 있어 더 살펴볼 단서였습니다.
높아진 사용률과 비피크에 돌려줄 자원
CRE는 여러 핵심 서비스에 적용됐습니다. 원문에 실린 한 서비스의 그래프에서는 두 리전의 인스턴스 수가 분석 결과에 따라 늘고 줄며, 사용률도 전반적으로 높아지는 모습을 보입니다. 빌드 성능, 트래픽 패턴, 하드웨어 성능이 달라지면 사용률과 회귀 모델이 바뀌므로 스케일링 양상도 달라집니다. 일일·주간 패턴에 따라 사용률이 오르내리는 가운데, CRE는 예상 피크를 기준으로 사용률을 목표에 가깝게 끌어올립니다.
글이 나온 시점의 CRE는 매일 분석을 실행해 앞으로 7일의 피크 트래픽에 맞는 용량을 추천했습니다. 다음 목표는 시간 단위의 리액티브 스케일링입니다. 일일 피크를 앞두고 용량을 늘렸다가 비피크에는 반환하고, 작업마다 다른 자원 사용 패턴을 활용해 전체 효율을 더 높이려는 계획이었습니다.
용량 추천에 쓰인 지표와 범위
| 항목 | 값 |
|---|---|
| 추천 단계 | 피크 처리량 추정, 목표 사용률, 선형 회귀, 추천 생성, 가드레일 |
| 시계열 분해 | STL 기반, 추세 + 계절성 + 잔차 |
| 회귀 변수 | 사용률 대 코어당 처리량(TPC) |
| 목표 사용률 예시 | 0.7 |
| 현재 추천 주기와 범위 | 매일, 향후 7일 피크 |
| 다음 목표 | 시간 단위 리액티브 스케일링 |