본문으로 건너뛰기
페일오버 여유까지 계산한 Uber의 수직 CPU 스케일링
목차

페일오버 여유까지 계산한 Uber의 수직 CPU 스케일링 (2022-07)

원문 정보

엔지니어가 직접 코어 수를 정하던 스토리지

코어 수는 사람이 정했습니다. 우버에서 각 스토리지 기술을 맡은 엔지니어가 워크로드를 살피고 컨테이너에 적절한 CPU 할당량을 결정하는 방식이었습니다. 해당 기술을 잘 아는 사람이 판단한다는 장점은 있었지만, 비용이나 신뢰성 문제가 생긴 뒤에야 설정을 고치는 사후 대응으로 흐르기 쉬웠습니다.

그 판단을 내려야 할 스토리지 컨테이너가 100만 개를 넘습니다. Docstore, Schemaless, M3, MySQL, Cassandra, Elasticsearch, etcd, ClickHouse, Grail 같은 워크로드가 호스트 약 7만 5천 대, CPU 코어 250만 개 이상에서 돌아갑니다. 이웃 워크로드의 간섭을 줄이려고 각각 격리된 코어 집합을 할당하며, 호스트는 오버프로비저닝하지 않습니다.

우버가 자동화로 찾으려던 값은 워크로드의 성능을 해치지 않는 최소한의 코어 수였습니다. 문제가 드러날 때까지 기다리지 않고 실제 사용량에 맞춰 미리 늘리고 줄여, 가능한 한 낮은 비용으로 일정한 성능을 유지하려는 목표였습니다.

지연 시간 대신 선택한 CPU 사용률

우버는 컨테이너 밖에서 측정한 CPU 사용률을 기준으로 삼았습니다. 스토리지 기술이나 용도별로 모델을 따로 만들지 않고, 하나의 모델로 여러 워크로드의 할당량을 정하기 위해서입니다.

성능에 더 직접적으로 연결되는 지표도 있습니다. P99 지연 시간 같은 비즈니스 지표와 코어 할당량 사이에 촘촘하고 빠른 피드백 루프를 만들면, 성능 변화에 따라 그때그때 자원을 조정할 수 있습니다. 하지만 스토리지에서는 데이터도 따라 움직여야 합니다. 호스트 사이에서 워크로드를 옮기는 데 몇 시간씩 걸리므로, 이동이 잦은 모델은 피해야 했습니다.

부하의 변화 폭도 큽니다. 한 주 안에서 부하가 2~5배까지 쉽게 달라지면 최적의 코어 수를 정하기 어렵고, 컨테이너는 대부분의 시간 동안 과다 할당 상태에 놓입니다. 용도마다 성능을 판단할 지표도 다릅니다. 배치 작업에 맞는 모델과 우버 이츠 앱에 식당 메뉴를 내려주는 저지연 서비스의 모델을 따로 만드는 일까지 감당해야 합니다.

CPU 사용률 지표는 항상 얻을 수 있습니다. 주 단위로도 꽤 일정해서, 대부분의 경우 지난 2주를 보면 앞으로 몇 주 동안의 피크를 꽤 정확히 예측할 수 있습니다. 스토리지 기술마다 별도의 모델을 만드는 수고를 줄이면서 주간 부하 패턴을 반영하는 선택이었습니다.

모델은 최근 14일의 CPU 사용량에서 피크를 구하고, 그 피크에 여유를 더할 코어 수를 계산합니다. 피크 사용량을 할당 코어 수로 나눈 값이 여기서 말하는 ‘CPU 사용 비율’입니다. 현재 할당량은 몇 주에 걸쳐 계산한 목표에 서서히 가까워집니다.

리전 페일오버를 고려한 40% 목표

스케일러의 기본 목표는 피크 CPU 사용 비율 40%입니다. 우버는 다중 리전 복제를 운영하며, 장애 대응 때 리전 하나의 트래픽을 통째로 빼낼 수 있어야 합니다. 리전 페일오버로 부하가 잠시 두 배가 되는 최악의 경우에도, 목표를 40%로 잡으면 CPU 사용률이 80%를 넘지 않을 것이 거의 확실합니다.

우버가 피하려는 선은 대략 80%입니다. Hyper-Threading을 켠 환경에서는 CPU 사용률이 80%를 넘으면 혼잡 문제가 생기기 때문입니다. 평소의 피크에 딱 맞춰 코어를 배정하는 대신, 리전 하나를 비울 때 늘어날 부하까지 계산에 넣었습니다.

그렇다고 모든 클러스터에 40%를 고정하지는 않습니다. 일부 스토리지 클러스터는 리전 페일오버 때도 부하가 크게 늘지 않는다는 사실을 확인했습니다. 이런 클러스터에는 훨씬 높은 피크 사용 비율을 목표로 잡을 수 있습니다.

두 번의 주말에서 추린 클러스터 피크

할당량을 계산할 때는 같은 클러스터의 다른 워크로드도 함께 봐야 합니다. 여기서 pod는 Kubernetes에서 빌린 이름으로, 한 호스트에서 스토리지 워크로드를 이루는 컨테이너 묶음을 뜻합니다. 같은 스토리지 클러스터에 속한 pod에는 모두 같은 수의 코어를 줍니다.

Schemaless의 Raft 기반 클러스터에는 리더가 하나뿐이며, 일관된 읽기는 그 리더만 처리합니다. 용도에 따라 리더의 요청률이 나머지보다 훨씬 높습니다. 지금 요청이 적은 팔로워도 언제든 리더가 될 수 있으므로, 모든 pod가 클러스터에서 가장 바쁜 pod의 역할을 감당할 자원을 받아야 합니다.

계산은 cexporter로 수집해 모니터링 스택 M3에 저장한 CPU 사용률 시계열에서 시작합니다. 관찰 구간은 최근 14일입니다. 우버의 부하에는 금요일과 토요일 밤에 피크가 오는 주간 패턴이 강해서, 2주를 돌아보면 데이터에 주말 두 번을 항상 포함할 수 있습니다.

각 pod의 원시 시계열은 8시간 구간으로 나눠 P99 CPU 사용률을 남깁니다. 이 값을 넘는 시간은 8시간 중 최대 5분입니다. 우버는 4시간에서 24시간까지 여러 다운샘플링 구간을 시험했으며, 8시간이 이상치에 과하게 끌리지 않으면서 중요한 피크를 놓치지 않는 데 적절해 보였습니다.

그다음에는 pod별 시계열을 클러스터의 시계열 하나로 합칩니다. 같은 시점의 값들을 비교해 가장 바쁜 pod의 값을 고르는 방식입니다. Cassandra처럼 클러스터당 pod가 많을 수 있는 기술에는 최대값 대신 해당 시점의 pod별 사용률에서 P95를 선택합니다.

이렇게 남은 값은 42개입니다. 14일 동안 하루에 8시간 구간이 3개씩 생기기 때문입니다. 그중 세 번째로 높은 값을 클러스터의 피크 CPU 사용률로 정합니다. 가장 높은 값 하나에 할당량을 맡기지 않아 이상치의 영향을 줄입니다.

마지막으로 이 피크가 목표 CPU 사용 비율에 맞도록 코어 할당량을 계산하고, 정수로 올림합니다. 워크로드 분리에 cpuset을 쓰므로 소수 코어 할당은 피해야 합니다. 피크를 고르는 계산과 목표 비율을 적용하는 계산이 끝나면, 같은 클러스터의 모든 pod에 줄 코어 수가 정해집니다.

4만 코어를 더 받은 Schemaless 컨테이너

Schemaless의 할당량은 약 10만 코어, 비율로는 약 20% 줄었습니다. 우버에서 흔히 쓰는 호스트는 32코어 또는 48코어이고, 할당 비율은 약 83%이며 대부분 CPU 코어가 병목입니다. 이 조건에서 10만 코어는 호스트 3,000대 절감에 해당합니다. 최종 사용자 지연 시간에는 변화가 없었습니다.

줄어든 양만 보면 과정의 일부가 빠집니다. 실제로는 약 14만 코어를 줄이는 동안 다른 컨테이너에 약 4만 코어를 더 배정했습니다. 상당수 컨테이너는 자원이 부족했던 것입니다. 컨테이너들이 대체로 필요한 자원을 받게 되면서 리전 페일오버 때도 지연 시간이 예전만큼 나빠지지 않았습니다.

사용 비율의 분포에도 설계 의도가 드러납니다. Schemaless 인스턴스 대부분에 스케일링을 적용한 전후 히스토그램에서, 피크 사용률이 25% 미만인 ‘낮음’ 구간의 비중은 크게 줄었습니다. 이 구간이 완전히 사라지지 않은 주된 이유는 팔로워에도 리더를 맡을 자원을 배정해야 하기 때문입니다. 사용률이 낮은 상태는 바람직하지 않지만, 이런 클러스터에서는 때로 필요한 여유입니다.

피크 사용률이 45%를 넘는 ‘높음’ 구간은 오히려 늘었습니다. 의도한 결과입니다. 리전 페일오버 때 부하가 많이 늘지 않는 클러스터에는 더 높은 목표 사용 비율을 적용했기 때문입니다. 모든 컨테이너를 같은 사용 비율에 맞추기보다, 페일오버 때 실제로 받을 부하를 반영했습니다.

2021년 초에 도입한 이 스케일러는 원문 발표 시점에 Docker 컨테이너 50만 개 넘게 코어 수를 조정하고 있었습니다. 전체 코어 할당의 누적 순감은 12만 개를 넘었고, 연간 수백만 달러의 인프라 비용 절감으로 이어졌습니다.

엔지니어는 이제 원하는 사용 비율만 지정하면 됩니다. 할당량을 직접 계산하고 변경을 실행하던 공수가 크게 줄었으며, 클러스터의 페일오버 동작과 중요도에 맞춰 최적의 사용 비율을 정하는 작업은 계속되고 있었습니다. 우버는 후속 글에서 할당 변경의 우선순위를 정하고 안전하게 적용하는 방법을 다루겠다고 예고했습니다.

원문의 주요 수치와 파라미터
항목값
스토리지 컨테이너 규모100만 개 이상, 호스트 약 7만 5천 대, 코어 250만 개 이상
스케일러 적용 대상컨테이너 50만 개 이상
누적 순감12만 코어 이상 (2021년 초 도입)
Schemaless 순감약 10만 코어(약 20%), 14만 감소 + 4만 증가
호스트 절감3,000대 (호스트 32 또는 48코어, 할당 비율 약 83%)
기본 목표 피크 사용 비율40% (페일오버 시 약 80% 이하)
히스토그램 구간낮음 25% 미만, 높음 45% 초과
부하 변동주중 2~5배
관찰 구간 / 해상도14일 / 8시간(P99)
피크 선택데이터 포인트 42개 중 세 번째로 높은 값, Cassandra는 pod 간 P95
마지막 수정 일자