본문으로 건너뛰기
우버의 수평 스케일링을 나눠 맡은 ServiceScale
목차

우버의 수평 스케일링을 나눠 맡은 ServiceScale (2026-09)

원문 정보

failover를 위해 남겨 둔 컴퓨트 용량

우버가 스케일링 경로를 바꾼 출발점은 비용이었습니다. 장애에 대비해 확보한 값비싼 컴퓨트 용량이 평소에는 충분히 쓰이지 않고 있었습니다.

우버는 여러 리전을 액티브-액티브로 운영합니다. 한 리전의 일부나 전체를 사용할 수 없게 되거나, 불안정해지거나, 성능이 떨어지면 트래픽을 다른 리전으로 돌립니다. 이 장애 조치가 failover입니다. 트래픽을 넘겨받은 리전은 늘어난 부하를 감당해야 하므로, 기존에는 모든 데이터센터에 유휴 용량을 예약해 두는 방식으로 대비했습니다. 안전을 위한 여유가 그만큼 자원의 낮은 활용률로 이어졌습니다.

이 플랫폼을 운영하는 컨테이너 플랫폼 팀은 데이터센터와 Oracle, Google 같은 클라우드에 걸쳐 100개가 넘는 컴퓨트 클러스터를 관리합니다. 300만 코어에서 약 4000개 서비스가 돌아가며, 하루 파드 시작 횟수는 150만 건입니다. 유휴 용량을 활용하려는 변화도 이 규모의 플랫폼 안에서 이뤄져야 했습니다.

2023년 도입한 새 failover 아키텍처는 저티어 워크로드를 줄여 확보한 용량으로 고티어 워크로드를 늘리는 방식을 택했습니다. 자원을 돌려쓰려던 결정이 컨트롤 플레인의 문제로 이어졌습니다. 평상시 목표 규모를 관리하던 Up과 UDC에 더해, failover 오케스트레이터도 같은 워크로드의 규모를 바꿔야 했기 때문입니다. 앞으로 오케스트레이터가 더 늘어날 가능성까지 고려하면 failover만을 위한 해법으로는 부족했습니다.

배포와 스케일링이 함께 거치는 UDC

기존 스케일링 경로는 단순했습니다. 서비스 소유자가 Up에서 목표 레플리카 수를 정하면 UDC가 적용하고 상태를 보고했습니다. Up은 여러 존·리전·하드웨어 환경의 Kubernetes 클러스터를 묶는 서비스 페더레이션 계층입니다. 서비스 소유자는 여기서 빌드를 배포하고 장애 도메인 요구 사항과 스케일링 기대치를 지정합니다.

클러스터 안에서는 사내 CRD인 UberDeployment가 그 요구를 담습니다. 이미지와 레플리카 수 외에도 비즈니스 요구 사항, 롤아웃 기대치, 복원력 제약을 표현합니다. UDC(Uber Deployment Controller)는 이를 Kubernetes 기본 객체에 반영하고, 그 결과를 Up에 돌려주는 전담 컨트롤러입니다.

상태 보고도 배포 작업의 일부였습니다. Up은 지속적 배포를 비롯한 서비스 수명주기 워크플로를 관리하므로, UDC가 정상 상태라고 보고하면 다음 단계로 넘어갑니다. 레플리카 수를 바꾸는 일과 배포 진행을 판단하는 일이 모두 UDC를 거쳤습니다.

이 경로에 failover 로직을 추가하는 선택은 자연스러웠습니다. 이미 레플리카 수를 적용하는 컨트롤러였기 때문입니다. 문제는 UDC가 모든 서비스의 배포와 스케일링, 일상적인 운영 작업이 거치는 핫 패스에 있다는 점이었습니다. 설계상 드물게 일어나는 failover를 처리하려다 회귀 버그가 생기면, 그 영향이 플릿 전체의 평상시 배포까지 번질 수 있었습니다.

추가할 로직도 failover에서 끝나지 않을 전망이었습니다. 수평 파드 오토스케일링이나 하이브리드 오토스케일링처럼 레플리카 수를 조절할 주체가 더 생길 것으로 예상했습니다. 그때마다 UDC를 확장하면 자주 실행하는 중요한 경로의 복잡도와 장애 영향 범위가 함께 커집니다.

우버는 스케일링 전담 컨트롤러를 두기로 했습니다. UDC는 평상시 서비스 수명주기를 계속 관리하고, 다른 오케스트레이터는 별도의 리소스에 목표 규모를 표현하도록 나눴습니다. 이 선택에도 비용은 있었습니다. 새 CRD와 컨트롤러를 운영해야 하고, 여러 컨트롤러가 같은 Kubernetes 워크로드를 갱신하는 상황을 다뤄야 했습니다. 그렇게 도입한 것이 ServiceScale CRD와 Service Scale Controller(SSC)입니다.

각자의 목표 규모가 모이는 ServiceScale

ServiceScale은 개념적으로 UberDeployment와 같은 수준에서 스케일링 의도를 담습니다. 한 오케스트레이터가 평상시 목표 규모를 기록하고, 다른 오케스트레이터가 failover 때의 조정을 기록하면 SSC가 이 의도들을 조정해 Kubernetes 객체에 반영합니다. 목표 규모를 정하는 주체와 그 목표를 적용하는 컨트롤러를 분리한 방식입니다.

이렇게 하면 새로운 스케일링 주체가 생겨도 해당 로직을 모두 UDC 안에 넣지 않아도 됩니다. 평상시 배포 경로를 보호하면서 여러 오케스트레이터가 같은 워크로드의 스케일링에 참여하도록 하는 것이 설계의 목적이었습니다.

별도의 외부 데이터베이스나 조율 서비스는 두지 않았습니다. 장애를 처리하는 와중에 디버깅하기 어려운 요소를 늘리지 않으려는 선택입니다. 각 오케스트레이터의 의도를 Kubernetes 리소스에 기록해 두면, 동작이 이상할 때 ServiceScale을 읽어 누가 어떤 규모를 요구했는지 바로 확인할 수 있습니다.

평상시 상태로 돌아가는 failback도 이 기록을 활용합니다. UDC의 정보와 임시 failover 정보가 모두 CRD 스펙에 남아 있으므로, 로그에서 상태를 재구성하거나 호출 순서를 재생하지 않아도 됩니다. 조정 루프가 평상시 목표 상태로 다시 수렴하면 됩니다. 스케일링 의도를 명시적으로 보관한 덕분에 장애 중의 점검과 복귀 절차를 단순하게 유지할 수 있었습니다.

되돌릴 수 없는 단계 앞의 오래된 캐시

컨트롤러가 분리되자 상태 보고의 조건을 더 엄격하게 확인해야 했습니다. Kubernetes 컨트롤러는 보통 인포머 캐시에서 리소스를 읽으며, 캐시는 실제 상태보다 몇 초 늦을 수 있습니다. 최종 일관성을 전제로 계속 조정하는 동작에서는 대체로 문제가 되지 않는 지연입니다.

Up에는 사정이 달랐습니다. Up이 읽는 status.workflow_status는 워크플로의 완료 여부를 결정하는 입력입니다. UDC가 성공을 보고하면 Up은 다음의 되돌릴 수 없는 단계로 넘어갑니다. 나중에 다시 조정하면 되는 리소스 상태와 달리, 이 성공 보고는 오래된 정보를 근거로 내보내서는 안 됐습니다.

우버는 기존 상태 보고 계약을 유지하면서 read-your-own-write 보호 장치를 추가했습니다. 자신이 쓴 내용이 읽기 결과에도 반영됐는지 확인하는 방식입니다. 컨트롤러가 하류 리소스를 갱신할 때 자신의 현재 generation을 어노테이션으로 붙이고, 상태를 보고하기 전에 캐시의 데이터가 적어도 그 generation을 반영하는지 검사합니다.

쓰기를 마쳤다고 곧바로 성공을 알리지는 않습니다. 자신이 갱신한 내용을 캐시에서도 확인한 뒤 상태를 보고해야 합니다. 이 확인으로 로컬 일관성을 확보하고, 캐시가 뒤처진 탓에 오래된 상태를 Up에 전달하는 일을 막았습니다.

쓰기가 겹칠 때 어긋난 ReplicaSet

컨트롤러 하나를 둘로 나누는 설계만으로는 운영에서 벌어질 일을 다 설명할 수 없었습니다. UDC와 SSC는 이제 같은 Kubernetes 리소스를 갱신합니다. Kubernetes가 허용하는 동작이며, 우버도 낙관적 동시성 제어와 서버 사이드 apply 패치 같은 표준 보호 장치를 적용했습니다. 그래도 쓰기와 쓰기 사이에는 예상하지 못한 일이 남아 있었습니다.

문제는 거의 같은 시점의 쓰기와 오래된 인포머 캐시 읽기가 겹치는 특정 타이밍에서 나타났습니다. ReplicaSet의 어노테이션을 포함한 메타데이터가 스펙과 어긋났습니다. 나중에 확인한 원인은 업스트림 Kubernetes 디플로이먼트 컨트롤러의 비례 스케일링 로직 버그였습니다.

이 불일치는 실제 워크로드의 진행을 막았습니다. 무중단 롤링 업데이트에 필요한 비례 스케일링이 깨졌고, 일부 워크로드는 사람이 직접 고치기 전까지 정체된 상태로 남았습니다. 쓰기 충돌에 대비한 보호 장치가 있어도, 컨트롤러들이 서로 다른 시점의 정보를 읽고 갱신하면서 생기는 문제까지 모두 예상하지는 못한 것입니다.

우버는 근본 원인의 수정만 기다리지 않았습니다. 플릿 전체에서 메타데이터와 스펙의 불일치를 탐지할 수 있도록 관측성을 보강하고, UDC 안에 주기적으로 실행하는 자동 힐러를 추가했습니다. 힐러는 불일치를 찾아 영향받은 ReplicaSet을 패치하는 백그라운드 루틴입니다.

스케일링 경로 자체를 고치는 장기적인 작업도 병행했습니다. 불일치를 감지하고 영향을 제한하며 자동으로 복구하는 대응과, 불일치의 원인을 없애는 수정을 함께 진행한 것입니다. 여러 오케스트레이터를 수용하는 데 필요한 작업은 CRD 설계를 넘어 캐시의 지연과 쓰기 간 상호작용까지 이어졌습니다.

조용한 전환을 목표로 삼은 1년의 롤아웃

스케일링 경로를 바꾸면서도 서비스 소유자가 변화를 알아채지 못하도록 롤아웃을 설계했습니다. 이를 위해 kind(Kubernetes IN Docker)를 활용한 통합 테스트에 크게 투자했습니다. 실제 컨트롤러 간 상호작용을 재현하면서, 함께 실행할 때 드러나는 경쟁 상태를 일찍 발견하려는 테스트였습니다.

지원 대상은 Kubernetes Deployment에 그치지 않았습니다. OpenKruise CloneSet도 새 스케일링 경로에서 동작해야 했으므로, 서로 다른 워크로드 구현의 수명주기를 폭넓게 시험했습니다. 하나의 구현에서 정상적으로 스케일링되는 것만으로 검증을 끝낼 수는 없었습니다.

스테이징 환경과 카나리 배포에서도 단계적으로 동작을 확인했습니다. 전환에는 1년이 걸렸습니다. 이 과정을 거쳐 우버는 고객에게 영향을 주는 장애 없이 기반 스케일링 컨트롤 플레인을 교체했습니다.

원문의 주요 수치와 구성 요소
항목값
관리 클러스터100개 이상 (데이터센터, Oracle, Google 등)
서비스 / 코어약 4000개 / 약 300만 코어
일일 파드 시작약 150만 건
failover 아키텍처 도입2023년
롤아웃 기간약 1년
지원한 워크로드 구현Kubernetes Deployment, OpenKruise CloneSet
통합 테스트kind 기반
일관성 가드레일하류 리소스에 현재 generation을 어노테이션으로 부착, 보고 전 캐시가 그 generation 이상인지 확인
불일치 대응플릿 관측성, UDC 안의 자동 힐러, 업스트림 비례 스케일링 수정
마지막 수정 일자