목차
Mesos에서 Kubernetes로 옮긴 우버의 300만 코어 (2025-04)
원문 정보
- 원문: Migrating Uber’s Compute Platform to Kubernetes: A Technical Journey
- 매체 · 게시일: Uber Engineering Blog · 2025-04-24
- 저자: Aditya Bhave(Senior Staff Engineer, Container Platform 팀), Arun Krishnan(Senior Software Engineer, Container Platform 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
3년 넘게 안정적으로 돌던 Mesos
우버의 Mesos 기반 stateless 플랫폼은 3년 넘게 안정적으로 돌아갔습니다. 문제는 앞으로 받을 지원이었습니다. Mesos는 2021년 우버에서 사용 중단 대상으로 지정됐고, 이후 코드베이스에는 커밋이 거의 없었습니다. 커뮤니티에서 버그 수정이나 새 기능도 받을 수 없는 상태였습니다.
Kubernetes에는 계속 개발되는 생태계가 있었습니다. Fortune 100 기업들이 널리 쓰는 업계 표준이자 주요 클라우드가 기본 지원하는 플랫폼입니다. 풍부한 내장 기능과 기성 오퍼레이터, 지속적인 보안 업데이트와 패치도 선택의 이유였습니다. 우버는 배치와 stateless, 스토리지 워크로드를 Kubernetes로 모으면서 이 기능과 안정성을 얻고자 했습니다.
공유 stateless 워크로드 전체를 옮기는 데는 플랫폼 선택만으로 풀리지 않는 문제가 남았습니다. 우버의 규모를 감당해야 했고, 서비스 소유자가 누리던 개발자 경험과 배포 안전성, 운영 속도도 유지해야 했습니다.
개발자 개입 없이 이전을 진행한 Up
개발자는 자기 서비스가 Mesos에서 도는지 Kubernetes에서 도는지 몰라도 되어야 했습니다. 이전은 중앙에서 자동으로 진행하고, 그동안 서비스는 두 플랫폼에 안전하게 공존해야 한다는 원칙입니다. 300만 코어가 넘는 이전을 사람이 건건이 처리할 수도 없었습니다.
자동화는 서비스 연합 계층 Up이 맡았습니다. 개발자는 이미 Up에서 서비스 수명주기를 관리하고 있었고, Up은 그 아래 클러스터가 사용하는 기술을 감춰 주고 있었습니다. 우버는 각 존의 Mesos 클러스터 옆에 이전에 쓸 여유 용량(swing capacity)을 갖춘 Kubernetes 클러스터를 추가했습니다. 그러면 Up의 클러스터 선택 기능이 할당률이 높은 Mesos에서 낮은 Kubernetes로 서비스를 재분배합니다. 서비스 소유자는 내부에서 이전이 진행되는지 알아채지 못했습니다.
이 경험을 유지하려면 플랫폼과 주변 시스템의 연결부터 다시 만들어야 했습니다. Mesos와 Kubernetes의 동작 방식이 근본적으로 달랐기 때문입니다. CI/CD, 서비스 디스커버리, 보안, 호스트 수명주기, 관측성 스택과의 통합을 처음부터 새로 구축했습니다.
이전 이후의 업그레이드에도 원칙을 뒀습니다. 클라우드 제공자와 같은 Kubernetes 버전을 쓰는 것을 목표로 하고, 우버에 필요한 변경은 Kubernetes가 제공하는 확장 기능으로 구현하기로 했습니다. 업그레이드 중 사고를 막기 위해 통합 테스트와 성능 테스트를 아우르는 릴리스 검증 체계를 갖추겠다는 계획도 세웠습니다.
작게 나누지 않은 Kubernetes 클러스터
우버는 5,000~7,500 노드짜리 대형 클러스터를 사용하는 방식을 유지했습니다. 업계에서 흔한 선택은 1,500~2,000 노드 규모의 작은 클러스터를 여러 개 두는 것입니다. 하지만 클러스터를 잘게 나누면 자원 단편화와 컨트롤 플레인 오버헤드로 쓰지 못하는 용량이 생기고, 운영 부담도 늘어납니다.
Container Platform 팀이 관리하는 클러스터는 50개가 넘습니다. 온프레미스 데이터센터와 Oracle Cloud, Google Cloud의 여러 리전과 존에 걸쳐 있으며, 클러스터 하나에 호스트 5,000~7,500대, 약 25만 코어, 약 5만 파드가 있습니다. 전체로는 서비스 4,000개가 약 300만 코어를 사용하는 규모입니다.
배포 빈도도 높습니다. 하루에 서비스를 10만 번 배포하면서 파드 150만 개를 시작하고, 한 클러스터에서 초당 120~130개씩 파드가 뜹니다. 이 규모에서는 API 서버 부하와 파드의 잦은 생성·종료를 감당할 스케줄러 처리량이 문제가 됩니다. 다양한 워크로드가 섞이면서 생기는 자원 단편화도 다뤄야 했습니다.
우버는 전용 Kubernetes 벤치마크 도구로 성능을 시험했습니다. 시험에서 도달한 규모는 노드 7,500개, 파드 20만 개였고, 초당 파드 150개를 스케줄링했습니다. 이를 위해 손본 항목은 서로 다른 병목을 겨냥했습니다.
- 컨트롤러 매니저와 스케줄러의 QPS 설정 및 병렬 처리 수준 조정
- API priority and fairness로 비용이 큰 list와 get 호출 제한
- JSON에서 Proto 인코딩으로 전환
- pod topology spread 스케줄러 플러그인의 처리 속도 개선
운영 화면도 버티지 못했습니다. 기본 Kubernetes UI는 큰 클러스터에 연결하면 비정상 종료되거나 멎었고, 우버는 UI 코드 여러 곳에 캐싱을 넣어 응답성을 개선했습니다.
서비스에 맞춰 속도를 조절한 Kubernetes 배포
급격한 스케일링에 민감한 서비스에는 파드를 빨리 늘리고 줄이는 동작이 부담이었습니다. 대규모 리샤딩이 일어나 서비스가 불안정해질 수 있기 때문입니다. Apache Helix 기반 서비스에서는 링의 인스턴스 변동이 커지면 수렴 시간이 급증했습니다. 급격한 스케일 다운은 특정 샤드의 워커를 잠시 모두 사라지게 할 수도 있습니다.
스케일링에는 별도 제어가 필요했습니다. Kubernetes의 롤링 업데이트는 업그레이드 속도를 조절할 뿐, 파드 수를 늘리고 줄이는 속도까지 다루지는 않습니다. 우버는 커스텀 리소스 컨트롤러가 서비스 의도 설정에 따라 스케일 작업을 작은 배치로 나누도록 했습니다. 앞 배치가 성공적으로 끝나야 다음 배치를 진행하는 방식입니다.
업데이트에 걸리는 시간은 CloneSet과 이미지 프리페치 데몬으로 줄였습니다. 오픈소스 커스텀 리소스인 CloneSet은 파드를 교체하지 않고 패치해 제자리에서 업데이트합니다. 프리페치 데몬은 업데이트 전에 다른 존의 노드에도 새 이미지를 미리 받아 둡니다. 큰 컨테이너의 콜드 스타트 지연을 줄이기 위한 장치입니다.
주 컨테이너가 끝난 뒤에도 남는 사이드카
컨테이너가 종료된 뒤의 경험도 이어져야 했습니다. Mesos에서는 코어 덤프, 힙 프로파일, 로그 같은 아티팩트가 로컬 볼륨에 남았고, Mesos 엔드포인트와 연결된 Up UI에서 이를 볼 수 있었습니다. Kubernetes는 파드를 삭제할 때 로컬 볼륨을 정리합니다. UI에서도 그 아티팩트를 볼 수 없었습니다.
해법은 사이드카였습니다. 모든 파드에 사이드카를 넣어 주 컨테이너가 종료된 뒤에도 계속 실행되도록 했습니다. 주 컨테이너가 끝나면 호스트의 artifact uploader 데몬이 필요한 아티팩트를 압축해 블롭 저장소에 올립니다.
준비 완료로 표시되던 파드의 크래시 루프
일부 서비스는 헬스 체크를 꺼 둔 상태였습니다. 이런 서비스에서는 파드가 크래시 루프에 빠져도 준비 완료로 보였고, 헬스 체크의 초기 지연이 긴 서비스에서는 배포 진행 표시가 실제 상태를 오해하게 만들기도 했습니다. 처음 사용한 progress deadline seconds는 롤백을 시작하는 기준으로 암묵적이고 느렸습니다. 실패를 더 빠르고 명시적으로 드러낼 신호가 필요했습니다.
우버는 컨테이너 재시작 횟수로 판단하는 휴리스틱을 만들었습니다. 원문이 예로 든 기준은 롤아웃 중 5번 이상 재시작한 파드가 전체의 10%를 넘는 경우이고, 이때 Up에 신호를 보내 자동으로 롤백합니다.
배포 이벤트를 놓치는 문제도 있었습니다. 컨트롤러 리더가 바뀌는 동안 이벤트가 유실됐는데, 기본 인포머가 이벤트를 다시 재생하는 주기는 8~10시간이었습니다. 이 때문에 배포가 최대 10시간 늦어졌습니다. 우버는 상위 객체를 15분마다 강제로 재조정하는 메커니즘을 따로 만들었습니다.
클러스터 전체를 관찰하는 데도 공백이 남았습니다. 자원 단편화 때문에 파드를 효율적으로 배치하지 못하는 이유, 같은 노드의 다른 파드가 일으키는 성능 문제, 잦은 업데이트와 재시작의 영향을 함께 봐야 했습니다. 우버는 클러스터 건강 상태와 성능 지표를 자세히 보여 주는 배포 관측성 도구를 직접 구축했습니다.
이전 그래프에 남은 평평한 구간
이전 진행 추이를 그린 그래프에는 평평한 구간이 여러 번 나타납니다. 규모가 커지면서 드러난 신뢰성 문제를 고치려고 의도적으로 이전을 멈춘 시점입니다. 그동안 커스텀 컨트롤러와 오퍼레이터의 예외 상황을 다듬었고, API 서버 부하와 스케줄러 성능도 조정했습니다. QPS 조정, API 호출 제한, Proto 인코딩 전환 역시 이런 운영 문제를 해결하는 작업이었습니다.
안정화를 거친 뒤에는 이전 속도가 빨라졌습니다. 가장 빠를 때는 한 주에 약 30만 코어를 옮겼습니다. 약 1년 반에 걸친 작업 끝에, 2024년 7월 기준 공유 stateless 서비스의 Kubernetes 이전을 100% 완료했습니다.
배치와 스토리지까지 넓어질 Kubernetes
우버는 배치의 Apache Hadoop YARN과 stateful 워크로드의 Odin을 포함해 모든 클러스터 관리 기술을 Kubernetes로 모으려 합니다. 운영을 단순하게 만들고 효율을 높이려는 계획입니다. 이번 이전에서 만든 기능 중 우버 밖에서도 쓸모 있는 것은 오픈소스 커뮤니티에 돌려주고자 합니다. 이전 과정에서 막힌 문제를 푸는 데도 커뮤니티의 기여가 큰 도움이 됐습니다.
공유 stateless 이전을 담은 이 글은 시리즈의 첫 편입니다. 다음 편은 DSW 배치 잡을 Peloton에서 Kubernetes로 옮긴 이야기이며, 이후에는 다른 워크로드와 아키텍처 이전을 다룰 예정입니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 컴퓨트 클러스터 | 50개 이상(온프레미스, Oracle Cloud, Google Cloud) |
| 클러스터당 규모 | 호스트 5,000~7,500대, 코어 약 25만, 파드 약 5만 |
| 서비스 | 4,000개, 코어 약 300만 |
| 하루 배포와 파드 시작 | 10만 번 배포, 150만 파드, 한 클러스터에서 초당 120~130개 |
| 벤치마크 | 노드 7,500, 파드 20만, 초당 150개 스케줄링 |
| 인포머 재조정 | 기본 8~10시간, 커스텀 15분 |
| 자동 롤백 조건(원문의 예시) | 파드의 10% 넘게가 5번 이상 재시작 |
| 이전 기간 | 약 1년 반, 2024년 7월 100% 완료 |
| 절정기 이전 속도 | 한 주에 약 30만 코어 |