목차
남는 자원을 빌려 쓰는 우버의 Ray on Kubernetes (2025-04)
원문 정보
- 원문: Uber’s Journey to Ray on Kubernetes: Resource Management
- 매체 · 게시일: Uber Engineering Blog · 2025-04-10
- 저자: Bharat Joshi(Staff Engineer, ML platform), Anant Vyas(Senior Staff Engineer, AI Infrastructure 기술 리드), Ben Wang(Staff Technical Program Manager), Min Cai(Distinguished Engineer, AI/ML 플랫폼 Michelangelo), Axansh Sheth(Engineering Manager, Batch Compute Platform 팀), Abhinav Dixit(Software Engineer II, Compute Batch 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
노드 배치 전에 거치는 승인 대기열
우버는 팀마다 예약한 자원을 보장하면서, 남는 자원은 수요가 많은 팀에 빌려주려 했습니다. 빌려준 자원은 돌아와야 합니다. 원래 주인이 다시 필요로 하면 빌려 쓰던 작업을 선점해야 하는데, Kubernetes는 이런 동적 자원 공유와 선점을 기본으로 제공하지 않았습니다.
Ray on Kubernetes 시리즈 1편에서는 도입 배경과 Ray 기반 작업 관리 시스템을 소개했습니다. 이번 2편의 무대는 그 플랫폼을 실행하는 Kubernetes입니다. 대규모 멀티테넌트 환경에 맞게 자원 관리를 보완하고, 앞서 Peloton 위에 직접 만든 추상화를 사용하던 상위 구성 요소도 Kubernetes에 맞춰 바꾸는 작업을 다룹니다.
우버는 파드를 노드에 배치하기 전에 자원 사용을 승인하는 단계를 두었습니다. 승인은 리소스 매니저가 담당합니다. 승인받은 파드를 어느 노드에 놓을지는 Kubernetes 기본 스케줄러가 결정하도록 역할을 나눴습니다.
새 파드는 스케줄러 이름을 kube-resource-manager-scheduler로 지정한 채 우선순위 큐에 들어갑니다. 파드 스펙의 priority 필드가 승인 순서를 정하는 기준입니다. 승인을 받으면 스케줄러 이름을 기본 스케줄러로 바꾸고, 그때부터 기본 스케줄러가 노드 배치를 맡습니다. 이 이름은 승인 상태를 구별하는 표식이기도 합니다. kube-resource-manager-scheduler가 남아 있으면 승인 대기 중이고, 나머지는 승인된 파드로 취급합니다.
승인이 곧 배치를 뜻하지는 않습니다. 자원 사용을 승인받았어도 기본 스케줄러가 노드를 찾지 못하는 파드는 남을 수 있으며, 우버는 그런 파드를 25분 뒤 종료해 자원을 풀어 줍니다.
예약 용량 너머로 빌려 쓰는 자원 풀
승인 여부를 판단하는 단위는 자원 풀(resource pool)입니다. 클러스터 자원을 논리적으로 묶어 조직과 팀에 나누고, 풀 아래에 자식 풀을 두어 조직 내부에서도 다시 배분합니다. 풀마다 CPU, 메모리, 디스크 크기, GPU를 따로 관리합니다. 클러스터 관리 시스템이 더 많은 격리 유형을 지원하면 디스크 IO 같은 자원 차원도 추가될 것으로 보고 있습니다.
자원 풀은 Kubernetes 커스텀 리소스인 CRD로 정의합니다. 파드는 어노테이션에 풀 이름을 넣어 소속을 표시합니다. 리소스 매니저는 모든 파드 이벤트를 지켜보며 풀별 수요와 사용량을 계산하는데, 여기서 수요는 승인을 기다리는 파드의 자원 요청 합이고 사용량은 이미 승인된 파드를 기준으로 집계한 값입니다.
클러스터 전체 용량도 주기적으로 계산합니다. 모든 노드의 할당 가능 용량을 합하되, 유지보수 taint가 붙은 노드는 제외합니다. 이 총용량과 풀별 수요·사용량을 바탕으로 각 풀이 사용할 수 있는 자원량인 entitlement를 정합니다. 배분 기준은 max-min 공정성입니다.
예약 용량이 사용량의 고정 상한은 아닙니다. 한 풀의 수요가 예약 용량을 넘더라도 다른 풀에 남는 자원이 있으면 빌려 쓸 수 있습니다. 다른 풀의 수요가 늘어 현재 사용량이 새 entitlement를 초과하면, 리소스 매니저는 초과한 풀의 파드를 선점해 사용량을 줄입니다. 빌려 쓸 때와 돌려줄 때가 같은 계산에 따라 결정됩니다.
이 반환 조건은 파드에도 드러납니다. 선점 가능한 파드에는 preemptible: true 어노테이션을 붙이고, 선점할 수 없는 파드는 예약 용량을 넘겨 쓰지 못하게 합니다. 실제 퇴출에는 Kubernetes eviction API를 사용하며, 퇴출 전에 파드 컨디션에 선점 이유를 기록합니다.
이렇게 공유하면 수요가 몰리는 때 클러스터 활용률은 100%에 가까워집니다. 팀마다 사야 하는 자원도 훨씬 줄어듭니다. 중요한 프로덕션 워크로드에 우선권을 주면서, 그 수요가 낮을 때는 실험 파이프라인이 남는 자원을 빌려 쓰는 운영이 가능합니다. 예약 용량을 보장하면서도 다른 팀이 쓰지 않는 여유분을 활용하는 방식입니다.
모두 모여야 승인받는 갱의 파드
파드를 하나씩 승인하는 것만으로는 부족한 작업도 있습니다. 한꺼번에 스케줄해야 하는 파드 묶음을 갱(gang)이라고 부릅니다. 리소스 매니저는 갱의 일부를 먼저 승인하지 않고, 전체 수요를 해당 풀의 entitlement 안에서 충족할 수 있는지 확인합니다.
갱의 파드에는 gang-member 레이블을 붙이고, 전체 파드 수는 number-gang-members 어노테이션에 담습니다. 수요를 확인하기 전에는 구성원이 모두 생성될 때까지 기다립니다. 파드가 전부 모인 뒤에야 갱 전체의 승인 여부를 판단하는 순서입니다. 이 메타데이터가 없는 파드는 갱에 속하지 않은 것으로 취급합니다.
데이터 로딩을 CPU에 맡긴 Ray 클러스터
일부 학습 작업은 CPU 노드와 GPU 노드가 섞인 Ray 클러스터에서 실행합니다. 데이터 로딩과 셔플에는 GPU가 필요하지 않습니다. 이 작업을 CPU 전용 노드에 맡기고 처리한 데이터를 GPU 학습 노드로 보내면 GPU 활용률을 높일 수 있습니다.
Ray는 노드에 데이터 처리용인지 GPU 학습용인지 레이블을 붙이는 기능을 기본으로 지원합니다. 데이터 로더는 데이터 처리 노드에서 실행합니다. 이런 구성을 지원하려면 하부 Kubernetes 클러스터에도 CPU 호스트와 GPU 호스트가 함께 있어야 하며, 파드가 그 용도에 맞는 호스트로 가도록 배치해야 합니다.
우버는 GPU 필터 플러그인으로 GPU가 필요 없는 파드를 GPU 호스트에서 제외했습니다. CPU 작업은 부하를 보고 가장 한가한 CPU 노드에 분산합니다. GPU 워크로드에는 빈 패킹(bin-packing)을 적용해 GPU 노드를 효율적으로 채우고 단편화를 줄입니다. 한 클러스터 안에서도 하드웨어에 따라 배치 전략을 달리한 것입니다.
H100을 필요한 작업에 남겨 두는 GPU 필터
GPU가 필요한 파드라고 해서 어느 GPU에나 배치하는 것은 아닙니다. NVIDIA H100처럼 더 강력한 신세대 GPU를 요구하는 워크로드도 있습니다. 이런 하드웨어는 비싸므로 일부 작업에만 배정하고, 모델을 지정하지 않은 일반 GPU 요청에서는 제외하려 했습니다.
이를 위해 우버가 제안한 방식은 SKU 기반 필터링입니다. GPU 노드에는 모델 이름을 레이블로 붙입니다. 특정 모델이 필요한 파드는 그 레이블과 일치하는 nodeSelector를 지정하며, H100을 요청할 때는 gpu-node-label-model: NVIDIA_H100_80GB_HBM3 같은 값을 사용합니다.
요청자가 고를 수 있는 모델 목록도 함께 관리합니다. 실제 모델명과 별칭, 설정을 포함한 특수 하드웨어 목록을 클러스터 수준의 ConfigMap으로 etcd에 저장하고, Kubernetes 스케줄러와 워크로드 요청자가 모두 읽도록 했습니다. 특수 하드웨어를 요청한 파드는 기본 스케줄러가 nodeSelector에 맞는 노드로 배치합니다.
일반 GPU 요청에는 SKUExclusionFilter가 작동합니다. SpecialResourceExclusionFilter라고도 부르는 이 스케줄링 플러그인은 특수 하드웨어 노드를 배치 후보에서 제외합니다. 그 노드를 해당 모델이 필요한 작업에 남겨 두기 위한 장치입니다. 일반 워크로드는 모델명 없이 GPU를 요청하면 되고, 특정 모델이 필요한 워크로드만 알맞은 nodeSelector를 지정합니다.
Ray 작업 ID로 모으는 컨테이너 사용량
배치한 작업이 실제로 자원을 얼마나 쓰는지는 컨테이너에서 수집합니다. 우버의 Kubernetes 환경에서는 Containerd가 파드를 실행하며 컨테이너별 성능과 자원 사용 메트릭을 내보냅니다. 수집하는 값은 자원 종류에 따라 다릅니다.
- CPU: 컨테이너별 사용량, 총 CPU 사용 시간, 스로틀링
- 메모리: 사용량과 한도, OOM 같은 메모리 실패
- GPU: 하드웨어와 드라이버가 지원하는 경우 GPU 메모리 사용률과 처리 시간
컨테이너별 메트릭은 Ray 작업 단위로 다시 모읍니다. 머신마다 실행하는 데몬 에이전트가 cAdvisor를 라이브러리로 사용해 컨테이너 사용량을 수집하고, 우버 전용 레이블을 추가합니다. Ray 헤드와 워커 컨테이너에 같은 작업 ID를 붙이는 것이 한 예입니다. 중앙 수집 서비스가 이 메트릭을 받아 워크로드별로 집계하고, Grafana 대시보드에 표시합니다.
우버는 다음 단계로 이 시리즈에서 소개한 기술의 오픈소스화를 검토하고 있습니다.
자원 관리에 사용한 설정값과 배치 전략
| 항목 | 값 |
|---|---|
| 승인 후 미배치 파드 종료 | 25분 |
| 선점 가능 파드 어노테이션 | preemptible: true |
| 갱 메타데이터 | gang-member 레이블, number-gang-members 어노테이션 |
| 특수 GPU 노드 셀렉터 예 | gpu-node-label-model: NVIDIA_H100_80GB_HBM3 |
| 일반 파드 스케줄링 전략 | CPU 노드에서 부하 인식(가장 한가한 노드) |
| GPU 파드 스케줄링 전략 | 빈 패킹 |
| 메트릭 수집 | cAdvisor 라이브러리 기반 데몬 에이전트, Grafana 대시보드 |