본문으로 건너뛰기
클러스터 선택을 플랫폼에 맡긴 Ray on Kubernetes
목차

클러스터 선택을 플랫폼에 맡긴 Ray on Kubernetes (2025-04)

원문 정보

  • 원문: Uber’s Journey to Ray on Kubernetes: Ray Setup
  • 매체 · 게시일: Uber Engineering Blog · 2025-04-03
  • 저자: Bharat Joshi(Staff Engineer, ML platform), Anant Vyas(Senior Staff Engineer, AI Infrastructure 기술 리드), Ben Wang(Staff Technical Program Manager), Min Cai(Distinguished Engineer, AI/ML 플랫폼 Michelangelo), Axansh Sheth(Engineering Manager, Batch Compute Platform 팀), Abhinav Dixit(Software Engineer II, Compute Batch 팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

GPU를 찾아다니던 ML 엔지니어

작업을 제출하기 전에 GPU부터 찾아야 했습니다. ML 엔지니어는 어느 리전과 존에 자원이 남아 있는지, 필요한 GPU SKU를 지원하는 클러스터는 어디인지 직접 알아내야 했습니다. 작업을 맡길 창구는 있어도 인프라의 복잡성이 그 밖으로 새어 나오는, ‘새는 추상화’였습니다.

2023년 중반까지 우버의 ML 워크로드는 주로 MADLJ(Michelangelo Deep Learning Jobs service)라는 작업 게이트웨이를 거쳤습니다. Apache Spark 기반 ETL과 Ray 기반 모델 학습이 여기서 돌았습니다. ML 파이프라인은 데이터 처리 비중이 큰 단계들의 연속입니다. 데이터 양이 모델 품질과 대체로 맞물리다 보니, 각 단계를 큰 분산 작업으로 실행하고 그 작업들을 그래프로 연결해 배치로 처리했습니다.

직접 고른 클러스터와 자원 사양은 작업 설정에 적어 코드베이스에 커밋했습니다. 정적인 설정은 자원 활용에도 영향을 줬습니다. 일부 클러스터에는 부하가 쏠렸지만 다른 클러스터는 놀았고, 서비스가 컴퓨트·데이터 인프라와 단단히 묶여 있어 다른 곳으로 옮기려면 하드코딩된 설정부터 바꿔야 했습니다.

실험 수요는 더 불규칙했습니다. 새로운 기법과 모델을 시험할 때마다 필요한 용량이 달라지고, 큰 실험을 시작하면 수요가 급증했습니다. 용량을 과대 예측하거나 필요한 예산을 확보하지 못하기 쉬운 상황이었습니다. 비용에 민감한 우버에는 여유 자원도 많지 않았습니다. 실험과 용량 확보가 닭과 달걀 문제처럼 얽히면서 실험을 마치는 시간도 길어졌습니다.

우버는 이 부담을 플랫폼으로 옮기려 했습니다. 2024년 초 완료한 ML 워크로드의 Kubernetes 이전은 그 과정이었습니다. 두 편짜리 시리즈의 첫 편인 이 글은 새 플랫폼을 만든 경험과 오픈소스를 우버 환경에 맞추며 부딪힌 문제, 이를 해결하려고 직접 만든 기능을 다룹니다.

Peloton의 경험을 이어받은 Kubernetes

기존 컴퓨트 스택에서도 한계가 드러났습니다. MADLJ가 자원 관리자로 쓰던 Peloton은 오래된 Apache Mesos 위에 있었고, 새로운 기술을 도입할 때마다 맞춤 통합을 개발해야 했습니다. Kubernetes는 이미 업계의 기본 선택으로 자리 잡았으며 Spark와 Ray 모두 Kubernetes를 기본 지원했습니다. ML 파이프라인의 오케스트레이션을 Kubernetes로 옮길 이유는 분명했습니다.

검증된 방식은 일부 남겼습니다. Peloton 시절에 쓰던 자원 풀과 탄력적 자원 공유는 Kubernetes에 맞게 고쳐 이어받았습니다. 오픈소스만으로 채우기 어려운 부분에서 기존의 운영 경험을 활용한 것입니다. 이 자원 관리 방식은 시리즈 2편에서 다룹니다.

사용자에게 요구할 정보는 줄였습니다. 작업이 Spark인지 Ray인지, 어떤 하드웨어가 얼마나 필요한지만 선언하면 플랫폼이 실행할 클러스터와 자원을 고르도록 했습니다. 사용자는 플릿 전체의 자원을 하나로 모은 관점에서 작업을 요청합니다. 플랫폼은 요구를 만족하는 후보를 찾고, 현재 부하 등을 따져 가장 적합한 곳을 선택합니다.

인프라 측의 준비도 함께 진행했습니다. 우버 컴퓨트 인프라 팀과 기술 스택의 Kubernetes 지원을 만들고, 장기적으로 프로덕션 워크로드를 이 플랫폼으로 이전한다는 목표를 세웠습니다.

클러스터도 리소스로 표현한 글로벌 API 서버

사용자 애플리케이션과 실제 실행 클러스터 사이에는 글로벌 컨트롤 플레인이 있습니다. ML 파이프라인을 실행하는 애플리케이션이 API로 선언적 작업 요청을 보내면, 글로벌 컨트롤 플레인이 이를 받아 실행할 곳을 정합니다. 실제 작업은 로컬 컨트롤 플레인인 개별 Kubernetes 클러스터에서 돌아갑니다.

글로벌 컨트롤 플레인은 API 서버와 컨트롤러 매니저를 두는 표준 Kubernetes 구성을 따릅니다. API 서버에는 ML 아티팩트를 표현하는 커스텀 리소스가 있고, 컨트롤러는 해당 리소스의 변화를 지켜보다 필요한 조치를 합니다. 작업도 CRD로 표현합니다. 작업 컨트롤러는 요청에 맞는 클러스터와 자원 풀을 찾는 데서 시작해, 실행에 필요한 시크릿을 준비하고 작업을 띄운 뒤 종료와 자원 반납까지 책임집니다.

컴퓨트 클러스터 역시 커스텀 리소스입니다. 리전, 존, 지원하는 하드웨어 유형을 리소스에 담아 두고 클러스터 컨트롤러가 주기적으로 상태를 점검합니다. 유지보수나 다운타임이 있는 클러스터의 상태를 파악하는 데 쓰입니다.

스케줄러가 볼 자원 정보도 이 컨트롤러가 관리합니다. 여러 클러스터의 자원 풀을 메모리 캐시에 모으고 비동기로 갱신하며, 스케줄러는 배정할 때 이 캐시를 읽습니다. 자원 풀 정보를 가져오는 조회를 스케줄링의 주요 실행 경로에서 분리한 것입니다.

uOwn 소유권을 따라 찾아가는 자원 풀

새 작업은 곧바로 클러스터에서 실행되지 않습니다. 작업 컨트롤러가 요청을 작업 큐에 넣으면, 스케줄러가 큐 맨 앞의 작업을 꺼내 실행할 로컬 클러스터를 배정합니다. 큐와 스케줄러는 Spark인지 Ray인지 구분하지 않습니다. 모든 작업이 공통 인터페이스로 어피니티와 자원 요구를 드러내므로, 배정에는 그 정보만 사용합니다.

어피니티는 작업이 실행될 곳에 요구하는 조건입니다. 워커마다 GPU 하나가 필요하거나, 데이터 지역성 때문에 특정 환경에서 실행해야 하는 경우가 여기에 해당합니다. 필터링 플러그인은 이런 조건을 만족하지 못하는 자원 풀을 후보에서 제외합니다.

자원이 있다고 누구나 쓸 수 있는 것은 아닙니다. 우버는 조직마다 예산이 다르고, 그에 따라 접근할 수 있는 자원도 달라집니다. 스케줄러는 작업의 요구뿐 아니라 그 작업을 소유한 팀도 알아야 했습니다. 빈자리를 찾았더라도 다른 조직이 소유한 풀로 마음대로 보낼 수는 없었습니다.

이때 기준이 되는 서비스가 uOwn입니다. 우버의 자산을 소유 팀과 그 팀의 자산으로 이뤄진 트리로 정리하며, 접근 제어와 팀별 비용을 보여 주는 쇼백(showback)에 쓰입니다. 모든 작업은 프로젝트에 속하고, 각 프로젝트에는 고유한 uOwn 식별자를 가진 소유 팀이 있습니다. 어느 클러스터에 새 자원 풀을 만들든 소유 팀 식별자를 반드시 지정하도록 했습니다.

스케줄러는 이 소유 관계에 따라 자원 풀을 우선 선택합니다.

  1. 작업의 프로젝트와 소유 팀의 uOwn 식별자가 같은 자원 풀
  2. 프로젝트의 부모 uOwn 식별자가 소유한 자원 풀
  3. 앞선 소유 풀이 없을 때 사용하는 중앙 소유 공유 풀

예를 들어 Applied AI 조직이 소유한 풀은 그 조직 아래의 여러 프로젝트가 사용할 수 있습니다. 각 프로젝트의 소유 식별자가 uOwn 트리에서 Applied AI 식별자의 자식이어야 한다는 조건이 붙습니다. 아직 자체 풀이 없는 초기 실험 프로젝트를 위해서는 여러 클러스터에 중앙 소유 공유 풀을 마련했습니다.

후보 사이의 순위는 스코어링 플러그인이 정합니다. 기존 워크로드가 얼마나 있는지, 메모리 같은 주요 자원이 얼마나 남았는지 등을 평가합니다. 현재 부하는 클러스터 컨트롤러가 갱신하는 메모리 캐시를 바탕으로 동적으로 반영합니다. 요구에 맞는 공유 풀이 여럿이면 가장 높은 점수를 받은 풀에 작업을 배정합니다.

배정 뒤에도 작업을 따라가는 컨트롤러

배정으로 컨트롤러의 일이 끝나지는 않습니다. 작업 컨트롤러는 작업의 수명주기를 상태 머신으로 관리하며, 각 상태 전이를 reconcile 단계로 처리합니다. 작업 이벤트 큐의 맨 앞에서 객체를 읽고 현재 상태에 맞는 조치를 한 뒤, 성공하면 작업의 상태를 갱신합니다.

실행할 곳이 정해지면 해당 로컬 클러스터에 의존 자원부터 준비합니다. Apache Hive 접근 토큰처럼 데이터 소스에 접근할 때 필요한 시크릿을 만들고 마운트하는 일도 여기에 포함됩니다. 토큰은 만료 전에 갱신합니다. 준비를 마치면 로컬 클러스터에 작업을 생성합니다.

실행 중인 작업에는 특수 레이블을 붙입니다. 글로벌 작업 컨트롤러는 이 레이블을 셀렉터로 삼아 로컬 API 서버를 watch합니다. 로컬 오퍼레이터가 작업 CRD의 상태를 바꾸면 그 변화를 받아 맥락 정보를 보태고, 글로벌 작업 상태에도 반영합니다. 사용자는 글로벌 API에서 요청한 작업이 로컬 클러스터에서 어떻게 진행되는지 확인하게 됩니다.

호스트 네트워킹 위의 Ray 헤드

실제 실행 클러스터는 우버 컴퓨트 팀이 관리합니다. 작업 제출과 모니터링, 지난 작업의 로그·메트릭 조회, ML이 아닌 작업과의 자원 공유에는 정해진 계약이 있습니다. 작업이 실행되는 모든 컴퓨트 클러스터에는 오픈소스 Ray 오퍼레이터를 설치했습니다.

오퍼레이터를 설치하는 것만으로는 충분하지 않았습니다. Ray 워커가 헤드를 찾는 방식부터 우버의 네트워킹 환경에 맞춰야 했습니다.

서비스 대신 API 서버를 찾는 워커 파드

Ray 오퍼레이터는 Kubernetes 서비스로 워커가 헤드를 찾도록 합니다. 서비스는 보통 클러스터 IP를 바탕으로 구성 요소 사이의 탐색을 지원합니다. 그런데 우버 컴퓨트 인프라는 호스트 네트워킹과 동적 포트 할당에 의존했습니다. 서비스에 기대는 애플리케이션을 그대로 사용하기 어려운 환경이었습니다.

우버는 워커 파드에 init 컨테이너를 추가했습니다. 이 컨테이너가 API 서버에서 헤드를 이름으로 조회하고, 알아낸 주소를 공유 마운트에 기록합니다. 뒤이어 시작하는 워커 컨테이너의 엔트리포인트는 그 파일에서 헤드 정보를 읽어 Ray 워커 프로세스의 인자로 넘깁니다. 워커는 이 주소로 헤드에 접속해 클러스터에 합류합니다.

수백 개 클러스터 사이에서 찾는 접속 주소

클라이언트도 헤드를 찾아야 합니다. 우버 인프라에는 수백 개의 Ray 클러스터가 함께 실행되고, 여기에 접속하는 클라이언트는 프로덕션 배치 작업입니다. 각 클라이언트가 자신이 사용할 Ray 클러스터의 주소를 확실하게 알아낼 방법이 필요했습니다.

이를 위해 Ray CRD의 status를 확장했습니다. 헤드 노드의 IP와 클라이언트 포트를 담아 두면, 클라이언트 서비스가 글로벌 API 서버에서 해당 Ray 클러스터를 조회해 접속 주소를 얻습니다. 헤드의 status에는 클라이언트가 사용할 다른 엔드포인트 정보도 노출합니다.

실패한 파드까지 드러내는 작업 상태

작업을 생성했다고 클러스터가 준비된 것은 아닙니다. 우버는 Ray 헤드에 직접 접속해 워커 상태를 조회하고, 요청한 수만큼 워커가 만들어져 헤드에 연결됐는지 확인합니다. 이런 준비 상태 점검으로 Ray 클러스터가 후속 처리를 할 준비가 됐는지 확인합니다.

준비에 실패하면 사용자가 조치할 수 있는 이유를 돌려줍니다. 만족할 수 없는 어피니티를 지정했는지, 배정된 풀에 Ray 클러스터 전체를 만들 만큼 자원이 없는지 오류 메시지에서 구분하게 했습니다. 인프라를 플랫폼이 관리하더라도, 사용자가 고칠 수 있는 문제까지 감추지는 않습니다.

실행 중인 파드의 실패도 작업 상태에 남깁니다. Ray 헤드와 워커 파드에 특수 레이블을 붙여 감시하다가 컨테이너가 0이 아닌 코드로 종료하면 그 이유를 기록합니다. 메모리 부족(OOM)처럼 사용자가 해결할 수 있는 오류를 빨리 확인하도록, 작업 상태에 파드 오류를 담는 배열 필드를 추가했습니다.

클라이언트가 사라진 뒤에도 남은 GPU

Ray 클러스터는 작업마다 만들고 없애는 일시적 자원입니다. 작업 컨트롤러가 Kubernetes에서 실행 자원을 확보해 클러스터를 구성하므로, 작업이 끝난 뒤에는 그 자원을 다시 반납해야 합니다. 비싸고 수요도 많은 GPU를 차지하는 클러스터라면 종료 처리의 누락이 특히 부담스럽습니다.

가장 흔한 종료 경로는 클라이언트의 요청입니다. Ray 클러스터를 쓰던 클라이언트가 성공이나 실패로 실행을 마치면서 클러스터 종료를 시도합니다. 자원 소유자가 작업을 직접 끝낼 수도 있습니다. 이를 위한 커맨드라인 유틸리티는 누가 종료했는지 알 수 있도록 사용자 이름과 짧은 종료 사유를 함께 기록합니다.

어느 경로든 종료 의도는 작업 스펙의 TerminationSpec에 담깁니다. 작업 컨트롤러는 이를 감지하면 작업을 Killing 상태로 옮겨 정리를 시작합니다. 로컬 작업 CRD를 삭제하면 그 CRD를 소유자로 참조하는 파드들도 삭제됩니다. 종료 역시 별도 절차로 흩어 두지 않고 작업의 reconcile 상태 머신에서 처리합니다.

종료 요청을 대신 보내는 헤드 파드의 사이드카

종료를 요청할 클라이언트가 없을 수도 있습니다. 클라이언트가 클러스터를 끝내기 전에 죽거나, 버그가 있거나, 종료 절차 자체를 구현하지 않은 경우입니다. 클라이언트의 요청만 기다리면 쓰이지 않는 클러스터가 GPU를 계속 차지하게 됩니다.

우버는 헤드 파드의 사이드카에서 유휴 상태를 감지합니다. 사이드카가 메트릭 데이터베이스를 조회해 Ray 클러스터의 활용 지표를 확인하고, 일정 기간 활용이 없으면 글로벌 API 서버에 종료를 요청합니다. 반납한 자원은 다른 작업에 사용할 수 있습니다.

오랫동안 접속한 클라이언트가 없는지도 봅니다. 클라이언트가 Ray 클러스터를 띄운 직후 죽는 경우가 여기에 해당합니다. 이처럼 클라이언트가 종료 절차를 끝내지 못한 경우에도 유휴 감지가 남은 클러스터를 정리합니다.

Kubernetes로 이전을 마친 ML 프로젝트

우버는 GPU를 사용하는 모든 ML 프로젝트를 새 스택으로 옮기기 위해 2023년에 1년짜리 프로그램을 계획했습니다. 프로젝트의 등급과 자원 요구, 기술·데이터 의존성에 따라 이전 작업을 나눠 진행했습니다. 2024년 초에는 모든 ML 프로젝트가 Kubernetes 위의 Ray 스택으로 이동했고, Peloton 기반 기존 스택은 폐기했습니다.

이전 후 학습 속도는 1.5배에서 4배 좋아졌습니다. 작업 배치와 컨테이너 관리가 유연해지면서 여러 존과 클러스터의 GPU를 더 잘 활용했고, 학습에 쓸 수 있는 용량도 늘었습니다. 다음 편에서는 이 Ray 기반 작업들의 자원 관리를 다룹니다.

전환 시점과 자원 관리 기준
항목값
기존 ML 작업 게이트웨이MADLJ(2023년 중반까지), 자원 관리자 Peloton
동시 운영 Ray 클러스터수백 개
이전 계획2023년 1년짜리 프로그램, 2024년 초 완료
학습 속도 개선1.5배에서 4배
자원 풀 선택 순서프로젝트 소유, 부모 uOwn 소유, 공유 풀
작업 종료 경로클라이언트 종료, 사용자 수동 종료, 유휴 감지
마지막 수정 일자