목차
CMB의 API를 유지한 Netflix Batch의 Kueue 전환 (2026-06)
원문 정보
- 원문: How Netflix Simplified Batch Compute with Kueue
- 매체 · 게시일: Netflix TechBlog · 2026-06-22
- 저자: Alvin Bao, Alex Petrov, Jennifer Lai, Aidan Sherr, Samartha Chandrashekar
- 원문 내용을 바탕으로 재구성한 요약입니다.
작업 수락 시점에 머물던 CMB의 공정 분배
Netflix의 관리형 배치 솔루션 Compute Managed Batch(CMB)에는 선점 기능이 없었습니다. 한 번 수락한 작업은 끝까지 실행했습니다. 공유 용량은 작업을 수락할 때 공정하게 나눴지만, 이후 테넌트 사이의 수요가 바뀌어도 실행 중인 작업은 그대로였습니다.
사용자와 애플리케이션은 CMB에 완료될 때까지 실행할 워크로드를 제출하고 관리합니다. CMB는 테넌트 계층으로 작업을 묶어 우선순위에 따라 실행 순서를 정하고, 용량도 테넌트 단위로 관리합니다. 계층의 모양은 사용자가 정합니다. 여러 애플리케이션을 한 테넌트로 묶어도 되고, 팀과 애플리케이션의 소유 관계를 따라 깊은 계층을 만들어도 됩니다.
테넌트의 용량 설정에는 사용할 컴퓨트 자원과 다른 테넌트로부터 보장받는 격리 수준, 공정 분배용 가중치와 자원 차원이 담깁니다. 계층을 구성하는 내부 테넌트와 실제 작업을 받는 리프 테넌트는 예약 용량을 쓰는 방식도 다릅니다.
| 구분 | 작업과 자식 테넌트 | 예약 용량의 사용 범위 |
|---|---|---|
| 내부 테넌트 | 작업을 받지 않고 큐도 없음. 내부·리프 테넌트를 자식으로 보유 | 하위 트리에 공정하게 분배해 아래 리프 테넌트가 사용 |
| 리프 테넌트 | 작업을 받는 큐가 있으며 자식은 없음 | 다른 테넌트가 같은 자원을 예약하거나 공유하지 못하도록 분리해 해당 리프의 처리량 보장 |
예약 용량 외에는 Compute 팀이 관리하는 전역 공유 풀이 있었습니다. 어느 테넌트든 예약분을 넘어 이 풀의 자원을 쓸 수 있었습니다. CMB 이용에 예약은 필수가 아니었고, 한 테넌트가 공유 용량을 모두 소진하는 것도 가능했습니다. 이 풀에 공정 분배를 적용하더라도, 수락한 작업을 선점하지 못한다는 한계는 남았습니다.
유휴 예약 용량을 나누는 Kueue의 선점
Netflix는 CMB의 큐잉과 스케줄링을 배치 작업용 큐잉 시스템 Kueue로 옮기는 프로젝트를 Netflix Batch라고 불렀습니다. 이 전환으로 예약 용량을 다루는 방식이 달라졌습니다. 선점 기반 공정 분배를 도입해 예약의 보장을 유지하면서도, 쓰이지 않는 예약 자원을 다른 테넌트에 빌려줄 수 있게 됐습니다.
우선순위가 높은 워크로드를 위해 낮은 워크로드를 선점하는 것도 가능합니다. 테넌트는 유휴 예약 용량을 더 활용하고, 자원을 계속 배정받지 못할 위험 없이 더 많은 작업을 제출할 수 있습니다. 비즈니스상 중요한 작업의 처리 시간도 짧아집니다.
선점 설정의 예로 제시한 team-a-cq ClusterQueue는 preemption 아래에 reclaimWithinCohort: Any와 withinClusterQueue: LowerPriority를 둡니다. Compute 팀은 이 기능들을 배포한 뒤 평균 자원 활용률이 눈에 띄게 높아진 것을 확인했습니다.
Kueue는 프로덕션 배포를 마치고 수백만 건의 배치 워크로드를 관리하고 있습니다. Netflix는 더 많은 Titus 배치 워크로드를 이 관리형 방식으로 편입하는 방안을 검토 중입니다. Kubernetes 네이티브 학습 인프라를 만드는 팀을 비롯한 다른 내부 팀도 이전 과정에서 얻은 지식을 작업 스케줄링과 큐잉 설정에 쓰고 있습니다.
Titus의 스케줄링 프로파일을 지킨 선택
2018년에 만든 CMB는 여러 오픈소스 배치 솔루션과 출발 시기가 비슷하거나 더 빨랐습니다. 이후 Kubernetes 생태계가 성숙하면서 CMB가 제공하거나 구현하려던 공정 분배, 계층형 테넌트, 용량 관리, 우선순위 큐잉이 오픈소스에도 들어왔습니다. Netflix가 컴퓨트 인프라를 Kubernetes 중심으로 옮기며 컨테이너 플랫폼 Titus에 생태계의 구성 요소를 도입하던 흐름과도 맞았습니다.
CMB에 제출한 작업은 Titus에서 실행됩니다. Titus는 여러 셀(Kubernetes 클러스터)에 걸친 워크로드 연합과 용량 예약을 지원합니다. 덕분에 CMB는 셀 구성을 몰라도 단일 Titus 엔드포인트로 작업을 제출·조회하고 예약을 갱신할 수 있었습니다. 하지만 기반 Kubernetes 클러스터에서 멀리 떨어진 CMB에 선점 같은 기능을 추가하는 일은 점점 어려워졌습니다.
Kueue를 고른 이유 중 하나는 기존 파드 스케줄링을 유지할 수 있다는 점이었습니다. YuniKorn이나 Volcano와 달리 Kueue는 kube-scheduler를 대체하지 않습니다. 기존 Titus 스케줄링 프로파일을 그대로 쓸 수 있는 선택입니다. 프로파일을 교체하면 작업 배치가 쪼개져 효율이 떨어질 수 있었습니다.
이기종 하드웨어에 걸친 멀티 테넌트 쿼터 관리와 빠른 기능 개발, 늘어나는 도입 사례도 선택에 힘을 보탰습니다. Kueue는 v1.Pod와 batch/v1.Job뿐 아니라 RayJob·RayCluster 같은 상위 추상화도 지원해 향후 확장에 활용할 수 있습니다. 팀이 CMB에 직접 만들고 싶었던 선점, all-or-nothing 스케줄링, 토폴로지 인지 스케줄링도 이미 갖추고 있었습니다.
가장 복잡한 고객부터 시작한 Netflix Batch
사용자가 이전을 위해 할 일은 없어야 했습니다. 컨테이너 시작 속도와 전체 최대 처리량도 떨어뜨려서는 안 됐습니다. Netflix는 기존 API와 동등한 동작을 유지하고 하부 구성 요소부터 옮겨, API 변경과 내부 시스템 교체의 위험이 한꺼번에 겹치지 않도록 했습니다.
큐잉과 스케줄링을 수행하는 위치는 Titus 셀 안으로 옮겼습니다. Kueue를 활성화한 각 셀에서 Kueue가 이를 맡고, Titus의 연합 기능은 자체 제작한 Kueue 라우터를 거쳐 해당 셀로 작업을 보냅니다.
운영자가 보는 이전 절차는 UI에서 테넌트의 버튼을 누르는 일이었습니다. 되돌리기도 쉬웠습니다. 내부에서는 테넌트를 등록할 때 내부 테넌트를 Cohort로, 리프 테넌트를 ClusterQueue와 LocalQueue로 바꾸고, 용량 설정을 리소스 flavor와 nominal quota로 변환합니다.
처리량은 기본 설정만으로 맞출 수 없었습니다. Kueue의 QPS, Burst, groupKindConcurrency를 기본값보다 훨씬 높여야 했습니다. Netflix는 Titus를 모사한 개발 환경에서 일찍 부하 테스트를 진행해 처리량과 관련한 위험을 줄였습니다.
가장 복잡한 사례도 마지막까지 미루지 않았습니다. 규모가 가장 크고 복잡한 고객부터 옮겨 이후 고객의 이전을 진행할 확신을 얻었습니다. 프로덕션 이전을 마치는 데 걸린 시간은 4주였습니다.
이전 규모와 설정 값
| 항목 | 값 |
|---|---|
| CMB 개발 시기 | 2018년 |
| 프로덕션 이전 기간 | 4주 |
| 관리 규모 | 수백만 건의 배치 워크로드 |
| 테넌트 변환 | 내부 테넌트는 Cohort, 리프 테넌트는 ClusterQueue + LocalQueue |
| 용량 설정 변환 | 리소스 flavor와 nominal quota |
| 선점 설정 예 | reclaimWithinCohort: Any, withinClusterQueue: LowerPriority |
| Kueue 튜닝 | 기본값보다 훨씬 높은 QPS, Burst, groupKindConcurrency |