본문으로 건너뛰기
수백만 개의 잡을 나눠 실행하는 Netflix Maestro
목차

수백만 개의 잡을 나눠 실행하는 Netflix Maestro (2022-10)

원문 정보

UTC 자정에 느려진 Meson

UTC 자정처럼 워크플로가 몰리는 시간에는 Meson이 느려졌습니다. 온콜의 부담도 커졌습니다. 하루 약 7만 개의 워크플로와 50만 개의 잡을 스케줄하며 수년간 잘 돌아온 시스템이었지만, 이제 스케줄러 담당자가 업무 시간 밖에도 상태를 면밀히 지켜봐야 했습니다.

Meson은 고가용성을 갖춘 단일 리더 아키텍처였습니다. 사용량이 늘면 수직으로 확장했습니다. 워크플로 수는 연 100% 넘게 증가했고, 리더의 자원을 키우는 방식은 AWS 인스턴스 타입의 한계에 가까워지고 있었습니다. 팀은 다른 오케스트레이터들을 검토한 뒤, 수백 노드 규모의 클러스터에 잡을 분산하는 차세대 시스템을 직접 만들기로 했습니다.

새 시스템에 요구한 지연 SLO도 엄격했습니다. 하루 수십만 개의 워크플로와 수백만 개의 잡을 스케줄하면서, 트래픽이 급증해도 스케줄러가 더하는 지연을 1분 미만으로 유지해야 했습니다. 피크 부하는 평균보다 몇 자릿수 커질 수 있었습니다. 운영과 사용성을 고려해 사용자 워크플로 대부분을 하나의 스케줄러 클러스터에서 관리하려는 요구도 있었습니다.

분산 큐로 연결한 Maestro의 서비스

Maestro는 Netflix 데이터 플랫폼에 완전 관리형 서비스형 워크플로(WAAS)를 제공하는 범용 오케스트레이터입니다. 사용자는 비즈니스 로직을 가져오고, Maestro는 스케줄링과 처리, 오류 처리, 보안을 맡습니다.

워크플로 엔진, 시간 기반 스케줄링 서비스, 시그널 서비스가 실행을 조율합니다. 모두 무상태 서비스입니다. 요청을 분산 큐로 주고받는 shared-nothing 아키텍처에서 서비스를 수평 확장하며, 수백만 개의 워크플로·스텝 인스턴스 상태를 한꺼번에 관리합니다. 워크플로 정의와 인스턴스 상태를 저장하는 곳은 CockroachDB입니다. 강한 일관성을 제공하면서 운영 부담이 크지 않게 수평 확장할 수 있는 오픈소스 분산 SQL 데이터베이스라는 점이 선택의 이유였습니다.

사용자가 작성하는 워크플로는 Step이라는 잡 정의 단위를 DAG로 연결한 것입니다. 정의와 실행은 구분합니다. 워크플로를 한 번 실행한 것이 워크플로 인스턴스이고, 스텝을 한 번 실행한 것이 스텝 인스턴스입니다. 정의에는 의존성, 트리거, 파라미터, 메타데이터, 설정과 분기를 담고, 인스턴스에는 실행 중 평가한 파라미터와 수집한 정보를 담습니다.

워크플로 엔진은 정의와 소유권, 인스턴스의 수명 주기를 관리합니다. 유효한 모든 DAG 패턴을 지원하며, 상태 머신에는 Netflix의 오픈소스 Conductor를 라이브러리로 사용해 각 스텝을 최소 한 번 큐에 넣고 꺼내도록 보장합니다. 실패 모드에 따라 재시도 정책을 달리하고, 워크플로와 스텝 단위의 동시성 제어로 실행량을 조절할 수 있습니다. 모든 상태 변화와 디버그 정보를 남기는 타임라인도 엔진의 기능입니다.

스텝은 컨테이너로 격리합니다. 컨테이너를 사용자나 애플리케이션의 신원으로 띄워 해당 주체를 대신해 작업을 실행하고, 하위 시스템은 그 신원으로 작업을 허용할지 판단합니다. 데이터 웨어하우스라면 테이블 읽기·쓰기 권한을 확인하는 방식입니다.

수백만 번의 반복을 담은 foreach

워크플로 하나의 크기도 문제였습니다. 잡 하나가 한 시간 분량의 데이터를 처리하는 백필도, 5년 치라면 24 x 365 x 5, 곧 43800개의 잡이 필요합니다. ML 학습 워크플로에는 수만에서 수백만 개의 학습 잡이 들어가기도 합니다. 이런 워크플로 하나가 오케스트레이터와 하위 시스템에 핫스팟을 만들고 감당하기 어려운 부하를 줄 수 있습니다.

그 많은 잡을 모두 DAG에 직접 정의하기도 어렵습니다. 수백만 노드의 DAG는 UI가 그리지 못할 정도로 큽니다. 사용자 피드백에서도 수천 개의 스텝을 손으로 작성하고 관리하려는 요구는 없었고, 정의를 더 작은 서브 워크플로로 나누는 방법은 가능했습니다. 사용자가 기대한 것은 DAG의 일부를 파라미터만 바꿔 수십만, 수백만 번 실행하는 일이었습니다.

Maestro는 정의의 크기와 실행 횟수를 따로 다룹니다. 워크플로 DAG의 크기에는 한도를 두고, foreach 블록 안에 서브 DAG를 정의하면 더 큰 한도로 반복하게 합니다. 가령 DAG 크기는 1K, foreach 반복은 100K로 제한하는 식입니다. 이는 한도 설정의 예시이며, foreach를 중첩하면 한 워크플로 인스턴스에서 수백만에서 수십억 개의 스텝을 실행할 수 있습니다.

정의에서 foreach는 스텝 하나입니다. 내부에서는 별도 워크플로로 취급하며, 각 반복의 서브 DAG 실행을 별도 워크플로 인스턴스에 맡겨 다른 Maestro 워크플로처럼 확장합니다. foreach 스텝은 반복을 맡은 인스턴스들의 상태를 감시하고 모읍니다. 순차 반복과 중첩 반복을 이 방식으로 처리하면서, 사용자는 foreach 스텝에서 전체 반복 상태를 보거나 개별 반복을 따로 열어 문제를 확인할 수 있습니다.

고정된 DAG 안의 유연한 실행 경로

실행할 때마다 DAG 자체가 달라지는 워크플로는 유지보수와 문제 해결이 어려워 덜 선호됩니다. Maestro는 조건 분기와 서브 워크플로, 출력 파라미터로 실행 시점의 변화를 표현합니다. 가능한 변형을 서브 워크플로로 미리 정의해 두고, 런타임에 평가하는 서브 워크플로 id 파라미터로 알맞은 것을 호출하는 방식입니다.

값은 실행 중에도 전달합니다. 상류 스텝이 만든 출력 파라미터를 foreach의 반복값으로 쓰거나, 서브 워크플로에 넘기거나, 하류 스텝에서 사용할 수 있습니다. DAG를 다시 작성하지 않아도 앞선 작업의 결과에 따라 뒤의 작업이 달라집니다.

파라미터 정의에는 코드도 넣습니다. Java 문법으로 작성할 수 있지만, 이를 처리하는 언어는 Netflix가 직접 만든 안전한 표현식 언어 SEL입니다. 제한된 기능만 노출하고 파서에서도 루프 반복 횟수를 제한하는 등의 검사를 수행해 코드 주입에 따른 위험을 제어합니다.

백필 예제의 정의에는 스텝이 둘뿐입니다. step1은 dateIntsBetween(FROM_DATE, TO_DATE, 1) 같은 SEL 표현식으로 20210101부터 20220101 직전까지의 날짜를 계산해 출력합니다. foreach인 step2는 그 날짜들을 받아 반복을 만듭니다. 각 반복에서는 backfill 잡이 S3에 있는 노트북을 실행하고 날짜를 인자로 넘겨, 해당 날짜의 데이터를 백필합니다.

데이터 준비로 실행 시점을 정하는 시그널

시간 기반 스케줄링 서비스는 cron 표현식이나 시간별·주별 주기 템플릿에 따라 새 워크플로 인스턴스를 시작합니다. 서비스 자체는 가볍습니다. 최소 한 번의 스케줄링을 보장하고, 엔진이 중복 트리거 요청을 제거해 정확히 한 번 트리거되도록 만듭니다.

시각만 정해 두는 방식이 비효율적일 때도 있습니다. 일 단위 워크플로를 예로 들면, 매번 자정에 실행하기보다 데이터 파티션이 준비됐을 때 실행해야 합니다. Maestro는 수동·시간 기반 트리거 외에 이벤트 기반 트리거도 제공합니다. 준비 여부를 계속 확인하느라 자원을 쓰지 않고, 조건이 충족됐을 때 실행하는 방식입니다.

이벤트 기반 실행에는 시그널을 씁니다. 시그널은 파라미터 값 같은 정보를 담은 작은 메시지입니다. 시그널 서비스는 웨어하우스 테이블 갱신, S3 이벤트, 다른 워크플로가 내보낸 시그널 등 여러 출처의 시그널을 수집·색인하고, 등록된 워크플로 구독과 연결해 트리거를 만듭니다. 이 서비스도 엔진과 함께 정확히 한 번의 트리거를 보장합니다.

시그널은 스텝의 실행 조건으로도 쓰입니다. 데이터 파티션이 준비될 때까지 특정 스텝을 기다리게 하는 게이트를 등록하면, 시그널 서비스가 수신 이력을 조회해 의존성을 처리합니다. 워크플로 전체를 새로 시작하는 트리거와, 워크플로 안에서 스텝을 시작하게 하는 게이트를 함께 지원하는 것입니다.

어떤 시그널이 실행을 일으켰는지도 남깁니다. 한 워크플로가 테이블을 갱신하면 그 테이블을 기다리던 다른 팀의 워크플로들이 연이어 실행될 수 있습니다. 시그널 리니지는 시그널이 시작시킨 워크플로와 실행 대기를 해제한 스텝의 관계를 기록해, 상류와 하류의 담당자가 서로의 의존 관계를 확인하게 합니다.

서로 다른 숙련도를 위한 실행 인터페이스

Netflix에서는 랜딩 페이지의 픽셀 색부터 TV 시리즈의 갱신 여부까지 데이터가 판단의 근거입니다. 파이프라인 사용자도 다양합니다. 데이터 과학자와 데이터·ML·소프트웨어 엔지니어, 콘텐츠 제작자, 비즈니스 분석가 등 수천 명이 Maestro를 쓰며, 프로그래밍 숙련도와 원하는 기능이 제각각입니다. 서로 반대되는 기능이나 일부 사용자만 쓰는 기능을 원하기도 합니다.

사용자가 비즈니스 로직에 집중하게 하려면 추상화 수준도 달라야 합니다. 비엔지니어에게는 높은 수준의 인터페이스를 제공하면서, 엔지니어에게는 낮은 수준의 제어와 필요한 설정을 열어 두어야 합니다. 어떤 방식을 택하든 오류를 모두 드러내고 디버깅할 수 있어야 한다는 요구는 같습니다.

비즈니스 로직과 분리된 DSL

사용자는 bash 스크립트, Jupyter 노트북, Java jar, docker 이미지, SQL 문으로 비즈니스 로직을 가져올 수 있습니다. 워크플로를 정의하는 언어는 따로 고릅니다. YAML, Python, Java DSL은 비즈니스 로직과 분리돼 있고, JSON 데이터 모델로 Maestro API를 직접 호출하는 방법도 있습니다. 사람이 읽기 쉬운 DSL이 인기가 있으며, 그중 가장 많이 쓰이는 것은 단순하고 읽기 편한 YAML입니다.

UI에서는 파라미터화된 템플릿을 몇 번 클릭해 워크플로를 만듭니다. 노트북 UI에서 선택한 노트북을 주기적으로 실행하도록 예약하거나, Maestro UI에서 테이블이나 스프레드시트의 데이터를 다른 곳으로 옮기는 작업을 예약할 수 있습니다. Metaflow를 쓰면 임의의 Python 코드 DAG를 실행하는 Maestro 워크플로를 만들 수도 있습니다.

SQL부터 docker 이미지까지 받는 스텝

자주 쓰는 작업의 로직은 스텝 타입 안에 구현해 둡니다. 사용자는 타입을 고르고 파라미터를 지정합니다. 예를 들어 spark 스텝 타입에는 Spark SQL 쿼리와 메모리 요구량 등을 넘기면 나머지는 Maestro가 처리합니다. 스텝 타입의 로직을 바꿀 때도 사용자가 불편 없이 계속 쓰도록 할 수 있습니다.

기본 스텝 타입으로 부족하면 Jupyter 노트북에 로직을 작성해 전달합니다. 더 세밀하게 실행 환경을 조정하려는 고급 사용자는 직접 다듬은 docker 이미지를 제공하고, 스케줄링과 실행을 Maestro에 맡깁니다.

팀의 공통 패턴을 담은 잡 템플릿

여러 스텝을 조합한 공통 패턴은 잡 템플릿으로 배포합니다. 잡 템플릿은 파라미터화된 노트북입니다. 고급 사용자는 필수·선택 파라미터와 타입을 정의해 템플릿을 Maestro에 등록하고, 팀에서 함께 쓸 작업을 제공합니다. Maestro는 푸시와 실행 시점에 파라미터와 타입을 검증합니다.

공유 템플릿의 수정은 이를 사용하는 모든 워크플로에 반영됩니다. 여러 팀이 같은 정의를 재사용하면서 수정과 업그레이드도 수월해집니다. 여러 단계로 이뤄진 공통 기능을 서브 DAG로 묶어 서브 워크플로로 재사용하는 방법도 있습니다. 팀과 전 직원이 쓸 템플릿을 더 쉽게 정의하도록 지원하는 기능은 앞으로 확장할 계획입니다.

규모와 한도 관련 수치
항목값
Meson 처리량하루 약 7만 개 워크플로, 50만 개 잡
워크플로 증가율연 100% 초과
스케줄러 지연 SLO스케줄러가 더하는 지연 1분 미만
백필 예시5년 치 시간별 데이터, 43800개 잡(24 x 365 x 5)
워크플로 DAG 크기 한도 예시1K
foreach 반복 한도 예시100K(중첩하면 수백만에서 수십억 스텝)
영속 저장소CockroachDB
마지막 수정 일자