본문으로 건너뛰기
수십만 워크플로를 한곳에서 조율하는 Netflix Maestro
목차

수십만 워크플로를 한곳에서 조율하는 Netflix Maestro (2024-07)

원문 정보

  • 원문: Maestro: Data/ML Workflow Orchestrator at Netflix
  • 매체 · 게시일: Netflix TechBlog · 2024-07-22
  • 저자: Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, Anjali Norwood
  • 앞선 Maestro 소개 글이 있고 원문이 여러 차례 참조합니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

하나의 데이터 웨어하우스에 얽힌 워크플로

Netflix의 워크플로는 서로 촘촘히 얽혀 있습니다. 이를 작은 그룹으로 나눠 여러 클러스터에 배치하면 관리가 복잡해지고 사용자 경험도 나빠지며, 클러스터 사이를 조정할 장치까지 따로 필요합니다. 데이터 테이블은 하나의 데이터 웨어하우스에 모여 있습니다. Netflix 팀이 그 테이블을 다루는 모든 워크플로를 하나의 오케스트레이터에 맡겨야 한다고 판단한 배경입니다.

그 역할을 맡은 Maestro는 수평 확장형 데이터·ML 워크플로 오케스트레이터입니다. Netflix에서는 수천 사용자와 애플리케이션, 서비스가 쓰는 완전 관리형 Workflow-as-a-Service로 운영하며, ETL과 모델 학습, AB 테스트 파이프라인, 저장소 사이의 데이터 이동을 처리합니다. 사용자는 비즈니스 로직을 Docker 이미지, 노트북, bash 스크립트, SQL, Python 등으로 패키징합니다. Maestro는 재시도와 큐잉, 컴퓨트 엔진으로의 작업 분배를 포함한 전체 실행 생애주기를 담당합니다.

앞선 소개 글 이후에는 수십만 개의 워크플로를 사용자를 대신해 큰 중단 없이 이전했습니다. 공개 당시 집계한 지난 1년간 잡 실행은 87.5% 늘었습니다. 하루 평균 수천 개의 워크플로 인스턴스를 시작하고 약 50만 개의 잡을 실행했으며, 특히 바쁜 날에는 약 200만 개를 완료했습니다. 워크플로 수와 한 워크플로 안의 잡 수가 모두 늘어나는 상황을 감당한 결과입니다.

Maestro는 DAG뿐 아니라 순환 워크플로도 지원합니다. foreach, subworkflow, 조건 분기를 엔진에 마련해 반복과 재사용을 표현하고, 실행 순서와 데이터 의존성을 별도로 제어합니다. 이 운영 경험을 담은 코드는 github.com/Netflix/maestro에 공개됐으며, 문의와 의견은 저장소의 GitHub 이슈로 받습니다.

테이블 갱신을 기다리는 시그널

ETL 워크플로가 테이블 갱신을 끝내면, 그 데이터를 기다리던 다른 워크플로도 실행을 이어 가야 합니다. Maestro는 스텝을 시작하는 데 필요한 데이터 조건을 의존성으로 표현하며, 보통 시그널로 그 조건을 정의합니다. 한 스텝이 발행한 시그널로 여러 하류 스텝의 대기를 풀 수 있습니다.

시그널은 파라미터 값 같은 정보를 담은 메시지입니다. 스텝 출력으로 발행할 수도 있고 SNS, Kafka 같은 외부 시스템에서 발행할 수도 있습니다. 이를 구독해 워크플로를 시작하는 시그널 트리거와, 실행 중인 스텝의 선행 조건을 충족하는 시그널 의존성이 같은 발행·구독 방식을 사용합니다. 시그널 정의에 매핑할 파라미터 목록을 두면 일부 필드만으로도 조건을 대조할 수 있으며, 파라미터 값에는 <, > 같은 연산자도 적용합니다.

Netflix는 시그널 서비스를 만들어 이보다 높은 수준의 기능을 구현했습니다. 테이블 갱신이 하류 워크플로의 실행으로 이어지는 흐름도 여기에 속합니다. 시그널 계보는 과거 시그널 인스턴스와 이를 발행하거나 소비한 스텝을 연결해 보여 줍니다. 어떤 시그널이 어느 실행과 연결됐는지 거슬러 확인할 수 있는 기능입니다.

시그널 트리거는 시그널 하나 또는 조인한 여러 시그널을 구독하는 워크플로의 실행을 정확히 한 번 보장합니다. 조건이 충족될 때만 실행하므로 불필요한 실행에 쓰일 자원도 아낍니다.

새 인스턴스를 받을 때의 실행 전략

데이터가 준비됐다고 모든 실행을 바로 병렬로 시작할 수는 없습니다. 어떤 워크플로는 앞선 실행이 끝나야 하고, 어떤 워크플로는 새 요청이 오면 진행 중인 작업을 멈춰야 합니다. Maestro의 실행 전략은 새로 트리거된 인스턴스를 실행할지, 기다리게 할지, 제거할지를 결정합니다.

전략실행과 대기 방식
Sequential기본 전략. 트리거 순서대로 FIFO 실행. 앞선 인스턴스가 성공 여부와 관계없이 종료 상태에 이르면 다음 인스턴스 시작
Strict sequentialFIFO 실행. 인스턴스 이력에 블로킹 오류가 있으면 이후 인스턴스를 큐에 보관하고, 오류가 풀릴 때까지 대기
First-only실행 중 새로 큐에 들어온 인스턴스를 제거해 대기열을 쌓지 않음. 현재 실행이 끝난 뒤 새 인스턴스를 받음
Last-only가장 최근에 트리거된 인스턴스만 유지. 실행 중 새 인스턴스가 큐에 들어오면 기존 실행을 멈추고 새 인스턴스 실행
Parallel with concurrency limit정해진 동시성 한도 안에서 여러 인스턴스를 병렬 실행

Sequential과 Strict sequential의 차이는 실패 뒤에 드러납니다. 원문 예시에서는 run5가 새벽 5시에 실패하자 이후 실행이 큐에 쌓입니다. Strict sequential을 쓰면 누군가 run5를 수동으로 재시작하거나 실패한 인스턴스를 unblocked로 표시할 때까지 기다립니다. 시간에는 민감하지 않지만 비즈니스상 중요한 워크플로라면, 소유자가 나중에 실패를 검토하고 정확성을 확인한 뒤 실행을 재개할 수 있습니다. 기본 Sequential은 앞선 실행이 실패로 끝나도 다음 실행으로 넘어갑니다.

대기열 자체가 필요 없는 경우도 있습니다. First-only는 실행 중 들어온 인스턴스를 쌓지 않아 멱등성 문제를 피하려는 전략입니다. 테이블 전체의 최신 스냅샷처럼 늘 최신 데이터를 처리하려면 Last-only가 맞습니다. 과거 데이터를 백필할 때는 Parallel with concurrency limit으로 실행을 분산해 정해진 시간 안에 많은 데이터를 처리합니다.

버전이 바뀌어도 이어지는 워크플로 속성

소유권을 넘기는 일 때문에 워크플로의 새 버전을 만들 필요는 없습니다. Maestro의 JSON 정의는 사용자가 채우는 필드와 시스템이 관리하는 필드를 포함하며, properties와 버전이 붙은 워크플로로 나뉩니다. 운영에 필요한 속성과 작업 정의의 변경 이력을 따로 관리하는 방식입니다.

properties에는 작성자·소유자 정보와 실행 설정을 둡니다. 작성자와 소유자, 실행 전략, 동시성 설정은 버전이 바뀌어도 유지됩니다. 새 소유자는 새 버전을 만들지 않고 소유권을 가져올 수 있고, 트리거와 알림도 이 속성에서 켭니다.

작업 정의가 바뀌면 새 버전이 생깁니다. 버전이 붙은 워크플로에는 고유 ID, 이름, 설명, 태그, 타임아웃과 우선순위를 정할 중요도인 low, medium, high가 들어갑니다. 변경 이력을 추적하거나 이전 버전으로 되돌릴 수 있으며, 기본 실행 대상은 활성 버전 또는 최신 버전입니다.

워크플로 그래프의 노드는 스텝입니다. 스텝 하나가 잡을 실행할 수도, subworkflow로 다른 워크플로를 호출할 수도, foreach로 반복을 만들 수도 있습니다. 각 스텝은 ID와 타입, 태그, 입출력 파라미터, 의존성, 재시도 정책, 실패 모드, 출력을 가집니다. 재시도 정책은 오류 유형에 따라 다르게 정할 수 있습니다.

동적 파라미터의 경계를 정한 SEL

정적 워크플로는 단순합니다. 하지만 작은 차이에도 정의를 복제해야 하고, 파라미터 없이는 워크플로와 스텝 사이에 상태를 공유할 수 없습니다. 완전히 동적인 워크플로로 가면 관리와 디버깅, 재사용이 어려워집니다. Maestro는 사용자 파라미터를 바탕으로 실행 중에 스텝을 차례로 초기화하는 파라미터화된 워크플로를 지원합니다. 앞선 Maestro 소개 글에서 다룬 복잡한 백필 파이프라인도 이 방식으로 표현합니다.

동적 파라미터에는 코드를 주입할 수 있습니다. 파라미터로 실행 로직을 제어하고, 워크플로와 스텝 사이뿐 아니라 상류·하류 스텝 사이에도 상태를 전달합니다. 유연한 만큼 실행 안전성을 확보해야 합니다. 사용자가 실수로 배열에 항목을 계속 붙이는 무한 루프를 작성하면 서버 메모리가 바닥날 수 있기 때문입니다.

주입할 코드를 비즈니스 로직으로 옮기게 하는 방법도 있지만, 그러면 사용자 부담이 늘어납니다. 비즈니스 로직이 워크플로와 강하게 결합하고, 일부 복잡한 파라미터화 설계는 구현할 수 없게 됩니다. Netflix 팀은 표현식 언어와 파서를 직접 만드는 쪽을 택했습니다.

SEL(simple, secure, safe expression language)은 구문 트리를 파싱할 때 코드를 검증하고 Java Security Manager로 접근을 제한합니다. 문법은 Java Language Specification(JLS)의 부분집합으로, Maestro에 필요한 범위에 맞췄습니다. 모든 Maestro 파라미터 타입과 오류 발생, 날짜·시간 처리, 기본 제공 유틸리티 메서드를 지원합니다. 실행 중에는 루프 반복 횟수와 배열 크기, 객체 메모리 한도를 추가로 검사합니다.

출력 파라미터를 돌려주는 경로도 따로 마련했습니다. 콜러블 스텝에서는 사용자 코드가 Maestro REST API로 출력 파라미터를 시스템에 전달합니다. 스텝 런타임이 Maestro 데이터베이스에 직접 접근하지 않으므로 보안 우려를 줄입니다.

반복과 복구를 조합하는 foreach·subworkflow

백필이나 ML 모델 튜닝에서는 파라미터를 바꿔 같은 잡을 반복합니다. 반복이 수십만 번에 이르면 사용자가 매번 스텝을 정의하기는 번거롭고, 반복 범위가 바뀔 때마다 워크플로를 새로 만들어야 합니다. Maestro는 foreach를 전용 스텝으로 지원해 이 반복을 표현합니다.

각 반복은 내부에서 별도의 워크플로 인스턴스가 됩니다. foreach 블록에 정의된 서브 그래프를 실행하므로 일반 Maestro 워크플로와 같은 방식으로 확장하며, foreach 스텝은 이 인스턴스들의 상태를 지켜보고 모읍니다. 반복을 엔진이 직접 지원하면 구현을 일관되게 유지하면서 최적화할 수 있습니다.

subworkflow는 다른 워크플로를 실행하는 스텝입니다. 워크플로를 함수처럼 재사용하고, 여러 워크플로가 연결된 그래프를 만들게 해 줍니다. Netflix에는 여러 팀이 제공한 수백 개의 subworkflow를 조합해 수백 개 테이블의 데이터를 처리하는 복잡한 워크플로도 있었습니다. subworkflow 집합을 foreach로 반복하거나 foreach 안에 다시 foreach를 넣는 조합도 가능합니다.

감사 실패를 처리하는 자동 복구 워크플로

조건 분기는 상류 스텝의 조건을 실행 중에 SEL로 평가해 뒤따르는 스텝을 실행할지 정합니다. 감사 검사가 실패하면 보정 작업을 하고 잡을 다시 실행하는 흐름을 표현할 수 있습니다. 실제 사용자가 만든 자동 복구 워크플로는 여기에 subworkflow를 결합했습니다.

먼저 subworkflow job1이 ETL과 감사 잡으로 구성된 워크플로를 실행합니다. 상태 확인 잡은 파라미터와 SEL로 직전 잡의 상태를 읽고, 전체 흐름을 끝낼지 복구 잡으로 넘어갈지 결정합니다. 데이터 문제를 해결한 뒤에는 subworkflow job2를 실행합니다. job2가 호출하는 것은 job1과 같은 워크플로입니다. 조건 분기로 복구 여부를 판단하고, 이미 정의한 작업을 다시 호출하는 흐름입니다.

실행할 값과 상태를 다루는 스텝 런타임

스텝 런타임은 실행 시점의 잡을 다룹니다. 공통 인터페이스는 스텝 인스턴스를 제어하는 기본 API와 런타임 상태·실행 결과를 추적하는 자료 구조를 정의합니다. foreach와 subworkflow 같은 구현은 각자 초기화하고 비즈니스 로직을 실행하며, 수동 개입 같은 조건에 따라 종료하는 로직을 갖습니다.

런타임 상태로 다음 상태 전이와 스텝의 실패·종료 여부를 판단합니다. 실행 결과에는 스텝 아티팩트와 실행 이력 타임라인을 남겨 뒤따르는 스텝이 접근하게 합니다.

실행에 사용할 파라미터는 여러 곳에서 옵니다. Maestro는 빈 스텝 파라미터 맵에서 시작해 정해진 순서로 값을 합치며, 실행·재시작 때 받은 값이 정의된 값을 마지막에 덮어쓰도록 처리합니다.

순서파라미터병합할 값과 조건
1기본 일반 파라미터workflow_instance_id, step_instance_uuid, step_attempt_id, step_id. Maestro의 예약 값으로 사용자가 전달할 수 없음
2주입 파라미터스텝 런타임이 해당 스텝 타입의 스키마를 바탕으로 생성
3기본 타입별 파라미터foreach의 loop_params, loop_index처럼 스텝 타입에 따라 내부에서 설정하는 값
4워크플로·스텝 정보 파라미터workflow_id 같은 식별 정보
5정의에 없는 새 파라미터인스턴스 시작·재시작 때 사용자가 전달한 값 중 정의에 없는 값. ParamsManager가 병합
6스텝 정의 파라미터사용자가 정의 시점에 설정한 값이 비어 있지 않을 때 병합
7실행·재시작 파라미터실행·재시작 때 전달한 값으로 정의된 값을 덮어쓰기

스텝 타입마다 스키마가 있으므로 Maestro 코드를 수정하지 않고도 각 스키마를 독립적으로 변경할 수 있습니다. 마지막 병합까지 마치면 스텝 런타임은 실행·재시작 요청을 반영한 최신 파라미터 집합을 사용합니다.

실행 중간을 확인할 브레이크포인트

Maestro의 브레이크포인트는 IDE에서처럼 스텝에 걸어 둡니다. 워크플로 인스턴스가 해당 스텝에 도달하면 스텝이 paused 상태로 바뀌고, 사용자가 재개할 때까지 그래프 진행이 멈춥니다. 개발 중 스텝 실행과 출력 데이터를 확인하거나 실행 도중 사람이 개입할 때 쓰며, 실행 중인 스텝 상태를 바꾸는 작업도 지원합니다.

재개하는 범위는 조작에 따라 다릅니다. 여러 인스턴스가 같은 브레이크포인트에서 멈춰 있어도 특정 인스턴스를 재개하면 그 인스턴스만 진행합니다. 브레이크포인트 자체를 삭제하면 멈춰 있던 인스턴스가 모두 재개됩니다. foreach에서는 브레이크포인트 하나로 각 반복을 멈춰 확인할 수 있습니다.

타임라인에는 실행이 어떻게 진행됐는지 남깁니다. 상태 머신의 변화와 그 이유를 비롯해 “Created”, “Evaluating params” 같은 주요 이벤트를 기록합니다. 스텝 런타임 구현이 타임라인 이벤트를 추가해 사용자에게 실행 정보를 보여 주는 것도 가능합니다.

오류의 성격에 맞춘 재시도

실패로 끝난 스텝에는 재시도 횟수와 지연을 설정하고, 고정 간격 또는 지수 백오프를 적용합니다. 사용자 로직과 무관한 플랫폼 오류는 “platform” 재시도로, 사용자가 정의한 조건은 “user” 재시도로 구분하며 각각 별도의 정책을 둡니다.

일시적인 오류는 이 정책으로 처리합니다. 멱등하지 않은 스텝이라면 재시도 횟수를 0으로 설정할 수 있습니다.

재시작 뒤에도 전체 흐름을 보여 주는 집계 뷰와 롤업

한 워크플로 인스턴스가 여러 번 실행되면 최근 실행의 상태만으로는 전체 결과를 설명하기 어렵습니다. 이전 실행에서 끝난 스텝과 이번 실행에서 다시 수행한 스텝을 함께 봐야 합니다. 중첩된 foreach와 subworkflow 안의 상태까지 보려면 집계 범위도 넓어집니다.

이전 실행의 성공을 보존하는 집계 뷰

첫 실행에서 step1과 step2는 성공하고 step3이 실패했다고 가정합니다. step4와 step5는 아직 시작하지 못했습니다. 재시작한 두 번째 실행은 step3부터 시작하고, 이미 성공한 step1과 step2는 건너뜁니다.

집계 뷰는 기본 집계 뷰에 현재 실행의 스텝 상태를 합칩니다. 두 번째 실행까지 모두 성공하면, 앞선 실행에서 끝난 스텝을 포함해 모든 스텝의 성공 상태를 보여 줍니다.

중첩된 워크플로의 말단까지 세는 롤업

롤업은 인스턴스 전체의 스텝 상태와 상태별 개수를 보여 줍니다. 현재 워크플로뿐 아니라 foreach와 subworkflow로 연결된 중첩 워크플로까지 펼쳐 집계합니다.

예를 들어 성공한 워크플로에 스텝이 3개 있고, 그중 하나가 스텝 5개로 구성된 subworkflow라면 성공한 스텝은 7개입니다. 다른 워크플로를 가리키는 스텝은 포인터 역할이므로 개수에 넣지 않고, 실제 말단 스텝만 셉니다. 성공하지 못한 스텝의 참조도 보관해 여러 단계로 중첩된 워크플로 안에서도 문제 지점으로 이동할 수 있습니다.

집계 롤업은 기본 롤업과 현재 실행의 상태를 합쳐 만듭니다. 기본 롤업은 인스턴스가 시작할 때 설정하며, 이전 실행의 인라인 스텝 중 이번 실행에 포함되지 않은 스텝의 상태를 담습니다. 여기서 인라인 스텝에는 foreach와 subworkflow를 포함하지 않습니다. 현재 실행의 상태는 활성 스텝에서 가져오며, foreach와 subworkflow 스텝의 집계 롤업도 포함합니다.

subworkflow 스텝의 롤업은 호출한 워크플로 인스턴스의 롤업을 그대로 사용합니다. foreach는 계산이 더 복잡합니다. 이전 실행의 집계 롤업에서 재시작할 반복을 제외해 기본 롤업을 만들고, 여기에 현재 상태를 합칩니다. 현재 상태는 모든 반복이 종료 상태에 이를 때까지 실행 중인 반복들의 롤업을 주기적으로 집계해 갱신합니다.

이 때문에 롤업은 결과적 일관성(eventually consistent)을 따릅니다. foreach와 subworkflow가 여러 단계로 중첩되면 하위 롤업을 다시 집계하는 계산도 재귀적으로 이어집니다.

내부 큐에서 외부 서비스로 나가는 이벤트

워크플로 정의, 워크플로 인스턴스, 스텝 인스턴스가 바뀌면 Maestro는 이벤트를 만듭니다. 생애주기 변화를 추적하는 내부 이벤트를 내부 큐에 보내 Maestro 안에서 처리하고, 그중 일부를 외부 이벤트로 변환해 SNS, Kafka 같은 외부 큐로 발행합니다. 하류 서비스는 이 이벤트로 상태 변화를 전달받습니다.

내부와 외부를 연결하는 역할은 이벤트 프로세서가 맡습니다. 내부 큐를 구독해 이벤트 종류에 맞게 처리하고 필요하면 외부 이벤트로 바꿉니다. 변환된 이벤트는 알림 발행기가 외부로 내보냅니다.

하류 서비스는 대부분 이벤트 기반입니다. 워크플로 변경 이벤트는 정의나 속성이 달라졌음을 알리고, 인스턴스 상태 변경 이벤트는 워크플로 또는 스텝 인스턴스의 상태 전이를 전합니다.

원문의 주요 수치와 용어
항목값
이전된 워크플로수십만 개
최근 1년 실행 잡 증가87.5%
하루 평균 실행 잡약 50만 개
바쁜 날 완료 잡약 200만 개
중요도 단계low, medium, high
실행 전략sequential(기본), strict sequential, first-only, last-only, parallel with concurrency limit
재시도 종류platform, user
병합되는 스텝 파라미터 층7단계
롤업 일관성eventually consistent
외부 이벤트 큐SNS, Kafka
마지막 수정 일자