목차
초 단위 지연을 밀리초로 줄인 Maestro의 액터 엔진 (2025-09)
원문 정보
- 원문: 100X Faster: How We Supercharged Netflix Maestro’s Workflow Engine
- 매체 · 게시일: Netflix TechBlog · 2025-09-29
- 저자: Jun He, Yingyi Zhang, Ely Spears
- 원문 내용을 바탕으로 재구성한 요약입니다. Maestro를 처음 소개한 앞선 글의 후속입니다.
짧은 실행 주기 앞에서 드러난 지연
Maestro는 규모를 견디는 데 성공했습니다. Netflix의 대규모 데이터·ML 워크플로를 위한 수평 확장형 오케스트레이터로 출발해, 2년 반 동안 수십만 잡으로 이뤄진 워크플로와 하루 수백만 건의 실행을 처리했습니다. 처음 세운 설계 목표를 충족한 시스템이었습니다.
새로운 요구는 다른 곳에서 왔습니다. Netflix가 Live, Ads, Games로 사업을 넓히면서 한 시간보다 짧은 주기로 실행하는 워크플로가 등장했고, 하루나 한 시간 단위의 ETL에 쓰이던 Maestro로 애드혹 쿼리 같은 저지연 작업도 실행하기 시작했습니다. 이때는 엔진 내부의 상태 전이와 수명 주기 처리에 드는 약 10초가 눈에 띄었습니다. 특히 워크플로를 만들고 고치는 개발 과정에서 이 지연은 과속방지턱처럼 느껴졌습니다.
실행 규모를 감당하는 능력과 개별 실행에 빠르게 반응하는 능력 사이에 차이가 있었습니다. 사용자 요구를 5개 층으로 그린 원문의 그림에서 기존 Maestro가 도달한 곳도 4단계까지였습니다. 5단계의 요구를 채우려면 엔진 안에서 쌓이는 대기 시간을 줄여야 했습니다.
태스크를 실행한 뒤 상태를 잊는 워커
지연의 출발점은 사용자와 맞닿은 API가 아니었습니다. API와 스텝 런타임 계층은 Spark, Trino 같은 컴퓨트 엔진을 비롯한 Netflix 서비스와 연결됐고, 수천 명의 실무자가 이 잘 닦인 경로를 따라 프로덕션 워크플로를 만들었습니다. 인증·모니터링·알림 통합과 잡·워크플로의 수명 주기 관리는 Maestro가 맡았습니다. 이 계층에는 큰 오버헤드가 없었습니다.
그 아래 Maestro 엔진은 워크플로와 스텝의 상태 기계를 관리했습니다. 시작·재시작·중지·일시 정지 같은 사용자 동작을 처리하고 DB에 상태를 쓰는 일도 이 계층의 책임이었습니다. 복잡한 워크플로 그래프를 병렬로 실행할 여러 플로로 바꾸되, 각 플로 안에는 순서대로 이어진 태스크 배열을 만들었습니다. 워크플로의 스텝 하나가 플로 태스크 하나에 해당합니다.
이 구분 때문에 가장 아래의 내부 플로 엔진이 풀어야 할 문제는 작았습니다. 이미 만들어진 태스크 배열에서 실행 함수를 주기적으로 호출하고, 순서가 되면 다음 태스크를 시작하면 됐습니다. 그래프 자체를 평가할 필요는 없었습니다. Maestro 엔진이 워크플로 그래프를 순차 플로로 바꿔 넘기고 있었기 때문입니다.
실제 실행 방식은 잦은 읽기와 대기를 요구했습니다. 태스크 식별자가 분산 큐에 들어가면 상태 없는 워커가 이를 꺼내, 플로와 모든 태스크를 포함한 워크플로 전체 상태를 읽었습니다. 태스크 인터페이스 메서드를 한 번 호출한 뒤에는 바뀐 데이터를 DB에 쓰고, 폴링 지연을 붙여 태스크를 큐로 돌려보냈습니다. 워커는 방금 읽은 상태를 잊고 다음 태스크로 넘어갔습니다.
DB의 확장성을 제외하면 단순하고 수평 확장도 쉬운 방식이었습니다. 하지만 실행할 때마다 분산 큐를 폴링하고, 전체 상태를 읽고, DB를 조회하는 비용을 치렀습니다. Maestro가 하나의 그래프를 여러 플로로 나누므로 사용자 동작 하나가 여러 폴링 주기에 걸치기도 했습니다. 대기가 누적되면 최악의 경우 약 10초에 이르렀고, 내부 플로 엔진 계층에서는 수 초에서 수십 초의 지연이 발생했습니다.
실행 보장에도 문제가 있었습니다. 기존 분산 큐는 메시지를 최소 한 번 전달하는 at-least-once만 보장했으므로, 같은 태스크를 여러 워커가 받을 수 있었습니다. 긴 GC 정지나 네트워크 순단 뒤에 워커 둘이 같은 태스크를 잡았다고 가정하면 문제가 선명해집니다. 한 워커가 태스크를 완료로 표시해 후속 스텝을 실행시키는 사이, 다른 워커는 낡은 상태를 근거로 태스크를 다시 running으로 돌릴 수 있었습니다. 이미 다음 단계로 진행한 워크플로 안에서 이전 상태가 되살아나는 상황입니다. 이런 경합은 잡이 멈추거나 실행이 유실되는 문제로 이어졌습니다.
Conductor와 Temporal 대신 택한 자체 구현
기존 내부 플로 엔진은 Netflix OSS Conductor 2.x에 기반했습니다. 2021년 4월부터 지원이 중단된 버전이었고, Maestro의 데이터와 별개로 Conductor용 DB 테이블과 분산 잡 큐를 유지해야 했습니다. Netflix 팀은 이 엔진을 직접 다시 만들지, Conductor 4.0으로 올릴지, Temporal로 교체할지를 검토했습니다.
Conductor 4.0에는 오버헤드를 줄이는 개선과 새로운 기능이 있었습니다. 걸림돌은 Maestro를 위해 Conductor 2의 상태 기계에 추가했던 최종 콜백이었습니다. 이 콜백은 Conductor와 Maestro의 DB 상태를 맞추는 데 쓰였지만, 다른 사용처가 없어 후속 버전에서 빠졌습니다. 업그레이드하려면 기능을 다시 이식해야 했습니다.
직접 구현하는 쪽에는 다른 이점이 있었습니다. 여러 내부 DB와 그 사이의 동기화 요건을 없앨 수 있었습니다. Maestro에는 Conductor가 제공하는 상태 엔진의 모든 기능이 필요하지 않았으므로, 필요한 기능만 남기면 운영해야 할 구성 요소도 줄어듭니다. 버전을 올려 지연을 줄이는 것에 더해, 상태를 두 시스템에 따로 유지하는 부담까지 줄일 기회였습니다.
Temporal은 Maestro의 이 용도에 필요한 것보다 큰 시스템이었습니다. Temporal은 프로세스 간 오케스트레이션에 맞춰져 있고, 플로 엔진과 상호작용하려면 외부 서비스를 호출해야 합니다. 하루 100만 개가 넘는 태스크를 처리하고 그중 상당수가 오래 실행되는 Maestro에서는, DAG 엔진 실행을 외부 서비스 호출에 결합하는 일을 불필요한 위험으로 판단했습니다. 가벼운 상태 전이 관리를 위해 추가할 복잡성과 신뢰성상의 약점에 비해 필요한 기능은 적었습니다.
이는 Temporal 자체의 견고함을 부정한 판단은 아닙니다. 팀은 Temporal을 매우 견고한 컨트롤 플레인으로 평가했고, 요구가 가벼운 상태 전이를 넘어서면 다시 검토할 여지도 남겼습니다. 당시 Maestro에는 완전한 DAG 평가 엔진도, 다른 시스템과 나란히 유지할 상태 기계도 필요하지 않았습니다. 그래서 의존성이 적고 Maestro의 실행 방식에 맞춘 내부 플로 엔진을 직접 만들기로 했습니다.
같은 JVM에 머무는 플로와 태스크
새 엔진은 실행할 때마다 상태를 잊지 않습니다. 플로와 그 태스크를 같은 노드에 두고, 내부 플로 상태를 JVM 메모리에 유지합니다. 워크플로와 스텝 상태의 기준은 여전히 Maestro DB입니다. 내부 플로 상태를 별도로 영속화하지 않으므로, 예전처럼 Conductor 테이블과 Maestro 테이블을 계속 맞출 필요가 없어졌습니다.
메모리를 잃어도 다시 시작할 근거는 남습니다. 워크플로가 시작되거나 상태를 복구할 때 엔진은 DB에 워크플로·스텝 인스턴스를 넣거나 기존 인스턴스를 읽고, 이를 내부 플로·태스크 상태로 변환합니다. 이 상태는 종료 등으로 메모리에서 제거할 때까지 유지됩니다. DB의 워크플로·스텝 상태를 갱신하면 메모리 상태에도 반영하므로 write-through 캐시와 비슷하게 동작합니다.
예전에는 여러 DB의 상태가 어긋나면 경합이나 드물게 고아 잡 상태가 생겼습니다. 새 엔진은 Maestro DB에서 메모리 상태를 재구성해 최종 일관성을 회복합니다. 플로 엔진의 상태를 이중으로 저장하지 않으면서, 반복적인 상태 로딩에 쓰던 시간을 줄인 설계입니다.
이 메모리 상태를 다루는 주체가 액터입니다. 워크플로 인스턴스나 스텝 시도 같은 엔티티마다 Java 21 가상 스레드를 하나씩 두고, 해당 엔티티의 모든 갱신을 그 액터가 처리하게 했습니다. 각 액터는 메모리 상태, 스레드 안전한 블로킹 큐, 상태 기계를 가집니다. 갱신을 한 액터가 맡으므로 분산 락 없이 스레드 안전성을 지킬 수 있습니다.
액터 사이에도 계층이 있습니다. 플로 액터가 자식 태스크 액터를 관리하며, 이들은 같은 JVM 안에서 메모리 큐로 통신합니다. 부모·자식·형제 액터 사이에는 Maestro의 사용 방식에서 안전한 일부 읽기 전용 로컬 상태도 공유하도록 설계했습니다. 큰 워크플로를 통째로 한 메모리에 넣어야 하는 방식은 아닙니다. Maestro가 이미 큰 워크플로 인스턴스를 작은 플로 여럿으로 분해하므로, 플로 하나에 속한 태스크는 적고 메모리에 들어갑니다.
이제 이벤트가 오면 곧바로 반응합니다. 액터의 큐에 메시지를 넣으면 가상 스레드가 깨어나 처리를 시작하므로, 다음 폴링 시점까지 기다리는 지연이 없습니다. 기존 폴링 로직과의 호환성은 wakeup 메커니즘으로 유지했습니다. 플로와 태스크를 같은 JVM에 두는 조건은 지키되, 필요하면 플로 인스턴스를 다른 노드로 옮길 수 있게 했습니다.
실제 스텝 로직을 맡은 별도 스레드 풀
Java 21 가상 스레드는 그룹 액터와 플로 액터의 구현을 단순하게 만들었습니다. 많은 액터를 만들어도 OOM 위험 없이 운용할 만큼 가벼웠고, 적은 코드와 의존성으로 이벤트 기반 분산 플로 엔진을 구현할 수 있었습니다. 상태 기계를 움직이는 액터에는 잘 맞는 도구였습니다.
실제 스텝 로직까지 가상 스레드에 맡기지는 않았습니다. 가상 스레드에서도 교착은 발생할 수 있고, 사용자 로직이나 통제하기 어려운 외부 라이브러리·서비스에 의존하는 스텝 런타임은 이 실행 방식에 맞지 않았습니다. 컨테이너를 실행하거나 외부 API를 호출하는 일은 가상 스레드가 아닌 별도 워커 스레드 풀이 처리합니다. 플로·태스크 액터는 실행기의 future가 완료되기를 무기한 기다릴 수 있지만, 그 안에서 실제 스텝 작업을 수행하지 않습니다. 플로 엔진 실행과 태스크 실행을 분리해 가상 스레드의 이점을 쓰면서 교착을 피했습니다.
노드 사이에서 소유권을 옮기는 플로 그룹
플로와 태스크를 같은 노드에 오래 두면 빠릅니다. 그 대신 폴링할 때마다 클러스터의 다른 워커에 태스크를 재배정하던 자유는 줄어듭니다. 메모리에 상태를 유지하는 설계에서도 수평 확장성을 지키려면, 노드가 무엇을 소유하고 다른 노드가 무엇을 이어받을지 정해야 했습니다.
Netflix는 실행 중인 플로를 플로 그룹으로 묶었습니다. 엔진 인스턴스가 개별 플로마다 소유권을 유지하는 대신 그룹을 소유하도록 바꾼 것입니다. 이 단위가 하트비트 같은 유지 비용을 줄였고, 새 노드는 여러 플로를 묶어서 읽을 수 있게 됐습니다. 상태를 복구할 때도 그룹 단위로 처리합니다.
노드의 플로 그룹 액터가 그룹 소유권을 확보하면, 자식 플로 액터들이 각 플로의 수명 주기를 관리합니다. 노드 장애나 긴 JVM GC 정지로 소유권을 잃으면 다른 노드가 그 그룹을 가져갑니다. 새 소유자는 Maestro DB에서 내부 상태를 복구해 실행을 이어갑니다. 따라서 플로와 태스크의 지역성을 유지하면서도 노드 하나에 실행을 영구히 묶어 두지는 않습니다.
부모가 자식에게 넘기는 그룹 계산 기준
그룹 배정에는 단순하고 안정적인 ID 할당 함수인 Partitioning Function을 썼습니다. consistent hashing 같은 더 복잡한 방식도 있었지만, 팀은 실행과 상태 정합에 드는 비용, 분산 환경에서 일관성을 유지하는 문제를 고려해 단순한 방식을 택했습니다.
부모와 자식 플로가 서로 다른 그룹에 있을 수 있다는 점도 고려했습니다. Maestro는 foreach처럼 계층이 있는 워크플로를 여러 내부 플로로 나누므로, 부모는 다른 그룹에 있는 자식과도 상호작용해야 합니다. 이를 위해 부모가 사용한 최대 그룹 번호 N’를 모든 자식에게 전달합니다. 서브워크플로나 foreach 반복에 해당하는 자식은 이 값으로 자신의 그룹 ID를 다시 계산하고, 부모 역시 워크플로 식별자만으로 자식의 그룹 ID를 구할 수 있습니다.
그룹 ID를 구한 뒤에는 플로 오퍼레이터가 요청을 담당 노드로 보냅니다. 각 노드는 그룹 ID의 범위를 소유합니다. 원문의 그림에서는 Node 1이 그룹 0, 1, 2를, Node 3이 그룹 6, 7, 8을 맡습니다. 이는 배정 예시이며, 그룹 크기는 설정할 수 있고 노드마다 달라도 됩니다. 실행 도중 최대 그룹 번호를 바꾸더라도 기존 워크플로에는 영향을 주지 않습니다.
오래된 소유권을 구별하는 generation ID
새 노드가 그룹을 가져간 뒤, 오래 멈췄던 노드가 다시 움직이는 상황도 처리해야 했습니다. 이전처럼 낡은 상태를 가진 워커가 완료된 태스크를 실행 중으로 되돌려서는 안 됩니다. 새 엔진은 generation ID로 소유권의 세대를 구분합니다.
노드가 새 그룹이나 하트비트가 만료된 그룹을 가져갈 때 DB 행을 갱신하며 그룹의 generation ID를 증가시킵니다. 부트스트랩 과정에서는 그룹 액터가 내부 상태를 재구성하면서 소유한 모든 플로의 generation ID도 갱신합니다. 새 플로를 만들 때는 DB의 generation ID와 액터가 메모리에 가진 값을 비교합니다. 값이 다르면 생성을 거부하고 호출자가 재시도할 수 있는 오류를 반환합니다.
이 방식은 새 엔진의 실행 보장을 뒷받침합니다. 플로나 태스크는 한 시점에 하나의 액터만 실행하고, 스텝 상태는 되돌아가지 않으며 결국 종료 상태에 도달합니다. 내부 플로 상태는 Maestro 워크플로 상태와 최종적으로 일치하고, 외부 API나 사용자 동작이 워크플로 실행에 경합을 일으키지 않도록 했습니다.
이벤트 기반으로 바꿨지만 주기적인 상태 정합은 남겼습니다. 이벤트에 즉시 반응하므로 정합을 위한 폴링 간격을 길게 잡아도 비용이 낮고, 주기적인 정합이 있으므로 이벤트 전달에는 최대 한 번 전달하는 at-most-once만 요구할 수 있습니다. 빠르게 반응하는 경로와 상태를 다시 맞추는 경로를 함께 유지한 설계입니다.
커밋 직후 잡을 전달하는 내부 큐
외부 분산 잡 큐 둘도 내부 큐로 교체했습니다. 내결함성과 복구 보장은 유지하면서 지연을 줄이고 처리량을 높였지만, 두 큐의 저장 방식은 다릅니다. 내부 플로 엔진은 메모리 상태를 다시 만들 수 있고, Maestro 엔진은 DB 갱신과 잡 발행을 함께 보장해야 하기 때문입니다.
내부 플로 엔진에는 단순한 Java 메모리 블로킹 큐를 뒀습니다. 이 큐 자체를 영속화하지는 않습니다. 상태 정합 과정에서 Maestro의 상태를 읽어 다시 만들 수 있으므로 별도의 저장 계층이 필요하지 않았습니다.
Maestro 엔진에는 DB를 기반으로 한 메모리 큐를 만들었습니다. 메시지를 정확히 한 번 발행하는 exactly-once와 at-least-once 전달을 제공해, 이전에 수동으로 상태를 고쳐야 했던 여러 예외 상황을 해결했습니다. 동작은 트랜잭셔널 아웃박스 패턴과 비슷합니다.
Maestro 테이블을 갱신하는 트랜잭션 안에서 maestro_queue 테이블에도 행을 넣습니다. 커밋이 끝나면 잡을 같은 노드의 큐 워커에게 즉시 전달합니다. DB에서 새 잡을 찾는 다음 폴링 시점까지 기다리지 않습니다. 워커는 처리를 마친 뒤 해당 행을 삭제합니다.
실패했을 때의 경로도 이 테이블을 기준으로 합니다. 트랜잭션이 실패하면 데이터 변경과 메시지가 함께 롤백되므로 일부만 발행되는 일이 없습니다. 커밋 뒤 워커가 멈추거나 노드가 실패하면 주기적인 스위퍼가 타임아웃이 지난 행을 다시 큐에 넣고, 다른 워커가 이어받습니다. 노드를 재시작할 때도 큐 테이블에서 메모리 큐를 복구합니다. 이벤트 유형별로 queue_id를 부여하고 메시지를 이 ID로 나눠, 서로 다른 유형의 메시지가 경합하지 않게 했습니다.
실제 실행의 모양을 보존한 테스트
수십만 잡을 새 엔진으로 옮기는 작업에서는 빠르다는 측정만으로 충분하지 않았습니다. 데이터 손상이나 예상 밖의 트래픽, 드문 실행 경로의 오류도 찾아야 했습니다. 팀은 실제 사용과 닮은 테스트를 확보하면서 빠른 제공과 충분한 검증 사이의 균형을 잡고, 사용자가 변경을 거의 알아차리지 않도록 전환하려 했습니다. 사용자 조치가 필요한 경우에는 분명하게 소통한다는 원칙도 세웠습니다.
이를 위해 실제 사용자 워크플로를 샘플링하는 Maestro 테스트 프레임워크를 만들었습니다. 비즈니스 로직에서 데이터 읽기·쓰기 같은 부수 효과를 분리하고, 실제 실행에서 나온 여러 모양과 크기의 그래프를 돌리는 방식입니다. 정적인 단위·통합 테스트를 보완하면서 병렬 실행, for-each 잡, 조건 분기, 잡 사이의 파라미터 전달을 검증할 수 있었습니다. 시스템과의 통합은 배포 파이프라인의 통합 테스트가 맡았습니다.
프로토타입의 초점은 파라미터 자동 검증이었습니다. 먼저 일정 기간의 Maestro 히스토리 피드 테이블에서 성공한 프로덕션 인스턴스를 조회했습니다. 여기서 실행 파라미터, 실행을 시작한 주체, 인스턴스 ID를 뽑아 인스턴스 데이터 맵을 만들었습니다. 워크플로의 YAML 정의와 서브워크플로 ID는 S3에서 가져왔고, 정의와 인스턴스 데이터를 다시 S3에 캐시했습니다.
실행할 때는 캐시한 워크플로를 테스트용으로 바꿨습니다. 노트북 기반 잡은 커스텀 노트북으로 대체하고, 기본 컨테이너 런타임 잡이나 템플릿 기반 데이터 이동 잡 등 일부 잡 유형과 시그널 트리거는 아무 작업도 하지 않는 no-op으로 바꾸거나 건너뛰었습니다. Write-Audit-Publish처럼 템플릿 하나가 실행 시 여러 DAG 노드로 풀리는 추상 잡 유형은 여러 커스텀 노트북 잡으로 자동 변환했습니다. 실제 그래프의 형태를 다루면서도 업무 데이터에 부수 효과를 내지 않으려는 처리입니다.
서브워크플로에는 별도의 처리가 필요했습니다. 준비한 워크플로와 서브워크플로를 푸시한 뒤, 서브워크플로가 아닌 워크플로를 원래 프로덕션 인스턴스 정보로 실행했습니다. 부모 안에서 서브워크플로를 호출하는 자리는 no-op 자리 표시자로 바꿔 토폴로지를 보존했습니다. 서브워크플로 자체는 최상위 워크플로처럼 따로 실행해 스텝을 검증했습니다. 부모가 자식을 실행하는 부수 효과와 자식 내부의 검증을 분리한 방식입니다.
커스텀 노트북은 잡마다 전달된 모든 파라미터를 비교했습니다. 프레임워크는 각 인스턴스가 종료될 때까지 지켜보고 실패한 인스턴스를 모아 이메일로 알렸습니다. 다양한 그래프를 실제 실행 정보로 돌려 보는 과정이 새 플로 엔진의 정확성과 성능을 확인하는 데 큰 역할을 했습니다.
검증 범위를 넓히는 작업은 이후 단계로 남았습니다. 네이티브 스텝, 더 많은 템플릿, Titus와 Metaflow 워크플로 지원, 더 견고한 시그널 테스트를 계획했습니다. no-op 잡을 위한 전용 Genie 클러스터나 내부 워크플로 UI 기능을 검증할 DGS 등, 주변 시스템과의 더 깊은 통합도 검토 대상이었습니다.
워크플로 전체를 한 엔진에 남기는 전환
롤아웃에서 지킨 경계는 워크플로 전체였습니다. 루트 인스턴스부터 모든 실행이 옛 엔진이나 새 엔진 중 한쪽에만 있어야 했습니다. 하나의 워크플로를 두 엔진에 걸쳐 실행하면 장애 양상이 복잡해지고 수동으로 데이터를 맞춰야 할 수 있기 때문입니다.
새 엔진용 인프라는 기존 인프라와 나란히 마련했습니다. 오케스트레이터 게이트웨이 API가 라우팅을 맡아 사용자는 어느 엔진으로 요청이 가는지 의식하지 않아도 됐습니다. 처음에는 시스템 플래그로 일부 워크플로가 새 엔진을 사용하도록 했고, 실행을 관찰해 확신을 얻은 뒤 비율 기반 전환으로 확대했습니다. 새 인프라는 기존 인프라를 줄이는 만큼 늘렸으므로, 두 스택을 유지하는 동안의 추가 비용은 무시할 만한 수준이었습니다.
롤백도 워크플로 전체를 기준으로 했습니다. 새 엔진에서 실패가 계속되면 해당 워크플로를 새 엔진 DB에서 제거하고 옛 스택에서 재시작할 수 있었습니다. 이 경우 처음부터 다시 실행해야 하므로 이미 성공한 스텝도 재계산합니다. 모든 아티팩트가 일관된 하나의 엔진에서 생성되게 하려는 선택이었습니다.
기존 실행을 줄이는 데는 Maestro의 10일 워크플로 타임아웃을 활용했습니다. 옛 엔진에서 실행하던 인스턴스는 완료되거나 타임아웃될 때까지 두었습니다. 이후 실패·타임아웃으로 재시작하거나 성공한 워크플로의 새 인스턴스가 만들어지면 새 엔진이 받았습니다. 사용자가 따로 작업하지 않아도 옛 엔진의 실행이 점차 빠져나가는 방식입니다.
옛 엔진에 남은 약 50개 워크플로
모든 실행이 이 경로로 빠져나오지는 않았습니다. 소유자 정보가 더는 유효하지 않거나 잘못된 워크플로 약 50개가 멈춘 채 남았습니다. 일부는 멈춘 인스턴스 뒤에 실행 대기가 쌓여 있었고, 옛 인스턴스가 끝나는 순간 새 인스턴스가 시작되는 경합이 발생했습니다. 이 경우 워크플로가 계속 옛 엔진에 머물렀습니다.
자동 전환으로 해결되지 않은 사례였습니다. 팀은 사용자에게 연락해 수동 중지와 재시작 시간을 협의하고, 해당 워크플로를 새 엔진으로 옮겼습니다. 사용자 개입을 최소화한다는 원칙에도 예외가 필요했던 지점입니다.
새 스택에서 빠진 기능 플래그
병렬 인프라 사이의 설정 차이도 드러났습니다. 알림, 시스템 플래그, 기능 플래그 가운데 한쪽 스택에만 설정된 항목이 있었습니다. 특히 파트너 팀이 운영하던 Python 마이그레이션 시스템은 워크플로 설정을 분석해 버전 전환을 동적으로 적용했는데, 새 스택에 필요한 기능 플래그가 없자 처리를 조용히 건너뛰었습니다.
약 40개 워크플로가 잘못된 Python 버전을 사용했습니다. 설정은 빠르게 고쳤지만, 영향을 받은 워크플로를 재시작하고 데이터 손상이 남지 않았는지 확인해야 했습니다. 엔진 코드와 워크플로 정의를 검증하는 것만으로는 잡히지 않은 문제였습니다.
이 사고는 테스트 프레임워크의 경계도 보여 줬습니다. 모의 실행에서는 외부 설정 서비스의 API 호출로 정해지는 런타임 설정을 검증하지 않았습니다. 실제 워크플로에서 가져온 그래프와 파라미터를 테스트해도, 실행 중 외부 시스템에서 결정하는 설정까지 검증한 것은 아니었습니다.
빨라진 상태 전이를 따라잡아야 했던 UI
마이그레이션은 사용자 개입이 거의 없는 상태로 마무리됐습니다. 새 엔진으로 옮긴 활성 워크플로는 6만 개가 넘었고, 이들이 하루 100만 건 이상의 데이터 처리 태스크를 만들었습니다. 성능 개선은 오픈소스 Maestro 프로젝트에도 반영됐습니다.
스텝 시작 오버헤드는 약 5초에서 50ms로 줄었습니다. 100배의 차이입니다. 실행마다 한 번 발생하는 워크플로 시작 오버헤드도 200ms에서 50ms로 낮아졌습니다. 하루 100만 번의 스텝 실행을 기준으로 합산하면, 매일 약 57일치의 플로 엔진 오버헤드를 줄인 결과입니다. 사용자는 더 빠른 반응과 제때 갱신되는 상태를 얻었고, 같은 인프라 규모에서 처리하는 태스크도 늘었습니다.
운영할 데이터도 크게 줄었습니다. 상태 없는 옛 플로 엔진이 쓰던 불필요한 테이블 약 40TB를 삭제했고, 내부 DB 쿼리 트래픽은 90% 감소했습니다. 이전에는 이 쿼리 트래픽이 팀에 오는 알림의 큰 원인이었습니다. 엔진의 의존성과 DB 구성을 단순하게 만든 효과가 지연 감소뿐 아니라 유지 보수에도 나타났습니다.
속도 변화는 내부 워크플로 UI에서도 드러났습니다. 상태 전이 시간을 보여 주던 UI는 엔진이 워낙 빨라진 탓에 연동이 깨졌습니다. Data Experience 팀이 이 회귀를 배포 전에 찾아냈습니다.
원문의 주요 수치와 성능 결과
| 항목 | 값 |
|---|---|
| 기존 엔진 오버헤드 | 최악 약 10초, 내부 플로 엔진 지연 수 초에서 수십 초 |
| 기존 플로 엔진 기반 | Netflix OSS Conductor 2.x (2021년 4월 지원 중단) |
| 스텝 시작 오버헤드 | 약 5초에서 50ms |
| 워크플로 시작 오버헤드 | 200ms에서 50ms |
| 절약 효과 | 하루 약 57일치 엔진 오버헤드 (일 100만 스텝 기준) |
| 이전 규모 | 활성 워크플로 6만 개 이상, 일 태스크 100만 건 이상 |
| 삭제한 테이블 | 약 40TB |
| 내부 DB 쿼리 트래픽 | 90% 감소 |
| 멈춘 워크플로 | 소유자 정보 오류 약 50개 |
| 설정 불일치 영향 | 약 40개 워크플로의 Python 버전 |
| Maestro 워크플로 타임아웃 | 10일 (옛 엔진 트래픽 자연 배출에 활용) |
| 구현 기술 | Java 21 가상 스레드, 별도 워커 스레드 풀 |