목차
3만 태스크를 감당하는 Netflix Conductor의 새 엔진 (2026-08)
원문 정보
- 원문: Netflix Conductor : The Next Chapter
- 매체 · 게시일: Netflix TechBlog · 2026-08-21
- 저자: Aravindan Ramkumar (Conductor 팀 대표)
- 원문 내용을 바탕으로 재구성한 요약입니다.
분기마다 돌아오는 10억 건의 이정표
한 해에 워크플로 실행 10억 건을 넘기면 이정표로 삼던 시절이 있었습니다. 지금 Netflix의 Conductor는 대략 분기마다 그 선을 넘습니다. 월간 실행량도 계속 늘고 있습니다.
외부에 알려진 소식과는 사뭇 다른 모습입니다. GitHub 저장소에는 사내 포크에 집중하기 위해 Conductor OSS 유지보수를 중단한다는 공지가 올라왔지만, 사내에서 Conductor의 성장은 멈추지 않았습니다. 마이크로서비스를 안정적이고 관찰 가능한 업무 절차로 엮는 이 엔진을 더 많은 곳에서 쓰기 시작했고, 이를 만들고 운영하는 Enterprise Workflow Platform 팀은 평가 엔진부터 그 아래 저장소와 큐까지 거의 모든 계층을 다시 설계했습니다.
앞선 글에 등장했던 Conductor는 몇십 개 팀의 수백 개 워크플로 정의를 실행했습니다. 이제 Content와 Studio Engineering, Ads, Games 등에 걸친 약 150개 애플리케이션이 약 20만 개의 정의를 소유합니다. 보통 한 달에 약 4억 2,000만 건, 하루에 500만~2,000만 건을 실행하는 규모입니다. 여기에 매달 수백 개의 새 워크플로 유형이 추가됩니다.
그 안에는 작품 한 편에서 평균 약 200TB씩 나오는 원본 카메라 파일을 다루는 작업도 있습니다. Media Production Suite(MPS)는 제작 데이터를 클라우드로 옮기며 수집, 검증, 트랜스코딩, 전달을 맡는 애플리케이션 모음입니다. Footage Ingest, Dailies, VFX Pulls, Conform Pulls처럼 여러 단계를 거치는 파이프라인이 Conductor 워크플로로 실행됩니다.
긴 분산 작업에는 장애와 복구가 따라옵니다. MPS의 전용 오케스트레이션 계층인 Studio Orchestrator는 자산 관리, 미디어 인코딩, 스토리지 서비스를 엮고, 그 작업을 안정적으로 실행하고 장애에서 복구하는 일을 Conductor에 맡겼습니다. Netflix Games에서도 파트너가 올린 빌드를 수집하고, iOS 프라이버시 매니페스트 검사 같은 검증을 거쳐 App Store에 게시하기까지 여러 플랫폼 서비스와 외부 스토어를 조율합니다.
Netflix Ads가 맡긴 일은 크리에이티브 수집, 광고주 인증서 관리, 프라이버시를 보존하는 공동 분석 환경인 Data Clean Room입니다. 이처럼 쓰임이 넓어지면서 실행 건수뿐 아니라 한 워크플로가 다루는 태스크 수, 같은 대상을 처리하는 실행의 순서, 며칠씩 이어지는 대기까지 엔진이 감당해야 할 문제가 됐습니다.
메모리 증설의 한계를 넘은 Cassandra와 Timestone
앞선 글에서 소개한 구성에는 큐를 맡은 DynoQueues, 메타데이터를 저장한 Dynomite, 실행 데이터 일부를 맡은 Cassandra, 색인용 Elasticsearch가 있었습니다. 이 구성에 이르기까지, 그리고 그 이후에도 저장소와 큐를 바꾸는 작업이 이어졌습니다.
1.0이 크게 의존한 Dynomite는 Redis에 샤딩과 복제를 더하는 인메모리 클러스터링 계층입니다. 확장하려면 메모리와 노드를 늘려야 했고, 복제 랙마다 데이터 전체 사본을 보관했습니다. 캐시에는 어울리는 방식입니다. 하지만 하루 수백만 건씩 실행되는 워크플로의 영속 기록을 맡기기에는 한계가 있었습니다. 그 위에서 동작한 DynoQueues도 같은 제약을 물려받았으며, 존별로 나뉜 큐 설계 때문에 태스크 스케줄링이 고르지 않았습니다.
엔진에도 복구되지 않는 틈이 있었습니다. 워크플로를 동기식으로 평가하면서 여러 곳에서 상태를 갱신했기 때문에, 업데이트가 경쟁하면 상태의 일관성이 깨질 수 있었습니다. 이를 자동으로 찾아 고치는 수단도 없었습니다.
2.x에서는 실행 데이터의 주 저장소를 Cassandra로 옮겼습니다. 수평 확장이 가능해지면서 Dynomite에 의존하던 때의 확장 상한과 존 친화성 제약에서 벗어났고, 큰 태스크 입출력은 S3에 따로 저장했습니다. 모든 데이터를 같은 방식으로 보관하던 부담을 나눈 것입니다.
큐는 Netflix의 고처리량·저지연 우선순위 큐 시스템인 Timestone으로 교체했습니다. Dynomite 의존을 없애는 데서 그치지 않았습니다. 지연 큐와 백그라운드 복구 프로세스가 생겨 문제가 있는 워크플로를 감지하고 복구하게 됐습니다. 이후 비동기 평가와 큐 깊이에 따른 스레드 재배분도 이 Timestone을 바탕으로 구현했습니다.
색인 작업은 요청 처리의 필수 경로에서 분리했습니다. Kafka가 변경 내용을 버퍼링하고, 독립적으로 확장하는 색인기가 Elasticsearch에 기록하도록 바꿨습니다. 3.0에서는 Dynomite를 완전히 퇴역시키고 장기 보관용 Iceberg를 추가했습니다. Timestone 큐, Cassandra 저장소, Kafka를 거치는 색인 경로가 자리 잡은 시점입니다.
3.0은 자동 워크플로 복구와 멀티클러스터 배포도 갖췄습니다. 워크플로를 격리된 컨텍스트에서 실행할 수 있어, 예를 들어 MPS 전용 컨텍스트를 공유 기본 컨텍스트와 분리하고 독립적으로 확장하는 구성이 가능해졌습니다. 초기의 신뢰성과 확장 문제는 대체로 풀렸습니다. 이제 규모를 가로막는 곳은 평가 엔진과 데이터 모델이었습니다.
전체 상태 대신 필요한 태스크만 읽는 엔진
3.0 엔진은 다음 행동을 정할 때마다 워크플로 전체 상태를 메모리에 올렸습니다. 태스크가 늘수록 한 번의 평가가 무거워졌습니다. 워크플로 메타데이터와 태스크 페이로드를 같은 Cassandra 파티션에 넣은 탓에 행도 지나치게 넓어졌고, 같은 태스크를 여러 곳에서 갱신할 때는 경쟁 상태가 생길 여지가 있었습니다.
4.0은 읽는 단위부터 바꿨습니다. 워크플로 메타데이터를 태스크·사용자 데이터와 분리하고, 태스크마다 별도 레코드를 두었습니다. 평가기는 가벼운 청사진을 기준으로 진행할 단계를 판단하면서 그 결정에 필요한 태스크 데이터만 불러옵니다. 매번 전체 실행 상태를 메모리에 올릴 이유가 사라졌습니다.
이 변화로 워크플로당 태스크 상한이 크게 늘었습니다. 3.0의 약 2,500개에서 재작성한 엔진은 3만 개까지 감당해 10배 넘게 확장됐습니다. 프로덕션에서 측정한 워크플로 평가 p99 지연도 약 40% 줄었습니다.
IN_PROGRESS보다 우선하는 종료 상태
읽는 양을 줄이는 것만으로는 충분하지 않았습니다. 한 태스크를 여러 곳에서 갱신할 때, 뒤늦은 쓰기가 완료 상태를 되돌리지 않도록 해야 했습니다.
장시간 실행되는 태스크를 생각하면 문제가 분명해집니다. 워커는 작업 중에 주기적으로 진행 상태를 보내다가 마지막에 COMPLETED를 보고합니다. 그런데 네트워크에서 순서가 뒤바뀐 오래된 IN_PROGRESS 업데이트가 완료 보고 뒤에 도착하면, 이미 끝난 태스크가 다시 진행 중으로 바뀔 수 있습니다.
처음에는 Cassandra 경량 트랜잭션인 LWT로 쓰기를 직렬화했습니다. 하지만 LWT와 일반 쓰기를 섞는 것은 알려진 안티패턴입니다. 서로 다른 타임스탬프 방식을 쓰기 때문에 Conductor가 요구한 엄격한 일관성을 보장하지 못했습니다.
Netflix는 상태를 저장하는 위치를 나눴습니다. 진행 중인 상태는 pending 파티션에 기록하고, COMPLETED나 FAILED 같은 종료 상태에 도달하면 terminal 파티션에 정확히 한 번 기록합니다. 평가기는 두 파티션을 모두 읽은 뒤 애플리케이션에서 상태를 결정합니다.
판단 규칙은 명확합니다. 종료 상태가 비종료 상태보다 항상 우선하며, 같은 종류의 쓰기끼리는 last-write-wins를 적용합니다. 앞의 사례라면 늦게 도착한 IN_PROGRESS가 pending 파티션에 기록돼도 terminal 파티션의 COMPLETED를 뒤집지 못합니다. 쓰기를 잠그는 데 의존하지 않고도 태스크의 수명주기를 지킬 수 있게 됐습니다. 필요한 데이터만 읽는 모델과 이 상태 처리 방식이 메모리 사용량, 평가 속도, 동시 처리량을 함께 개선했습니다.
락 없이 순서를 보장하는 Timestone 평가 큐
태스크 상태를 안전하게 다루게 된 뒤에도 평가 요청끼리 부딪히는 문제는 남았습니다. 새 워크플로가 시작되거나 태스크 완료 요청이 들어오면, 그 요청을 처리하는 중에 워크플로 평가까지 수행했습니다. 같은 워크플로를 겹쳐 평가하지 않으려면 워크플로별 락이 필요했습니다.
부하가 커지면 여러 업데이트가 그 락을 두고 경쟁했습니다. 하나가 락을 얻는 동안 나머지는 백그라운드 복구 프로세스로 넘어갔고, 극단적인 경우 평가가 따라잡는 데 수 분이 걸렸습니다. 엔진의 계산 자체는 빨라졌어도 요청이 언제 다음 단계로 이어질지는 예측하기 어려웠습니다. 피크 부하에서 꼬리 지연이 커지는 이유였습니다.
평가를 요청 처리에서 분리하면서 이 경합이 사라졌습니다. 업데이트를 받은 경로는 워크플로를 Timestone의 exclusive 큐에 넣고, 중앙 비동기 평가기가 대기 중인 작업을 순서대로 처리합니다. 큐가 한 워크플로를 한 번에 하나의 워커에만 맡기므로 평가 워커끼리 락을 다툴 일이 없어졌습니다.
개선 폭은 p99와 p99.9에서 가장 컸습니다. 경합이 심할 때 구간당 약 2,700회까지 치솟던 락 획득 실패도 사실상 0으로 줄었습니다. 전체 평가를 요청 안에서 끝내려던 방식을 바꾸자, 부하가 몰릴 때 복구 프로세스를 기다리던 지연까지 줄일 수 있었습니다.
큐가 밀려도 오르지 않던 CPU
평가만 빨라져서는 부족했습니다. 평가기가 스케줄한 태스크를 워커가 얼마나 빨리 가져가는지도 처리량을 좌우합니다. 이 문제는 MPS 파이프라인을 다루는 Studio Orchestrator에서 뚜렷하게 드러났습니다.
Conductor 클라이언트는 태스크 유형마다 고정된 수의 스레드로 큐를 폴링했습니다. 예측하기 쉽고 어느 태스크도 다른 태스크에 밀려 처리 기회를 잃지 않는 방식입니다. 하지만 한 유형의 태스크 수천 개가 갑자기 큐에 몰려도 담당 스레드 수는 늘지 않았습니다. 바쁜 큐에는 작업이 쌓이고, 조용한 큐에는 스레드가 놀았습니다. 처리할 일이 밀리는데 인스턴스 CPU 사용률은 그대로였습니다.
해결책은 스레드 풀을 실제 대기량에 맞춰 재배분하는 것이었습니다. 각 인스턴스는 Timestone에서 자신이 관리하는 태스크 큐의 깊이를 주기적으로 읽습니다. 모든 큐에 기본 스레드 수를 보장하는 최소 할당을 남겨 두고, 나머지는 변동 풀로 묶어 각 큐가 전체 부하에서 차지하는 비중에 따라 나눕니다. 백로그가 깊은 큐에는 더 많은 스레드가 돌아가고, 한가한 큐의 할당은 최소치 쪽으로 줄어듭니다.
급증하는 큐에 스레드를 한꺼번에 몰아주지는 않습니다. 큐별 스레드 수가 한 주기에 늘어날 수 있는 배수에 설정 가능한 상한을 둡니다. 증가 폭을 단계적으로 제한해야 하위 서비스도 늘어난 요청을 소화할 수 있기 때문입니다. 이 할당을 폴링 주기마다 다시 계산해 모든 큐의 최소치를 지키면서 부하 변화를 따라갑니다.
그 결과 인스턴스마다 더 큰 스레드 풀을 안전하게 운용하게 됐습니다. 스레드가 필요한 큐에서 일하자 CPU 사용률도 실제 부하를 반영하기 시작했습니다. CPU 기준 오토스케일링이 수요를 판단할 신호가 비로소 제 역할을 하게 된 것입니다.
배포 전에 타입을 확인하는 Workflow SDK
큰 워크플로는 작성하는 사람에게도 부담이었습니다. 태스크 두어 개만 정의해도 JSON에는 이름, 버전, semver, schemaVersion, restartable, 소유자 이메일, 타임아웃 정책이 붙었습니다. 실제 워크플로는 수백 줄로 늘어났고, 복잡한 분기까지 들어가면 누구도 건드리고 싶지 않은 JSON 덩어리가 됐습니다.
오류는 실행할 때 드러났습니다. 태스크 사이의 값은 ${taskRef.output.field} 같은 문자열 템플릿으로 연결하고, 워커는 Map<String, Object>에서 입력을 꺼내 캐스팅했습니다. 전달된 값이 Integer인데 String으로 캐스팅하면 ClassCastException이 발생합니다. JSON이 movieId를 넘겼는데 워커가 movieid를 읽는 오타도 미리 드러나지 않았습니다. 읽은 값은 null이 되고, 이를 사용하는 다음 코드에서 NullPointerException이 발생했습니다.
Workflow SDK는 이런 실수를 컴파일러와 IDE가 배포 전에 잡도록 만든 타입 안전한 Java DSL입니다. Java로 워크플로를 작성하면 Gradle 플러그인이 서버가 이해하는 JSON 정의를 생성합니다. 작성 언어를 바꾸되 서버가 받는 형식은 유지했습니다.
실행 그래프도 그대로 남습니다. 분기, 반복, 병렬 포크를 선언한 그래프를 보면서 실행이 어디까지 왔고 어디서 막혔는지 확인합니다. 명령형 코드의 실행 타임라인만으로는 이런 워크플로 다이어그램을 대신할 수 없습니다. SDK가 Java를 사용하면서도 워크플로를 그래프로 선언하는 방식을 지킨 이유입니다.
실행하지 않는 @WorkflowMethod
Java로 쓴다고 모든 메서드를 실행하는 것은 아닙니다. @TaskMethod가 붙은 태스크는 런타임에 실행되며 임의의 코드를 담을 수 있습니다. getMovie가 long movieId를 받아 Movie를 반환하는 식으로 실제 타입을 사용하므로, 입력 맵에서 값을 꺼내거나 캐스팅할 필요가 없습니다.
@WorkflowMethod는 빌드할 때 읽는 그래프 선언입니다. getMovie(...)를 호출하고 그 결과를 wrapMovie(...)에 넘기는 평범한 메서드 호출 모양으로 작성하지만, 메서드 자체는 실행되지 않습니다. Gradle 플러그인이 본문을 파싱해 Conductor JSON을 만듭니다. 서버는 Java 코드를 보지 않습니다.
표현할 수 있는 제어 흐름에도 경계가 있습니다. 파서는 Conductor 연산자에 대응하는 if/else, switch, do-while, 병렬 포크, 서브 워크플로 호출을 지원합니다. 임의의 Java 코드를 넣는 자리는 아닙니다. Conductor에는 for나 while 태스크가 없으므로 반복은 항상 do-while로 표현합니다.
예를 들어 잡을 제출한 뒤 상태가 PENDING인 동안 확인을 반복하고, 반복이 끝나면 SUCCEEDED 여부에 따라 게시하거나 검토 대상으로 표시하는 흐름을 작성할 수 있습니다. 병렬 실행은 ParallelExecution.fork(...)와 allOf(...)가 각각 FORK와 JOIN으로 바뀝니다. 다른 @WorkflowMethod는 workflowNames에 나열해 서브 워크플로로 호출합니다.
이름으로 가져오는 다른 팀의 워크플로
타입을 연결하는 코드는 빌드 때 생성합니다. @WorkflowStub에 사용할 태스크와 워크플로 이름을 적으면, 플러그인이 입출력 타입과 타입이 지정된 스텁 메서드를 만듭니다. @WorkflowMethod의 호출도 이 시그니처를 기준으로 컴파일되므로 입력과 출력의 타입을 확인할 수 있습니다.
이름을 기준으로 생성한다는 점은 팀 사이의 재사용에도 도움이 됐습니다. 다른 팀의 태스크나 워크플로를 @WorkflowStub에 나열하면 로컬 메서드나 서브 워크플로처럼 호출하고, Movie 같은 공유 POJO 타입도 복사 없이 사용합니다. 서로의 라이브러리를 공유할 필요가 없습니다.
영화 페이지를 준비하는 예시는 이런 조합을 보여 줍니다. 상세 정보와 보강 작업, 아트워크, 캐시 갱신을 독립된 분기로 실행한 뒤 합류하고, 현지화 서브 워크플로를 호출한 다음 페이지를 게시합니다. 작성자는 타입이 있는 메서드 호출로 이 관계를 표현하고, 실행 중에는 분기와 합류가 드러나는 그래프로 확인합니다.
Workflow SDK는 빠르게 채택됐습니다. 현재 Netflix에서 새 워크플로를 작성할 때 주로 선택하는 방식입니다.
같은 대상의 실행 순서를 정하는 Run Strategy
타입을 검증해도 실행끼리의 충돌은 별개입니다. Conductor는 오랫동안 시작 요청을 받은 만큼 워크플로 인스턴스를 실행했습니다. 같은 영화 id, 크리에이티브, 스크립트를 여러 인스턴스가 처리해도 이를 직렬화할 내장 수단이 없었습니다. 순서를 보장해야 하는 팀은 직접 락과 큐, 조정 로직을 만들었고, 그 코드의 복잡성과 운영 위험도 떠안았습니다.
Run Strategy는 이 실행 정책을 워크플로 정의로 옮깁니다. Workflow SDK에서는 @WorkflowMethod의 @RunStrategy 인자로 지정합니다. 현재 제공하는 정책은 다음과 같이 구분됩니다.
- Parallel: 기존처럼 시작한 워크플로 인스턴스를 병렬로 실행하는 기본값
- Sequential: 시퀀스 키마다 한 번에 최대 하나만 실행하며, 뒤따른 요청은 큐에서 기다렸다가 앞선 실행이 끝나면 순서대로 자동 시작
직렬화의 범위는 시퀀스 키입니다. 영화 id를 키로 삼은 콘텐츠 수집이라면 같은 작품의 실행은 차례로 처리하고, 서로 다른 작품은 병렬로 처리합니다. 이 순서를 지키기 위한 커스텀 락을 팀이 따로 만들 필요가 없어졌습니다.
Netflix Ads의 크리에이티브 수집이 실제 적용 사례입니다. 분기가 많은 JSON은 Workflow SDK로 타입 안전하고 테스트 가능한 코드가 됐고, Sequential 정책은 크리에이티브별 실행을 직렬화해 중복 처리 경쟁 상태를 없앴습니다. 작성할 때의 복잡성과 실행할 때의 충돌을 각각 SDK와 실행 정책으로 해결했습니다.
필요할 때 컴퓨트를 실행하는 Titus와 Stratum
기존 태스크의 실행 주체는 폴링 워커였습니다. 애플리케이션이 워커를 구현하고, Conductor 서버에서 작업을 가져와 실행한 뒤 결과를 보고했습니다. 단순하고 언어에 구애받지 않는 모델이며 지금도 워크로드의 중추입니다.
워커 운영은 여전히 각 팀의 일이었습니다. 작업이 드물거나 짧은 시간에 몰려도 워커 플릿을 구성하고 유지하며 확장해야 했습니다. 관리형 태스크는 이 부담을 줄이기 위해 Conductor가 컴퓨트를 직접 실행하도록 만든 기능입니다. 현재 컨테이너용 Titus와 서버리스 미디어 처리 함수용 Stratum을 연동합니다.
TITUS 태스크는 지정한 Docker 이미지와 진입점으로 Titus 잡을 시작합니다. 이미지에 담긴 셸이나 Python 스크립트를 실행하며, cpu와 메모리 같은 실행 자원도 지정합니다. 태스크는 IN_PROGRESS 상태로 시작하고 Conductor가 잡을 감시합니다. 종료 코드가 0이면 COMPLETED, 0이 아니거나 타임아웃이 발생하거나 잡이 없으면 FAILED가 됩니다.
STRATUM 태스크는 Netflix의 미디어 처리 플랫폼 Cosmos에 속한 서버리스 함수 계층을 호출합니다. 함수 이름과 순서가 있는 인자를 전달하며, 호출한 함수가 끝날 때까지 태스크는 IN_PROGRESS로 남습니다. 이후 결과에 따라 COMPLETED, FAILED, TIMED_OUT 중 하나로 바뀝니다.
한 워크플로에서 이 실행 방식을 섞을 수 있습니다. 예를 들어 꾸준한 대량 작업은 폴링 워커에, 가끔 실행하는 무거운 배치는 Titus 컨테이너에, 미디어 처리는 Stratum 함수에 맡기는 구성입니다. 팀은 태스크에 맞는 실행 방식을 선택하고, 관리형 태스크의 컴퓨트 운영 부담은 플랫폼이 맡습니다.
며칠짜리 절차를 이어 가는 Netflix Ads 워크플로
Netflix Ads가 Conductor에 맡긴 일에는 광고주 인증서 관리도 있습니다. 이전에는 수작업으로 처리해 규모를 늘리기 어려웠던 절차를 여러 시스템과 연동해 자동화했습니다. 인증서가 만료됐을 때 이어지는 후속 자동화도 포함합니다.
Data Clean Room은 처음부터 Workflow SDK로 만들었습니다. Netflix와 파트너가 프라이버시를 보존하면서 공동 분석하는 환경으로, 이를 준비하는 절차는 며칠씩 걸립니다. 벤더에 환경을 생성한 뒤 파트너가 참여하기를 기다리고, 활성화해 사용하다가 나중에는 보관해야 합니다.
이전에는 직접 작성한 비동기 폴링으로 각 단계를 이어 갔습니다. Conductor 워크플로로 바꾸면서 각 단계는 상태가 보존되고 진행 상황을 관찰할 수 있는 상태 머신이 됐습니다. 자동으로 재시도하고, 재시작 뒤에도 상태가 남습니다. 파트너를 오래 기다리는 동안에는 스레드를 붙들지 않고 실행을 양보합니다.
크리에이티브 수집에서는 같은 대상의 실행 순서가 문제였고, Data Clean Room에서는 여러 시스템에 걸친 긴 절차와 대기가 문제였습니다. SDK와 Conductor는 이런 업무를 작성하고 유지하는 부담을 줄였으며, 팀이 직접 구현하던 재시도와 분산 락을 플랫폼의 실행 보장으로 옮겼습니다.
더 많은 일을 맡기기 위한 Conductor의 구상
Conductor 팀이 소개한 다음 변화들은 확정된 로드맵이 아닙니다. 여러 팀이 계속 요청해 온 기능을 모은 바람 목록에 가깝습니다.
실행량은 더 늘어날 전망입니다. 라이브, 게임, 팟캐스트가 확대되면서 다음 해 워크플로 부하가 5배까지 커질 수 있다고 봅니다. 아직 측정된 증가량은 아닙니다. 팀은 이번 엔진 재작성 덕분에 아키텍처를 다시 설계하지 않고도 그 부하를 흡수할 수 있다는 자신감을 갖고 있습니다.
SDK는 이미 모든 태스크 유형을 다룹니다. 이제 작성한 워크플로를 실제 워커 동작에 맞춰 검증하는 통합 테스트, 지능형 IDE 플러그인, 더 나은 디버깅으로 개발 경험을 넓히려 합니다. 스킬·플러그인·MCP 같은 에이전트 도구와의 연계도 구상에 들어 있습니다. 여러 팀이 공유하는 태스크와 워크플로에는 스키마 레지스트리를 마련하고, 하위 호환성을 깨는 변경을 막아 스키마를 안전하게 발전시키려 합니다.
실행 정책도 Sequential에서 끝나지 않습니다. 키마다 N개씩 실행하는 정책, 멱등 중복 제거, keep-first, keep-latest와 그 조합이 계획에 포함돼 있습니다. 관리형 태스크 역시 컨테이너와 서버리스 함수 너머로 지원 범위를 넓히려 합니다. 작성과 실행에 드는 부담을 낮게 유지하면서 하나의 워크플로가 안정적으로 조율할 수 있는 작업을 늘리는 방향입니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 연간 10억 실행 돌파 주기 | 과거 한 해에 한 번에서 지금은 대략 분기마다 |
| 워크플로 정의 / 애플리케이션 | 약 20만 개 / 약 150개 |
| 월간 / 일간 워크플로 실행 | 약 4억 2,000만 / 500만~2,000만 |
| 작품 한 편의 원본 카메라 파일 | 평균 약 200TB |
| 워크플로당 태스크 상한 | 3.0은 약 2,500, 4.0은 3만(10배 넘게 증가) |
| p99 워크플로 평가 지연 | 재작성으로 약 40% 감소 |
| 락 획득 실패 | 경합 중 구간당 약 2,700회에서 사실상 0 |
| TITUS 태스크 종료 코드 | 0이면 COMPLETED, 그 외·타임아웃·잡 없음은 FAILED |
| STRATUM 태스크 종료 상태 | COMPLETED, FAILED, TIMED_OUT |
| 다음 해 예상 부하 | 워크플로 부하가 5배까지 늘 수 있다는 전망 |