본문으로 건너뛰기
Spinnaker의 며칠짜리 배포를 이어 주는 Temporal
목차

Spinnaker의 며칠짜리 배포를 이어 주는 Temporal (2025-12)

원문 정보

처음부터 다시 돌려야 했던 Spinnaker 배포

Netflix가 Temporal을 도입하기 전, 일시적인 클라우드 오퍼레이션 실패로 배포가 실패하는 비율은 약 4%였습니다. 재시도 자체는 가능합니다. 하지만 복잡한 Spinnaker 파이프라인은 며칠씩 걸리기도 했고, 중간에 실패하면 처음부터 다시 돌려야 했습니다. 엔지니어에게는 긴 작업을 반복해야 하는 생산성 문제였습니다.

실패에 대비한 코드가 부족했던 것도 아닙니다. 재시도 로직과 자체 복구 프레임워크까지 만들었지만, 복잡해진 시스템에서도 일시적 실패는 남았습니다. Netflix는 더 빠른 말을 만드는 대신 실행을 맡길 다른 기반을 찾았고, 2021년 Temporal을 도입했습니다. 이 글에 담긴 도입과 이전은 Chris Smalley와 Rob Zienert가 진행한 작업입니다.

실행 관리까지 떠안은 Clouddriver

Spinnaker는 Netflix 배포 대부분을 담당하는 멀티 클라우드 CD 플랫폼입니다. 대부분 항해와 관련된 이름을 쓰는 여러 마이크로서비스로 구성됩니다. 배포 단위인 파이프라인은 스테이지로, 스테이지는 다시 태스크나 다른 스테이지로 나뉩니다. 프로덕션 서비스의 배포 예시에서는 이미지 찾기와 스모크 테스트, 카나리를 거쳐 us-east-2에 배포하고, 대기한 뒤 us-east-1에 배포합니다. 스테이지를 순차적으로 실행하는 것 외에 병렬 실행이나 앞선 결과에 따른 조건부 실행도 가능합니다.

전체 실행을 조율하는 서비스는 Orca입니다. 파이프라인의 스테이지와 태스크를 관리하고 다른 서비스와 협력합니다. 그중 Clouddriver가 맡은 일은 클라우드 인프라를 바꾸는 클라우드 오퍼레이션입니다. 카나리 호스트를 만들거나 새 서버를 띄우고 기존 서버를 내리는 작업이 여기에 속합니다. Orca가 createServerGroup 같은 높은 수준의 요청을 보내면, Clouddriver가 이를 클라우드 공급자의 하위 API 호출로 바꿉니다.

기존 실행 경로는 Orca가 Clouddriver의 /ops에 타입 없는 필드 묶음을 POST하면서 시작합니다. Clouddriver는 이를 자신만 이해하는 내부 작업인 AtomicOperation 묶음으로 해석하고, 페이로드가 유효하면 Task ID부터 돌려줍니다. 실제 작업은 비동기입니다. Clouddriver의 자체 오케스트레이션 엔진이 AtomicOperation을 실행하며 공급자 API를 호출하고 내부 상태 저장소에 진행 상황을 기록합니다. Orca는 GET /task/<id>를 폴링하다 완료를 확인하면 배포를 이어 갑니다.

이 경로를 유지하려면 Clouddriver가 클라우드 변경 외에 오케스트레이션 시스템도 관리해야 했습니다. Orca 역시 폴링 방법과 상태 해석, 오류 처리를 알아야 했으므로 두 서비스의 결합이 강했습니다. 별도의 실행 관리 코드는 복잡도와 버그가 생길 여지를 키웠습니다. 네트워크 문제나 공급자 장애에 대응하는 재시도 로직까지 더해지면서, 개발자가 이해해야 할 내용도 늘어나는 방식입니다.

오퍼레이션 중간에 실패하면 앞서 끝난 AtomicOperation을 되돌려야 할 때도 있었습니다. 이를 위해 만든 것이 자체 Saga 프레임워크입니다. 일시적 실패에 더 잘 대응하고 부분적으로 실패한 오퍼레이션을 재생할 수 있게 됐지만, 클라우드 변경 외에 유지해야 할 구현도 늘었습니다.

태스크 상태가 인스턴스 로컬에 있다는 제약도 남았습니다. 작업하던 Clouddriver 인스턴스가 죽으면 상태가 사라지고, Orca는 폴링이 타임아웃될 때까지 기다리는 흐름입니다. Saga가 일부 오퍼레이션에서 이 문제를 완화했으나, Spinnaker가 지원하는 모든 클라우드 공급자에 적용되지는 않았습니다.

이 실행 경로는 OSS Spinnaker에 남아 있습니다. Netflix는 더 큰 방향 전환을 할 수 있도록 2020년 OSS에서 포크했으며, 여기서 다루는 Temporal 전환은 그 비공개 코드에서 진행했습니다.

전원 케이블이 뽑혀도 이어지는 30일의 대기

Temporal은 실패가 없는 것처럼 코드를 작성하게 해 주는 오픈소스 Durable Execution 플랫폼입니다. 악조건에서도 프로그램이 끝까지 실행되도록 보장합니다. 비즈니스 로직은 결정적인 단계의 연속인 워크플로로 표현하고, 비결정적 로직은 그 안의 액티비티에 모으는 방식입니다.

Java 예제인 SleepForDaysWorkflow는 sendEmail 액티비티를 실행한 뒤 Workflow.sleep으로 30일을 기다리는 일을 반복합니다. 이메일 액티비티가 시작한 뒤 완료될 때까지의 제한 시간은 10초입니다. 액티비티는 설정 가능한 지수 백오프로 자동 재시도되며, 워크플로와 액티비티 모두 일반 코드여서 나머지 코드베이스처럼 테스트할 수 있습니다.

30일의 대기 중에 워커의 전원 케이블을 뽑아도 실행은 이어집니다. 워크플로를 실행하는 프로세스인 워커와, 실행 상태를 영속적으로 저장하는 Temporal 서버가 분리돼 있기 때문입니다. 타이머까지 서버가 관리하므로 다른 워커가 이어받을 수 있습니다. 대기 자체도 연산 자원을 많이 쓰거나 프로세스를 붙잡아 두지 않습니다.

Clouddriver에서 잃어버리던 실행 상태를 Temporal이 보관하는 방식입니다. 워커에 문제가 생겨도 워크플로를 재시도하거나 다른 워커로 옮길 수 있어, 일시적 실패를 처리할 코드를 서비스마다 직접 만드는 부담이 줄어듭니다.

Orca와 Clouddriver 사이의 새 실행 경로

Orca가 이제 실행을 요청하는 곳은 Temporal입니다. Temporal 클라이언트로 UntypedCloudOperationRunner 워크플로를 시작하며, 러너의 run 메서드에는 타입 없는 stageContext 맵과 operationType 문자열을 넘깁니다.

작업을 계속 폴링하던 Clouddriver의 Temporal 워커가 요청을 가져갑니다. 이후에는 예전 AtomicOperation 해석과 비슷한 준비 과정이 있습니다. stageContext를 전처리하고, operationType과 stageContext를 바탕으로 강한 타입의 CloudOperation 워크플로 인터페이스 구현을 찾습니다.

워커는 찾은 구현을 자식 워크플로로 실행합니다. 이 구현의 operate는 타입이 지정된 입력과 계정 자격 증명을 받아 타입이 지정된 출력을 반환하며, 액티비티가 실제 클라우드 공급자 API를 호출하는 방식입니다. Orca는 Temporal 클라이언트로 러너 워크플로의 완료를 기다립니다. Temporal이 결과를 알려 주면 배포를 계속하며, 반환값인 WorkflowResult는 성공 여부와 오류를 클라이언트가 일관된 방식으로 확인하도록 해 주는 얇은 래퍼입니다.

Orca가 Clouddriver에 직접 작업 시작을 요청하고 상태를 폴링하던 연결은 사라졌습니다. 오케스트레이션과 재시도도 Temporal이 맡으면서 자체 구현을 상당 부분 삭제했습니다. 실행 상태를 Temporal이 보관하므로 Clouddriver 인스턴스는 무상태입니다. 작업이 인스턴스 사이를 옮겨 다닐 수 있어 인스턴스를 가축처럼 다루게 됐고, 전에는 불가능했던 Chaos Monkey 적용도 가능해졌습니다.

실행 중인 작업을 들여다보기도 쉬워졌습니다. Temporal UI는 워크플로와 액티비티의 실행을 시각화하고, SDK와 서버는 유용한 메트릭을 제공합니다. 원문에 실린 예시는 resizeServerGroup이 DescribeAutoScalingGroup, GetHookConfigurations, ResizeServerGroup 액티비티를 실행하는 모습입니다.

Spinnaker 서비스부터 시작한 Temporal 전환

Netflix의 모든 엔지니어가 의존하는 배포 경로를 바꾸는 작업에는 추상화와 동적 설정을 사용했습니다. Orca에 CloudOperationRunner 인터페이스를 두고 기존 경로와 Temporal 경로의 차이를 감췄습니다. 호출하는 쪽에서는 같은 인터페이스를 사용하고, 실제 실행 경로는 런타임에 선택하는 방식입니다.

경로 선택은 Netflix의 동적 설정 시스템인 Fast Properties가 맡았습니다. 스테이지 유형, 클라우드 공급자 계정, Spinnaker 애플리케이션별로 설정할 수 있었습니다. createServerGroup 같은 클라우드 오퍼레이션 유형이나 AWS·Titus 같은 공급자도 선택 기준입니다. 가장 먼저 새 경로로 배포한 대상은 Spinnaker 자체 서비스였으며, 두 분기 안에 Netflix의 모든 애플리케이션을 전환했습니다.

일시적 클라우드 오퍼레이션 실패로 인한 배포 실패율은 4%에서 0.0001%로 낮아졌습니다. 약 4.5자릿수에 해당하는 감소입니다. 며칠씩 걸리는 길고 복잡한 파이프라인을 운영하는 팀에는 특히 큰 생산성 개선이었습니다.

전환 과정에서 얻은 효과도 있었습니다. 단계를 액티비티로 옮기면서 멱등하게 고쳤습니다. Temporal이 기본적으로 액티비티를 재시도하므로 권장하는 작성 방식이며, 그 과정에서 기존 Clouddriver의 재시도 때 발생하던 문제도 일부 해결했습니다.

Clouddriver 액티비티의 기본 재시도 타임아웃은 두 시간입니다. 회귀가 생겼을 때 고객 배포가 실패하기 전에 수정 배포나 롤백을 할 여유가 생겼습니다. 그 사이 문제를 해결하면 고객에게는 배포가 평소보다 오래 걸리는 정도로 보일 수 있습니다.

Temporal 도입 뒤 다시 본 워크플로 경계

러너 아래에 자식 워크플로를 둔 설계는 돌아보니 불필요했습니다. 목적은 코드 정리였습니다. 하지만 실행 계층이 늘어나면서 문제 추적이 더 어려워졌고, 최상위 부모 워크플로 안에서 클래스 합성을 사용해도 같은 목적을 달성할 수 있었습니다. 이 경험에서 Netflix가 얻은 교훈은 코드 구성을 나누기 위해 불필요한 자식 워크플로를 만들지 말라는 것입니다.

워크플로와 액티비티 함수의 인자 목록에도 주의가 필요했습니다. Temporal의 결정성 제약 때문에 인자를 추가하거나 삭제하면 하위 호환성이 깨지고, 오래 실행 중인 워크플로가 실패할 수 있습니다. 코드 리뷰에서도 쉽게 눈에 띄지 않는 위험입니다. 모든 인자를 직렬화 가능한 클래스 하나에 담으면, 함수의 인자 목록을 직접 늘리거나 줄이는 것보다 더 자유롭게 변경할 수 있습니다.

오류 처리에서는 WorkflowResult가 유용했습니다. 비즈니스 프로세스의 실패를 알리는 데 워크플로 자체를 실패 상태로 만들 필요는 없습니다. 이 구분 덕분에 오류를 더 세밀하게 처리할 수 있었고, Netflix는 이후 다른 워크플로에도 같은 패턴을 사용했습니다.

Netflix 생태계에 맞춘 Temporal Cloud 플랫폼

글이 나온 2025년 12월, Netflix의 Temporal 사용 사례는 수백 개에 이르렀습니다. 지난 한 해 동안 두 배로 늘어난 규모입니다. Spinnaker뿐 아니라 Open Connect 글로벌 CDN 운영자와 Live 신뢰성 팀도 핵심 서비스를 Temporal로 운영합니다.

운영 기반도 달라졌습니다. 온프레미스 Temporal에서 SaaS인 Temporal Cloud로 옮기면서 적은 인원으로 도입 확대를 지원할 수 있게 됐습니다. Temporal Cloud를 바탕으로 Netflix 사내 생태계와 연동하고 온보딩을 돕는 내부 플랫폼도 마련했습니다. Netflix는 이 Temporal 플랫폼을 더 자세히 소개하는 후속 글을 예고했습니다.

원문의 주요 수치와 설정값
항목값
Temporal 도입 시작2021년
Spinnaker OSS 포크2020년
일시적 오퍼레이션 실패로 인한 배포 실패율4%에서 0.0001%로
모든 애플리케이션 온보딩두 분기 안
경로 전환 설정 단위스테이지 유형, 계정, 애플리케이션, 오퍼레이션 유형, 공급자(AWS, Titus)
액티비티 재시도 타임아웃 기본값두 시간
현재 사용 사례수백 개, 지난 1년간 두 배
운영 형태온프레미스에서 Temporal Cloud(SaaS)로 이전
마지막 수정 일자