목차
늘어나는 워크플로의 운영 부담을 줄인 Cadence 1.0 (2023-06)
원문 정보
- 원문: Announcing Cadence 1.0: The Powerful Workflow Platform Built for Scale and Reliability
- 매체 · 게시일: Uber Engineering Blog · 2023-06-22
- 저자: Ender Demirkaya(Cadence 오픈소스 프로젝트 Tech Lead 중 한 명)
- 원문 내용을 바탕으로 재구성한 요약입니다.
규모가 커져도 그대로여야 했던 운영 비용
Uber의 Cadence에서는 한 달에 120억 건이 넘는 실행과 2,700억 건의 액션이 일어납니다. 수년째 성장률은 연 100% 안팎이었습니다. 규모는 계속 커졌지만 운영 비용은 그대로 유지해야 했습니다.
팀은 2022년을 신뢰성의 해로 정했습니다. 사용자와 용량의 기대치를 맞추고, 시끄러운 이웃(noisy neighbor)의 영향을 막도록 트래픽 격리를 개선했으며, 릴리스도 더 빠르게 내놓는 데 투자했습니다. 그 결과 운영 부담이 크게 줄었습니다.
Cadence가 감당하는 일은 장시간 실행하는 작업에만 머물지 않습니다. 동기 상호작용과 마이크로서비스 오케스트레이션, 배치 처리, 분산 cron과 분산 싱글턴, 데이터 파이프라인과 모델 학습에도 쓰입니다. 가장 중요한 T0부터 T5까지 Uber 서비스 1,000개 이상이 이 플랫폼에서 동작합니다. Uber 밖에서도 DoorDash, HashiCorp, Coinbase 같은 회사들이 사용하고 있습니다.
이런 경험을 쌓은 끝에 나온 릴리스가 v1.0.0입니다. 개발을 시작한 지 6년이 넘었고, 그동안 버전은 v0.x.x에 머물러 있었습니다. 팀이 V1의 기준으로 삼은 기능, 규모, 견고함의 이정표에 도달했다고 판단한 것입니다. 99.9% 가용성을 보장하면서 커지는 규모를 감당하고, 운영 부담까지 줄인 경험이 그 판단을 뒷받침했습니다.
엔진보다 자주 쓰는 워크플로 코드
Cadence는 코드로 워크플로를 작성하는 오픈소스 오케스트레이션 플랫폼입니다. 워크플로는 순서에 따라 실행할 작업들의 집합입니다. 오케스트레이션은 그 실행에 따라붙는 부담을 처리하는 일입니다. 흔한 실패에 대응하고, 실행 규모를 효율적이고 안정적으로 늘리며, 트래픽과 용량을 관리하는 일이 여기에 들어갑니다.
전통적인 방식에서는 DSL이나 설정으로 작업 순서와 의존성을 정의했습니다. 엔진이 처리하기에는 단순한 방식입니다. 하지만 워크플로를 작성하는 사람에게는 표현할 수 있는 범위가 좁고, 사용 사례가 복잡해질수록 DSL과 설정 자체도 실용성을 잃을 만큼 복잡해지는 문제가 있었습니다.
Cadence 팀은 단순함이 필요한 자리를 워크플로 작성 쪽으로 잡았습니다. 엔진은 한 번 만들지만, 워크플로는 사용 사례마다 새로 작성해야 하기 때문입니다. 세상에 존재하는 워크플로의 종류를 생각하면 어떤 프로그램이든 워크플로로 볼 수 있고, 엔지니어에게 익숙한 사고방식도 프로그래밍입니다. 그렇다면 익숙한 언어로 프로그램을 쓰게 하자는 선택입니다.
그래서 Cadence 워크플로는 네이티브 프로그래밍 언어로 Cadence API를 사용하는 프로그램입니다. 일반 소프트웨어를 작성할 때와 비교해 제약을 최소화하면서, 내구성·신뢰성·확장성·트랜잭션 보장·장애 허용성을 기본으로 제공합니다. 외부와 상호작용할 API, 관측용 메트릭, 실행을 들여다볼 UI도 갖췄습니다. 개발자는 어떤 규모에서든 잘 동작하는 서비스를 작성하고, 반복되는 공통 부담은 플랫폼이 처리하게 하려는 설계입니다.
개발팀이 제시한 현대 분산 서비스의 요구사항 그림에서도 같은 생각을 읽을 수 있습니다. 서비스마다 고유한 부분은 코딩과 테스트뿐이고, 나머지는 공통으로 반복되는 일입니다. Cadence로 상태를 가진 서비스를 만들 때의 그림에서는 그 공통 부담을 자동화한 만큼 개발자가 다룰 요구사항이 줄어듭니다.
효과는 코드의 양에도 나타났습니다. 2021년 사내 설문에서는 같은 기능을 구현하는 데 코드를 40% 덜 쓴다는 결과가 나왔습니다. 도메인 안에서 자원을 공유하고 워크플로를 단순하게 작성하면 비용과 복잡도도 줄어듭니다. 내장 UI와 메트릭, 로그는 운영을 돕고, 버저닝과 리플레이, 섀도잉은 사람의 실수에 대비하는 장치입니다.
장애와 배포 실수에 대비한 Cadence의 도구
코드로 워크플로를 작성하게 하는 것만으로 실행과 운영의 부담이 사라지지는 않습니다. V1에 이르기까지 Cadence가 갖춘 기능은 워크플로를 제어하고, 실행 중인 상태를 확인하고, 문제가 생겼을 때 복구하는 과정까지 이어집니다.
정상 지점으로 되감는 워크플로
장애 대응에는 자동 재시도와 리전 페일오버가 있습니다. 잘못된 배포로 문제가 생겼다면 워크플로 리셋으로 정상 지점까지 되감아 이어 갈 수도 있습니다. 이런 장애 대응 동작은 설정할 수 있으며, 이미 진행 중인 워크플로에 새 동작을 적용할 때는 버저닝으로 하위 호환을 관리합니다.
변경을 검증하는 도구도 제공합니다. 단위 테스트 프레임워크에 더해, 운영 중인 워크플로를 대상으로 리플레이와 섀도잉을 수행해 불일치를 확인하고 스테이징에서 검증하는 기능을 갖췄습니다. 버저닝과 함께 사용자의 변경 실수에 대비하는 기능들입니다.
실행 제어를 위한 기본 API에는 start, signal, schedule, terminate, cancel 등이 있습니다. schedule은 분산 cron을 지원합니다. 부모-자식 워크플로로 의존성을 정의하고 Cadence Web에서 그 계층을 확인하는 기능도 포함됩니다.
수십억 건 사이에서 찾는 실행 기록
실행이 많아지면 필요한 워크플로를 찾는 일부터 어려워집니다. Cadence는 검색 가능한 속성을 제공해 수십억 개 인스턴스를 필터링하고, 특정 체크포인트를 통과한 워크플로를 추적하게 합니다.
찾은 실행은 Cadence UI에서 살펴봅니다. 워크플로와 액티비티의 입력·출력, API 호출, 실행 타임라인, 계층 관계를 확인할 수 있습니다. 상태와 규모, 지연, 오류, 하트비트, 섀도 관련 메트릭에는 필요한 차원을 제공해 관측을 돕습니다.
워크플로와 도메인을 운영하는 접점은 CLI, 클라이언트 API, 웹입니다. gRPC와 TLS, 인증과 인가를 지원하고, 도메인 간 작업이나 도메인을 한 환경에서 다른 환경으로 옮기는 기능도 갖췄습니다.
트래픽을 격리하고 규모를 조절하는 운영자
플랫폼 운영자에게는 시끄러운 이웃을 예방하고 탐지하고 관리할 도구가 필요합니다. Cadence에는 속도 제한과 핫 샤드 탐지가 내장돼 있고, 버전과 도메인별 규모를 추적하는 기능도 있습니다.
확장 단위 역시 클러스터 하나에만 묶이지 않습니다. 클러스터 전체뿐 아니라 도메인, 워크플로, 액티비티, 태스크 리스트별로 부하를 분산하고 규모를 늘리도록 지원합니다. 사용자에게 제공하는 워크플로 API와 함께, 플랫폼의 용량과 트래픽을 관리하는 기능까지 V1의 기능 범위에 들어갑니다.
하위 호환을 깨는 변경을 위한 V2
지금까지 Cadence의 릴리스는 모두 하위 호환을 유지했습니다. v1.x.x에서도 이 약속은 계속됩니다. 그러나 더 현대적인 사용 경험을 제공하려면 근본적인 변경이나 API 변경 중 하위 호환을 지킬 수 없는 부분도 있습니다. 이를 위한 별도 경로가 V2 브랜치이며, V1에서 업그레이드할 방법도 제공할 계획입니다.
호환성 약속은 기능을 공개하는 방식에도 영향을 줬습니다. 새 API를 공개한 뒤 문제를 발견하면 고치기 어렵습니다. 그래서 주요 기능은 먼저 사내에서 만들어 몇 달 동안 운영한 다음 오픈소스로 옮기는 방식을 택했습니다. 사용자에게 오래 유지할 API를 내놓기 전에 실제 운영에서 검증하는 과정입니다.
관측성과 비용 효율을 향한 2023년 로드맵
2022년의 신뢰성 개선에 이어, 2023년에는 관측성, 비용 효율, 직관적인 사용자 경험에 집중할 계획입니다. 사용자 설문에서는 로드맵을 더 투명하게 공유해 달라는 의견도 많이 나왔습니다.
사용성에서 가장 먼저 줄이려는 것은 시작까지 걸리는 시간입니다. Cadence의 학습 곡선이 가파르다는 의견을 받아, 첫 워크플로를 작성하는 시간을 며칠이나 몇 주에서 몇 분으로 줄이려 합니다. 더 단순한 샘플과 워크플로 템플릿 생성 도구를 준비하고, 비결정적 변경을 개발 중에 잡아내는 기능도 계획하고 있습니다. 문서를 개편하고 Cadence Web에서 더 풍부한 운영 기능을 제공하는 작업도 여기에 포함됩니다.
운영 중에는 어디에 용량이 남고 어디에 작업이 밀리는지 더 잘 보여 주려 합니다. 최신 Grafana 템플릿과 함께 도메인·워크플로 타입·태스크 리스트별 용량 및 백로그 추적을 준비하고 있습니다. 핫 샤드, 잘못 조정된 파라미터, 낮은 자원 활용률 같은 안티패턴을 찾아내고, 도메인별 비용을 파악하며, 클러스터와 워커의 상태를 점검하는 기능도 개발 대상입니다.
이상을 발견한 다음의 조사 과정도 Cadence Web에 연결할 계획입니다. 이상 보고에 조사와 해결 방법, 런북 링크를 함께 제공하고, Cadence 상태를 감시할 때 쓸 알림 템플릿도 공유하려 합니다. 상태를 보여 주는 데서 조사와 대응을 돕는 쪽으로 운영 도구를 확장하는 작업입니다.
효율 개선에서는 자주 병목이 되는 DB 부하에 집중합니다. 더 빠르고 저렴하게 실행하는 워크플로 모드를 도입하고, 부하가 고르게 분산되도록 주요 기능을 재설계할 계획입니다. 이 재설계로 스토리지 용량이 2~3배 늘어날 가능성을 보고 있습니다. 현재의 속도 제한 기반 용량 관리에 더해, 서버와 클라이언트의 효율을 높이는 다른 용량 관리 모드도 준비하고 있습니다.
공개 GitHub 이슈까지 챙기는 Cadence 팀
이 작업을 맡은 핵심 Cadence 팀은 발표 당시 엔지니어 20명이며 계속 커지고 있었습니다. 기여하는 개발자는 그보다 많습니다. Uber 안에서는 Cadence와 Apache Cassandra, Elasticsearch, Kafka, MySQL 같은 기반 기술에 기여하는 팀들이 함께하고, 외부 회사들 가운데서도 Cadence 전담 팀을 두고 협력하는 곳들이 있습니다.
사용자와의 소통도 늘었습니다. 2023년 들어 주 소통 채널인 공개 Slack 워크스페이스의 활성 구성원은 90%, 활동은 96% 증가했습니다. 팀은 설문을 계속 진행해 사용자의 불편을 파악하고 대응하려 합니다. 모든 공개 GitHub 이슈는 팀이 추적하고 우선순위에 따라 처리하며, 문서와 샘플 개선도 준비하고 있습니다.
Cadence 팀이 지향하는 것은 대규모 상태 저장 서비스를 만드는 차세대 표준입니다. 더 많은 사용 사례를 만나고 커뮤니티의 의견을 들으려는 이유도 여기에 있습니다. 서비스마다 반복해서 겪는 고통스럽고 공통적인 일을 찾아 자동화하는 작업은 V1 이후에도 이어질 계획입니다.
원문에 나온 규모와 지표
| 항목 | 값 |
|---|---|
| 개발 기간 | 6년 이상 |
| 우버 내 서비스 | 1,000개 이상(T0~T5) |
| 우버 월간 실행 | 120억 건 이상 |
| 우버 월간 액션 | 2,700억 건 |
| 성장률 | 수년째 연 100% |
| 가용성 보장 | 99.9% |
| 2021년 사내 설문 | 같은 기능에 코드 40% 감소 |
| 핵심 팀 | 엔지니어 20명 |
| 공개 Slack | 활성 구성원 90%, 활동 96% 증가 |
| 스토리지 용량 목표 | 재설계로 2~3배 가능성 |
| 외부 사용 예 | DoorDash, HashiCorp, Coinbase |