본문으로 건너뛰기
Account의 병목을 풀어 확장한 Workflows 컨트롤 플레인
목차

Account의 병목을 풀어 확장한 Workflows 컨트롤 플레인 (2026-04)

원문 정보

기계 속도로 늘어난 Workflows 생성 요청

사람의 클릭 속도에는 한계가 있습니다. Workflows가 처음 염두에 둔 작업은 회원 가입이나 주문처럼 사람이 시작하는 다단계 애플리케이션이었고, 온보딩이라면 사람마다 인스턴스 하나로 충분했습니다. 그런데 실제 사용 양상은 달라졌습니다. 에이전트 세션 하나가 수십 개의 워크플로를 시작하고, 여러 에이전트가 병렬로 움직이면 수초 안에 수천 인스턴스가 생깁니다.

수시간이나 수일 동안 사용자를 대신해 일하는 에이전트에는 진행 상태를 잃지 않는 비동기 실행 엔진이 필요합니다. Workflows는 각 단계를 독립적으로 재시도하고, 사람의 승인을 기다리며 멈췄다가 장애 후에도 작업을 이어 갈 수 있습니다. 워크플로 자체로 에이전트 루프를 구현하거나 에이전트를 계속 실행하는 사례도 생겼습니다. Agents SDK 통합으로 인스턴스 생성과 실시간 진행 상황 수신이 쉬워졌고, Cloudflare는 Project Think의 등장으로 생성 속도가 더 빨라질 것으로 예상합니다.

이 부하를 수용하도록 컨트롤 플레인을 재설계한 뒤, Cloudflare는 병렬 실행 한도를 기존 4,500개에서 50,000개로 높였습니다. 계정별 생성 속도 한도는 초당 100개에서 300개로, 워크플로별 대기열 한도는 100만 개에서 200만 개로 늘었습니다. 대기열에는 생성되거나 깨어난 뒤 실행 슬롯을 기다리는 인스턴스가 들어갑니다.

발표된 수치는 서비스의 기본 제공 한도입니다. 초당 수천 인스턴스 생성과 수백만 인스턴스 병렬 실행은 설계가 지향하는 규모이며, V2에서는 한도를 조정하며 계속 높일 수 있도록 했습니다.

계정의 모든 인스턴스를 관리하던 Account

V1의 제약은 Account에 있었습니다. Workflows는 Cloudflare의 개발자 플랫폼 위에서 SQLite 기반 Durable Objects를 실행·조정·저장에 사용합니다. 인스턴스마다 하나씩 생성되는 Engine이 단계 실행과 재시도, 대기를 담당하고, 계정당 하나인 Account가 그 계정의 모든 워크플로와 인스턴스를 관리하는 설계였습니다.

생성·수정·목록 조회를 비롯해 Account에 의존하는 작업은 모두 이 단일 Durable Object를 거쳤습니다. 수천 인스턴스가 시작하고 끝나는 부하에서는 Account로 향하는 요청도 초당 수천 건까지 늘어날 수 있었습니다. 초기 한도는 이 병목 때문에 생긴 고정 상한이었습니다.

큐에 들어간 인스턴스가 실제로 존재하는지도 문제였습니다. V1은 큐에 넣기 전에 Engine의 존재를 확인하지 않아, 대기열에는 인스턴스가 있지만 대응하는 Engine은 아직 없는 상태를 허용했습니다. V2는 해당 Engine만을 인스턴스 존재 여부의 유일한 기준으로 삼았습니다. 새 Account에는 필요한 최소 메타데이터만 남기고, 병렬로 받는 요청량에도 일정한 상한을 두도록 설계했습니다.

인스턴스의 시작을 보장하는 Engine 알람

V2의 생성 요청은 먼저 컨트롤 플레인 버전과 해당 위치의 캐시를 확인합니다. 워크플로와 버전 정보가 캐시에 없을 때만 Account에서 워크플로 이름·고유 ID·버전을 받아 캐시합니다. 그 뒤 인스턴스 페이로드와 생성 시각처럼 필요한 메타데이터를 해당 Engine에 기록합니다.

Engine이 컨트롤 플레인에 자신의 존재를 알리는 작업은 백그라운드로 넘겼습니다. 생성 요청의 처리 경로는 짧아지지만, 백그라운드 작업에는 실패 가능성이 있습니다. Durable Object가 퇴거되거나 서버에 장애가 생기면 통지가 끝나지 않을 수 있기 때문입니다.

그래서 생성 요청을 처리할 때 Engine에 알람도 설정합니다. Durable Object 알람은 지정한 미래 시점에 객체를 깨우며, 적어도 한 번 실행하는 모델과 자동 재시도를 제공합니다. 백그라운드 작업이 끝나지 않아도 알람이 인스턴스의 시작을 보장합니다. Workflows는 이 조합을 폭넓게 사용해 생성 경로에서 작업을 덜어 내면서도 실행 신뢰성을 유지했습니다.

슬롯을 나눠 실행을 이어 가는 SousChef와 Gatekeeper

생성된 인스턴스의 생명주기를 다시 Account 하나에 맡겨서는 요청이 몰리는 문제를 풀 수 없습니다. V2는 이 관리를 워크플로별로 수평 확장하고 여러 리전에 분산했습니다. Account의 ‘부사령관’인 SousChef가 그 역할을 맡습니다. 각 SousChef는 특정 워크플로의 일부 인스턴스에 관한 메타데이터와 생명주기를 관리하고 Account에 보고합니다. 이 설계 덕분에 기존 계정별 격리에 더해 같은 계정 안의 워크플로별 격리도 얻었습니다.

실행을 시작하려면 슬롯이 필요합니다. Gatekeeper는 계정의 병렬 실행 슬롯을 SousChef들에 배분하는 임대 장치입니다. 새 인스턴스가 무작위로 SousChef에 배정되면, SousChef는 Account에 슬롯을 요청합니다. 슬롯을 받으면 인스턴스를 실행하고 멈춘 채 남지 않도록 관리하며, 받지 못하면 큐에서 기다리게 합니다.

SousChef를 늘리는 것만으로 Account를 보호할 수는 없습니다. SousChef와 Account 사이의 통신은 1초 주기로 제한하고, 한 주기에 생긴 슬롯 요청을 하나의 JSRPC 호출로 묶습니다. 인스턴스 생성량이 늘어도 그 요청량이 그대로 Account에 전달되지 않도록 한 것입니다. SousChef 수 자체가 너무 많아지면 호출을 제한하거나 서로 다른 시간대에 나눠 처리합니다.

이 주기는 공정성에도 쓰입니다. 오래된 인스턴스를 공정하게 다루고 SousChef 사이의 최대 최소 공정성을 유지해, 어느 SousChef든 작업을 진행하도록 합니다. 예를 들어 대기에서 깨어난 인스턴스에는 신규 인스턴스보다 슬롯을 먼저 배정하는 식입니다.

분산된 관리 체계는 처리량 외의 동작도 바꿨습니다. 인스턴스 대상 작업은 해당 Engine으로 직접 향하므로 네트워크 홉 하나로 처리됩니다. 목록 조회는 더 빨라졌고 커서 페이지네이션의 일관성도 확보했습니다. 더 많은 인스턴스가 제시간에 실행을 이어 가는지 확인하고, 늦어진 Engine을 바로잡는 일도 가능해졌습니다.

데이터를 남겨 두고 역할을 바꾼 AccountOld

새 컨트롤 플레인을 만든 뒤에는 고객과 인스턴스를 옮겨야 했습니다. 지루한 마무리처럼 보이는 일이지만, Cloudflare 규모에서는 이 작업이 가장 큰 난제였습니다. Workflows는 출시 후 1년이 되기도 전에 수백만 인스턴스와 수천 고객을 보유했습니다. 언제든 실행 중인 인스턴스가 있었고, 큐에는 있지만 Engine은 없는 V1의 상태까지 처리해야 했습니다.

Cloudflare는 기존 Account를 AccountOld라 부르고, 그 Durable Object를 유지한 채 SousChef처럼 동작하도록 바꿨습니다. AccountOld와 SousChef가 인스턴스 메타데이터를 저장하는 SQL 테이블 구성이 같았기에 가능한 선택이었습니다. AccountOld 안에서 SousChef 클래스를 생성하고 컨트롤 플레인 버전에 맞는 코드로 요청을 처리하면, 수백만 인스턴스의 메타데이터를 별도로 옮기지 않아도 됐습니다. 테이블 구성이 달랐다면 계정마다 더 복잡하고 오래 걸리는 이전이 필요했을 것입니다.

먼저 AccountOld가 SousChef로 전환될 수 있는 코드를 배포했습니다. 이후 계정별로 V2를 켜면 새 인스턴스 생성 요청은 새 SousChef로 향하고, AccountOld는 스스로 SousChef처럼 동작하도록 전환하며, 필요한 메타데이터를 가진 새 Account도 만들어졌습니다. 이 작업들은 비슷한 시점에 진행됐습니다. 새 SousChef는 첫 요청을 받을 때 생성됐고, 신규 인스턴스는 더 이상 AccountOld로 가지 않았습니다.

모든 계정이 V2로 전환된 뒤에는 기존 인스턴스의 보존 기간이 만료되는 대로 AccountOld를 퇴역시켰습니다. 관련 인스턴스의 이전이 모두 끝나자 해당 Durable Object도 영구 종료했습니다. Cloudflare 팀이 달리는 자동차의 바퀴를 교체하는 작업에 비유한 이 마이그레이션은 서비스 중단 없이 끝났습니다.

제공 한도와 설계·운영 수치
항목값
병렬 실행 인스턴스 한도기존 4,500개 → 50,000개
계정별 생성 속도 한도도입부 비교 기준 기존 초당 100개 → 초당 300개
워크플로별 생성 속도 한도초당 100개
워크플로별 대기열 한도기존 100만 개 → 200만 개. 생성되거나 깨어난 뒤 실행 슬롯을 기다리는 인스턴스
V1 초기 생성 제한V1 구성 설명에서는 10초당 100개로 별도 서술
SousChef와 Account의 통신 주기1초마다 슬롯 요청을 묶어 주기당 JSRPC 호출 하나로 전달
V1의 Engine 배치인스턴스당 Engine Durable Object 하나
마이그레이션 규모출시 1년 이전에 수백만 인스턴스와 수천 고객
향후 설계 목표초당 수천 인스턴스 생성, 수백만 인스턴스 병렬 실행
마지막 수정 일자