목차
48시간 걸리던 수집 작업을 5.5시간으로 줄인 Jetflow (2025-07)
원문 정보
- 원문: Building Jetflow: a framework for flexible, performant data pipelines at Cloudflare
- 매체 · 게시일: The Cloudflare Blog · 2025-07-23
- 저자: Harry Hough, Rebecca Walton-Jones, Andy Fan, Ricardo Margalhau, Uday Sharma
- 원문 내용을 바탕으로 재구성한 요약입니다.
하루를 넘겨 버린 수집 작업
가장 오래 걸리던 수집 작업은 48시간이 걸렸습니다. 190억 행을 옮기며 메모리 300GB를 쓰던 작업입니다. Cloudflare Business Intelligence 팀이 직접 만든 Jetflow로 전환한 뒤에는 메모리 4GB로 5.5시간 만에 끝납니다.
이 팀은 페타바이트 규모의 데이터 레이크를 운영합니다. Postgres와 ClickHouse 같은 내부 데이터베이스, Salesforce 같은 외부 SaaS에서 매일 수천 개 테이블을 가져오며, 하루 총 수집량은 약 1,410억 행입니다. 테이블 하나에 하루 수억에서 수십억 행이 새로 생기기도 합니다. 제품 결정과 성장 계획, 내부 모니터링에 쓰이는 데이터입니다.
데이터는 계속 늘어났습니다. 일부 수집 작업에 약 24시간이 걸리는 상황에서 기존 ELT(추출·적재·변환) 솔루션은 기술적·사업적 요구를 더는 감당하지 못했습니다. 다른 흔한 ELT 솔루션도 평가했지만, 대체로 기존 시스템보다 빠르지 않았습니다. 팀이 자체 프레임워크를 만들기로 한 배경입니다.
Jetflow가 달성한 효율 개선은 GB-s 기준 100배를 넘습니다. 실행 시간과 자원을 줄인 효과는 비용에도 이어졌습니다. 상용 클라우드의 공시 요금으로 계산하면 Postgres에서 50TB를 수집하는 비용이 100달러 미만일 것으로 추정했습니다. 실제 청구액이 아닌 비용 추정치입니다.
행으로 바꾸는 수고를 줄인 Arrow
Jetflow에서 가장 흔한 작업은 데이터베이스에서 읽고, Parquet으로 변환하고, 오브젝트 스토리지에 저장하는 흐름입니다. 각 작업을 별도 단계로 나눴지만, 나누는 것만으로 호환성이 따라오지는 않았습니다. 팀은 처음에 자체 타입 시스템을 만들었다가 단계들을 함께 쓰는 데 애를 먹었습니다. 새 출력 형식이나 저장 대상을 추가할 때마다 코드를 새로 짜다 보면 사용 사례마다 별도 파이프라인이 생길 위험도 있었습니다.
해법은 추출 단계의 출력 형식을 하나로 제한하는 것이었습니다. 메모리에 데이터를 열 단위로 보관하는 Arrow를 선택했습니다. 뒤에 오는 단계도 Arrow를 입출력 형식으로 지원하면 나머지 파이프라인과 함께 쓸 수 있습니다. 이미 많은 데이터 프로젝트가 Arrow 출력을 지원하므로, 새 소스에 맞는 추출 단계를 만드는 일도 수월한 경우가 많았습니다.
형식을 통일하면서 불필요한 변환도 줄였습니다. 대부분의 수집 프레임워크는 데이터를 내부적으로 행 단위로 표현합니다. ClickHouse는 열 기반 소스인데도 대부분의 드라이버가 RowBinary 형식으로 데이터를 받아 언어별 행 표현으로 바꿉니다. 이를 열 기반인 Parquet으로 저장하려면 다시 행을 열로 바꿔야 합니다. Jetflow는 ClickHouse의 네이티브 Block을 열 형식으로 읽어 Arrow 컬럼으로 복사하고, 그 컬럼에서 곧바로 Parquet 파일을 씁니다.
메모리 할당에서도 차이가 납니다. 열이 10개인 8192행을 읽을 때, 행마다 메모리를 할당하는 대부분의 드라이버는 8192번을 할당하지만 Arrow는 10번이면 됩니다. 큰 고정 크기 배치로 메모리를 확보하기 때문입니다. Go의 가비지 컬렉션(GC) 시간은 주로 객체 크기보다 객체 수에 영향을 받으므로, 전체 데이터 크기가 같아도 힙 객체가 적으면 GC에 쓰는 CPU 시간을 크게 줄입니다.
Arrow는 직렬화 오버헤드 없이 머신과 프로그래밍 언어 사이로 데이터를 옮기는 데도 유리합니다. Jetflow는 처음부터 작업 컨트롤러 인터페이스를 두어 여러 실행 환경을 지원하도록 설계했습니다. 데이터를 전달하는 비용이 작으면 분산 실행을 구현할 때도 성능 손실을 줄일 수 있습니다.
연결 수보다 먼저 손본 데이터베이스 드라이버
가장 큰 데이터셋의 수집 속도는 초당 6만~8만 행에서 데이터베이스 연결 하나당 초당 200만~500만 행으로 높아졌습니다. 10배를 넘는 성능 개선입니다. 일부 데이터베이스에서는 연결 수를 늘려 처리량을 더 높일 수도 있습니다. 하지만 ClickHouse의 초기 시험에서는 연결 추가가 해법이 아니었습니다.
ClickHouse의 Block을 바로 읽는 ch-go
ClickHouse는 Jetflow가 데이터를 받는 속도보다 빠르게 읽고 있었습니다. 이런 상태에서는 연결을 더 열어도 이득이 없었습니다. 먼저 연결 하나에서 데이터를 더 빠르게 받아야 했습니다.
팀은 처음에 자체 드라이버를 작성했다가, ClickHouse의 Block을 열 형식으로 직접 읽는 저수준 라이브러리 ch-go로 바꿨습니다. 표준 Go 드라이버와 비교해 성능 차이가 컸습니다. Arrow와 변환 경로 최적화까지 더한 결과, ClickHouse 연결 하나로 초당 수백만 행을 수집하게 됐습니다.
대부분의 데이터베이스 드라이버는 대량 읽기에 최적화돼 있지 않고 행당 오버헤드가 큽니다. 편의성이나 일반적인 사용 사례를 위해 선택한 절충안이 Jetflow의 요구에도 들어맞지는 않았던 것입니다.
Postgres 행 바이트를 재사용하는 jackc/pgx
Postgres에서는 jackc/pgx 드라이버를 쓰되 database/sql의 Scan 인터페이스를 거치지 않습니다. Scan은 리플렉션으로 전달받은 값의 타입을 알아내고, 다시 리플렉션을 사용해 각 필드에 열 값을 채웁니다. 일반적인 작업에는 충분히 빠르고 편리하지만 Jetflow가 원하는 수집 성능에는 미치지 못했습니다.
Jetflow는 행의 원시 바이트를 직접 받고, Postgres OID(Object Identifier) 타입별로 jackc/pgx의 내부 스캔 함수를 사용합니다. pgx는 다음 행을 요청할 때 행 바이트를 재사용하므로 행당 메모리 할당이 0입니다. 이 방식으로 대부분의 테이블에서 연결 하나당 초당 약 60만 행을 매우 적은 메모리로 처리합니다.
코드 없이 조합하고 필요할 때 조정하는 YAML
성능과 별개로, 대부분의 수집 작업은 새 코드를 쓰지 않고 구성할 수 있어야 했습니다. 사용자가 소스와 대상 시스템의 타입 지원 여부나 타입 변환을 신경 쓰지 않도록 하고, 스키마도 직접 입력하는 대신 원본 시스템에서 추론한다는 요구였습니다. 설정 파일은 버전 관리가 가능해야 하되, 여러 변경이 몰리는 저장소에서 병목을 만들지 않아야 했습니다.
Jetflow는 파이프라인을 YAML로 조합합니다. 단계를 역할에 따라 구분하고 Consumer 하나, Transformer 0개 이상, Loader 하나 이상을 연결합니다.
- Consumer: 원본 시스템을 읽어 데이터 스트림 생성
- Transformer: 스트림을 받아 변환·검증한 뒤 같은 API의 스트림 출력
- Loader: 같은 스트리밍 인터페이스를 사용하면서 외부 시스템에 데이터를 저장하는 단계
Transformer가 같은 API로 스트림을 내보내므로 여러 변환을 연이어 연결할 수 있습니다. Loader는 외부 시스템에 데이터를 남긴다는 점에서 구별됩니다. 설계 원칙은 논리적으로 타당한 조합은 모두 실행되고, 동작하지 않는 조합은 사용자가 설정으로 만들지 못하게 하는 것입니다.
간단히 시작하되 조정할 여지도 남겼습니다. 예를 들어 Parquet 파일 쓰기는 데이터베이스 읽기보다 비용이 큰 경우가 많아, 필요하면 더 많은 자원과 동시성을 배정할 수 있어야 했습니다. 워커를 서로 다른 스레드, 컨테이너, 머신 중 어디에서 실행할지도 제어 대상으로 삼았습니다. 워커 실행과 데이터 전달은 인터페이스로 분리했고, 작업 설정에 따라 다른 구현을 주입하도록 했습니다.
단계별 분리는 테스트에도 도움이 됩니다. 각 단계를 독립적으로 검증하고, 오류 처리와 동시성 같은 공통 동작은 공유 베이스 단계에서 물려받습니다. 새 사용 사례를 개발하는 시간이 줄고 코드의 정확성을 더 신뢰할 수 있게 된 이유입니다.
팀은 로컬 컨테이너에서 파이프라인의 모든 단계를 시험할 수 있어야 한다는 조건도 뒀습니다. 블랙박스 솔루션에서는 변경 후 최종 결과를 확인하는 방식으로 테스트하는 경우가 많습니다. 피드백이 느릴 뿐 아니라 내부 코드 경로가 잘 보이지 않아 예외를 놓치기 쉽고, 문제가 생겼을 때 디버깅도 어렵기 때문입니다.
재시도할 범위를 담은 Partition
빠르게 나눠 처리하는 것만으로는 부족했습니다. 파이프라인 전체를 다시 실행하거나 일시 오류로 파티션 하나를 재시도할 때도 멱등성을 지켜야 했습니다. Jetflow는 병렬 처리를 허용하면서 재시도에 필요한 데이터 정리 범위를 알 수 있도록, 실행 범위와 처리 단위를 구별했습니다.
- RunInstance: 한 번의 파이프라인 실행에 대응하는 가장 큰 비즈니스 데이터 단위. 예를 들어 한 달·하루·한 시간의 데이터
- Partition: 외부 상태 없이 행 데이터만으로 소속을 결정하는 RunInstance의 하위 단위. 예를 들어 accountId 범위나 10분 구간
- Batch: 적은 자원으로 빠르게 스트리밍·병렬 처리하기 위한 비결정적 분할 단위. 예를 들어 1만 행이나 50MB
Partition은 행의 값으로 소속을 결정하지만, Batch는 처리할 데이터를 작은 묶음으로 나누는 데만 쓰입니다. 이 구별 덕분에 병렬 처리용 묶음과 재시도할 데이터 범위를 혼동하지 않습니다.
Consumer의 YAML 옵션에는 조회 쿼리와 함께 데이터 분할의 의미도 담깁니다. 예를 들어 “이 파티션에는 계정 ID 0~500의 데이터가 들어 있다”는 정보를 특정 시스템에 종속되지 않는 형태로 뒤 단계에 전달합니다. 뒤 단계는 파티션을 재시도할 때 필요한 범위의 데이터를 정리해 중복 저장을 피할 수 있습니다.
기존 Spark 스키마에 맞춰 옮기는 테이블
수천 개 테이블을 수집하는 환경이라 테이블별로 필요한 때에 이전할 수 있어야 했습니다. 다운스트림에서 사용하는 Spark는 서로 다른 Parquet 스키마를 병합하는 데 제약이 있습니다. 따라서 Jetflow는 각 작업에 필요한 스키마를 기존 형식과 정확히 맞춰 생성할 수 있어야 했습니다. 의존성 확인과 작업 상태를 관리하는 자체 메타데이터 시스템과의 통합도 도입 조건입니다.
2025년 7월 초 기준 Jetflow의 수집량은 하루 770억 건입니다. 나머지 작업은 이전 중이며, 이전을 마치면 Jetflow가 하루 총 1,410억 건을 처리하게 됩니다. 실행 시간과 자원 요구량이 줄면서, 다른 방법으로는 수집하지 못했을 테이블도 가져올 수 있게 됐습니다.
지원 대상은 ClickHouse, Postgres, Kafka, 여러 SaaS API, Google BigQuery 등으로 늘었습니다. 새 사용 사례가 추가된 뒤에도 모듈형 설계의 유연성은 유지됐습니다. 프로젝트를 오픈소스로 공개하는 것은 향후 계획입니다.
규모·성능 수치
| 항목 | 값 |
|---|---|
| 일일 총 수집량(이전 완료 후) | 약 1,410억 행 |
| 2025년 7월 초 기준 Jetflow 수집량 | 하루 770억 건 |
| 최장 작업 이전(행 190억 개) | 48시간, 메모리 300GB |
| 최장 작업 이후 | 5.5시간, 메모리 4GB |
| 50TB Postgres 수집 비용 추정 | 100달러 미만(상용 클라우드 공시 요금 기준) |
| 최대 데이터셋 수집 속도 이전 | 초당 6만~8만 행 |
| 최대 데이터셋 수집 속도 이후 | 데이터베이스 연결당 초당 200만~500만 행 |
| Postgres 연결당 속도 | 대부분의 테이블에서 초당 약 60만 행 |
| Arrow 할당 횟수 예시 | 8192행 x 10열에서 행 단위 8192회 대비 10회 |