본문으로 건너뛰기
TimeSeries의 보관 비용을 줄인 Cassandra 백업 읽기
목차

TimeSeries의 보관 비용을 줄인 Cassandra 백업 읽기 (2026-08)

원문 정보

오래된 이벤트로 커진 TimeSeries 보관 비용

대부분의 쿼리는 최근 이벤트를 찾습니다. 하지만 감사와 조사를 위한 과거 데이터도 남아 있어야 하고, 내부 도구에서 이를 조회할 때는 1초 미만의 응답이 필요한 경우도 있습니다. 드물게 읽는다는 이유만으로 보관 비용이나 조회 속도를 무시할 수는 없습니다.

Netflix가 앞선 글에서 소개한 TimeSeries Abstraction은 시간순 이벤트 데이터를 높은 처리량과 낮은 지연으로 저장하고 조회하는 플랫폼입니다. 이제 Netflix의 가장 큰 데이터셋들을 맡으며, 그 규모는 여러 페타바이트에 이릅니다. 밀리초 단위 조회에 맞춘 핫 스토리지에 이 데이터를 모두 보관하면 보존 기간이 늘어날 때마다 비용도 커집니다. 노드에 데이터를 조밀하게 저장하는 일은 클러스터 확장과 배포, 안정성에도 부담이 됐습니다. 비용 효율은 한 번 개선하고 끝낼 과제가 아니었습니다.

Netflix가 택한 방향은 최근 데이터를 빠른 스토리지에 두고, 오래되어 드물게 읽는 데이터를 더 저렴한 S3로 옮기는 것이었습니다. 사용자가 호출하는 API는 그대로입니다. 저장 위치가 달라져도 하나의 인터페이스로 과거와 현재의 이벤트를 조회해야 했습니다.

데이터를 나누는 단위는 Time Slice라는 시간 창입니다. TimeSeries는 각 시간 창을 별도 테이블에 저장하고, 쓰기 경계를 지난 테이블은 불변으로 만듭니다. 컨트롤 플레인은 새 Time Slice를 만들고 전용 메타데이터 테이블에 슬라이스 정보를 관리합니다. 데이터 플레인은 이 정보를 보고 읽기와 쓰기를 해당 테이블로 보냅니다. 오래된 테이블에 더는 쓰지 않는다는 성질은 이후 콜드 스토리지 설계의 출발점이 됩니다.

Kafka·Flink 스트리밍 뒤의 Parquet 컴팩션

첫 설계에서는 Cassandra에 데이터를 저장하면서 Kafka와 Flink로 S3에도 실시간 전송했습니다. S3 쓰기를 잘게 나누지 않으려고 Time Series ID를 해시로 버킷에 배정하고, 전용 Flink 태스크가 버킷 하나씩을 맡아 이벤트를 배치로 묶었습니다. Flink 워커가 만드는 Parquet 파일은 이벤트 시각을 기준으로 시간 단위로 묶입니다. 쓰기에는 알맞았지만, 그대로 빠르게 읽기에는 적합하지 않았습니다.

읽기에 맞는 파일을 만드는 작업은 일 단위 컴팩션이 맡았습니다. 작은 Parquet 파일들을 네임스페이스마다 하나의 하루치 파일로 합치되, 내부 row group은 4~8MB로 작게 유지했습니다. Parquet의 권장 하한보다도 작은 크기입니다. 전체 스캔보다 특정 키나 시간 범위를 찾는 조회가 많았으므로, Parquet Java 라이브러리로 S3의 필요한 row group만 범위 읽기하는 편이 유리했습니다.

row group 안에서는 이벤트를 시간순으로 정렬해 조회 범위를 찾으려고 무작정 스캔하는 일을 피했습니다. 블룸 필터와 파일 메타데이터는 EVCache에 캐시합니다. 쿼리 플래너가 이 정보를 먼저 확인하면 읽지 않아도 되는 S3 데이터를 제외할 수 있습니다. 컴팩션이 끝나면 파티션별 파일 정보를 컨트롤 플레인에 기록하고, 핫 스토리지의 해당 슬라이스 데이터를 비울 수 있게 됩니다.

컴팩션 속도를 끝까지 끌어올리지는 않았습니다. 가장 큰 데이터셋 일부에서는 이 작업에 보통 약 12시간이 걸렸습니다. 빠른 완료보다 낮은 컴퓨트 비용을 우선한 선택입니다.

조회 요청이 들어오면 데이터 플레인은 핫 계층과 콜드 계층으로 쿼리를 나눠 보내고 결과를 합칩니다. 콜드 계층에서는 컴팩션 메타데이터로 읽을 범위를 좁힌 덕분에 하루치 데이터를 가져오는 데 순차 S3 읽기가 최대 세 번이면 됐습니다. 한 ID가 row group 두 개에 걸치는 드문 경우도 이 범위에 포함됩니다. 읽기당 지연은 p50 약 150ms, p99 약 500ms였으며, 글 작성 시점의 스트리밍 콜드 계층은 전 세계에서 초당 최대 1,250건을 처리했습니다.

이미 S3에 있던 Cassandra 백업

스트리밍 설계는 실제로 비용을 줄였습니다. Cassandra의 EBS 사용량이 줄었고, S3에 보관하는 Cassandra 백업도 작아졌습니다. 문제는 절감을 위해 도입한 스트리밍 인프라 자체도 비쌌다는 점입니다. 운영할 구성 요소가 늘면서 팀의 온콜 대응 범위까지 넓어졌습니다.

Netflix는 별도 스트리밍과 데이터 전송 비용을 피하고, 새 구성 요소에 드는 컴퓨트와 운영 부담도 줄이고 싶었습니다. 이미 S3에 있는 Cassandra 백업을 직접 읽을 수는 없을까요? 재해 복구를 위해 정기적으로 올리던 백업이 있었습니다. 이를 조회에 쓰면 같은 데이터를 별도 경로로 다시 보낼 이유가 없어집니다. TimeSeries가 핫 슬라이스를 콜드 스토리지로 넘길 준비를 마쳤을 때 Cassandra의 읽기를 백업으로 돌리면, 로컬 디스크의 사본도 지울 수 있습니다.

이 연결에는 Memtable을 이용했습니다. Cassandra는 원래 아직 플러시하지 않은 최근 쓰기를 Memtable에서, 플러시한 데이터를 SSTable에서 읽습니다. Cassandra 4.1부터 지원하는 pluggable Memtable을 쓰면 콜드 테이블의 읽기를 S3 백업으로 돌릴 수 있습니다. Netflix는 슬라이스 테이블을 만들 때 memtable 옵션에 커스텀 backupmemtable과 타임스탬프를 지정했습니다. 이 타임스탬프는 백업이 테이블 전체를 담고 있고 테이블도 불변임이 보장되는 시점을 가리킵니다. TimeSeries 쪽 읽기 경로는 최소한만 바꾸면 됐습니다.

백업에는 조회에 필요한 정보도 이미 들어 있었습니다. 각 노드의 S3 백업은 선언적 매니페스트와 SSTable로 구성됩니다. 버킷 아래에 클러스터를 식별하는 접두사와 노드를 식별하는 링 토큰이 있고, 그 아래 META_V2에는 스냅샷별 매니페스트, SST_V2에는 SSTable 파일이 놓입니다. 매니페스트는 앱 이름, 리전, 스냅샷 시각, 백업 경로 접두사와 키스페이스·테이블별 컴포넌트를 나열합니다. Data, Index, Filter, Statistics, Summary, CompressionInfo 등의 S3 경로를 여기서 알 수 있습니다.

큰 파일은 Data.db입니다. 곁에 있는 인덱스·메타데이터·무결성 파일은 작으며, 전체 데이터를 스캔하지 않고 파티션을 찾고 검증하고 복원하는 데 쓰입니다. Data.db를 제외한 모든 컴포넌트를 Cassandra 노드로 내려받아도 차지하는 공간은 미미했습니다. 데이터는 S3에 남겨 두고 이 작은 파일들로 먼저 쿼리를 계획하는 방식입니다.

토큰 범위에 맞춰 SSTable을 다시 나누는 ROCS

백업을 읽을 수 있다고 해서 곧바로 효율적으로 읽을 수 있는 것은 아닙니다. LCS와 TWCS 같은 표준 컴팩션 전략은 토큰 범위가 겹치는 SSTable을 만드는 경우가 많습니다. 한 파티션 키가 여러 파일에 흩어져 있으면, 읽을 때 그 토큰 범위를 포함하는 SSTable을 모두 확인해야 합니다. 포인트 조회 하나가 여러 파일 조회로 늘어나 지연을 키웁니다.

Netflix는 더 이상 쓰지 않는 슬라이스에 ReadOnlyCompactionStrategy(ROCS)를 적용했습니다. 사용자가 설정한 콜드 계층 경계를 지나 TimeSeries가 쓰기를 멈추면, ROCS가 모든 SSTable을 한 번 재컴팩션해 토큰 범위에 맞춥니다. 이 최적화를 마친 뒤 백업을 시작합니다. S3로 옮기기 전에 읽을 파일 수부터 줄이는 순서입니다.

ROCS의 효과는 콜드 스토리지에만 한정되지 않습니다. 읽기 요청이 여러 SSTable로 퍼지는 팬아웃을 줄이므로, 모든 TimeSeries 사용 사례에서 전 계층의 꼬리 지연을 낮춥니다.

백업 완료를 기다리는 Time Slice

Memtable이 백업을 가리키기 전에는 링 전체의 준비 상태를 확인합니다. ROCS 재컴팩션의 성공 여부는 Cassandra Virtual Table의 sstable_tasks 뷰에서 모든 호스트에 진행 중인 컴팩션이 없는지 확인하는 방식으로 검사합니다. 백업 완료 여부는 complete_backups 뷰가 알려 줍니다. 업로드된 수와 토큰 수가 같을 때만 uploaded가 True입니다. 원문의 예시에서는 3개 중 3개를 업로드했으면 True, 2개만 업로드했으면 False로 남습니다.

백업이 준비돼도 초기화 과정이 남아 있습니다. 백업 Memtable을 열면 상태 머신이 S3의 인덱스 데이터를 노드로 한 번 내려받습니다. 이 작업은 일반 Cassandra 작업과 분리된 전용 스레드 풀에서 비동기로 진행됩니다. S3 작업이나 파일 시스템 캐시 쓰기가 실패하면 지수 백오프로 재시도하고, 내려받은 컴포넌트의 크기가 매니페스트와 다르면 해당 파일을 지우고 다시 받습니다.

초기화 완료를 표시하는 .timestamp 파일은 그 상태를 백업 타임스탬프와 연결합니다. DDL 변경으로 테이블의 백업 타임스탬프가 바뀌면 이 파일을 지우고 초기화를 다시 시작합니다. 초기화 중인 Memtable에 들어온 읽기는 무한정 기다리지 않습니다. 대기 상한은 읽기 RPC 타임아웃의 절반입니다.

TimeSeries 컨트롤 플레인은 슬라이스가 불변 경계를 넘을 때부터 이 전환을 자동으로 진행합니다. 슬라이스마다 서로 다른 수명주기 단계에 머물러도 가용성은 유지됩니다. 백업이나 컴팩션이 늦어지는 상황도 견디도록 했습니다.

핫 경로와 분리할 수 있는 Cassandra 콜드 클러스터

Data.db를 뺀 모든 SSTable 컴포넌트가 로컬에 준비되면 Memtable이 읽기를 처리합니다. S3 읽기는 요청별로, SSTable별로, 개별 청크별로 병렬 실행합니다. 공유 캐시는 중복 가져오기를 줄이고 필요한 청크를 미리 읽습니다. S3 호출 자체를 줄이기 위한 설정도 적용했습니다.

  • 압축 청크 확대: 더 적은 횟수로 더 많은 데이터를 읽는 방식. 작은 조회에서는 필요 이상의 데이터를 읽는 비용 감수
  • 읽기 복구 비활성화: 불변이고 이미 복구된 백업 데이터에 불필요한 복구 트래픽 방지
  • 추측 재시도 비활성화: S3의 높은 지연 때문에 중복 읽기가 발생하는 상황 방지

S3 호출을 줄여도 CPU 부담은 남습니다. S3에서 데이터를 읽어 서비스하는 작업은 로컬 읽기보다 CPU를 훨씬 많이 씁니다. 콜드 읽기가 갑자기 몰려 클러스터를 압도하면 핫 경로까지 영향을 받을 수 있습니다. 저장 비용을 아끼려던 기능이 신뢰성을 위협하는 상황입니다.

이를 피하는 선택지는 콜드 읽기를 별도 Cassandra 클러스터에서 처리하는 것입니다. 콜드 클러스터의 백업 Memtable이 핫 클러스터의 S3 백업을 가리키게 하면 됩니다. 원본과 같아야 하는 것은 토폴로지이며, 하드웨어까지 맞출 필요는 없습니다. 그래서 저장 공간이 적은, 훨씬 작고 저렴한 인스턴스로 콜드 클러스터를 구성할 수 있습니다.

15PB 넘는 데이터를 보관하는 Cassandra 콜드 계층

Netflix는 스토리지 사용량이 가장 큰 TimeSeries Abstraction 클러스터들에 Cassandra 콜드 스토리지를 적용했습니다. 글 작성 시점에 보관 중인 데이터는 압축 기준 15PB를 넘습니다. 적용한 모든 클러스터에서 연결된 스토리지를 크게 줄였으며, 원문의 롤아웃 그래프에서는 디스크 사용률이 80%에서 7%로 내려갔습니다.

이 계층은 리전마다 초당 수천 건의 콜드 읽기를 처리합니다. S3 접근 패턴이 더 효율적이고 읽는 데이터 크기도 작아져, 이전 콜드 스토리지 구현보다 p90 지연이 약 30% 개선됐습니다. p99는 약 500ms 아래를 유지합니다. Cassandra의 청크 캐시가 기존에도 잘 처리하던 콜드 읽기 급증을 S3 기반 계층에서도 견디고 있습니다.

원문의 주요 수치와 설정값
항목값
스트리밍 콜드 계층 읽기 지연p50 약 150ms, p99 약 500ms
스트리밍 콜드 계층 처리량작성 시점 전 세계 초당 최대 1,250건
하루치 조회의 S3 읽기순차 최대 3회
Parquet row group 크기4~8MB
일 단위 컴팩션 잡가장 큰 데이터셋 일부에서 약 12시간
pluggable Memtable 요구 버전Cassandra 4.1 이상
초기화 중 memtable 읽기 대기읽기 RPC 타임아웃의 절반까지
Cassandra 콜드 계층 저장량압축 기준 15PB 이상
롤아웃 중 디스크 사용률80%에서 7%로 감소
이전 콜드 구현 대비 p90약 30% 개선, p99는 약 500ms 아래
마지막 수정 일자