목차
불변 이벤트를 시간으로 나눠 담는 Netflix TimeSeries (2024-10)
원문 정보
- 원문: Introducing Netflix’s TimeSeries Data Abstraction Layer
- 매체 · 게시일: Netflix TechBlog · 2024-10-08
- 저자: Rajiv Shringi, Vinay Chella, Kaidan Fullerton, Oleksii Tkachuk, Joey Lynch
- 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 이어지는 2편에서 이 추상화 위에 만든 Distributed Counter Abstraction을 소개한다고 예고합니다.
새 콘텐츠 공개 때 몰려드는 이벤트
영상 재생, 에셋 노출, 마이크로서비스 사이의 네트워크 활동은 쉬지 않고 이벤트를 만듭니다. 새 콘텐츠가 공개되거나 리전 장애 조치로 트래픽이 몰리면 쓰기 부하는 더 커집니다. VOD에 이어 게임 등으로 사업을 넓힌 Netflix는 때로 페타바이트에 이르는 시간 데이터를 저장하면서 밀리초 단위로 읽어야 했습니다.
쓰기 요구량은 초당 최대 1,000만 건이었습니다. 높은 가용성을 유지하며 기본 키 조회를 낮은 두 자릿수 밀리초에 끝내고, 보조 속성으로 검색하고 집계하는 기능도 제공해야 했습니다. 전 세계에서 읽고 쓰되 데이터셋마다 일관성과 보존 기간을 조절해야 한다는 조건도 붙었습니다. 인프라 비용이 수백만 달러에 이를 수 있는 규모여서, 바이트당 비용과 연산당 비용 역시 설계의 조건이었습니다.
Netflix는 앞선 글에서 소개한 Key-Value Data Abstraction Layer와 Data Gateway Platform 위에 TimeSeries Abstraction을 만들었습니다. Key-Value 계층은 구조화된 키-값 데이터를 유연하게 저장하고 확장하는 기반이며, Data Gateway Platform은 데이터 계층의 보호·설정·배포를 담당합니다.
TimeSeries의 대상은 처리량이 매우 높은 불변 이벤트입니다. 이름과 달리 범용 시계열 데이터베이스는 아닙니다. 메트릭, 히스토그램, 타이머, 거의 실시간 분석은 Netflix의 텔레메트리 시스템 Atlas가 맡고, TimeSeries는 대량의 시간 이벤트를 낮은 지연과 비용으로 저장하고 읽는 데 집중합니다.
불변 이벤트를 묶는 네임스페이스
사용자는 용도에 따라 네임스페이스를 하나 이상 만듭니다. 네임스페이스 하나가 완전한 데이터셋이며, 보존 기간이나 일관성 같은 설정도 이 단위에 적용됩니다. 그 안에서는 한 기기의 device_id처럼 특정 대상에 속한 이벤트를 보존 기간 동안 모아 시계열 ID인 time_series_id로 식별합니다.
이벤트는 device_type의 값이 ios인 것과 같은 키-값 항목들의 묶음입니다. 클라이언트가 만든 타임스탬프와 UUID 같은 이벤트 식별자가 어느 시점의 어떤 이벤트인지를 나타냅니다. 한번 기록한 이벤트는 불변입니다. 서비스는 새 이벤트를 추가할 뿐입니다.
이 불변 모델에서도 같은 쓰기를 안전하게 재시도할 수 있어야 합니다. 하나의 time_series_id 안에서 event_time, event_id, event_item_key의 조합을 멱등성 키로 사용하며, 모든 변경 엔드포인트가 멱등성을 보장합니다. 응답을 받지 못해 요청을 다시 보내더라도 같은 이벤트를 중복해서 기록하지 않는 방식입니다.
행별 TTL을 대신한 Cassandra 테이블
저장 계층은 기본 저장소와 선택적 색인 저장소로 나눴습니다. 기본 저장소는 쓰기의 내구성을 보장하고 기본 키 읽기를 처리하며, 색인 저장소는 검색과 집계를 담당합니다. Netflix가 선호하는 조합은 Apache Cassandra와 Elasticsearch입니다. 저장 API 계약을 기준으로 계층을 분리했으므로 저장소 구현은 교체할 수 있습니다.
Cassandra에서 보존 기간이 지난 데이터를 지우는 단위는 테이블입니다. 이벤트마다 TTL을 설정하면 툼스톤이 많이 생기고, 특히 범위 스캔 성능이 나빠집니다. TimeSeries는 데이터를 시간·일·월 같은 시간 구간으로 나누고, 보존 단위인 타임 슬라이스 하나를 Cassandra 테이블 하나에 대응시켰습니다.
이벤트가 들어갈 슬라이스는 event_time으로 정합니다. 슬라이스는 시작 시각을 포함하고 끝 시각은 제외하며, 다음 슬라이스와 공백 없이 이어집니다. 테이블의 시간 범위 전체가 보존 기간 밖으로 나가면 테이블을 통째로 삭제하므로 행별 TTL에서 생기는 툼스톤을 피합니다.
그 대가로 일부 이벤트는 필요한 기간보다 조금 더 남습니다. 보존 기간을 바꾸기는 쉬워졌습니다. 개별 이벤트의 TTL은 나중에 수정하기 어렵지만, TimeSeries에서는 컨트롤 플레인 작업 한 번으로 보존 기간을 즉시 늘릴 수 있습니다.
시간으로 데이터를 나누는 효과는 삭제에 그치지 않습니다. 조회할 시간 범위에 맞는 데이터만 읽고, 오래된 데이터를 보관하거나 압축하기도 쉬워집니다. 넓은 파티션 문제를 완화하고 컴팩션용 여유 공간을 덜 남겨도 되므로, 디스크 사용률을 높여 비용을 줄이는 데도 도움이 됩니다.
조회 범위를 좁히는 타임 버킷
슬라이스 안에는 더 짧은 시간 구간인 타임 버킷을 둡니다. 조회 범위에 해당하는 버킷만 읽기 위한 분할입니다. 넓은 시간 범위를 조회하면 읽어야 할 파티션이 많아지지만, 여러 파티션을 병렬로 읽고 결과를 합치는 scatter-gather 방식으로 지연을 줄입니다. 읽기 작업량이 늘어나는 읽기 증폭은 남습니다. 그래도 대개 사용자가 읽는 것은 데이터의 작은 일부여서, 범위를 좁혀 얻는 이득이 더 큽니다.
시간만으로 나눠서는 한 시계열에 몰리는 쓰기를 감당하기 어렵습니다. 그래서 타임 버킷을 다시 이벤트 버킷으로 나눕니다. 한 파티션에 쓰기가 집중되는 것을 막고 파티션 크기를 줄이는 대신, 읽을 때 확인할 파티션이 늘어 읽기 증폭도 조금 더 커집니다.
슬라이스마다 달라지는 메타데이터
데이터 테이블의 파티션 키는 한 time_series_id의 이벤트를 여러 time_bucket과 event_bucket으로 분산합니다. 클러스터링 키는 주로 읽는 순서에 맞춰 데이터를 정렬합니다. 쓰는 쪽이 압축 같은 처리를 결정하고 value_metadata 열에 기록하므로, 읽는 쪽도 저장된 값을 올바르게 해석합니다.
이 배치를 정하는 정보는 별도 메타데이터 테이블에 있습니다. 네임스페이스별로 슬라이스 설정을 보관하고, 앞 슬라이스의 end_time과 다음 슬라이스의 start_time을 맞춰 시간 공백을 없앱니다. status는 테이블이 보존 기간 안에 있는지 밖에 있는지를 나타냅니다.
설정은 슬라이스마다 달라도 됩니다. 지금 들어오는 데이터의 패턴을 관찰한 뒤 앞으로 만들 슬라이스의 파티션 구성을 바꿀 수 있으며, 컴팩션 설정 같은 정보도 이 테이블에 둘 수 있습니다.
SLO에 맞춰 기다림을 줄이는 읽기 경로
쓰기를 분산하려고 늘린 파티션은 읽을 때 다시 비용이 됩니다. ReadEventRecords는 네임스페이스, 시계열 ID, 시간 구간과 선택적 이벤트 필터를 받아 여러 파티션의 결과를 모읍니다. 반환 순서는 event_time 내림차순입니다. 낮은 밀리초 지연으로 최신 이벤트부터 읽으며, pageSize와 totalRecordLimit으로 페이지 크기와 전체 반환 건수를 정합니다.
처음부터 모든 버킷을 읽지는 않습니다. 기본 fanout은 파티션 버킷 8개이며, 이들을 병렬로 스캔합니다. 데이터가 촘촘해서 앞쪽 몇 개 버킷만으로 요청을 채웠다면 이후 읽기의 fanout을 줄여 읽기 증폭을 낮춥니다. 데이터가 드문드문 있다면 정해진 상한 안에서 fanout을 늘립니다.
느린 요청에는 헤징을 적용합니다. 같은 요청을 하나 더 보내 먼저 돌아온 응답을 쓰는 방식으로, 꼬리 지연을 낮춥니다. 엔드포인트마다 네임스페이스별 SLO를 두고, 설정한 시간을 넘기면 경쟁 요청을 보냅니다. 원문의 설정 예시는 읽기 목표 0.5초·최대 1초, 쓰기 목표 0.01초·최대 0.05초입니다. 변경 요청도 멱등하므로 쓰기에 헤징을 적용해도 안전합니다.
실시간 빈도 제한처럼 타임아웃보다 일부 결과를 선호하는 클라이언트도 있습니다. TimeSeries 클라이언트는 SLO를 기준으로 부분 반환을 지원합니다. 이때도 최신순 정렬은 유지합니다.
보조 속성 검색을 맡은 Elasticsearch
시계열 ID 이외의 속성으로 이벤트를 찾거나 집계하려면 색인이 필요합니다. 사용자가 네임스페이스마다 대상 속성을 정하면, 서비스가 들어오는 이벤트에서 해당 필드를 추출해 Elasticsearch 문서로 색인합니다.
SearchEventRecords는 equals와 range 조건을 AND 같은 연산자로 묶고 시간 구간을 지정해 이벤트를 찾습니다. AggregateEventRecords는 검색 조건에 맞는 이벤트를 DistinctAggregation 같은 방식으로 집계합니다. 두 API는 최종 일관성을 허용합니다. 집계에는 초 단위의 더 긴 지연이 발생할 수도 있습니다.
Elasticsearch에 얼마나 많은 데이터를 둘지는 처리량에 따라 달라집니다. 역색인으로만 쓰고 전체 이벤트는 Cassandra에서 가져오기도 하며, 원본 데이터 전체를 Elasticsearch에 보관하기도 합니다. 사용자가 두 저장소를 직접 다룰 일은 없습니다. 검색·집계 엔드포인트가 요청을 저장소의 질의로 바꿉니다.
유실 허용 범위에 맞춰 켜는 쓰기 큐
쓰기 API는 내구성 확인 여부로 구분됩니다. WriteEventRecordsSync는 이벤트 묶음을 저장하고 내구성 확인을 돌려줍니다. WriteEventRecords는 확인을 기다리지 않고 큐에 넣는 fire-and-forget 방식입니다. 처리량이 중요하고 작은 유실을 감수하는 로깅·추적 같은 용도에 쓰입니다.
버퍼링을 사용하는 인스턴스는 이벤트를 인메모리 큐에 몇 초 동안 모읍니다. 전용 소비자가 큐를 비우면서 파티션 키별로 이벤트를 묶어 배치로 저장하므로, 순간적으로 몰린 쓰기를 완화할 수 있습니다. 배치 크기는 저장소에 맞춥니다. Cassandra에 보내는 배치는 Elasticsearch 색인 배치보다 훨씬 작습니다.
큐에 있던 이벤트는 인스턴스가 죽으면 잃을 수 있습니다. 그래서 이 방식은 일부 유실을 견디는 용도에만 적용합니다. 내구성이나 쓰기 후 읽기 일관성이 필요한 경우에는 큐를 사실상 끄고 거의 즉시 저장소에 씁니다.
인메모리 큐는 JVM 가비지 컬렉션 부담도 늘렸습니다. JDK 21과 ZGC로 전환한 뒤에는 꼬리 지연이 86% 줄었습니다.
쓰기 기한까지 정하는 컨트롤 플레인
데이터 플레인은 읽기와 쓰기를 실행하고, 컨트롤 플레인은 네임스페이스의 동작을 설정합니다. 데이터 플레인이 TimeSeries 컨트롤 스택과 통신하면, 이 스택은 모든 추상화와 네임스페이스 설정을 관리하는 샤딩된 Data Gateway Platform Control Plane과 통신합니다. 저장소의 스키마 합의가 필요한 작업을 컨트롤 플레인에 분리해 데이터 플레인의 가용성을 지킵니다.
배포 형태도 데이터셋에 맞춥니다. 단일 테넌트나 멀티테넌트 저장소를 선택하고, Data Gateway Platform으로 접근과 트래픽을 격리합니다. 보존 기간과 일관성뿐 아니라 파티션 크기, 큐 버퍼링, 쓰기를 받아들일 시간 범위까지 네임스페이스별 설정입니다.
오래된 이벤트를 언제까지 받아들일지는 acceptLimit이 정합니다. 활성 쓰기 범위를 읽기 범위보다 좁게 두는 설정으로, 값이 4시간이면 now()에서 4시간을 뺀 시각보다 오래된 이벤트는 받지 않습니다. 과거 데이터를 채우는 백필 작업에서는 이 한도를 늘리기도 합니다.
슬라이스가 쓰기 범위를 벗어나면 새 이벤트가 들어오지 않는 불변 구간이 됩니다. 이때는 캐싱, 압축, 컴팩션을 안전하게 적용할 수 있습니다. 더 적합한 전략으로 다시 컴팩션하거나 샤드를 줄이거나 나누는 동적 컴팩션도 이 조건을 활용합니다.
원문의 추적 데이터셋 설정은 이런 조절 항목들이 어떻게 쓰이는지 보여 줍니다. Cassandra를 쓰는 PRIMARY_STORAGE는 타임 슬라이스 129600초, 타임 버킷 3600초, 이벤트 버킷 4개로 설정합니다. 큐는 1초 동안 쓰기를 모으며 버퍼 용량은 4194304바이트입니다. 일관성은 consistencyScope LOCAL과 consistencyTarget EVENTUAL, acceptLimit은 129600초로 정했습니다.
보존 설정의 close_after는 1296000초로 읽기와 쓰기를 닫고, delete_after는 1382400초로 슬라이스를 삭제합니다. Elasticsearch를 쓰는 INDEX_STORAGE에도 같은 일관성·acceptLimit·보존 설정을 적용합니다. 색인 슬라이스는 129600초이며, tags.nf.app은 KEYWORD, tags.duration은 INTEGER, tags.enabled는 BOOLEAN으로 매핑하고 새로고침 간격은 60초로 둡니다.
이 많은 값을 사용자가 일일이 산정하는 방식은 아닙니다. 자동 프로비저닝이 사용자의 워크로드 요구를 구체적인 인프라와 컨트롤 플레인 설정으로 바꿉니다. 저자들은 관련 자료로 Joey Lynch의 ApacheCon 발표를 소개하고, 프로비저닝을 이후 글에서 더 다룰 수도 있다고 밝혔습니다.
실제 부하를 본 뒤 바꾸는 다음 슬라이스
네임스페이스를 만들 때는 정보가 충분하지 않습니다. 사용자는 아는 범위에서 최선의 추정치를 제시하지만, 실제 사용 양상과 처리량 요구는 시간이 지나며 바뀝니다.
서버 인스턴스는 정책에 따라 수평으로 자동 확장하고, 저장 서버 용량은 용량 계획기로 다시 계산합니다. CPU, RAM, 저장 공간이 더 필요하면 서버나 저장 인스턴스 자체를 키우는 수직 확장도 가능합니다.
디스크에도 별도 확장 경로가 있습니다. 용량 계획기가 지연에 최적화한 SSD보다 크고 저렴한 저장 공간을 선호하면 EBS를 붙일 수 있습니다. 디스크 사용량이 임계 비율에 닿으면 별도 작업이 EBS 볼륨을 키웁니다.
용량을 늘리는 것만으로 잘못 나눈 파티션이 고쳐지지는 않습니다. 초기 추정이 빗나가면 과다 분할이나 과소 분할이 생깁니다. 컨트롤 플레인은 파티션 히스토그램에서 실제 데이터 분포를 확인한 뒤, 앞으로 만들 슬라이스의 파티션 설정을 바꿉니다. 글 작성 시점에 과거 데이터의 재파티셔닝과 현재 데이터의 동적 파티셔닝은 향후 지원 계획으로 남아 있었습니다.
전 세계 데이터셋에서 확인한 처리 성능
글 작성 시점의 피크 처리량은 전 세계 초당 약 1,500만 이벤트였습니다. 모든 데이터셋을 합친 수치입니다. 쓰기 지연은 한 자릿수 초반 밀리초였고, 포인트 읽기 지연도 안정적으로 유지됐습니다.
TimeSeries는 앱과 마이크로서비스의 트레이스를 기록해 디버깅과 지원 요청에 활용됩니다. 영상 재생, 검색, 콘텐츠 참여 같은 사용자 상호작용은 추천에 쓰이며, 신기능 출시 후의 성능과 사용자 참여도도 추적합니다.
에셋 노출 기록은 콘텐츠와 에셋 전달을 최적화하는 데 쓰입니다. 청구·구독 이력처럼 거래 기록의 정확성과 고객 지원을 위한 과거 데이터도 저장합니다. 일부 유실을 허용하는 추적부터 내구성 확인을 요구하는 쓰기까지, 용도에 맞춰 동작을 조절하는 추상화입니다.
더 낮은 비용을 겨냥한 후속 설계
글 작성 당시의 계획에는 오래되어 덜 읽히는 데이터를 더 싼 객체 스토리지로 옮기는 계층형 스토리지가 포함됐습니다. 첫 바이트를 받기까지 더 오래 걸리는 대신 보존 비용을 낮추는 방향입니다. Netflix는 이 방식으로 수백만 달러를 절약할 가능성을 기대했습니다.
이벤트 버킷도 더 유연하게 만들 계획이었습니다. 동적 이벤트 버킷팅은 이벤트가 들어오는 동안 적절한 파티션 크기를 정하고, 분할이 필요 없는 시계열 ID는 나누지 않는 방식입니다. 불필요한 분할을 피하면 읽기 증폭도 줄어듭니다. Cassandra 4.x에서 넓은 파티션의 범위 스캔 성능이 크게 개선된 점이, 미리 잘게 나누는 정도를 줄이려는 배경입니다.
불변 시간 구간을 활용한 캐싱도 후속 과제입니다. 이벤트 전체 대신 특정 구간의 개수만 원하는 사용자를 위한 카운트와 기타 집계 기능도 추가할 계획으로 제시했습니다.
설정값과 규모 수치
| 항목 | 값 |
|---|---|
| 목표 쓰기 처리량 | 초당 최대 1,000만 건 |
| 피크 처리량(글 작성 시점) | 전 세계 초당 약 1,500만 이벤트 |
| 기본 키 읽기 목표 | 두 자릿수 밀리초 이내 |
| 읽기 기본 fanout | 파티션 버킷 8개 병렬 |
| 예시: 타임 슬라이스 / 타임 버킷 | 129600초 / 3600초 |
| 예시: 이벤트 버킷 수 | 4 |
| 예시: 큐 병합 시간 / 버퍼 용량 | 1초 / 4194304바이트 |
| 예시: acceptLimit | 129600초 |
| 예시: 보존 close_after / delete_after | 1296000초 / 1382400초 |
| 예시: 색인 새로고침 간격 | 60초 |
| 예시: SLO 읽기 목표 / 최대 | 0.5초 / 1초 |
| 예시: SLO 쓰기 목표 / 최대 | 0.01초 / 0.05초 |
| JDK 21 ZGC 전환 효과 | 꼬리 지연 86% 감소 |