본문으로 건너뛰기
Cassandra의 넓은 파티션을 나누는 TimeSeries
목차

Cassandra의 넓은 파티션을 나누는 TimeSeries (2026-06)

원문 정보

  • 원문: Dynamic Repartitioning for Time Series Workloads
  • 매체 · 게시일: Netflix TechBlog · 2026-06-03
  • 저자: Rajiv Shringi, Kaidan Fullerton, Oleksii Tkachuk, Kartik Sathyanarayanan
  • 원문 내용을 바탕으로 재구성한 요약입니다.

타임아웃 대신 돌아온 조회 응답

조회에 약 41초가 걸렸습니다. Netflix TimeSeries Abstraction에서 500MB가 넘는 파티션을 페이지 단위로 읽은 사례입니다. 이전에는 이런 극단적으로 넓은 파티션을 조회할 때 타임아웃이 끊이지 않고 서비스가 일시적으로 불가용 상태에 빠졌습니다. 동적 분할을 적용한 뒤에는 약 31분 구간을 pageSize 1000으로 검색한 gRPC SearchEventRecords 호출이 레코드와 next_page_token을 반환했습니다. 지연은 길었지만 가용성을 지킨 응답입니다.

대부분의 넓은 파티션에서는 개선 폭이 더 뚜렷했습니다. 평균 읽기 지연이 초 단위에서 두 자릿수 밀리초 초반으로 줄었고, 수 초에 이르던 꼬리 지연도 200ms 안팎 이하로 떨어졌습니다. 읽기 타임아웃이 줄면서 클러스터도 안정을 찾았습니다. CPU 사용률은 낮아지고 스레드 큐잉은 거의 사라졌으며, 서비스 지원 부담도 줄었습니다.

밀리초 조회를 늦춘 Cassandra 파티션

TimeSeries Abstraction은 페타바이트 규모의 시간 기반 이벤트 데이터를 밀리초 지연으로 수집하고 조회합니다. 저장소로 고른 것은 Apache Cassandra 4.x입니다. 수백만 건의 쓰기를 낮은 지연과 합리적인 비용으로 처리할 수 있었고, 팀에는 대형 Cassandra 클러스터를 운영하며 쌓은 경험도 있었습니다.

시계열 데이터에서는 시간이 흐를수록 이벤트가 쌓입니다. 그만큼 파티션도 넓어집니다. 여기에 TimeSeries 서버의 높은 읽기 처리량이 더해지면서 문제가 커졌습니다. 대부분의 데이터셋은 평균 읽기 지연이 한 자릿수 밀리초였지만, 일부에서는 커진 파티션 때문에 읽기가 초 단위로 느려졌습니다. 특히 꼬리 지연이 길어지면서 타임아웃으로 이어졌습니다.

읽기 대부분이 넓은 파티션에 몰리는 극단적인 경우에는 Cassandra의 GC 일시 중지, 높은 CPU 사용률, 스레드 큐잉까지 나타났습니다. 클러스터를 키우는 방법은 늘 있었습니다. 하지만 팀은 돈을 더 쓰는 것보다 영리한 해법을 찾고 싶었습니다. 그렇게 시작한 파티셔닝 개선은 Cassandra 외의 저장소에도 적용할 수 있는 기법입니다.

새 타임 슬라이스라는 탈출구

TimeSeries는 처음부터 넓은 파티션을 피하도록 설계한 시스템입니다. Netflix가 이전 글에서 소개한 설계는 데이터를 타임 슬라이스, 타임 버킷, 이벤트 버킷으로 나눕니다. 시간 조각으로 나눈 덕분에 시간 기준 조회와 삭제가 효율적이고, 데이터를 지울 때 툼스톤을 신경 쓰지 않아도 됩니다.

처음의 분할 설정도 임의로 고르지 않습니다. 사용자가 네임스페이스, 즉 데이터셋을 만들면서 예상 워크로드를 입력하면 프로비저닝 파이프라인이 몬테카를로 시뮬레이션을 실행해 최적의 인프라와 파티션 구성을 계산합니다. 문제는 그 예상이 계속 맞지는 않는다는 점입니다. 프로젝트 초기에는 워크로드를 모르거나 잘못 추정할 수 있고, 첫날에는 잘 맞던 전략도 몇 달 뒤 워크로드가 달라지면 비효율적일 수 있습니다.

여기서 시간 조각으로 나눈 설계가 탈출구가 됩니다. 새 타임 슬라이스에는 이전과 다른 파티셔닝 전략을 적용할 수 있기 때문입니다. 다만 수천 개 데이터셋을 사람이 일일이 조정하는 방식으로는 운영을 이어 갈 수 없었습니다.

자동 조정에는 Cassandra가 제공하는 파티션 크기 분포를 활용했습니다. nodetool tablehistograms 같은 진단 기능은 파티션 크기의 백분위 분포를 보여 주므로, 너무 크게 나눴는지 너무 잘게 나눴는지 모두 확인할 수 있습니다. 팀은 Cassandra 가상 테이블로 노출되는 히스토그램을 감시할 백그라운드 워커를 추가했습니다. 이 워커는 애플리케이션에 연결된 타임 슬라이스의 파티션 크기를 목표 밀도와 비교해 조정 계수를 계산합니다. 목표는 워크로드에 따라 보통 2 MiB에서 10 MiB 사이입니다.

너무 잘게 나눈 파티션도 실제 문제였습니다. 사용자 입력을 바탕으로 60초 타임 버킷을 선택한 사례에서는 파티션 크기가 10 KB에도 못 미쳤습니다. 읽기 증폭이 커지고 스레드 큐잉이 발생한 이유입니다. 워커 로그의 예시에서도 p99 파티션 크기가 목표인 10MB를 밑돌자 타임 버킷 간격을 60초에서 604800초로 늘리는 변경을 제안했습니다.

워커가 바꾸는 것은 앞으로 생성할 타임 슬라이스의 전략입니다. 이 자동 조정을 적용한 결과 읽기 지연이 낮아졌고, 스레드 큐잉으로 생기던 타임아웃도 줄었습니다.

테이블 조정으로 해결되지 않는 TimeSeries ID

타임 슬라이스 설정을 바꾸는 방법은 테이블 데이터 대부분에 재파티셔닝이 필요할 때 효과가 있습니다. 소수 ID에만 이벤트가 유난히 많이 쌓인 경우는 다릅니다. 나머지 ID와 같은 설정으로는 이 이상치를 다루기 어렵습니다.

그렇다고 넓은 파티션을 발견할 때마다 반드시 분할해야 하는 것은 아닙니다. 영향과 데이터의 성격에 따라 선택할 여지가 있었습니다.

  • 그대로 유지: 애플리케이션의 상위 지표에 영향이 없다면 때로는 올바른 선택
  • Partial Return: 설정한 지연 SLO를 넘긴 요청을 중단하고 그때까지 모은 데이터만 반환. 완전성보다 지연을 우선하는 클라이언트에 적합
  • ID 차단: 시스템을 불안정하게 만드는 테스트·스팸 ID 같은 잘못된 데이터를 막는 극단적인 조치

Partial Return을 적용하면 꼬리 지연이 SLO 컷오프 근처까지 떨어집니다. 하지만 정상적이고 중요한 ID에 많은 이벤트가 쌓이고, 호출자가 그 데이터를 전부 읽어야 한다면 이 방법으로는 요구를 충족하지 못합니다. 이런 조회에서 긴 지연이나 타임아웃을 계속 감수할 수도 없었습니다.

팀은 TimeSeries ID 단위로 넓은 파티션을 자동 감지하고 분할하는 비동기 파이프라인을 만들었습니다. 읽다가 넓은 파티션을 발견하면 별도 작업으로 분할을 계획하고 실행합니다. 분할이 준비된 뒤에는 서버가 읽기를 새 파티션으로 돌리므로 호출자는 이 과정을 알 필요가 없습니다.

처음부터 모든 파티션을 대상으로 삼지는 않았습니다. 아직 쓰기를 받는 파티션도 분할할 수는 있지만 처리가 더 복잡합니다. 팀은 더 이상 쓰기를 받지 않는 immutable 파티션으로 범위를 좁혔습니다. 복잡한 변경을 작게 시작하면서도 타임아웃을 의미 있게 줄일 수 있는 선택이었습니다. 변경 가능한 파티션의 분할은 이후 작업으로 남았습니다.

감지는 쓰기가 아닌 읽기 경로에서 합니다. 실제 데이터 대부분에는 분할이 필요하지 않았기 때문입니다. 각 읽기 요청이 파티션별로 읽은 바이트를 추적하다가 설정한 임계값을 넘으면 서버가 Kafka로 감지 이벤트를 보냅니다. 대신 분할 작업이 따라잡기 전까지, 보통 몇 초 동안은 해당 파티션을 읽는 일부 요청이 여전히 느릴 수 있습니다.

감지 이벤트에는 Cassandra 테이블을 가리키는 time_slice, 조회한 time_series_id, 기존 파티션을 식별하는 time_bucket과 event_bucket이 들어갑니다. 서버가 쓰기 종료 여부를 계산한 immutable 값과 향후 사용을 위한 version 필드도 함께 전달합니다.

전체 데이터를 한 번 읽는 분할 계획

감지 요청이 읽은 데이터가 파티션의 전부라는 보장은 없습니다. 일부만 읽다가 임계값을 넘었을 수도 있습니다. 정확한 분할 계획을 세우려면 플래너가 파티션 전체를 한 번 읽어야 합니다.

그 읽기 자체가 실패할 수 있습니다. 그래서 계획 단계는 진행 상황을 체크포인트로 남기고, 중간에 실패하면 마지막으로 저장한 지점부터 이어 갑니다. wide_row 메타데이터 테이블이 분할 상태 전이와 체크포인트를 관리합니다. 나중에 TimeSeries 서버가 분할된 데이터를 찾아 읽을 때 필요한 정보도 이 테이블에 저장합니다.

실제 분할 방법은 플래너가 선택한 전략에 맡깁니다. EventBucketPartitionSplitStrategy는 같은 타임 버킷에 이벤트 버킷을 더 할당해 데이터를 나눕니다. 스플리터가 파티션 전체를 읽기 때문에, 나뉜 버킷 전체에 걸쳐 정렬 순서를 보장할 수 있습니다.

크다고 끝없이 쪼개지는 않습니다. 극단적으로 넓은 파티션에는 이벤트 버킷 수의 상한을 둬 읽기 증폭을 통제합니다. 상한에 걸리더라도 데이터를 여러 파티션으로 나누면 읽기 부하가 여러 Cassandra 복제본에 분산되는 효과는 남습니다.

분할을 끝냈다는 판단에는 체크섬을 사용합니다. 플래너가 저장한 분할 전 체크섬과 스플리터가 계산한 분할 후 체크섬이 일치해야 상태를 COMPLETED로 표시합니다. 데이터셋별로 분할 전후의 파티션 크기도 추적합니다. 계획한 크기로 잘 나뉘었는지, 분할 전략이 얼마나 효과적인지 확인하기 위한 측정입니다.

기존 PartitionReader로 이어지는 읽기 경로

분할된 파티션은 전체 데이터 중 일부입니다. TimeSeries 서버는 완료된 분할의 파티션 키를 주기적으로 읽어 인메모리 Bloom 필터에 넣고, 모든 읽기 요청에서 이 필터를 먼저 확인합니다. 확인 비용은 보통 한 자릿수 마이크로초 이하입니다. 호출자가 읽기 경로의 전환을 사실상 알아채지 못할 정도입니다.

필터가 차지하는 메모리도 감시합니다. 파티션 키가 작고 넓은 파티션의 비율도 낮아서, 필터는 각 서버의 메모리에 넉넉히 들어갑니다.

필터에 걸리면 서버는 wide_row 메타데이터를 조회합니다. pre_split_data에는 원래 읽으려던 타임 슬라이스, ID, 타임 버킷, 이벤트 버킷이 들어 있습니다. post_split_data에는 분할 데이터를 저장한 타임 슬라이스 테이블과 읽기에 사용할 이벤트 버킷 전략, target_event_buckets와 start_event_bucket 같은 설정이 담깁니다. 메타데이터 조회에는 read-through 캐시를 사용해 지연을 낮췄습니다.

데이터를 읽는 일은 기존 PartitionReader가 맡습니다. 큰 파티션 하나를 읽던 요청을 작은 파티션 N개에 대한 병렬 읽기로 바꾸고, 결과를 합칩니다. 이 경로가 읽기 성능과 안정성을 함께 개선합니다.

원래의 넓은 파티션은 삭제하지 않습니다. 부분 실패나 최종 일관성 때문에 문제가 생겨도 원본을 읽는 경로로 돌아갈 수 있게 하기 위해서입니다. 저장 공간은 더 들지만, 팀은 그 비용보다 안전한 폴백의 가치가 크다고 판단했습니다.

두 읽기 경로를 대조한 Comparison 모드

빠른 응답도 데이터가 틀리면 소용없습니다. 잘못된 읽기를 내보내는 결과는 치명적이므로, 팀은 분할 전후 체크섬 비교 외에도 검증을 추가했습니다. 기능의 복잡도와 배포 영향 범위, 잠재적인 피해를 고려하면 새 경로를 신뢰할 근거를 쌓는 데 시간과 자원을 쓸 이유가 충분했습니다.

오프라인 검증에는 기존 Data Bridge 파이프라인을 사용했습니다. Spark 작업이 분할된 데이터와 원본이 정확히 일치하는지 확인합니다. 실제 읽기 경로를 바꾸는 과정도 단계적으로 진행했습니다. 각 읽기 모드에서 점검을 통과해야 다음 모드로 넘어가는 방식입니다.

그중 중요한 단계가 Comparison 모드였습니다. 섀도 모드에서 기존 경로와 새 경로가 돌려준 바이트를 비교해 일치와 불일치를 확인했습니다. 데이터가 올바르게 나뉘었는지 검사하는 데서 그치지 않고, 서버가 실제로 무엇을 읽어 반환하는지까지 대조한 것입니다.

아직 쓰기를 받는 넓은 파티션의 분할과 이전에 실패한 분할의 재처리는 앞으로 진행할 작업입니다.

설정값과 관측 결과
항목값
저장소Apache Cassandra 4.x
정상 데이터셋 평균 읽기 지연한 자릿수 밀리초
과다 분할 예60초 타임 버킷, 파티션 10 KB 미만
목표 파티션 밀도워크로드에 따라 2 MiB~10 MiB
예시 조정타임 버킷 간격 60초에서 604800초
분할 대상변경이 끝난(immutable) 파티션
Bloom 필터 확인 지연보통 한 자릿수 마이크로초 이하
분할 후 평균 읽기 지연두 자릿수 밀리초 초반
분할 후 꼬리 지연약 200 ms 이하 (이전 수 초)
극단적 사례500MB가 넘는 파티션을 페이지 조회, 응답 약 41초
마지막 수정 일자