목차
Netflix Counter Abstraction의 몇 초 늦은 집계 (2024-11)
원문 정보
- 원문: Netflix’s Distributed Counter Abstraction
- 매체 · 게시일: Netflix TechBlog · 2024-11-12
- 저자: Rajiv Shringi, Oleksii Tkachuk, Kartik Sathyanarayanan
- 원문 내용을 바탕으로 재구성한 요약입니다. TimeSeries Abstraction 소개 글에 이어지는 “Composite Abstractions at Netflix” 시리즈의 두 번째 글이며, 다음 편으로 Graph Abstraction을 예고합니다.
수백만 건의 상호작용을 세는 카운터
Netflix는 사용자 상호작용 수백만 건을 추적하고, 기능이나 경험이 노출된 횟수를 세며, A/B 실험의 여러 측면을 집계합니다. 모두 카운트가 필요한 일이지만 숫자에 기대하는 보장은 서로 다릅니다. 짧게 끝나는 실험에서는 근삿값을 곧바로 읽는 편이 낫고, 어떤 용도에서는 조금 기다리더라도 정확하고 내구성 있는 값이 필요합니다.
Counter Abstraction은 이 차이를 카운터 유형으로 나눴습니다.
- Best-Effort: 정확성과 내구성 요구가 낮은 대신, 거의 즉시 읽을 수 있는 값과 낮은 지연, 최소한의 인프라 비용을 우선
- Eventually Consistent: 정확성과 내구성을 요구하며, 값이 정확해지기까지 약간의 지연과 조금 더 높은 비용을 허용
높은 처리량과 가용성은 어느 쪽에도 필요합니다. Netflix는 정확한 전역 카운트를 위해 앞선 글에서 소개한 TimeSeries Abstraction에 변경 이벤트를 기록하고, 백그라운드에서 집계하는 방식을 택했습니다. 집계는 최신 쓰기보다 보통 몇 초 뒤처집니다. 계속 쓰기가 들어오는 동안에도 안전하게 셀 수 있도록 의도한 지연입니다.
읽기는 빠릅니다. 글을 쓸 당시 Counter Abstraction은 여러 엔드포인트와 데이터셋에서 전 세계 초당 약 7만 5천 건의 카운트 요청을 처리했고, 모든 엔드포인트에서 한 자릿수 밀리초 지연을 보였습니다. 여기서 말하는 ‘정확’은 지연 없이 완벽한 값을 보장한다는 뜻이 아닙니다. 아주 정확한 값에 가깝게, 지연을 최소화해 제공한다는 의미입니다.
합계만으로는 복원할 수 없는 변경 이력
Netflix가 필요로 한 것은 합계뿐만이 아니었습니다. 개별 증가분이 제대로 반영됐는지 오프라인에서 검증하고 출처를 추적하는 감사, 증가분을 조정한 뒤 특정 시간 구간을 다시 세는 재계산도 요구사항에 있었습니다. 개별 증가분을 저장하지 않으면 이런 감사는 불가능합니다. 미리 합쳐 둔 값만으로는 재계산도 어렵습니다.
그렇다고 모든 변경을 따로 저장하기만 하면 읽기가 비싸집니다. Netflix가 검토한 접근들은 쓰기 경합, 유실, 재시도, 읽기 비용 가운데 서로 다른 문제에 부딪혔습니다.
가장 단순한 출발점은 전역 복제 저장소에 카운터마다 행 하나를 두는 방식입니다. 모든 작성자가 같은 행에 락이나 트랜잭션을 걸고 Compare-And-Swap을 수행하므로 경합이 심합니다. 요청을 재시도해도 중복 반영되지 않게 하는 멱등성 키도 이 데이터 모델에는 없습니다. 이를 외부 시스템에 맡기면 성능이 떨어지거나 경쟁 상태가 생길 수 있습니다. bucket_id 같은 보조 키로 쓰기를 나누고 읽을 때 합치는 방법도 있지만, 버킷 수를 고정하면 핫 키의 경합이 남을 수 있고 수백만 카운터에 동적으로 배정하려면 복잡도가 커집니다.
인스턴스마다 메모리에 증가분을 모았다가 주기적으로 저장하면 쓰기 횟수를 줄일 수 있습니다. 저장 시점에 지터를 주면 경합도 줄어듭니다. 문제는 인스턴스 장애, 재시작, 배포입니다. 아직 저장하지 않은 값이 사라지고, 요청이 여러 머신에 흩어져 있어 카운터를 언제 초기화했는지 합의하기도 어렵습니다. 같은 카운터를 같은 인스턴스로 보내면 멱등성을 확보할 수 있지만, 이번에는 리더 선출과 쓰기 경로의 가용성·지연 문제가 따라옵니다. 이런 제약을 받아들일 수 있는 용도라면 여전히 선택할 만한 방식입니다.
유실을 막으려면 Kafka 같은 내구성 있는 큐에 이벤트를 남길 수 있습니다. 카운터 키를 해시해 파티션을 정하면 같은 카운터를 같은 소비자들이 처리하므로 멱등성 검사와 초기화가 쉬워집니다. Kafka Streams나 Flink로 시간 윈도별 집계도 가능합니다. 그러나 파티션 하나를 소비자 하나가 처리하면 적체 때문에 카운트가 오래된 값으로 남을 수 있습니다. 카디널리티와 처리량이 늘어날 때 파티션을 자동으로 늘리고 재조정하는 일도 필요합니다. 개별 증가분을 보관하지 않고 미리 집계한다면 감사와 재계산의 제약 역시 남습니다.
개별 증가분을 event_time, event_id와 함께 기록하는 이벤트 로그는 이력 보존 문제를 해결하는 방향입니다. event_id에 출처를 담을 수 있고, 두 값의 조합을 쓰기의 멱등성 키로 삼을 수도 있습니다. 하지만 가장 단순하게 구현하면 읽을 때마다 모든 증가분을 훑어야 합니다. 여러 스레드가 같은 집계를 반복하고, Cassandra 같은 저장소에서는 파티션이 넓어지며, 보존 정책이 없으면 데이터도 계속 커집니다. 이벤트를 남기는 것은 큰 진전이지만, 이 비용이 겹치면 운영을 정당화하기 어려워질 수 있습니다.
Netflix는 여기서 한 방식을 통째로 고르지 않았습니다. 개별 이벤트를 남기되 큐와 슬라이딩 시간 윈도로 계속 집계하고, 버킷으로 파티션을 나누는 조합을 택했습니다.
쓰기가 끝난 구간을 기다리는 롤업
Eventually Consistent 카운터는 변경 이력과 집계 결과를 따로 보관합니다. 변경은 TimeSeries에 남기고, 집계 결과는 다음 계산의 출발점으로 저장합니다. 이 글에서 롤업과 집계는 같은 뜻입니다.
변경 이벤트를 보관하는 TimeSeries
카운터를 더하거나 초기화하면 TimeSeries Abstraction에 이벤트 레코드가 기록됩니다. Netflix는 이미 높은 가용성과 처리량, 빠르고 안정적인 성능을 갖춘 서비스에 이 일을 맡겨 Counter 서비스의 코드 복잡도를 줄였습니다. 기본 저장소는 Cassandra이며 다른 영속 저장소로 바꿀 수도 있습니다.
파티션 분할도 기존 기능을 이용합니다. time_bucket과 event_bucket 열로 이벤트를 나눠 넓은 파티션을 피하고, event_time, event_id, event_item_key를 멱등성 키로 사용해 재시도가 중복 집계로 이어지지 않게 합니다. 이벤트는 시간 내림차순으로 정렬되므로 초기화 처리에도 활용할 수 있습니다.
이력을 영원히 보관하지는 않습니다. 집계를 마치고 감사용 저렴한 저장소로 옮긴 이벤트는 기본 저장소에 계속 둘 필요가 없으며, TimeSeries의 보존 정책으로 저장 기간을 관리합니다.
현재 시각보다 뒤처진 불변 윈도
읽을 때마다 이력을 전부 합치면 이벤트 로그의 비용 문제가 그대로 돌아옵니다. 롤업은 마지막 집계 시각인 lastRollupTs 이후의 이벤트만 모아 새 값을 계산합니다. 새 카운터의 lastRollupTs에는 과거의 적당한 시각을 기본값으로 사용합니다.
집계 경계는 현재 시각까지 오지 않습니다. 아직 쓰기가 들어올 수 있는 구간을 피하고, 더 이상 이벤트를 받지 않는 불변 윈도 안에서 계산하기 때문입니다. TimeSeries의 acceptLimit은 허용 범위를 벗어난 타임스탬프의 이벤트를 거부합니다. 롤업은 이 제한에 시계 오차를 위한 여유까지 더해 집계 경계를 조금 더 과거에 둡니다.
그 결과가 보통 몇 초의 지연입니다. 이 구간을 기다리면 쓰기가 이어지는 동안에도 안정적으로 집계할 수 있지만, 리전 간 복제 문제로 이벤트를 놓칠 가능성까지 없어지지는 않습니다.
다음 계산의 출발점이 되는 체크포인트
롤업 결과는 영속 저장소에 체크포인트로 남습니다. 데이터셋마다 롤업 테이블을 하나 두고 다음 집계는 그 결과에서 이어 갑니다. 이 저장소도 기본은 Cassandra이며 설정으로 바꿀 수 있습니다.
카운터에 쓰기가 들어올 때는 같은 테이블의 last-write-timestamp도 갱신합니다. 이벤트의 event_time을 사용하고, Cassandra의 USING TIMESTAMP로 예측 가능한 last-write-wins 동작을 얻습니다. 이 시각은 나중에 해당 카운터가 모든 쓰기를 따라잡았는지 판단하는 기준이 됩니다.
읽기용 캐시는 EVCache입니다. 카운트와 집계 시각이 어긋나지 않도록 lastRollupCount와 lastRollupTs를 카운터별 캐시 값 하나에 함께 넣습니다.
더하기나 초기화 요청은 먼저 TimeSeries에 내구성 있게 기록하고 롤업 저장소의 last-write-timestamp를 갱신합니다. 내구성 확인이 실패하면 클라이언트가 같은 멱등성 토큰으로 재시도해도 이중으로 세지 않습니다. 내구성을 확보한 뒤에는 해당 카운터를 집계하라는 요청을 보내되, 그 응답은 기다리지 않습니다.
GetCount는 마지막 집계값을 빠른 포인트 읽기로 반환합니다. 약간 오래된 값일 수 있습니다. 읽기 요청도 롤업을 일으켜 마지막 집계 시각을 앞으로 옮기므로, 이후 집계가 빨라지고 앞선 롤업 실패 때문에 오래된 값이 남았을 때도 복구가 진행됩니다.
수백만 카운터를 순환시키는 Counter-Rollup
Counter Abstraction의 복잡성 대부분은 Counter-Rollup 서버에 있습니다. 각 서버는 수백만 카운터 가운데 무엇을 다시 계산할지 정하고, 같은 계산을 지나치게 반복하지 않으면서 TimeSeries가 감당할 속도로 이벤트를 읽어야 합니다.
증가분 없이 도착하는 집계 신호
카운터의 모든 연산은 Rollup 서버에 namespace와 counter만 담은 작은 이벤트를 보냅니다. 증가분은 들어 있지 않습니다. 이미 TimeSeries에 기록한 이벤트를 어느 카운터부터 집계할지 알리는 신호이므로, 집계 대상을 찾으려고 전체 이벤트 데이터셋을 훑지 않아도 됩니다.
각 인스턴스에는 이 신호를 받아 집계를 병렬로 수행하는 인메모리 큐가 여러 개 있습니다. 첫 버전에서 인메모리 큐를 선택한 이유는 프로비저닝을 단순하게 하고 비용을 낮추며 큐 재조정을 쉽게 하기 위해서였습니다. 인스턴스가 죽으면 큐의 롤업 이벤트를 잃을 수 있다는 제약을 받아들인 선택입니다.
중복 작업도 줄입니다. XXHash 같은 빠른 비암호 해시로 같은 카운터를 같은 큐에 보내고, 롤업 전용 스택에는 큰 인스턴스를 적은 수로 배치합니다. 큐에서 꺼낸 이벤트는 Set에 모읍니다. 같은 카운터의 신호가 여러 번 도착했어도 롤업 윈도마다 한 번만 집계하기 위해서입니다.
분산 락 없이 겹치는 실행과 배포
인스턴스를 하나만 두면 중복은 줄어듭니다. 하지만 롤업 요청을 받아 처리하는 가용성이 나빠집니다. 수평 확장하면 여러 스레드가 같은 롤업 값을 덮어쓸 수 있는데, Netflix는 이를 분산 락으로 막지 않습니다. 불변 윈도 안에서 집계하므로 이런 경쟁을 허용할 수 있습니다.
스레드마다 now()가 달라 값이 출렁일 수는 있습니다. 그래도 각 윈도 안의 카운트는 결국 정확한 값으로 수렴합니다. 배포 중 기존 인스턴스와 새 인스턴스가 잠시 함께 돌아도 안전한 이유 역시 같습니다.
큐 수를 바꾸는 작업은 Control Plane의 num_queues를 수정하고 재배포하는 방식입니다. 예를 들어 8에서 16으로 늘릴 수 있습니다. 기존 큐는 남은 이벤트를 처리한 뒤 정상 종료하고, 새 인스턴스는 변경한 설정으로 시작합니다.
저장소의 속도와 카운터 수에 맞춘 순환
소비자는 카운터를 묶음으로 처리하며, TimeSeries에 시간 범위를 지정해 이벤트를 병렬로 조회합니다. TimeSeries는 이 범위 스캔을 밀리초 단위의 낮은 지연으로 처리하도록 최적화돼 있습니다. 병렬 읽기가 저장소에 몰리지 않도록 카디널리티에 따라 한 번에 스캔할 시간 파티션 수도 조절합니다.
다음 묶음을 보내는 속도도 고정하지 않습니다. 소비자는 현재 묶음의 처리가 끝나기를 기다리고, 이전 묶음의 성능에 따라 대기 시간을 조절합니다. 이 백프레셔가 TimeSeries에 과도한 부하가 가는 것을 막습니다.
카운터를 큐에 얼마나 오래 남길지도 다릅니다. 카디널리티가 낮으면 카운터를 계속 롤업 순환에 둡니다. 너무 오래 뒤처져 한 번에 많은 시간 파티션을 읽는 일을 피하려는 목적입니다. 카디널리티가 높을 때까지 모든 카운터를 순환시키면 큐 메모리를 너무 많이 사용합니다. 이 경우에는 last-write-timestamp를 확인해 다시 큐에 넣을지 결정하고, 기록된 쓰기를 따라잡을 때까지 집계를 이어 갑니다.
읽는 순간의 delta를 더하는 Accurate
몇 초의 집계 지연을 줄이려는 실험적 유형도 있습니다. Accurate 카운터는 Eventually Consistent 카운터의 변형으로, 마지막 롤업 시각 이후의 delta를 실시간으로 계산합니다. 현재 카운트는 lastRollupCount에 이 delta를 더한 값입니다.
이름에 붙은 Accurate에도 앞서 설명한 ‘정확’의 단서는 그대로 적용됩니다. 실시간 집계 비용은 읽어야 할 이벤트와 파티션 수에 따라 달라지며, 너무 많은 파티션을 병렬로 스캔하지 않도록 같은 배치 원칙을 적용합니다. 데이터셋의 카운터에 자주 접근한다면 마지막 롤업 이후의 구간이 짧아져 이 방식이 효과적입니다.
짧은 A/B 실험에 충분한 EVCache
모든 카운터가 이 집계 과정을 거칠 필요는 없습니다. 짧게 진행하는 A/B 실험을 많이 병행하고 근삿값이면 충분하다면, Best-Effort 리전 카운터가 더 단순한 선택입니다. Memcached 기반 분산 캐시인 EVCache의 기본 연산으로 구현합니다.
키는 네임스페이스와 카운터 이름을 이어 붙여 만듭니다. delta가 양수이면 TTL과 함께 incr를 호출하고, 음수이면 절댓값으로 decr를 호출합니다. 읽기는 get입니다. 초기화할 때는 ReplicaPolicy.ALL로 모든 복제본에서 키를 delete합니다.
EVCache는 한 리전 안에서 매우 높은 처리량과 수 밀리초 수준 이하의 지연을 제공합니다. 공유 클러스터에 여러 사용자를 수용해 비용도 아낄 수 있습니다. 그 대신 증가 연산을 리전 간에 복제하지 않고, 일관성을 보장하지 않으며, 멱등성을 기본 지원하지 않습니다. 재시도나 헤징을 안전하게 사용할 수 없는 유형입니다.
근삿값을 센다고 해서 HyperLogLog를 택한 것은 아닙니다. HyperLogLog는 고유 조회나 방문처럼 중복을 제외한 개수를 대략 세는 데 맞지만, 키별로 값을 증감하는 데는 맞지 않습니다. Count-Min Sketch는 키 값을 일정량 바꿀 수 있고 Redis는 두 자료구조를 모두 지원합니다.
Netflix는 이미 대규모로 운영하는 저장소를 활용하고 싶었습니다. 확률적 자료구조가 키별 카운트 초기화나 TTL을 기본 지원하지 않아 추가 스케치가 필요하다는 점도 선택에 영향을 줬습니다. EVCache 방식은 카운터 키마다 메모리를 조금 사용하는 대가로, 적은 코드와 기본 기능만으로 요구를 충족했습니다.
카운터의 선택을 담은 Control Plane
사용자가 이 차이를 다루는 곳은 네임스페이스 설정입니다. Data Gateway Platform Control Plane은 Counter Abstraction을 비롯한 모든 추상화의 설정을 관리하며, 카운터의 샤딩과 전역 배포도 담당합니다. 용도별 네임스페이스에서 카운터 유형, TTL, 카디널리티를 정하면 저장소와 집계 방식은 서비스가 처리합니다.
API는 Java의 AtomicInteger를 닮았습니다.
- AddCount/AddAndGetCount: 데이터셋의 카운터를 양수나 음수 delta만큼 변경. AddAndGetCount는 변경 뒤의 값도 반환
- GetCount: 네임스페이스와 카운터 이름으로 값 조회
- ClearCount: 카운터를 0으로 초기화
AddCount/AddAndGetCount 요청에는 namespace, counter_name, delta, idempotency_token이 들어갑니다. 멱등성 토큰은 token과 generation_time으로 구성되며 ClearCount도 이 토큰을 받습니다. 이를 지원하는 카운터 유형에서는 안전하게 재시도하거나 헤징할 수 있습니다. 분산 시스템의 실패를 전제로 둔 API이지만, 앞서 본 Best-Effort에는 이 보장이 없습니다.
설정에는 앞선 설계 선택이 그대로 드러납니다. 원문에 나온 낮은 카디널리티의 Eventually Consistent 네임스페이스 예시는 CACHE, COUNTER_ROLLUP, EVENT_STORAGE로 저장소를 나눕니다.
CACHE는 공유 EVCache 클러스터를 가리킵니다. COUNTER_ROLLUP은 Cassandra 롤업 저장소에 counter_cardinality LOW, counter_type EVENTUAL을 지정합니다. 이 예시의 큐 설정은 인스턴스당 8개, 롤업 병합 간격 10초, 큐당 메모리 16MiB이며, 병렬화 계수인 rollup_batch_count는 32입니다.
EVENT_STORAGE는 TimeSeries 이벤트 저장소입니다. id당 버킷 4개, 버킷 폭 600초, 슬라이스 86400초로 시간 파티션을 구성합니다. 낮은 카디널리티에 맞춰 버킷 폭을 좁힌 예시입니다. 불변 경계인 accept_limit은 5초, 이벤트 보존 기간은 7일로 설정합니다. 이런 설정에 따라 같은 호스트의 컨테이너들이 각자 자기 범위의 설정을 가져와 여러 추상화 계층을 구성합니다.
프로비저닝도 자동화했습니다. TimeSeries와 마찬가지로 사용자가 입력한 워크로드와 카디널리티를 바탕으로 인프라와 Control Plane 설정을 산출합니다. 관련 방식은 원문에서 소개한 Joey Lynch의 발표 “How Netflix optimally provisions infrastructure in the cloud”에서도 다룹니다.
설정 예시와 운영 규모
| 항목 | 값 |
|---|---|
| 처리량 | 전 세계 초당 약 75K 카운트 요청 |
| 지연 | 모든 엔드포인트에서 한 자릿수 밀리초 |
| 불변 윈도 경계(accept_limit) | 5초 |
| 카운트가 뒤처지는 정도 | 보통 수 초 |
| 롤업 큐 설정 예시 | num_queues 8, coalesce_ms 10000, 큐당 16777216바이트 |
| rollup_batch_count | 32 |
| 시간 파티션 | id당 버킷 4개, 버킷 600초, 슬라이스 86400초 |
| 이벤트 보존 | close_after 518400초, delete_after 604800초(7일) |
| 큐 해시 | XXHash |
누락된 이벤트 뒤에 남는 오래된 값
불변 윈도를 두더라도 리전 간 복제 문제로 다른 리전의 이벤트를 놓칠 수 있습니다. 검토 중인 대안은 리전마다 롤업 테이블을 만들고, 전역 롤업 테이블에서 이를 합산하는 방식입니다. 이때 어려운 부분은 카운터 초기화를 리전 사이에 효과적으로 알리는 일입니다.
집계를 요청하는 신호도 사라질 수 있습니다. 인메모리 큐에서 롤업 이벤트를 잃거나 실패한 롤업을 재시도하지 않으면 카운트가 아주 오래된 값으로 남을 수 있습니다. 자주 접근하는 카운터는 계속 롤업 순환에 있으므로 문제가 되지 않습니다. 드물게 읽는 카운터도 첫 읽기가 롤업을 일으켜 대체로 스스로 복구됩니다.
그러나 복구를 시작한 첫 읽기에는 여전히 오래된 값이 나올 수 있습니다. 이를 허용할 수 없는 용도를 위해 Netflix는 오류 탐지 개선과 롤업 인계, 안정적으로 재시도할 수 있는 내구성 있는 큐를 계획하고 있습니다.
시리즈의 다음 글인 Composite Abstractions 3편에서는 Key-Value와 TimeSeries 추상화 위에 만든 새 서비스, Graph Abstraction을 소개할 예정입니다.