목차
저장소마다 반복되던 시행착오를 줄이는 Netflix Key-Value (2024-09)
원문 정보
- 원문: Introducing Netflix’s Key-Value Data Abstraction Layer
- 매체 · 게시일: Netflix TechBlog · 2024-09-18
- 저자: Vidhya Arvind, Rajasekhar Ummadisetty, Joey Lynch, Vinay Chella
- 원문 내용을 바탕으로 재구성한 요약입니다.
서비스마다 직접 다루던 데이터베이스 API
Netflix에서 Apache Cassandra는 가입과 시청 기록, 실시간 분석, 라이브 스트리밍을 받치는 저장소입니다. 여기에 새로운 key-value 저장소가 들어오고 서비스마다 용도가 늘면서, 저장소를 잘못 쓰는 일이 반복됐습니다.
개발자가 알아야 할 내용도 많았습니다. 여러 저장소를 쓰는 글로벌 배포에서 일관성·내구성·성능을 따져야 했고, 저장소마다 데이터 모델과 접근 패턴을 다시 익혀야 했습니다. 행이 잔뜩 든 “넓은” 파티션, 값 하나가 큰 “굵은” 컬럼, 느린 페이지네이션이 단골 문제였습니다. 꼬리 지연과 멱등성도 빠지지 않았습니다. 서비스가 데이터베이스 고유 API에 직접 연결된 탓에, API가 하위 호환성을 깨면 데이터 접근을 유지하려고 조직 전체가 움직여야 했습니다.
Netflix는 Data Gateway Platform 위에 여러 추상화 서비스를 만들었습니다. 그중 가장 성숙한 서비스가 Key-Value(KV) Data Abstraction Layer입니다. 스트리밍 메타데이터, 사용자 프로필, 메시징용 푸시 레지스트리, 실시간 분석의 노출 기록 저장에 이미 쓰이고 있습니다.
저장 위치와 접근 조건을 담은 네임스페이스
KV에서는 네임스페이스가 데이터의 저장 위치와 접근 조건을 정합니다. 데이터를 논리·물리적으로 분리하고, 일관성과 지연 목표도 중앙에서 관리하는 단위입니다. 저장소를 조합할 수도 있습니다. ngsegment 예시는 Cassandra를 기본 저장소로, EVCache를 캐시로 쓰며 캐시 TTL은 180초입니다. Cassandra의 일관성 범위는 LOCAL, 목표는 READ_YOUR_WRITES로 설정했습니다.
개발자가 다루는 데이터 모델은 HashMap<String, SortedMap<Bytes, Bytes>> 모양의 두 단계 맵입니다. 해시된 문자열 ID 아래에 바이트 키와 값의 정렬 맵을 둡니다. 관련 데이터를 함께 읽는 구조화된 레코드나 시간순 이벤트에 맞는 형태입니다. 빈 키를 쓰면 평평한 맵(id → {"" → value}), 빈 값을 쓰면 이름 있는 집합(id → {key → ""})도 표현합니다. 해시맵과 집합, 이벤트 저장, 리스트, 그래프를 비롯해 수백 가지 용도가 이 모델을 사용합니다.
저장 엔진은 이 모델에서 드러나지 않습니다. Cassandra 외에 EVCache, DynamoDB, RocksDB 등을 쓸 수 있고, Cassandra에 저장한다면 레코드 ID가 파티션 키, 아이템 키가 클러스터링 컬럼이 됩니다. 개발자는 저장소별 해법을 직접 정하기보다 자신이 풀려는 데이터 문제를 설명합니다.
아이템 수로 가늠하기 어려운 페이지
아이템 10개를 읽는다는 조건만으로는 지연을 예측하기 어렵습니다. 각 아이템이 1KiB일 때와 1MiB일 때의 페이지 크기가 크게 다르기 때문입니다. KV는 페이지 한도를 바이트로 받습니다. 예를 들어 2MiB 페이지 읽기에 한 자릿수 밀리초 SLO를 설정하는 식입니다.
읽기 API인 GetItems에는 네임스페이스와 ID를 보내고, predicate로 전체(match_all), 특정 키(match_keys), 범위(match_range)를 고릅니다. selection은 바이트 기준 페이지 크기, 전체 페이지에 걸친 아이템 수 제한, 큰 값의 포함·제외를 정하는 필드입니다. 응답에는 아이템 목록과 필요한 경우 다음 페이지 토큰이 담깁니다.
문제는 저장소의 조회 한도입니다. DynamoDB와 Cassandra는 아이템이나 행 수로 조회량을 제한하므로, KV가 결과를 읽어 바이트 한도에 맞춰야 합니다. 고정된 개수로 조회한 뒤 모자라면 다시 읽고, 넘치면 초과분을 버리고 페이지 토큰을 만듭니다. 큰 아이템 하나 때문에 읽어 온 결과를 많이 버릴 수도 있고, 작은 아이템만 있으면 한 페이지를 채우려고 여러 번 조회하게 됩니다. 어느 쪽이든 읽기 증폭이 생깁니다.
KV는 실제로 소비한 아이템 수와 총크기로 평균 아이템 크기를 추정합니다. 이 값을 페이지 토큰에 넣으면 다음 페이지부터는 조회 개수를 더 알맞게 잡을 수 있습니다. 아직 토큰이 없는 첫 요청에는 서버가 로컬에 캐시한 네임스페이스별 평균 크기를 사용합니다. 이 추정치도 최근 질의 패턴에 맞춰 갱신합니다.
페이지를 끝까지 채우는 것보다 지연 한도를 지키는 편이 나은 때도 있습니다. 페이지 한도 2MiB, 종단 지연 한도 500ms인 예에서 작은 아이템이 수천 개 든 레코드를 읽는다면, 페이지를 채우기 전에 시간 한도에 가까워질 수 있습니다. 서버는 SLO를 넘길 위험이 보이면 읽기를 멈추고 페이지 토큰과 함께 응답합니다. SLO 위반 오류 대신 읽은 결과를 돌려주는 방식입니다. 적절한 데드라인을 설정한 gRPC 클라이언트는 불필요한 추가 요청도 피하게 됩니다.
큰 아이템을 나눠 담는 청크 저장소
1MiB 미만의 아이템은 주 저장소에 그대로 둡니다. 큰 아이템은 처리가 달라집니다. 주 저장소에는 ID, 키, 메타데이터만 남기고 실제 데이터는 청크로 나눠 별도 저장소에 넣습니다. 청크 저장소도 Cassandra일 수 있지만, 큰 값에 맞춘 파티셔닝을 사용합니다.
PutItems는 청크를 먼저 저장한 뒤 청크 수 같은 메타데이터와 함께 커밋합니다. 각 변경을 식별하는 멱등성 토큰이 여러 쓰기를 하나의 원자적 연산으로 묶습니다. 이 방식에서 지연은 데이터 크기에 선형으로 늘어납니다.
압축은 클라이언트에서 처리합니다. 서버에서 압축할 때보다 서버 CPU와 네트워크·디스크 I/O를 줄이기 위한 선택입니다. Netflix 검색을 지원하는 한 배포에서는 페이로드 크기가 75% 줄었습니다.
재시도와 삭제를 다루는 쓰기 API
PutItems는 레코드에 아이템을 삽입하거나 갱신하고, DeleteItems는 지정한 데이터를 삭제합니다. 요청이 재시도되거나 헤징되어도 변경을 논리적으로 한 번만, 순서대로 적용하려면 같은 변경을 알아볼 수 있어야 합니다. 두 API가 멱등성 토큰을 받는 이유입니다. 마지막 쓰기를 채택하는 last-write-wins 방식의 Cassandra에서는 이 순서가 특히 중요합니다.
토큰은 생성 시각과 무작위 nonce로 구성됩니다. Netflix는 클라이언트가 단조 증가 시각과 128비트 UUID를 만들어 보내는 방식을 선호합니다. 서버에서 토큰을 만들면 네트워크 지연이 순서에 영향을 주기 때문입니다. 더 강한 순서 보장이 필요하다면 Zookeeper 같은 도구로 리전 내 고유 토큰을 만들거나, 트랜잭션 ID 같은 전역 고유 토큰을 쓸 수 있습니다.
클라이언트 시계의 오차도 다뤄야 합니다. EC2 Nitro 인스턴스에서 측정한 편차는 1ms 미만이었지만, KV 서버는 시각 편차가 큰 토큰을 거부합니다. 너무 오래된 시각의 쓰기가 조용히 버려지거나, 먼 미래의 시각으로 기록한 쓰기가 지울 수 없는 “doomstone”이 되는 일을 막기 위해서입니다.
삭제에는 별도의 부담이 있습니다. Cassandra처럼 실제 삭제를 나중에 처리하는 저장소는 삭제가 많아지면 tombstone과 컴팩션 비용이 커집니다. KV는 레코드 전체와 범위 삭제를 tombstone 하나로 처리합니다. 레코드 전체 삭제의 지연은 아이템 수와 무관하게 일정합니다. 범위 삭제는 최신 n개만 남기거나 특정 접두사에 해당하는 데이터를 지울 때 유용합니다.
개별 아이템을 지울 때는 tombstone이 많이 생길 수 있어 다른 처리가 필요합니다. KV는 아이템 메타데이터를 만료 상태로 표시하고 TTL에 무작위 지터를 주어 삭제 시점을 분산합니다. 페이지네이션을 보호하고, 컴팩션이 따라잡는 동안 부하가 한꺼번에 몰리는 현상을 줄이는 방법입니다. 삭제 문제를 완전히 해결하지는 못합니다.
여러 아이템·레코드에 걸친 변경과 스캔을 위한 MutateItems와 ScanItems도 있습니다. 이 API들과 청크 단위의 원자적 쓰기에 관한 세부 구현은 후속 글에서 다룰 예정입니다.
설정을 주고받는 KV 클라이언트
압축이나 청킹을 서버가 지원하더라도 클라이언트의 지원 여부를 알아야 합니다. 목표 지연이 바뀌면 클라이언트의 타임아웃과 헤징 정책도 조정해야 합니다. KV는 이런 설정 변경을 재배포나 클라이언트 팀과의 조율에 의존하지 않도록, 요청을 주고받는 통신 경로에서 설정과 지원 기능을 교환하는 시그널링을 사용합니다.
클라이언트는 초기화할 때 서버와 핸드셰이크하고 목표·최대 지연 SLO 같은 신호를 받습니다. 이를 바탕으로 타임아웃과 헤징 정책을 조정하며, 핸드셰이크는 이후에도 백그라운드에서 반복됩니다. 각 요청의 signals에는 압축과 청킹 지원 여부처럼 클라이언트가 처리할 수 있는 기능을 알립니다.
보존과 삭제를 더 세밀하게 다룰 KV
앞으로는 보존과 삭제를 더 세밀하게 제어하는 수명주기 관리를 추가할 계획입니다. 아이템이 많은 레코드를 더 적은 저장 행으로 압축하는 요약 기능도 개발 계획에 있습니다. 새 저장소 엔진 통합과 사전 기반 압축 역시 앞으로 확장할 기능입니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 데이터 모델 | HashMap<String, SortedMap<Bytes, Bytes>> |
| 청킹 기준 | 1MiB 미만은 주 저장소, 이상은 청크 저장소 |
| 클라이언트 압축 효과 | 검색 관련 배포에서 페이로드 75% 감소 |
| 시계 오차 실측 | EC2 Nitro에서 1ms 미만 |
| 페이지 SLO 예시 | 2MiB 페이지 읽기에 한 자릿수 ms |
| 적응형 페이지네이션 예시 | 페이지 2MiB, 종단 지연 500ms |
| 예시 캐시 TTL | 180초 (ngsegment 네임스페이스) |
| 예시 일관성 | 범위 LOCAL, 목표 READ_YOUR_WRITES |