본문으로 건너뛰기
데이터 변경을 끝까지 전달하는 Netflix의 Write-Ahead Log
목차

데이터 변경을 끝까지 전달하는 Netflix의 Write-Ahead Log (2025-09)

원문 정보

ALTER TABLE 사고 뒤에 남아 있던 Kafka 기록

Netflix에서 개발자가 실행한 ALTER TABLE 명령으로 데이터가 손상됐습니다. 복구할 방법은 애플리케이션 쪽에 있었습니다. 데이터베이스 앞에 캐시가 있어 TTL을 빠르게 늘릴 수 있었고, 애플리케이션이 변경 내용을 Kafka에도 기록해 두었기에 데이터를 복구했습니다. 이 준비가 없었다면 영구적인 유실로 끝났을 사고입니다.

데이터 플랫폼팀은 이런 복구 능력을 모든 핵심 애플리케이션에 제공하고 싶었습니다. 각 서비스가 해결하던 문제는 데이터 손상만이 아니었습니다. 여러 저장소나 파티션에 걸친 쓰기, 리전 안팎의 데이터 복제, 실시간 파이프라인에서 실패한 메시지의 재시도에도 해법이 필요했습니다. 대량 삭제 때문에 Key-Value 노드에서 OOM이 나기도 했습니다.

이 문제들은 실제 장애와 서비스 중단으로 이어졌습니다. 대응에 엔지니어링 시간을 쏟거나, 개별 상황에 맞춘 해법을 만들고 기술 부채를 남겼습니다. 네트워크 오류와 하위 서비스 장애를 피할 수 없다면, 실패한 메시지를 잃지 않고 다시 처리하는 기능부터 공통으로 제공해야 했습니다. 재시도 때문에 처리량이 떨어지지 않도록 규모도 감당해야 하는 일이었습니다.

즉시 일관성 대신 선택한 WAL의 내구성

Netflix가 만든 Write-Ahead Log(WAL)는 데이터 변경을 먼저 기록하고 하위 소비자에게 신뢰성 있게 전달하는 분산 시스템입니다. 데이터베이스가 내려가도 변경을 계속 보관합니다. 데이터베이스가 돌아오면 그동안 쌓인 변경을 재생하는 방식입니다. 반영은 늦어져도 데이터는 잃지 않습니다. 즉시 일관성 대신 결과적 일관성을 택한 설계입니다.

여러 곳에 쓰다가 상태가 어긋나는 문제에도 같은 방식을 적용합니다. Cassandra와 Elasticsearch에 함께 쓸 때 생기는 시스템 엔트로피나, 한 데이터베이스의 여러 파티션에 걸친 갱신이 여기에 해당합니다. 먼저 WAL에 기록하고 컨슈머가 각 대상에 변경을 적용하도록 하면, 실패한 작업의 재시도와 백오프를 WAL이 맡습니다. 별도의 비동기 보정 작업은 필요하지 않습니다.

손상된 데이터의 복구에도 기록이 쓰입니다. 마지막으로 정상이었던 백업을 복원한 뒤, 손상을 일으킨 쓰기만 제외하고 WAL의 변경을 재생할 수 있습니다. 앞선 사고에서 애플리케이션이 Kafka 기록으로 복구했던 것처럼, 데이터 플랫폼이 변경 이력을 보관해 복구 수단을 제공하는 것입니다.

설정으로 역할을 바꾸는 WAL 네임스페이스

클라이언트가 사용하는 주된 엔드포인트는 WriteToLog 하나입니다. 요청 형식도 의도적으로 단순하게 만들었습니다.

  • namespace: 사용할 WAL을 식별하는 이름
  • lifecycle: 적용할 지연 시간과 원래 쓰기 시각
  • payload: 전달할 내용
  • target: 보낼 대상

응답에는 durable과 실패 사유 메시지가 들어갑니다. durable은 성공, 실패, 알 수 없음의 세 값을 갖는 Trilean입니다. WAL 요청은 하위 구현에 따라 at-least-once, 즉 최소 한 번 전달 의미를 갖습니다.

같은 API라도 네임스페이스 설정에 따라 동작은 달라집니다. 네임스페이스는 데이터를 어디에 어떻게 저장할지 정의하고 논리적으로 분리하는 단위입니다. Kafka나 SQS, 또는 둘의 조합을 선택할 수 있으며, 백오프 배수와 최대 재시도 횟수도 이곳에서 관리합니다. 데이터 플랫폼팀은 애플리케이션의 성능·내구성·일관성 요구에 맞춰 저장 시스템을 정할 수 있습니다.

메시지를 받는 프로듀서와 전달하는 컨슈머는 분리했습니다. 프로듀서는 클라이언트의 메시지를 큐에 넣고, 컨슈머는 큐에서 읽은 메시지를 대상으로 보냅니다. 다른 시스템이 자체 프로듀서나 컨슈머를 연결하는 것도 가능합니다. 대상은 Cassandra, Memcached 캐시, Kafka 큐, 상위 애플리케이션 등이며, 네임스페이스 설정과 API에서 지정합니다.

오류를 처리할 공간도 기본 구성에 포함됩니다. 네임스페이스마다 전용 메시지 큐와 실패 메시지를 보관하는 DLQ가 있으며, 일시적인 오류와 계속 남는 오류를 다룹니다. Key-Value를 쓰는 애플리케이션 팀은 플래그를 켜서 이 기능을 사용할 수 있습니다. 일반적인 메시지 처리는 Kafka 기반 네임스페이스가 맡고, 지연 처리가 필요하면 SQS를 사용합니다. 여러 파티션의 변경 상태까지 보관해야 하는 경우에는 큐에 내구성 저장소를 더합니다.

Kafka나 SQS를 직접 쓰는 방식과의 차이는 이 경계에 있습니다. 애플리케이션은 단순한 API를 사용하고, 큐를 구성하고 운영하는 복잡성은 WAL이 감춥니다. 하위 기술을 바꿔야 할 때도 컨트롤 플레인에서 변경하므로 애플리케이션이나 클라이언트 코드를 고칠 필요가 없습니다. 지연 큐, 복제, 다중 파티션 변경이라는 서로 다른 용도가 같은 진입점을 사용할 수 있는 이유입니다.

삭제 요청의 곡선을 펴는 지연 큐

WAL의 가장 흔한 용도는 지연 큐입니다. 애플리케이션이 요청을 맡기면, WAL은 지정한 지연 시간이 지난 뒤 대상에 도착하도록 보장합니다. Live Origin의 영상 삭제가 이 기능을 사용하는 사례입니다.

Live Origin은 라이브 스트림의 영상 청크를 처리하고 전달하며, Cassandra와 EVCache를 사용하는 Key-Value에 영상 데이터를 저장합니다. 문제는 이벤트가 끝난 뒤였습니다. 영상을 지우는 요청이 짧은 시간에 몰리면서 실시간 읽기·쓰기를 방해했고, Cassandra의 성능 저하와 라이브 트래픽의 타임아웃으로 이어졌습니다.

삭제를 시간에 걸쳐 나누도록 바꿨습니다. Key-Value는 삭제 요청마다 무작위 지연과 지터를 붙여 WAL에 먼저 보냅니다. WAL이 지연 시간이 지난 요청을 Key-Value로 돌려보내면, 한꺼번에 몰리던 삭제 요청의 곡선이 평평해집니다. Key-Value는 이렇게 분산된 요청을 데이터 저장소에 무리 없이 전달할 수 있었습니다.

Kafka의 재시도에도 같은 지연 큐를 씁니다. Ads, Gaming, Product Data Systems(PDS) 같은 서비스는 Kafka 요청이 실패하면 WAL에 지연 재시도를 맡깁니다. Kafka에 메시지를 쓰는 쪽과 읽는 쪽 모두 사용하는 방식입니다. 각 팀이 백오프와 재시도 계층을 따로 구현하는 부담을 줄였습니다.

Kafka를 많이 쓰는 PDS 역시 실패한 메시지를 신뢰성 있게 재시도하려고 WAL을 도입했습니다. 지연 메시지는 SQS 기반 네임스페이스가 처리합니다. PDS의 예시 설정에는 지연 큐와 DLQ, 폴링 간격 10초, 폴링당 최대 메시지 100개가 들어 있습니다. WAL은 SQS의 기본 지연 시간과 크기 제한을 넘는 요구도 지원하도록 자체 로직을 추가했습니다.

Live Origin에 따로 배정할 수 있는 EVCache 복제 경로

복제를 기본 제공하지 않는 저장 엔진에도 WAL을 사용할 수 있습니다. EVCache(Memcached)와 RocksDB 같은 시스템에 리전 내·리전 간 복제를 제공하며, 대상은 다른 애플리케이션이나 WAL, 큐로 설정할 수 있습니다. 원문이 소개한 시점에 가장 큰 사용자는 EVCache였고, 다른 저장 엔진도 도입 중이었습니다.

EVCache는 여러 리전에 같은 데이터를 유지하는 Memcached 인스턴스 클러스터입니다. 각 리전의 클라이언트는 같은 리전의 클러스터에서 읽고 쓰고 삭제합니다. 전역 일관성을 유지하려면 로컬에서 끝낼 수는 없습니다. 쓰기나 삭제를 시작한 EVCache 클라이언트가 해당 클러스터와 리전에 대응하는 WAL로 요청을 보내 다른 리전에도 복제합니다.

여기서는 EVCache 클라이언트가 프로듀서 역할을 합니다. WAL 쪽에는 컨슈머 그룹만 배포하면 됩니다. 대상 리전별 컨슈머가 Kafka 토픽을 읽어 그 리전의 Writer 그룹으로 복제 요청을 보내고, Writer가 로컬 EVCache 서버에 반영합니다. 복제용 네임스페이스의 예시 설정은 Kafka를 사용하며, target 유형은 evc-replication입니다. 목적지에는 eu-west-1, us-east-1, us-east-2, us-west-2가 들어 있습니다.

이전 설계와 비교해 가장 큰 이점은 지연에 가장 민감한 애플리케이션에 전용 경로를 줄 수 있다는 점입니다. Live Origin에는 전용 컨슈머와 Writer 그룹을 따로 두는 식으로 멀티 테넌트에서 싱글 테넌트로 옮길 수 있습니다. 지연에 덜 민감한 서비스는 멀티 테넌트를 유지합니다. 이 선택으로 장애의 영향 범위를 좁히고, 다른 서비스의 부하가 간섭하는 noisy neighbor 문제를 피합니다.

성공 응답 이후를 보장하는 MutateItems

Key-Value의 MutateItems가 성공을 반환하면 요청에 포함된 모든 연산이 결국 완료된다는 뜻입니다. 결과적 일관성을 제공하는 API입니다. WAL은 이를 위해 2단계 커밋 의미를 구현합니다. 여기서는 Key-Value가 Cassandra를 사용하고, 각 네임스페이스가 Cassandra 테이블 하나에 대응한다고 가정합니다.

하나의 MutateItems 요청에는 여러 PutItems나 DeleteItems 변경이 들어갑니다. 각 변경은 서로 다른 id와 네임스페이스, 즉 다른 테이블로 향할 수 있습니다. 연산이 요청 크기에 따라 더 작은 청크로 나뉘기도 하며, 나뉜 청크는 정해진 순서로 처리해야 합니다. 완료 여부뿐 아니라 순서도 기억해야 하는 작업입니다.

모든 변경이 끝날 때까지 클라이언트가 재시도하는 동기 방식도 고려했습니다. 하지만 저장소가 트랜잭션을 지원하지 않을 수 있고, 여러 복제본 집합에 걸친 요청은 지연을 예측하기 어렵습니다. 실패하면 요청 체인 전체를 다시 실행해야 하는 부담도 있습니다. 일부만 반영된 상태에서는 데이터가 불일치해 복잡한 롤백이 필요하거나 무결성이 깨질 수 있습니다.

Netflix는 비동기 방식을 택했습니다. 여기서 Key-Value의 제약이 드러납니다. 상태를 보관하지 않는 서비스이므로, 내부에 변경의 완료 상태와 처리 순서를 유지할 수 없습니다. 이 정보를 WAL에 맡기기로 했습니다. Key-Value의 mutateItems를 지원하는 설정에 Kafka와 durable_storage(kv 네임스페이스)가 함께 필요한 이유입니다.

요청을 받으면 Key-Value는 개별 put과 delete를 도착하는 대로 WAL에 보내면서 시퀀스 번호를 붙입니다. 모든 변경을 보낸 뒤에는 완료 마커를 전송합니다. 이 마커가 알리는 것은 전체 요청의 제출이 끝났다는 사실입니다.

WAL 프로듀서는 변경 내용과 상태, 순서 정보를 내구성 저장소에 보관합니다. 메시지 큐로 보내는 것은 완료 마커뿐입니다. 컨슈머가 마커를 꺼내면 저장소에서 해당 요청의 내용을 읽어 전체 변경 집합을 복원하고, 시퀀스 번호 순서대로 적용합니다. 실패한 변경이 있으면 완료 마커를 다시 큐에 넣어 재시도합니다.

이렇게 변경 내용을 보관하는 단계와 완료 마커를 받아 실행하는 단계를 나눴습니다. Key-Value가 요청 상태를 직접 붙들고 있지 않아도, WAL에 남은 내용과 순서 정보를 바탕으로 작업을 끝까지 처리할 수 있습니다.

사용 사례 사이에 경계를 둔 Data Gateway 샤드

이 기능들을 모두 새 기반 위에 만들지는 않았습니다. WAL은 기존 Data Gateway 인프라를 사용해 mTLS, 연결 관리, 인증, 런타임·배포 설정을 기본으로 제공받습니다. 이미 있던 컨트롤 플레인과 Key-Value 추상화 같은 구성 요소를 재사용한 덕분에, 팀은 WAL 고유의 문제에 집중할 수 있었습니다.

Data Gateway 추상화의 배포 단위는 하드웨어 인스턴스를 묶은 샤드입니다. WAL도 보통 사용 사례마다 별도 샤드를 둡니다. 예를 들어 Ads Events는 샤드 A로, Gaming Catalog는 샤드 B로 요청을 보내는 식입니다. 서로 다른 서비스의 작업을 나누고 부하 간섭을 피하려는 배치입니다.

샤드 하나에는 여러 네임스페이스를 둘 수 있습니다. 각 네임스페이스의 큐는 따로 구성하므로 같은 샤드 안에서도 큐를 격리합니다. 큐가 처리량의 병목이 되면 운영자는 네임스페이스 설정을 바꿔 큐를 즉석에서 늘릴 수 있습니다. 샤드와 네임스페이스는 Key-Value, Counter, Timeseries 등 다른 Data Gateway 추상화도 공유하는 개념이며, 네임스페이스 설정은 전역 복제되는 관계형 SQL 데이터베이스에 저장합니다.

메시지를 받는 쪽과 내보내는 쪽의 확장도 분리했습니다. 샤드의 프로듀서 그룹과 컨슈머 그룹은 CPU와 네트워크 임계치에 따라 각각 자동으로 인스턴스를 늘립니다. 처리와 소비에 필요한 자원을 독립적으로 조정해 트래픽 급증과 장애에 대응하는 방식입니다.

확장만으로 모든 요청을 받아들이지는 않습니다. WAL은 다른 Data Gateway 추상화처럼 Netflix의 적응형 부하 차단 라이브러리와 Envoy를 사용해 한도를 넘는 요청을 차단합니다. 배포는 여러 리전에 걸쳐 이루어지며, 리전마다 자체 인스턴스 그룹을 운영합니다.

WAL에서도 피할 수 없는 장애

재시도를 WAL에 맡겨도 WAL 자체의 실패는 남습니다. 트래픽이 급증하거나 컨슈머가 느려질 수 있고, 다시 시도해도 사라지지 않는 오류도 있습니다. Netflix는 데이터 파티셔닝과 백프레셔 신호로 이런 상황에 대응합니다. 변경을 내구성 있게 보관하는 기능과 함께, WAL이 어떤 방식으로 실패하고 어떤 조건에서 처리가 늦어지는지도 고려해야 하는 설계입니다.

적용 범위를 넓히는 작업도 남아 있었습니다. Key-Value에 WAL을 활용한 보조 인덱스를 추가하는 일은 향후 계획입니다. 데이터베이스와 그 백업, 또는 데이터베이스와 큐처럼 여러 저장소에 요청을 반드시 전달해야 하는 서비스에도 WAL을 활용할 계획을 밝혔습니다.

원문의 주요 설정값
항목값
WAL APIWriteToLog 단일 엔드포인트
응답 durable 값성공, 실패, 알 수 없음 (Trilean)
요청 의미at-least-once
지연 큐 예시 설정(PDS, SQS)폴링 간격 10초, 폴링당 최대 메시지 100개
교차 리전 복제 예시 대상eu-west-1, us-east-1, us-east-2, us-west-2 (Kafka)
다중 파티션 변경 요건Kafka와 durable_storage (kv 네임스페이스)
큐 구성네임스페이스마다 큐와 DLQ 기본 제공
배포 단위사용 사례별 샤드, 샤드 안에 여러 네임스페이스
네임스페이스 설정 저장소전역 복제되는 관계형 SQL 데이터베이스
삭제 분산 방식요청마다 무작위 지연과 지터를 붙여 WAL 경유
마지막 수정 일자