목차
조회 폭주 속에서 발행을 지키는 Netflix Live Origin (2025-12)
원문 정보
- 원문: Netflix Live Origin
- 매체 · 게시일: Netflix TechBlog · 2025-12-15
- 저자: Xiaomei Liu, Joseph Lynch, Chris Newton
- 원문 내용을 바탕으로 재구성한 요약입니다. 라이브 스트리밍 파이프라인 구조를 다룬 앞선 글 “Behind the Streams: Building a Reliable Cloud Live Streaming Pipeline for Netflix"의 후속입니다.
미리 배치할 시간이 없는 라이브
VOD에는 콘텐츠를 미리 배치할 시간이 있습니다. 라이브에는 그 여유가 없습니다. 2초마다 새 세그먼트가 생기고, 각 세그먼트를 저장할 때 허용된 재시도 예산도 2초뿐입니다. Open Connect에서 조회 요청이 몰려오더라도 새 콘텐츠의 발행을 지켜야 합니다.
Netflix가 직접 만든 Live Origin은 이 발행과 배포의 경계에 있습니다. 클라우드 라이브 스트리밍 파이프라인에서 콘텐츠를 받아 Netflix 자체 CDN인 Open Connect로 내보내며, 어느 콘텐츠가 최종적으로 클라이언트 기기에 도달할지를 결정합니다. AWS EC2에서 실행하는 멀티 테넌트 마이크로서비스로, 통신 방식은 표준 HTTP입니다. Packager가 PUT으로 파일을 저장한 URL을 나중에 Open Connect가 GET으로 요청합니다.
이 오리진은 파일의 존재 여부만 확인하지 않습니다. 클라우드 인코더의 epoch locking 덕분에 서로 다른 리전의 인코딩 파이프라인 중 어느 쪽 세그먼트든 선택할 수 있습니다. 장애 조치를 서버에서 맡아 클라이언트를 단순하게 유지하는 설계입니다.
발행 일정도 알고 있습니다. 매니페스트가 고정 길이 세그먼트와 세그먼트 템플릿을 사용하므로, 잦은 매니페스트 갱신을 피하면서 다음 세그먼트가 나올 시각까지 예측합니다. 콘텐츠를 고르는 능력과 발행 시각을 아는 능력이 저장소, 캐시, 과부하 대응에 함께 쓰입니다.
2초의 재시도 예산에 맞춘 KeyValue
처음부터 전용 저장소를 만든 것은 아닙니다. Live Origin도 SVOD처럼 AWS S3를 썼고, 트래픽이 적은 이벤트에서는 문제가 없었습니다. 규모가 커지면서 라이브의 요구가 드러났습니다. S3는 약속한 가용성을 지켰지만, 모든 쓰기가 중요한 라이브에서는 2초의 재시도 예산 안에 실시간 전달을 마쳐야 했습니다.
필요한 저장소는 글로벌 저지연 고가용성 데이터베이스에 가까웠습니다.
- 쓰기 가용성: 단일 AWS 리전 안에서 거의 완전한 가용성, 다른 리전으로 수 초 이내 복제. 500ms 안에 실패한 쓰기는 원인을 조사하고 재발을 막을 버그로 취급
- 복제 처리량: 리전 사이에 수백 MiB를 복제하는 높은 처리량
- 파티션 크기: O(MiB) 쓰기가 누적되어 파티션당 O(10k) 키, 이벤트당 O(GiB) 규모
- 일관성과 읽기 지연: 같은 리전에서 read-your-write를 보장하며 1초 미만의 읽기 지연 충족
- 조회 폭주 대응: Open Connect의 최악 부하에서도 쓰기에 영향을 주지 않고 O(GiB) 읽기 처리량 감당
Netflix에는 이미 Apache Cassandra 기반의 KeyValue Storage Abstraction이 있었습니다. 게임 상태를 클라우드에 저장하려고 만든 것으로, MiB에서 GiB에 이르는 큰 값을 청크로 나눠 저장합니다. 라이브에 적용하려면 쓰기 가용성을 더 높이고, 계속 커지는 파티션과 오리진 스톰의 읽기 부하까지 감당해야 했습니다.
청크 단위로 쓰기를 받는 Cassandra
KeyValue의 청킹·압축 알고리즘은 O(MiB) 작업을 작은 조각으로 나눕니다. 각 조각에 멱등 재시도와 헤징을 적용해 엄격한 지연 SLO를 지키고, 데이터는 클러스터 전체에 분산합니다.
Cassandra의 local-quorum 일관성 모델은 가용 영역 하나가 통째로 장애를 겪어도 쓰기를 허용합니다. 여기에 쓰기에 최적화된 LSM 저장 엔진을 결합해 가용성, 복제 처리량, 파티션 크기, 일관성 요구를 충족했습니다. 반복 개선 끝에 P99 꼬리 지연이 이전 방식의 P50과 비슷한 수준에 도달했고, 리전 간 복제도 저장소 내부에서 처리합니다.
비용은 훨씬 비싸졌습니다. SSD 기반 데이터베이스를 사용하는 선택이었으며, 이 설계의 목표는 비용 최소화가 아니었습니다.
읽기 부하를 분리한 EVCache
쓰기를 해결해도 오리진 스톰이 남았습니다. 수십 개의 Open Connect 최상위 캐시가 여러 O(MiB) 세그먼트를 한꺼번에 요청하는 상황을 대략 계산하니, 최악의 읽기 처리량은 O(100Gbps)에 이르렀습니다.
청크 접근을 세심하게 조정한 Cassandra는 네트워크 라인 레이트인 100Gbps로 읽기에 응답했습니다. 그러나 그 부하에서 함께 처리하던 쓰기의 성능과 가용성이 받아들이기 어려운 수준으로 떨어졌습니다. 읽기 속도만 확보해서는 요구를 만족하지 못했습니다.
해법은 Memcached 기반 분산 캐시인 EVCache였습니다. KeyValue가 청크를 저장할 때 EVCache에도 기록하는 write-through 캐싱을 적용해 거의 모든 읽기를 캐시에서 처리했습니다. 그 결과 쓰기에 영향을 주지 않으면서 200Gbps 이상의 읽기 처리량을 달성했습니다.
최종 구성에서 Live Origin은 KeyValue에 읽기와 쓰기를 요청합니다. KeyValue는 EVCache의 write-through 캐시를 관리하고, 안전한 청킹 프로토콜로 큰 값과 파티션을 Cassandra 클러스터 전체에 분산합니다. 읽기는 대부분 캐시에서 끝나고, 캐시에 없는 데이터만 저장소에서 가져오는 구성입니다.
Netflix는 이 조합으로 1년 넘게 Live Origin의 요구를 충족해 왔습니다. 큰 쓰기를 낮은 지연으로 처리하면서 리전 간 복제를 수행하는 기법과, 일관된 write-through 캐싱을 구현한 세부 내용은 후속 글에서 공개할 계획이라고 합니다.
CDN 조회와 분리한 발행 경로
라이브의 발행 부하는 이벤트 수만으로 설명되지 않습니다. 이벤트 하나에도 여러 비디오 인코딩과 인코더 래더, 언어·포맷·비트레이트가 다른 오디오, 광고 유무에 따른 콘텐츠 버전이 있습니다. 이런 스트림 렌디션에 여러 이벤트까지 겹치면 멀티 테넌트 오리진이 처리해야 할 발행 RPS도 높아집니다. 조회 규모 역시 큽니다. 2024년 Tyson 대 Paul 경기에서는 역대 최고인 6,500만 동시 스트림을 관측했습니다.
Netflix는 전통적인 origin shield를 두는 대신 오리진 자체를 크게 확장하는 방식을 택했습니다. 종단 간 캐시 일관성을 더 잘 통제하고 구성을 단순하게 유지하기 위해서였습니다. Live Origin은 여러 사이트에 분산된 Open Connect 최상위 노드와 직접 연결됩니다. 각 사이트에서는 스트림 렌디션마다 지정된 노드만 오리진에서 직접 콘텐츠를 가져올 수 있습니다.
발행 트래픽은 예측 가능하지만 CDN 조회는 갑자기 늘어납니다. 그래서 저장소 내부의 읽기·쓰기 분리를 서비스 경로에도 적용했습니다. EC2의 발행용 스택과 CDN 조회용 스택을 나누고, 저장소 추상화 계층에서도 KV 읽기 클러스터와 쓰기 클러스터를 따로 두었습니다. 그 아래에서는 EVCache와 Cassandra가 읽기와 쓰기 경로를 분리합니다. 발행과 조회를 독립적으로 확장하면서, CDN의 급증한 요청이 발행 성능과 신뢰성을 해치지 않도록 한 것입니다.
격리만으로 모든 자원이 늘어나지는 않습니다. EC2 오리진 인스턴스는 수평 오토스케일이 되지만, 저장소 용량과 AWS에서 Open Connect로 이어지는 백본 대역폭은 자동으로 확장되지 않습니다. 한계에 도달했을 때는 어떤 요청을 먼저 처리할지 결정해야 합니다.
저장소 부하가 높으면 Netflix 마이크로서비스 플랫폼의 우선순위 속도 제한 기능으로 현재 방송 시점인 라이브 에지 트래픽을 DVR 트래픽보다 우선합니다. 사용자에게 미치는 영향이 큰 요청은 성공시키고, 영향이 작은 요청에는 실패와 이후 재시도를 허용합니다. 어느 쪽 요청인지는 세그먼트 템플릿으로 판별합니다. 템플릿을 오리진 노드의 메모리에 캐시하므로, 저장소가 과부하인 순간에도 이 판단을 위해 저장소를 조회하지 않습니다.
제한한 저우선 트래픽에는 HTTP 503과 max-age=5s를 반환합니다. Open Connect가 같은 요청의 오류 응답을 5초 동안 캐시하도록 해 반복 요청의 속도를 늦춥니다. 시뮬레이션에서는 저우선 트래픽인 nliveorigin_mp41을 고우선 트래픽과 섞었습니다. 저장소 사용률이 높아졌을 때 저우선 트래픽만 영향을 받았으며, 오리진 조회의 P99 지연도 통제됐습니다.
다음 세그먼트의 시각을 아는 Open Connect
오리진만 라이브에 맞춘다고 전송 경로가 완성되지는 않았습니다. 프로젝트를 시작할 당시 Open Connect는 VOD에 고도로 최적화돼 있었습니다. 오래전부터 웹 서버로 선택한 nginx와 그 아래 OS인 BSD에도 여러 개선을 적용한 상태였습니다.
Open Connect는 일반적인 CDN보다 분산 오리진에 가깝습니다. VOD 자산을 요청에 따라 채우기보다, 선별한 OCA(Open Connect Appliance)에 미리 배치합니다. 아트워크나 다운로드용 클라이언트 파일에는 온디맨드 채우기 시스템을 사용했습니다. 같은 nginx 워커가 별도의 서버 블록과 호스트명으로 제공하는 방식이었습니다. 라이브는 이 작은 객체 중심의 모델에 맞지 않았고, Netflix는 nginx의 프록시 캐싱을 확장했습니다.
클라이언트에 주는 세그먼트 템플릿을 Live Event Configuration에 포함해 OCA에도 전달했습니다. OCA는 Availability Start Time과 초기 세그먼트 번호로 현재 유효한 세그먼트 범위를 계산합니다. 범위 밖 요청은 그 자리에서 거절하므로, 불필요한 요청이 콘텐츠를 채우는 계층을 거슬러 오리진까지 올라가지 않습니다.
오리진에 도착한 요청도 발행 시각에 맞춰 처리합니다. 세그먼트가 아직 발행되지 않았다면 404와 만료 정책을 반환해 Open Connect가 발행 직전까지 오류를 캐시하게 합니다. 바로 다음 세그먼트를 요청했다면 더 기다릴 수도 있습니다. 오리진이 요청을 열어 두었다가 세그먼트가 발행되는 즉시 응답하는 방식입니다. 404가 Open Connect를 거쳐 클라이언트까지 돌아갔다가 다시 요청을 받는 왕복이 크게 줄었습니다.
이 조정에는 초 단위보다 세밀한 캐시 제어가 필요했습니다. 세그먼트가 2초마다 생기는 환경에서 표준 HTTP Cache-Control의 초 단위는 너무 길었습니다. Netflix는 nginx에 밀리초 단위 캐싱을 추가했습니다.
세그먼트 조회 전에 막는 404 폭풍
발행 일정을 안다는 이점은 없는 콘텐츠를 요청하는 부하에도 적용됩니다. 메타데이터는 이벤트, 스트림 렌디션, 세그먼트 순서로 구성하고, 발행 템플릿은 렌디션 수준에 둡니다. 캐시하기 좋은 이벤트·렌디션 정보만으로 상당수 요청을 거절할 수 있어 세그먼트마다 저장소를 조회하지 않아도 됩니다.
모르는 이벤트에는 404를 반환합니다. 이벤트를 알더라도 요청 시점이 예상 발행 시점과 맞지 않으면, 발행 시각에 맞춘 캐시 TTL을 404에 붙입니다. 세그먼트가 생성되지 않았거나 재시도 기한을 놓쳤다면 응답은 410입니다. 클라이언트가 더는 같은 세그먼트를 반복 요청하지 않게 하는 구분입니다.
메타데이터는 미디어 데이터와 분리한 컨트롤 플레인 데이터 저장소에 보관합니다. 캐시 불일치를 피하려고 이 저장소에는 분산 캐시를 두지 않았습니다. 대신 각 오리진 인스턴스가 이벤트·렌디션 메타데이터를 메모리에 캐시합니다. 404 폭풍 중에도 컨트롤 플레인 접근의 캐시 적중률이 90%를 쉽게 넘어, 저장소에 부담을 주지 않고 요청을 처리합니다.
두 파이프라인에서 고르는 유효한 세그먼트
발행에 성공한 세그먼트라도 재생을 방해할 수 있습니다. 라이브 입력은 예측한 대로만 들어오지 않고, 발행은 실시간 일정에 맞춰야 합니다. 영상 프레임이나 오디오 샘플이 빠져 길이가 짧아지거나, 세그먼트가 통째로 누락되거나, Track Fragment Decode Time이 어긋나는 시간 불연속이 생깁니다. 템플릿 기반 매니페스트로 이런 불연속을 클라이언트에 알리기도 어렵습니다.
오리진에는 다른 후보가 있습니다. 이중화한 파이프라인은 클라우드 리전, 입력 피드, 인코더와 Packager 배포까지 서로 독립이므로 양쪽에 함께 결함이 생길 가능성이 낮습니다. Packager는 가벼운 미디어 검사로 발견한 결함을 세그먼트 발행 시 메타데이터로 전달합니다. 요청을 받은 오리진은 각 파이프라인의 후보를 정해진 순서로 검사하고, 처음 찾은 유효한 세그먼트를 선택합니다.
양쪽 모두에 결함이 생기는 드문 경우도 남습니다. 그때는 결함 정보를 다운스트림에 전달해 클라이언트의 오류 은폐에 활용할 수 있습니다.
이미 Open Connect에 퍼진 세그먼트에서 문제를 발견했을 때는 캐시 무효화와 파이프라인 마스킹을 함께 사용합니다. 초기부터 있던 무효화 방식은 캐시 키의 버전 번호를 올려 이벤트의 모든 콘텐츠 캐시를 무효화하는 것이었습니다. 이벤트 전 테스트에서 네트워크를 깨끗한 상태로 되돌리는 데 쓰던 기능입니다.
이후에는 문제가 있는 변형만 골라 무효화하도록 확장했습니다. 세그먼트에 이를 만든 인코딩 파이프라인과 가져온 리전 정보가 붙어 있기 때문에 가능합니다. 예를 들어 특정 세그먼트 번호 구간에서 인코더 A가 만든 것만 무효화하거나, 인코더 A가 만들었고 리전 X에서 가져온 것만 대상으로 삼을 수 있습니다.
오리진의 선택적 파이프라인 마스킹은 Open Connect에 응답할 때 특정 파이프라인의 세그먼트 구간을 후보에서 제외합니다. Open Connect의 세밀한 무효화와 이 기능을 결합하면, 재생 오류를 일으키는 것으로 확인된 세그먼트를 숨길 수 있습니다. DVR로 지난 구간을 보는 수백만 클라이언트도 이미 발견한 결함으로부터 보호하는 방식입니다.
재생 위치와 별개로 전하는 최신 알림
콘텐츠를 늦게 보는 클라이언트에도 스트림의 최신 이벤트 알림은 전달해야 합니다. Live Origin은 HTTP 응답 헤더를 사용해 알림 전송을 클라이언트의 재생 위치에서 분리합니다.
라이브 파이프라인이 알림을 보내면 오리진은 그 시점에 생성한 세그먼트의 헤더에 넣습니다. 알림은 이후 세그먼트에도 누적됩니다. OCA는 세그먼트를 받을 때 응답 헤더에서 알림을 추출해 이벤트 ID별 메모리 데이터를 갱신하고, 자신이 내보내는 모든 응답에 최신 알림을 붙입니다.
이렇게 하면 모든 클라이언트가 라이브 에지보다 뒤에서 재생하더라도 OCA는 최신 알림을 갖습니다. 알림을 전달할 기회도 새 세그먼트 응답에 한정되지 않습니다. 어떤 응답에도 최신 정보를 실을 수 있습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 세그먼트 생성 주기 | 2초 |
| 라이브 쓰기 재시도 예산 | 2초 |
| 쓰기 실패 기준 | 500ms 안의 실패는 버그로 분류 |
| 읽기 지연 요건 | 1초 미만 (같은 리전 read-your-write) |
| 파티션 규모 | 파티션당 O(10k) 키, 이벤트당 O(GiB) |
| 오리진 스톰 읽기 처리량 추정 | O(100Gbps) |
| Cassandra 단독 읽기 | 네트워크 라인 레이트 100Gbps, 동시 쓰기 저하 |
| EVCache write-through 적용 후 | 200Gbps 이상, 쓰기 경로 영향 없음 |
| 저우선 트래픽 제한 시 응답 | HTTP 503, max-age=5s |
| 컨트롤 플레인 메타데이터 캐시 적중률 | 404 폭풍 중 90% 초과 |
| 2024년 Tyson 대 Paul 경기 동시 스트림 | 6,500만 (역대 최고) |