목차
컨테이너를 줄이고 실패에 대비한 Stratum Resource Tuner (2026-09)
원문 정보
- 원문: Netflix Stratum Media Processing: Automated Container Right-Sizing
- 매체 · 게시일: Netflix TechBlog · 2026-09-25
- 저자: Violetta Pidvolotska, Naveen Mareddy
- 원문 내용을 바탕으로 재구성한 요약입니다.
장애가 날 때까지 그대로인 YAML
새 Stratum 함수를 만드는 엔지니어는 대개 다른 함수의 자원 설정을 복사하거나, 최악의 요청에도 버틸 만큼 넉넉하게 잡습니다. 일단 실행되기 시작하면 장애가 날 때까지 YAML을 다시 들여다보지 않습니다. 줄이는 일은 위험에 비해 보상이 작습니다. 며칠씩 메트릭을 지켜보며 시행착오를 거쳐야 하고, 너무 줄이면 프로덕션 장애로 이어지기 때문입니다.
Stratum은 Netflix가 10년 넘게 대규모 분산 시스템을 만들며 쌓은 경험을 바탕으로 개발한 내부 서버리스 미디어 처리 플랫폼입니다. 인코딩, 패키징, 검사, 품질 점수 계산을 맡아 재생과 광고, 스튜디오 워크플로, AI 임베딩 등을 지원합니다. 엔지니어가 코드와 OS 의존성을 OCI 이미지로 묶으면, Stratum은 상위 서비스의 요청에 따라 컨테이너를 Titus의 배치 잡으로 스케줄합니다. 매일 수십만 개의 컨테이너가 순간적으로 몰리는 작업부터 고처리량 작업, 지연에 민감한 작업까지 처리합니다.
함수 소유자가 YAML에 정하는 한도는 CPU, 메모리, 디스크, 네트워크입니다. 인코딩 함수 VideoEncoder.encodeV1의 설정은 CPU 8개, 메모리 18,000MB, 디스크 50,000MB, 네트워크 1,000Mbps였습니다. 처음에는 적절했던 값도 인프라와 애플리케이션이 바뀌면 더는 최적값이 아닐 수 있습니다.
그 변화를 사람이 모두 따라잡기는 어렵습니다. EC2 하드웨어가 바뀌고 AV1, AV2, 공간 오디오 같은 미디어 표준과 인코더가 발전하면 필요한 자원도 달라집니다. 비디오 팟캐스트와 라이브, 스포츠, AI로 적응하는 인터랙티브 광고, 프랑스 TF1 같은 방송사 연동은 처리할 미디어와 부하를 바꿉니다. 여기에 전 세계 AI 수요로 서버와 DRAM 가격까지 오르면서, 사용하지 않는 메모리의 비용도 커졌습니다.
과거 사용량을 분석한 결과, Stratum에서는 과잉 할당이 흔했고 실행마다 남긴 자원이 낭비로 누적되고 있었습니다. 함수 작성자에게는 설정을 관리하는 부담이고 플랫폼 운영자에게는 비용이었습니다. Netflix는 이를 대규모 서버리스에 붙는 당연한 세금으로 받아들이는 대신 자원 조정을 자동화하기로 했습니다.
SRT가 먼저 맡은 고처리량 인코딩
Stratum Resource Tuner(SRT)는 사용량에 맞게 컨테이너 자원 한도를 조정하는 시스템입니다. 최종 목표는 사용자가 자원 설정을 직접 지정하지 않아도 되게 하는 것입니다. 출발점은 지연 요건이 느슨한 고처리량 워크로드 몇 개였으며, 이들이 자원 사용량의 70~80%를 차지했습니다.
지금까지는 자원을 줄이는 다운사이징에 집중했습니다. 고처리량 비디오 인코딩을 튜닝해 Stratum 전체 컴퓨트 비용을 10% 절감했고, encodeV1에서 보고한 전체 튜닝 성과는 CPU 50%, 메모리 40% 감소였습니다. 성능과 재시도율에도 불이익이 없었습니다.
자동 조정은 함수 소유자가 자원 유형별로 명시적으로 등록하는 옵트인 방식입니다. CPU, 메모리, 네트워크, 디스크 중 등록한 자원에 한해 SRT가 사용량 수집부터 권고 생성, 실험, 적용 여부 판단, 적용 뒤 관찰까지 처리합니다. 등록 이후에는 사람이 개입하지 않습니다.
작업 단위는 함수별·자원별 권고입니다. 스케줄된 워크플로가 만든 권고는 CREATED에서 시작해 검증 중에는 EVALUATING으로 이동합니다. 실험을 모두 통과하고 자동으로 배포되면 APPLIED, 하나라도 실패해 기존 설정을 유지하면 REJECTED입니다. 적용 뒤 안정성을 관찰하는 과정은 MONITORED 상태로 추적합니다. 이 과정에 쓰이는 임계값과 안전 한도는 함수별로 설정할 수 있습니다.
2주 뒤 재시도율이 치솟은 encodeV2
자동 조정이 넘어야 할 어려움은 실험 밖에도 있었습니다. encodeV2는 메모리를 50% 줄이는 권고가 모든 검증을 통과했고, 적용 뒤에도 안정적으로 실행됐습니다. 문제는 2주 뒤에 나타났습니다. 트래픽이 바뀌자 더 큰 컨테이너로 재시도하는 비율이 60%를 넘었습니다.
초기 SRT에는 자동 롤백이 없었습니다. 엔지니어가 직접 원인을 살피고 대응해야 했고, 수동 처리는 복구를 늦췄습니다. 실험을 통과한 큰 폭의 감소에도 뒤늦게 드러나는 위험이 남아 있던 것입니다.
이 사건 뒤 Netflix는 메모리와 디스크를 한 번에 최대 15%까지만 줄이고, 안정성을 확인한 뒤 다음 조정을 진행하도록 바꿨습니다. 재시도율이 임계값을 넘으면 권고 적용 전 설정으로 돌아가는 복구도 자동화했습니다. 이 안전장치 아래에서 encodeV2를 다시 튜닝한 결과 메모리를 안정적으로 20% 줄였고, 이후에는 사고가 없었습니다.
한 달 사용량에서 계산한 자원별 한도
SRT가 한도를 정하는 근거는 각 컨테이너의 실행 기록입니다. 모든 Stratum 컨테이너는 실행 메타데이터와 인스턴스 유형·리전 같은 인프라 정보, CPU·메모리·디스크·네트워크 사용량을 1분보다 짧은 간격으로 보고합니다. 실행 하나에 대응하는 레코드를 span이라고 부릅니다.
데이터는 Netflix의 실시간 이벤트 스트리밍 플랫폼 Keystone을 거쳐 용도가 다른 저장소로 들어갑니다. Elasticsearch에 색인한 실행 요약은 개별 실행을 빠르게 찾는 데 쓰입니다. Iceberg 테이블에는 같은 메타데이터와 고해상도 사용량 시계열을 오래 보관합니다. 조회는 더 느리지만 몇 달에 걸친 추세를 분석할 수 있는 기록입니다.
하루에 한 번 실행되는 Conductor 워크플로가 Iceberg에서 지난 한 달의 데이터를 읽고 함수별·자원별 권고를 만듭니다. 옵트인하지 않은 함수에도 권고를 생성해 잠재 절감 효과를 보여 주지만, 실제 튜닝 대상은 고처리량 워크로드로 제한합니다. 생성한 권고는 함수, 자원 유형, 상태로 조회할 수 있습니다.
한도를 계산하는 방식은 자원이 부족해졌을 때의 결과에 따라 다릅니다. CPU와 네트워크는 한도에 닿아도 실행이 조금 느려지는 압축 가능한 자원으로 취급합니다. 따라서 추가 여유 없이 p99 사용량을 목표로 잡습니다. 메모리와 디스크는 고갈되면 OOM이나 디스크 부족으로 실행 자체가 실패하므로 p99.9 사용량에 안전 여유를 더합니다. 줄어드는 절대량이 운영 노력을 들일 만큼 크지 않으면 권고를 버리고, 메모리와 디스크에는 주기당 15% 감소 상한도 적용합니다.
encodeV1 권고의 근거가 된 한 달치 데이터에는 함수 실행 약 7억 4,900만 건이 담겼고, 성공률은 99.75%였습니다. CPU 사용량은 p99가 4.16, p99.9가 4.57이었으며 권고는 8개에서 4개로 줄이는 안이었습니다. 메모리 사용량은 p99가 6,751MB, p99.9가 7,820MB였습니다. 이에 대한 권고는 18,000MB에서 15,300MB로 줄이는 것으로, 한 주기에 허용한 15% 감소에 해당합니다.
매일 새 데이터가 들어온다고 검증 중인 권고까지 바꾸지는 않습니다. 같은 함수와 자원에 CREATED 권고가 있으면 최신 계산으로 덮어쓰지만, 이 상태를 벗어난 뒤에는 recommended_value와 stats 필드를 고정합니다. 이후 실행되는 워크플로는 새 ID로 권고를 만듭니다. 검증과 적용 결과는 해당 권고에 이어서 기록됩니다.
드문 요청을 위한 1.5배 컨테이너
과거 사용량만으로는 처음 들어오는 무거운 요청까지 예측할 수 없습니다. SRT는 보수적인 권고와 별개로 실행 중 자원 부족에 대응하는 장치를 둡니다. 튜닝된 컨테이너의 워처가 메모리와 디스크를 추적하다가 위험한 실행을 취소하고, 더 큰 컨테이너에서 다시 실행하게 합니다.
기준은 캐시되지 않은 메모리 사용량이 한도의 85%를 넘거나, 디스크 사용량이 95%를 넘는 경우입니다. 워처는 해당 실행을 고위험으로 표시하고 취소한 뒤 재시도 큐에 넣습니다. 재시도 컨테이너의 크기는 원래의 1.5배이며, 증가는 메모리와 디스크에만 적용합니다. 예를 들어 18,000MB 컨테이너에서 메모리 사용량이 85%인 15,300MB를 넘으면 실행을 중단하고 27,000MB 컨테이너에서 다시 시작합니다.
큰 설정은 재시도할 때만 사용합니다. 드문 요청 때문에 평소의 모든 컨테이너를 크게 유지하지 않아도 되지만, 재시도가 발생할 때는 추가 컴퓨트 비용과 지연을 감수합니다. 메모리나 디스크 튜닝에 옵트인하면 이 장치도 자동으로 켜지며, 재시도 기록은 Elasticsearch와 Iceberg에 함께 저장됩니다.
Netflix가 원하는 트리거는 실제 OOM이나 디스크 부족 이벤트입니다. 현재는 아키텍처의 제약으로 실제 이벤트를 감지하기 어려워 사용량 임계값을 임시 기준으로 삼고 있습니다. 따라서 이 수치는 자원 고갈을 직접 확인한 결과와는 구분해야 합니다.
줄어든 한도를 시험하는 실험 클러스터
권고를 적용하기 전에는 합성 실험을 통과한 뒤 실제 트래픽으로 검증합니다. Conductor 워크플로가 이 과정을 관리하며, 옵트인한 함수에 대기 중인 권고가 여럿이면 예상 절감액이 가장 큰 후보부터 평가합니다.
합성 실험은 프로덕션 트래픽과 격리된 환경에서 명백한 성능 저하나 실패를 저렴하게 찾아내는 단계입니다. 현재 설정과 권고 설정으로 클러스터를 각각 만들고, 같은 요청 집합을 양쪽에 같은 시점에 재생합니다. 요청을 나누지 않으므로 각 클러스터가 테스트 요청의 100%를 받습니다. 보통 1~2시간이 걸리며, 중간에 조기 종료하지 않고 끝까지 실행합니다.
프로덕션 실험에서는 실제 트래픽을 나눕니다. 약 90%는 현재 설정을 유지한 메인 클러스터로 보내고, 약 5%는 현재 설정의 baseline 클러스터, 나머지 약 5%는 권고 설정의 experimental 클러스터로 보냅니다. 비교 대상은 비슷한 규모의 트래픽을 받는 baseline입니다. 메인 클러스터와 직접 비교할 때 생길 수 있는 트래픽 특성의 차이를 줄이기 위한 선택입니다. 실험은 트래픽 양에 따라 하루에서 일주일 정도 이어지며, 문제가 감지되면 일찍 취소합니다.
충분한 트래픽이 꾸준히 들어온다는 보장도 없습니다. Stratum의 작업은 며칠이나 몇 주 동안 뜸하다가 한꺼번에 몰리기도 합니다. 다른 Stratum 실험과 트래픽을 지나치게 잘게 나누지 않도록 SRT 실험의 우선순위도 낮게 둡니다. 검증 파이프라인은 이런 대기와 불규칙한 유입을 받아들여야 했습니다.
encodeV1 메모리 권고의 실험 설정에서도 이 조건을 확인할 수 있습니다. 프로덕션 실험은 트래픽이 시작될 때까지 최대 10,080분을 기다리도록 설정했습니다. 트래픽이 시작된 뒤의 최대 실행 시간은 1,240분이며, baseline과 experimental에서 각각 최소 500개의 표본을 확보하는 조건이었습니다. 이는 해당 권고에 사용한 설정입니다.
각 단계의 결과는 재시도율부터 검사합니다. 메모리와 디스크를 줄이는 실험은 자원을 늘려 재시도한 비율이 1% 이하여야 합니다. 이 기준을 통과하면 실행 시간을 비교합니다. 이상치에 덜 흔들리도록 중앙값을 사용하고, 워크로드에 따라 baseline 대비 10~15%의 둔화를 허용합니다. 허용 폭은 함수별로 조정합니다. 앞선 검사에서 실패하면 뒤의 검사는 진행하지 않습니다.
모든 실험을 통과하면 권고를 메인 클러스터에 적용하고, 어느 단계에서든 실패하면 기존 설정을 유지합니다. 적용과 거부 모두 알림을 보냅니다. encodeV1의 메모리 권고는 합성 실험에서 양쪽 3,000건씩을 실행했고, 실행 시간 중앙값은 모두 59.0초였습니다. 둔화와 재시도율은 각각 0.0%였습니다.
프로덕션에서는 baseline 50,361건과 experimental 49,790건을 비교했습니다. 중앙값은 196.0초와 198.0초로 1.0% 느려졌고, 재시도율은 0.0%였습니다. 이 결과에 따라 메모리 15,300MB를 기본 설정에 반영했습니다. CPU를 8코어에서 4코어로 줄이는 권고도 검증을 통과했습니다.
재시도율에 따라 복원하는 이전 설정
적용 뒤에도 입력과 코드는 바뀝니다. Titus나 EC2 같은 실행 환경의 변화도 동작에 영향을 줍니다. encodeV2에서 겪었듯이, 실험 기간에 안정적이던 설정이 이후에도 계속 적절하다는 보장은 없습니다. SRT는 적용한 권고를 90일 동안 관찰하며 30분과 24시간의 롤링 윈도우로 재시도율을 확인합니다.
정상 상태의 재시도율은 약 0.1%이며, Netflix는 2~3%까지를 허용 가능한 변동으로 봤습니다. 현재의 알림과 자동 복구는 관찰 기간별로 기준을 다르게 둡니다.
- 최근 30분: 재시도율 3%에서 경고, 10%에서 자동 되돌리기
- 최근 24시간: 재시도율 2%에서 경고와 자동 되돌리기
되돌리기 기준에 도달하면 권고 적용 전의 설정을 즉시 복원합니다. 복구 로직은 의도적으로 단순하게 유지했습니다. 장애 중 자원을 동적으로 다시 계산하기보다 마지막으로 안정적이던 설정으로 돌아가는 방식입니다.
새 조정을 서두르지 않는 장치도 있습니다. 같은 함수에 새 실험을 시작하기 전에는 보통 일주일의 의무 쿨다운을 둡니다. 다양한 프로덕션 트래픽에서 성능을 관찰하고 다음 변경 전에 위험을 찾기 위한 기간입니다. 예상하지 못한 문제가 생겼을 때 모든 함수의 자동 라이트사이징을 끌 수 있는 전역 킬 스위치도 마련했습니다.
대부분의 적용된 권고는 석 달 동안 안정적으로 유지됐습니다. encodeV1 역시 몇 달째 재시도율 임계값을 넘지 않았습니다. 실험을 통과한 설정을 그대로 믿고 두는 대신, 적용 뒤에도 관찰하고 필요하면 복원하는 과정이 SRT에 포함됐습니다.
고처리량 인코딩 밖으로 넓힐 SRT
지금까지의 절감은 고처리량 비디오 인코딩에 집중한 결과입니다. Netflix는 SRT를 더 다양한 함수와 워크로드로 확대하고, 자원이 제한된 리전에서도 추가로 튜닝할 계획입니다.
자원을 늘리는 방향도 다음 과제입니다. 부족한 자원을 사후 알림으로 파악하는 데서 나아가, 자원이 모자란 함수의 한도를 미리 자동으로 늘리려 합니다. 지연에 민감한 워크로드에는 의도적으로 더 많은 자원을 배정해 실행 시간이 짧아지는지 실험할 계획입니다. 이때의 성능 이득은 아직 검증할 대상입니다. OOM과 디스크 부족 신호를 후행 지표에서 선행 지표로 개선하는 작업도 우선순위에 두고 있습니다.
원문의 주요 수치와 임계값
| 항목 | 값 |
|---|---|
| encodeV1 초기 설정 | CPU 8, 메모리 18,000MB, 디스크 50,000MB, 네트워크 1,000Mbps |
| 첫 대상 워크로드의 자원 사용 비중 | 70~80% |
| CPU·네트워크 목표 | p99 사용량, 여유 없음 |
| 메모리·디스크 목표 | p99.9 사용량에 안전 여유 |
| 메모리·디스크 주기당 최대 감소 | 15% |
| 재시도 트리거 | 캐시되지 않은 메모리 85%, 디스크 95%, 컨테이너 크기 1.5배(메모리·디스크만) |
| 합성 실험 | 1~2시간, 두 클러스터에 동일 요청 재생 |
| 프로덕션 실험 트래픽 분할 | 메인 약 90%, baseline 약 5%, experimental 약 5%, 하루~일주일 |
| 검증 기준 | 메모리·디스크는 재시도율 1% 이하, 실행 시간 중앙값은 10~15%까지 둔화 허용 |
| 감시 기간과 창 | 90일, 30분 창과 24시간 창 |
| 알림·자동 되돌리기 | 30분 3% 경고, 10% 되돌리기, 24시간 2% 알림과 되돌리기 |
| 정상 재시도율 | 약 0.1%, 2~3%까지 허용 변동 |
| 쿨다운 | 새 실험 전 보통 일주일 |
| 성과 | Stratum 컴퓨트 비용 10% 절감, encodeV1 CPU 50%·메모리 40% 감소, encodeV2 재튜닝 후 메모리 20% 감소 |