본문으로 건너뛰기
실제 요청으로 새 시스템을 검증하는 Netflix 리플레이
목차

실제 요청으로 새 시스템을 검증하는 Netflix 리플레이 (2023-05)

원문 정보

재생을 멈출 수 없는 시스템 교체

매일 Netflix를 보는 수억 명의 회원은 재생이 당연히 잘되리라 기대합니다. 그 뒤에서는 여러 백엔드 시스템이 함께 움직이고, 엔지니어들은 그 시스템을 계속 개선합니다. 교체 과정에서도 재생은 이어져야 합니다. 새 아키텍처가 제대로 작동한다는 확신을 얻고, 회원의 시청 경험을 해치지 않으면서 트래픽을 넘기는 일이 마이그레이션의 어려운 부분입니다.

교체하는 위치도 제각각입니다. 디바이스의 요청을 받는 엣지 API부터 엣지와 미드티어 사이, 미드티어와 데이터 저장소 사이까지 분산된 호출 그래프 곳곳에서 마이그레이션이 일어납니다. 대상 API가 상태 없는 멱등 API인지, 상태가 있는 API인지에 따라서도 검증 조건이 달라집니다.

Netflix는 전환 전 검증과 실제 트래픽 이전을 나눠 접근했습니다. 시리즈의 첫 편이 다루는 리플레이 트래픽 테스트는 전환 전에 기능 정확성, 확장성, 성능, 복원력을 확인하는 방법입니다. 실제 프로덕션 요청을 복제해 새 경로에서 실행하고, 기존 경로의 결과와 비교하며 새 설계를 검증합니다.

드문 입력 조합까지 담긴 트래픽 사본

실제 요청에는 다양한 디바이스와 애플리케이션 버전의 입력이 담겨 있습니다. 입력값의 종류가 많은 복잡한 API에서는 그 다양성이 특히 유용합니다. 드물게 쓰이는 조합과 엣지 케이스까지 새 시스템에 도달하기 때문입니다. 리플레이는 이런 요청의 사본을 호출 그래프의 다른 경로로 보내, 프로덕션 트래픽과 고객 경험에 미치는 영향을 작게 유지하면서 대규모로 시험할 환경을 만듭니다.

검증 대상은 응답의 정확성에 그치지 않습니다. 같은 트래픽으로 부하를 시험하고 시스템과 스케일링 설정을 조정하며, 메트릭·로깅·알림 같은 운영 장치가 준비됐는지도 확인합니다. 오래 실행하면 평소의 트래픽 변화와 예상 밖의 패턴 변화 속에서 가용성과 지연 시간이 어느 범위에 머무는지 파악할 수 있습니다.

Netflix는 재생 기능을 담당하는 엣지 API의 대규모 재설계와 미드티어 서비스의 REST에서 gRPC로의 전환에 이 방식을 사용했습니다. 두 사례 모두 실제 요청으로 기능 테스트, 부하 테스트, 튜닝을 대규모로 진행했습니다. 찾기 어려웠던 문제를 발견하면서 재설계를 신뢰할 근거도 빠르게 쌓였습니다.

이를 뒷받침하는 작업은 요청을 복제하는 데서 끝나지 않습니다. 기존 경로와 새 경로의 응답을 기록하고 서로 짝지어야 하며, 그 응답들을 비교해 차이를 설명하는 보고서도 만들어야 합니다.

같은 요청에서 달라진 스트림 목록

응답이 다르다고 모두 새 시스템의 버그는 아닙니다. 재생 세션에 사용할 미디어 스트림을 담은 응답을 예로 들면, 이를 만드는 서비스는 메타데이터 서비스에서 해당 작품의 스트림 목록을 가져옵니다. 그런데 스트림에 문제가 발견되거나 새 언어 지원, 새 인코딩이 추가되면 목록에서 스트림이 빠지거나 늘어납니다. 같은 요청을 실행했어도 프로덕션과 리플레이가 받은 목록은 달라질 수 있습니다.

이처럼 비결정적이거나 멱등이 아닌 의존 데이터는 비교 결과에 자주 잡음을 만듭니다. Netflix는 응답을 만드는 데 사용한 모든 의존 데이터의 버전이나 체크섬을 요약해 리니지(lineage)로 수집했습니다. 분석 작업은 두 응답의 리니지를 비교하고, 의존 데이터의 차이로 설명되는 불일치를 제외합니다. 새 서비스의 문제와 입력 데이터의 변화를 구별하기 위한 장치입니다.

응답 형태도 비교에 맞게 정규화합니다. 시스템에 따라 타임스탬프 차이를 처리하거나 정렬되지 않은 리스트를 정렬하는 전처리가 필요합니다. 의도적으로 바꾼 형식도 고려해야 합니다. 예를 들어 리스트였던 필드를 키-값 쌍으로 바꾸는 마이그레이션에서는 기대하는 변화를 반영하도록 리플레이 쪽 응답을 변환합니다.

분석은 통계적으로 의미 있는 양의 응답이 쌓인 뒤 시작합니다. 데이터가 많으므로 Apache Iceberg 같은 기술을 활용해 양쪽 응답을 저비용 콜드 스토리지에 기록하고, 오프라인 분산 배치 작업으로 공통 식별자가 있는 응답들을 짝지어 비교합니다. 보고서에는 양쪽의 전체 응답 수, 식별자로 짝지어진 응답 수, 일치·불일치 수, 경로별 성공·실패 수를 모아 전체 일치율을 보여 줍니다.

불일치 건은 더 자세히 남깁니다. 두 경로의 정규화 전후 응답과 diff, 관련 파라미터를 별도 빅데이터 테이블에 기록해 원인을 추적할 수 있게 합니다. 원인을 수정한 뒤에는 리플레이를 다시 실행합니다. 불일치율이 받아들일 수 있는 수준으로 내려갈 때까지 이 과정을 반복합니다.

오프라인 분석만 가능한 것은 아닙니다. 상류 서비스에서 요청을 복제하고 기존 경로와 새 경로의 응답을 곧바로 비교하는 방법도 있습니다. 응답이 단순해서 비교가 지연을 크게 늘리지 않거나, 마이그레이션 대상 서비스가 크리티컬 패스에 없을 때 쓸 수 있습니다. 이 방식에서는 관련 지표를 기록하고, 응답이 일치하지 않는 경우에만 로그를 선택적으로 남깁니다.

디바이스 밖으로 옮겨 간 리플레이 로직

무엇을 비교할지 못지않게 요청을 어디서 복제할지도 중요했습니다. 디바이스 자원과 릴리스 주기, 프로덕션 코드에 미칠 영향이 그 위치에 따라 달라졌기 때문입니다. Netflix는 여러 마이그레이션에서 복제와 기록 방식을 바꾸며 개선해 왔습니다.

요청을 나란히 보내는 디바이스

디바이스 주도 방식에서는 디바이스가 프로덕션 경로와 리플레이 경로에 요청을 병렬로 보내고, 리플레이 응답은 버립니다. 프로덕션 요청이 리플레이를 기다리지 않도록 한 설계입니다. 디바이스는 두 요청에 같은 고유 식별자를 붙이고, 백엔드는 URL이나 특정 요청 파라미터를 보고 리플레이 경로를 선택합니다. 응답은 마이그레이션에 적합한 호출 그래프의 지점이나 디바이스 자체에서 기록할 수 있습니다.

이 방식은 디바이스 자원을 소모합니다. 특히 자원이 부족한 디바이스에서는 경험 품질(QoE)이 나빠질 우려가 있습니다. 요청을 복제하는 로직이 디바이스 코드에 들어가면 마이그레이션 일정도 서비스보다 느린 앱 릴리스 주기에 묶입니다. 검증되지 않은 서버 코드 경로를 디바이스가 실행할 수 있게 한다는 점은 악용 가능한 공격 표면을 여는 문제이기도 합니다.

복제와 기록을 맡은 상류 서비스

디바이스의 부담을 없애기 위해 리플레이 작업을 백엔드로 옮겼습니다. 교체 대상보다 상류에 있는 서비스가 기존 서비스와 새 서비스를 병렬로 호출하고, 두 응답을 공통 식별자와 함께 기록합니다. 기록도 비동기로 처리합니다. 두 작업 모두 프로덕션 경로에 지연을 더하지 않기 위한 선택입니다.

디바이스 자원을 쓰지 않고 서버에서 빠르게 변경을 반복할 수 있게 됐습니다. 하지만 리플레이 로직의 자리는 프로덕션 비즈니스 로직 바로 곁입니다. 코드의 결합과 복잡도가 늘어나고, 리플레이 코드의 버그가 프로덕션 동작과 지표에 영향을 줄 위험이 남았습니다.

Mantis로 요청을 재생하는 전용 서비스

가장 최근의 방식에서는 리플레이 구성요소를 별도 서비스로 분리했습니다. 교체할 서비스의 요청과 응답을 오프라인 이벤트 스트림에 비동기로 기록하는 것이 출발점입니다. 운영 상황을 파악하려고 이미 남기던 기록을 쓸 수 있는 경우도 많았습니다.

분산 스트림 프로세서 Mantis가 이 스트림에서 요청과 응답을 읽습니다. 필요한 경우 요청을 조정한 뒤 새 서비스나 클러스터에서 재생하고, 전용 서비스는 프로덕션 응답과 리플레이 응답을 오프라인 분석용으로 기록합니다.

이제 리플레이 로직은 독립된 코드베이스에 모입니다. 디바이스 자원이나 QoE에 영향을 주지 않으며, 백엔드의 프로덕션 비즈니스 로직과도 결합이 줄어듭니다. 리플레이 프레임워크를 수정하는 일은 디바이스와 서비스의 릴리스 주기에서 독립합니다.

실제 부하로 다듬은 스케일링 정책

응답이 맞는다고 부하를 견딘다는 보장은 없습니다. 리플레이는 새 구성요소의 스트레스 테스트에도 쓰입니다. 복제하는 트래픽의 양과 새 서비스의 수평·수직 확장 정도를 조절하면, 부하에 따라 가용성·지연 시간·CPU 사용량·메모리 사용량·가비지 컬렉션(GC) 비율이 어떻게 달라지는지 확인할 수 있습니다.

실제 프로덕션 트래픽의 특성으로 부하를 주면 성능이 집중적으로 나빠지는 지점과 메모리 누수, 데드락, 캐시 문제가 드러납니다. 이 결과를 바탕으로 스레드 풀, 커넥션 풀, 커넥션 타임아웃 같은 설정을 조정합니다. 스케일링 정책을 정하고 비용을 추정하는 데도 같은 테스트가 쓰입니다. 어느 정도의 비용으로 어느 정도의 위험을 감수할지 판단할 근거를 얻는 과정입니다.

응답 밖의 상태까지 맞춰야 하는 검증 조건

Netflix가 리플레이 테스트를 폭넓게 사용한 대상은 상태 없는 멱등 시스템입니다. 상태가 있는 시스템에도 적용할 수 있지만, 응답 비교만으로는 부족합니다. 프로덕션과 리플레이 경로에 서로 격리된 데이터 저장소를 두고, 리플레이를 시작하기 전에 두 저장소를 같은 상태로 맞춰야 합니다.

재생할 요청의 범위도 넓어집니다. 상태 머신을 움직이는 모든 요청 유형을 복제해야 하며, 각 응답을 기록할 때는 그 응답에 연결된 상태도 함께 남겨야 합니다. 분석 대상 역시 응답과 상태 모두입니다. 이런 복잡성 때문에 Netflix는 상태가 있는 시스템에 다른 검증 기법도 사용했습니다. 그중 하나는 후속 글에서 소개합니다.

검증을 마친 뒤에는 실제 트래픽을 옮기는 단계가 남습니다. 이때는 사고 위험을 제한하면서 디바이스의 QoE, 서비스 수준 협약(SLA), 비즈니스 KPI를 계속 확인합니다. 다음 편은 큰 변경을 점진적으로 도입하고 여러 층위의 지표로 확신을 쌓는 전환 기법을 다룹니다. 시리즈의 둘째 글은 무중단 트래픽 이전의 스티키 카나리, A/B 테스트, 트래픽 다이얼에 정리했습니다.

마지막 수정 일자