목차
Netflix의 무중단 이전을 지탱하는 단계별 안전장치 (2023-05)
원문 정보
- 원문: Migrating Critical Traffic At Scale with No Downtime — Part 2
- 매체 · 게시일: Netflix TechBlog · 2023-05-23
- 저자: Shyam Gala, Javier Fernandez-Ivern, Anup Rokkam Pratap, Devang Shah
- 원문 내용을 바탕으로 재구성한 요약입니다.
- 시리즈의 두 번째 글입니다. 앞 편은 리플레이 트래픽 테스트를 다뤘고, 원문은 뒤이어 광고 요금제(Ads Tier) 출시와 여러 제품 API의 대규모 GraphQL 이전 사례를 다룬 글이 나올 것이라고 예고합니다.
고화질 재생 뒤에서 돌아가는 복잡한 장치
끊김 없는 고화질 스트리밍 뒤에서는 복잡한 장치가 돌아갑니다. 대규모 시스템 이전은 그 장치를 바꾸는 작업입니다. 앞 편에서 다룬 리플레이 트래픽 테스트는 새 시스템을 검증하는 출발점입니다. 실제 고객의 요청을 옮기기 시작하면, 위험을 제한하면서 변경의 영향을 계속 평가해야 합니다.
Netflix는 이 시리즈의 기법으로 플랫폼의 크고 작은 시스템을 이전했습니다. 대체로 다운타임이 거의 없거나 전혀 없었고, 큰 문제 없이 이전을 마쳤습니다. 그렇다고 모든 이전에 모든 기법을 적용하지는 않습니다. 변경의 성격과 고객 경험에 미칠 영향, 투입할 엔지니어링 노력과 제품 우선순위에 따라 검증과 위험 완화의 수준이 달라집니다.
되돌릴 여지를 남기는 트래픽 다이얼
검증을 통과해도 마지막 전환에는 제어가 필요합니다. 리플레이 테스트와 스티키 카나리, 필요한 경우 A/B 테스트까지 거치면 변경이 SLA, 기기의 경험 품질(Quality of Experience, QoE), 비즈니스 KPI에 큰 영향을 주지 않으리라는 확신을 얻습니다. 그래도 놓친 문제는 남아 있을 수 있습니다. Netflix는 최종 롤아웃에서 트래픽 다이얼을 사용해 새 경로로 가는 요청을 조금씩 늘리고, 문제가 드러나면 기존 경로로 빠르게 되돌립니다.
다이얼은 요청을 어느 경로로 보낼지 정하는 소프트웨어 구성 요소입니다. 요청의 매개변수를 분포 함수에 넣고, 출력값이 미리 정한 목표 비율의 범위에 드는지 확인합니다. 범위에 들면 새 경로로, 그렇지 않으면 기존 경로로 보냅니다. 같은 매개변수 값에는 일관된 선택을 내립니다.
목표 비율은 전역 범위의 동적 속성으로 관리합니다. 실시간으로 바꿀 수 있는 값입니다. 이 비율을 올리거나 내리면 새 경로로 흐르는 트래픽도 즉시 조절됩니다.
무엇을 샘플링 기준으로 삼을지는 이전의 요구에 따라 다릅니다. 모든 요청 가운데 무작위로 고르려면 타임스탬프나 난수 같은 변수를 씁니다. 한 기기의 요청이 계속 같은 경로로 가야 한다면 deviceId처럼 바뀌지 않는 기기 속성을 택합니다. 다이얼을 두는 위치도 기기 애플리케이션 코드, 관련 서버 구성 요소, 엣지 API 시스템의 API 게이트웨이 등으로 달라질 수 있습니다.
전환은 단계를 나눠 진행합니다. 각 단계에서 이해관계자에게 알리고, 서비스·기기·운영·비즈니스 지표를 감시하며 새 경로로 보낼 비율을 늘립니다. 예상하지 못한 동작이나 지표 변화가 나타나면 다이얼을 내려 트래픽을 기존 경로로 돌린 뒤 문제를 해결합니다.
여러 데이터 센터에서 트래픽을 처리한다면 한 데이터 센터부터 시작할 수도 있습니다. 다른 데이터 센터의 지표와 나란히 비교하기 수월합니다. 각 단계에 머무르는 시간도 조절합니다. 오래 관찰할수록 소수의 회원이나 기기에만 영향을 주는 문제가 드러날 가능성이 높아집니다. 영향을 받는 집단이 너무 작으면 섀도 트래픽 분석에서는 이런 문제를 놓칠 수 있습니다. 단계마다 지표를 확인하며 비율을 높여, 마지막에는 모든 프로덕션 트래픽을 새 시스템으로 옮깁니다.
재생의 끝까지 따라가는 스티키 카나리
다이얼을 올릴 근거를 마련하려면 서비스 밖에서 일어나는 일도 살펴야 합니다. 영상 재생만 해도 요청이 여러 서비스로 이어집니다. 기기는 한 서비스에서 스트림 URL을 받은 뒤 CDN에서 영상 데이터를 내려받고, 다른 서비스에 복호화 라이선스를 요청합니다. 재생이 잘 시작됐다는 텔레메트리는 또 다른 서비스로 보냅니다. 변경한 서비스의 지표만 보면 이 전체 과정에서 생긴 이상을 놓칠 수 있습니다.
카나리 배포는 현재 버전과 새 버전을 제한된 트래픽으로 비교하는 방식입니다. 현재 프로덕션 버전을 실행하는 베이스라인 클러스터와 새 버전을 실행하는 카나리 클러스터를 각각 새로 만듭니다. 프로덕션 트래픽 일부를 두 클러스터로 보내고, 시간에 따른 주요 지표를 비교해 가용성·지연·성능 요구를 충족하는지 판단합니다.
스티키 카나리는 여기에 기기 단위의 일관성을 더합니다. 프레임워크가 실험에 참여할 고유한 고객 기기 풀을 만들고, 각 기기의 트래픽이 실험 내내 정해진 카나리 또는 베이스라인 클러스터로 향하게 합니다. 서비스 지표와 함께 해당 기기 풀의 운영 지표와 고객 지표도 추적합니다. 덕분에 검증 범위가 변경한 서비스에서 요청 수명 주기 전체로 넓어집니다.
기기를 고정한 데에는 대가도 있습니다. 카나리로 배정된 기기는 재시도해도 계속 카나리로 가므로, 잘못된 동작이 반복될 수 있습니다. 프레임워크는 운영 지표와 고객 KPI에서 이탈이 지속되는지 감시하고, 필요하면 실험을 종료합니다.
리플레이 테스트로 서비스 수준의 동작을 확인했다면, 카나리에서는 실제 기능을 이루는 요청 전체를 검증합니다. 이전이 고객 경험을 해치지 않으리라는 판단에 더 넓은 근거가 생깁니다. 여러 부하 조건에서 성능을 측정하며 병목을 찾고, 새 버전이 원활하게 동작하도록 설정을 조정하는 기회이기도 합니다.
긴 관찰이 필요한 고객 변화와 A/B 테스트
재생이 정상적으로 이어지는지 확인한 뒤에도 더 오래 지켜봐야 할 변화가 있습니다. 카나리 실험은 보통 몇 시간에서 며칠 동안 진행하지만, 특정 QoE 지표에 미치는 영향을 파악하려면 몇 주나 몇 달이 필요한 이전도 있습니다. 비즈니스 KPI를 깊이 분석하는 데는 더 긴 시간이 걸릴 수 있습니다.
예를 들어 재생 품질을 개선한 뒤 재생 버튼을 누르는 고객이 늘어날 것이라는 가설을 검증한다고 가정하겠습니다. 믿을 만한 판단을 내리려면 충분히 큰 표본을 시간을 두고 관찰해야 합니다. Netflix는 이런 검증에 A/B 테스트를 사용합니다. 모든 백엔드 이전의 필수 단계는 아닙니다. 기기 QoE나 비즈니스 KPI에 큰 영향이 예상되는 이전에만 적용합니다.
A/B 테스트는 대상을 여러 집단으로 나눠 서로 다른 변경을 적용하고, 지표로 가설을 검증하는 통제 실험입니다. Netflix는 제품과 고객 경험의 변화를 시험할 때 이 방식을 널리 쓰며, 큰 백엔드 변경에도 활용합니다. 기기 앱이나 백엔드 코드에서 실험 집단을 결정하고, 그 집단에 맞춰 새 코드 경로나 서비스를 선택적으로 호출합니다. 새 경로를 일부 회원에게만 열면 변경에 노출되는 범위를 제한할 수 있습니다. 아키텍처 변경으로 기기와의 계약(contract)이 바뀌는 이전에서도 중요한 기법입니다.
실험 기간만 길어지는 것은 아닙니다. A/B 프레임워크에서는 지역, 기기 플랫폼, 기기 버전에 따라 할당 대상을 제한하고, 같은 기준으로 이전 지표를 나눠 볼 수 있습니다. 전체 지표에 가려 특정 고객군이 더 큰 영향을 받는지 확인하는 데 쓰입니다. 실험 도중 할당 크기도 조절할 수 있어, 관찰 결과에 맞춰 참여 범위를 바꿉니다.
요청뿐 아니라 데이터까지 옮겨야 하는 저장소
상태를 가진 API에서는 트래픽의 목적지를 바꾸는 것에 더해 데이터 이전도 다뤄야 합니다. 앞 편의 리플레이 테스트와 앞서 설명한 검증·제어 기법을 적용할 수 있지만, 저장된 상태를 옮기기 위한 전략이 따로 필요합니다.
Netflix가 활용한 대안은 ETL 기반의 이중 쓰기(dual-write)입니다. 적용 조건은 분명합니다. 데이터 모델이 단순하고 자기완결적이며 불변이고, 관계형 요소가 없는 시스템에서 효과를 봤습니다. 엄격한 일관성 보장이 필요하지 않고 데이터베이스 트랜잭션도 사용하지 않는 경우입니다.
엔터티의 수명 주기를 따르는 이중 쓰기
먼저 오프라인 ETL 작업으로 데이터를 적재합니다. 원본 저장소에서 데이터를 추출해 새 모델로 변환한 뒤 새 저장소에 쓰고, 맞춤 쿼리로 이전된 레코드가 빠짐없는지 확인합니다.
이후에는 active-active 이중 쓰기로 데이터 대부분을 옮깁니다. 이때도 다이얼이 새 저장소로 보낼 쓰기의 비율을 제어합니다. 두 저장소의 상태를 같게 유지하려면, 대상으로 선택한 엔터티의 상태 변경 요청을 모두 양쪽 저장소에 써야 합니다. 샘플링 매개변수는 엔터티의 수명 주기 내내 같은 선택이 유지되도록 정합니다.
시스템 상태를 살피며 확신이 쌓이면 쓰기 비율을 높입니다. 문제가 생기면 멈출 수 있습니다. 다이얼은 새 저장소로 향하는 모든 쓰기를 중단하는 스위치로도 작동합니다.
읽기 경로 밖까지 이어지는 데이터 검증
데이터를 옮기는 동안 읽기 요청으로 정확성을 계속 확인합니다. 서비스는 두 저장소에서 레코드를 읽고, 양쪽에 모두 존재하면 새 저장소의 레코드가 기능적으로 올바른지 비교합니다. 지연 요구에 따라 요청 경로에서 실시간으로 비교하거나 오프라인에서 검사할 수 있습니다. 실시간 비교에서 레코드가 일치하면 새 저장소의 값을 반환할 수도 있습니다.
양쪽에 있는 레코드를 비교하는 일과 누락된 데이터를 찾는 일은 별도로 진행합니다. 콜드 스토리지 서비스로 두 저장소의 데이터를 주기적으로 덤프하고, 이를 비교해 이전의 완결성을 확인합니다. 빠진 데이터는 ETL로 채웁니다.
정확성과 완결성을 모두 확인한 뒤에 최종 전환을 진행합니다. 이중 쓰기와 이중 읽기를 끄고 클라이언트 코드를 정리하면, 읽기와 쓰기는 새 저장소에서만 이뤄집니다.
전환 뒤에도 남아 있는 임시 코드
트래픽과 데이터를 모두 옮긴 뒤에는 이전을 위해 만든 코드와 설정을 정리합니다. 검증을 마쳤다면 트래픽 다이얼, A/B 테스트, 리플레이 트래픽 연동 코드를 제거할 수 있습니다. 변경했던 설정을 원래대로 복구하고 임시 구성 요소를 끄는 작업도 여기에 포함됩니다. 이런 정리가 있어야 시스템이 원활하게 동작하고 기술 부채와 복잡성이 쌓이지 않습니다.
이전 과정에서 겪은 문제와 해결 방법도 기록으로 남깁니다. 전체 과정을 문서화하면 이후 이전에서는 앞선 경험을 활용해 더 효율적으로 진행할 수 있습니다.