본문으로 건너뛰기
재생 요청을 지키는 Netflix의 서비스 단위 우선순위 로드 셰딩
목차

재생 요청을 지키는 Netflix의 서비스 단위 우선순위 로드 셰딩 (2024-06)

원문 정보

  • 원문: Enhancing Netflix Reliability with Service-Level Prioritized Load Shedding
  • 부제: Applying Quality of Service techniques at the application level
  • 매체 · 게시일: Netflix TechBlog · 2024-06-25
  • 저자: Anirudh Mendiratta, Kevin Wang, Joey Lynch, Javier Fernandez-Ivern, Benjamin Fedorka
  • 2020년 11월 글 “Keeping Netflix Reliable Using Prioritized Load Shedding"의 후속입니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

복구 직후 12배로 몰린 PlayAPI 프리페치

인프라 장애를 복구하자 요청이 다시 몰렸습니다. 많은 사용자의 스트리밍에 영향을 준 장애가 끝난 직후, Android 기기에서 보내는 프리페치의 초당 요청 수가 12배로 치솟았습니다. 대기하던 요청이 쌓여 있다가 들어온 것으로 추정됐습니다. 시스템은 그만한 트래픽을 감당하도록 확장되지 않은 상태여서 두 번째 장애로 이어질 수 있는 상황이었습니다.

이 요청을 받는 PlayAPI는 스트리밍 컨트롤 플레인의 주요 백엔드입니다. 기기가 재생을 시작하는 데 필요한 매니페스트와 라이선스 요청을 처리합니다. 사용자가 재생 버튼을 눌러 보내는 ‘사용자 시작 요청’이 실패하면 시청을 시작하는 데 직접적인 영향을 줍니다.

프리페치는 그보다 먼저 도착합니다. 사용자가 콘텐츠를 둘러보는 동안, 아직 재생을 누르지 않았어도 특정 작품을 선택할 경우에 대비해 미리 보내는 요청입니다. 성공하면 재생까지 걸리는 시간을 줄여 줍니다. 프리페치만 실패했다면 재생 자체가 막히지는 않고, 버튼을 누른 뒤 영상이 나타나기까지 조금 더 기다리게 됩니다.

12배 급증 때 프리페치 가용성은 최저 20%까지 떨어졌고, 한때 전체 요청의 50% 이상이 거절됐습니다. 그래도 사용자 시작 요청의 가용성은 99.4%를 웃돌았습니다. 덜 중요한 요청부터 거절하는 우선순위 로드 셰딩을 PlayAPI에 배포한 지 몇 달 뒤 확인한 결과입니다.

클러스터를 나누지 않고 확보한 재생 용량

이전의 PlayAPI도 과부하에 대응하고 있었습니다. 트래픽이 급증하거나 백엔드가 느려지거나 백엔드 확장이 부족할 때 동시성 제한기(concurrency limiter)로 요청을 제한했습니다. 문제는 어떤 요청을 거절하느냐였습니다. 제한기가 중요도를 구분하지 않아 프리페치가 몰리면 사용자 시작 요청의 가용성도 떨어졌습니다.

백엔드 지연이 늘 때도 마찬가지입니다. 사용자 시작 요청을 모두 처리할 용량이 남아 있는데도, 프리페치와 사용자 시작 요청의 가용성이 똑같이 낮아졌습니다. 재생 시간을 조금 줄이려던 작업 때문에 실제 재생 요청까지 실패하는 상황이었습니다.

요청 종류별로 클러스터를 나누면 프리페치 급증에서 사용자 시작 요청을 격리할 수 있습니다. 분리에는 비용이 따릅니다. 컴퓨트 자원이 더 들고, 새 클러스터를 위한 CI/CD와 오토스케일링, 메트릭, 알림도 별도로 운영해야 합니다.

Netflix는 요청 처리기를 물리적으로 분리하는 대신, 한 클러스터 안에서 처리 용량을 우선 배정했습니다. 오픈소스 Java 라이브러리 Netflix/concurrency-limits의 파티셔닝 기능으로 사용자 시작 요청에는 처리량 100%를 보장하고, 프리페치는 남는 용량만 쓰게 했습니다. 각 인스턴스는 여전히 두 종류의 요청을 모두 처리합니다.

파티션 크기는 동적으로 조정됩니다. 사용자 시작 요청이 늘면 프리페치에 돌아갈 용량을 ‘빼앗아’ 쓸 수 있습니다. 클러스터를 추가하는 비용 없이 애플리케이션 수준에서 요청을 격리하는 방식입니다. 여유가 있는 평소에는 프리페치도 정상 처리되며, 서버가 동시성 한도에 닿아 요청을 거절해야 할 때만 우선순위가 작동합니다.

거절하는 데 드는 비용도 작아야 합니다. PlayAPI는 사전 처리 Servlet Filter에서 기기가 보낸 HTTP 헤더를 읽고 중요도를 판단하므로, 거절할 요청의 본문을 읽고 파싱할 필요가 없습니다. 제한기 자체가 병목이 되지 않고 CPU도 거의 쓰지 않습니다. 예시 설정에서는 제한기 이름을 playapi로 두고, X-Netflix.Request-Name 헤더를 기준으로 user-initiated 파티션에 1.0, pre-fetch 파티션에 0.0을 지정했습니다.

2초 지연 속에서도 살아남은 사용자 시작 요청

검증에는 느린 프리페치를 사용했습니다. PlayAPI가 호출하는 내부 서비스 일부는 사용자 시작 요청과 프리페치를 별도 클러스터에서 처리하며, 프리페치 클러스터를 더 높은 부하로 운영합니다. 이 클러스터가 느려지는 상황을 재현하려고 Failure Injection Testing으로 프리페치 호출에 2초 지연을 주입했습니다. 평소 이 호출의 p99 지연은 200ms 미만입니다.

일반 로드 셰딩을 쓰는 기준 인스턴스 하나와 우선순위 로드 셰딩을 쓰는 카나리 인스턴스 하나를 비교했습니다. 기준 인스턴스에서는 프리페치와 사용자 시작 요청의 가용성이 함께 떨어졌습니다. 카나리에서는 프리페치 가용성만 낮아졌고, 사용자 시작 요청은 100%를 유지했습니다.

Zuul 안쪽으로 확장한 요청 우선순위

PlayAPI에서 쓴 우선순위 정책의 출발점은 Zuul API 게이트웨이입니다. Netflix는 2020년 11월, 재생 요청을 덜 중요한 텔레메트리보다 먼저 처리하는 게이트웨이 수준의 로드 셰딩을 소개했습니다. 이번에는 그 판단을 개별 서비스 안으로 옮겨 스트리밍 컨트롤 플레인과 데이터 플레인에 적용했습니다.

서비스 안에서는 더 세밀하게 판단할 수 있습니다. 서비스 팀이 자기 요청의 중요도를 직접 정할 수 있고, 엣지 게이트웨이를 거치지 않는 백엔드 간 호출에도 같은 정책을 적용할 수 있기 때문입니다. 실패를 격리하려고 클러스터를 따로 유지하는 대신, 여러 요청을 한 클러스터에서 처리하다가 필요할 때 낮은 우선순위부터 거절하면 클라우드 용량도 더 효율적으로 쓸 수 있습니다.

PlayAPI의 성과를 바탕으로 Netflix는 다른 서비스에서도 쓸 내부 라이브러리를 만들었습니다. 우선순위를 여러 단계로 지정하고, 부하를 판단하는 사용률 지표는 교체할 수 있게 했습니다. API 게이트웨이는 다양한 우선순위의 요청을 대량으로 받지만, 대부분의 마이크로서비스에 필요한 단계는 많지 않습니다. 서비스 사이의 일관성을 위해 Linux tc-prio에서 착안한 버킷을 미리 정의했습니다.

우선순위요청의 성격셰딩 정책
CRITICAL핵심 기능에 영향을 주는 요청전면 장애가 아니면 셰딩하지 않음
DEGRADED사용자 경험에 영향을 주는 요청부하가 늘수록 점진적으로 셰딩
BEST_EFFORT사용자에게 영향이 없는 요청최선 노력으로 처리하며 정상 운영 중에도 점진적 셰딩 가능
BULK백그라운드 작업일상적으로 셰딩

서비스는 요청을 보낸 클라이언트의 우선순위를 그대로 따르거나, HTTP 헤더와 본문 등의 속성을 보고 직접 버킷을 고릅니다. 예시 구현에서는 isCritical이면 CRITICAL, isHighPriority이면 DEGRADED, isMediumPriority이면 BEST_EFFORT로 분류하고 나머지는 BULK로 보냅니다.

트래픽 급증에도 유지해야 할 성공 처리량

요청을 거절하지 않으면 모든 요청이 늦어질 수 있습니다. 과부하 상태에서 일부 요청을 빠르게 실패시켜 재시도할 기회를 주는 대신, 전체 요청의 지연이 늘어나는 것입니다. 인스턴스 하나가 비정상이 되면 다른 인스턴스로 부하가 밀려가고, 오토스케일링이 따라오기 전에 모든 인스턴스가 비정상이 되는 ‘죽음의 나선’으로 이어질 수 있습니다.

거절을 시작했다고 문제가 끝나지는 않습니다. 트래픽 증가 때문에 셰딩하는 경우라면, 셰딩 이후에도 성공적으로 처리하는 초당 요청 수, 즉 성공 RPS가 줄어들어서는 안 됩니다. 요청을 지나치게 거절해 기존 처리량까지 잃는 것은 혼잡 실패(congestive failure)입니다.

원문이 든 그래프에서는 16시 57분 이후 서비스가 대부분의 요청을 거절하면서도, 그전에 처리하던 성공 240 RPS를 유지하지 못했습니다. 고정 동시성 제한기를 쓸 때나 셰딩 자체가 CPU를 너무 많이 써 다른 작업을 방해할 때 이런 실패가 발생합니다. 따라서 CPU 기반 구현을 검증할 때는 지연과 성공 RPS가 어떻게 변하는지도 확인했습니다.

확장 신호를 남겨 두는 CPU 셰딩

Netflix 서비스 대부분은 CPU 사용률을 기준으로 오토스케일링합니다. 같은 지표로 셰딩 시점을 정하되, 확장이 필요하다는 신호는 남겨 둡니다. 목표 CPU 사용률에 도달한 뒤에야 요청을 거절하기 시작하는 이유입니다.

오토스케일링 목표가 60%인 예에서는 CPU가 60%를 넘을 때 셰딩을 시작하도록 설정합니다. 트래픽이 급증하면 낮은 우선순위 요청부터 서서히 거절해 높은 우선순위 요청에 자원을 남기고, 오토스케일링이 인스턴스를 추가할 시간을 벌어 줍니다. 부하가 계속 오르면 더 중요한 요청까지 점진적으로 거절합니다. 인스턴스가 늘어 CPU 사용률이 내려가면 낮은 우선순위 요청도 다시 정상 처리됩니다.

확장을 막고 보낸 6배 넘는 트래픽

극한 부하에서의 동작은 오토스케일링을 막고 확인했습니다. 평소 CPU 45%를 확장 목표로 삼던 서비스에 대량의 요청을 보내되, CPU가 60%를 넘으면 비핵심 요청을, 80%를 넘으면 핵심 요청을 셰딩하도록 설정했습니다.

요청량은 오토스케일링 기준의 6배를 넘겼습니다. 서비스는 비핵심 요청부터 거절했고 부하가 더 높아지자 핵심 요청도 제한했지만, p99 지연은 합리적인 범위에 머물렀으며 성공 RPS도 안정적으로 유지됐습니다. 셰딩하지 않아 지연이 치솟는 문제와 지나친 셰딩으로 처리량을 잃는 문제를 모두 피한 결과입니다.

지연 SLO로 읽는 KeyValue 부하

CPU로 설명되지 않는 과부하도 있습니다. 어떤 서비스는 자신이 호출하는 백엔드나 데이터스토어의 IO에 묶여 있으며, 그 백엔드의 컴퓨트나 스토리지가 과부하되면 응답 지연이 늘어납니다. 이런 서비스에는 우선순위 정책을 그대로 쓰면서 부하를 판단할 지표를 바꿉니다.

기존의 적응형 동시성 제한기도 평균 지연을 부하의 척도로 사용합니다. Netflix는 여기에 엔드포인트별 목표 지연과 최대 지연을 지정하는 방식을 추가해, 백엔드 종류와 관계없이 서비스가 비정상적으로 느려질 때 셰딩하도록 했습니다. Data Gateway 위의 Netflix 스토리지 서비스가 관측한 목표·최대 지연 SLO 사용률을 돌려주는 방식도 지원합니다. 호출한 서비스가 이 값을 보고 스토리지를 과부하시키기 전에 낮은 우선순위 작업을 줄이는 것입니다.

새 기준을 처음부터 조율하는 부담도 줄었습니다. 서비스는 이미 p50 10ms 미만, p100 500ms 미만 같은 엄격한 지연 SLO를 관리하고 있습니다. 이 목표를 사용률로 표현하면 낮은 우선순위 작업을 일찍 거절하면서도, SLO를 지키는 동안에는 최대한 많은 요청을 받을 수 있습니다. 동시성 제한만 사용하는 것보다 튜닝이 덜 필요한 이유입니다.

여기서 사용률은 목표보다 느린 요청의 비율입니다. 목표 지연과 최대 지연을 각각 넘긴 요청을 세어 전체 요청에서 차지하는 비율을 내보냅니다. KeyValue 스토리지 서비스는 네임스페이스마다 목표 10ms와 최대 500ms를 제공하고, 각 클라이언트에 네임스페이스별 사용률을 전달합니다.

예시 응답의 전체 값은 12이며, 지연 지표는 slo_target 12와 slo_max 0, 시스템 지표는 스토리지 17과 컴퓨트 10입니다. 요청의 12%가 10ms보다 느렸고, 최대 지연이자 타임아웃인 500ms를 넘긴 요청은 없었다는 뜻입니다. 스토리지 17은 할당된 스토리지의 17%를 사용하고 있음을 나타냅니다.

모든 작업이 같은 지표를 볼 이유는 없습니다. 하루 한 번 데이터를 쓰는 배치는 스토리지 사용량이 용량에 가까워지면 셰딩할 수 있습니다. 이때 쓰기를 더 받으면 불안정해질 수 있으므로, 지연과 별개로 스토리지 사용률을 판단에 쓰는 사례입니다.

50Gbps 읽기 부하를 견딘 파일 오리진

파일 오리진은 IO 기반 제한기가 필요한 사례입니다. AWS에서 새 파일을 쓰는 요청을 받고, Open Connect CDN이 그 파일을 읽을 수 있도록 제공합니다. 쓰기 요청은 가장 중요해 셰딩하지 않습니다. 데이터스토어가 과부하되면 CDN에 덜 중요한 파일의 읽기부터 줄입니다. 이런 읽기는 CDN이 재시도할 수 있고 제품 경험에도 영향을 주지 않습니다.

오리진은 KeyValue가 보고하는 목표 지연 사용률이 40%를 넘으면 덜 중요한 파일의 읽기를 거절하도록 설정했습니다. 백엔드가 목표 지연을 얼마나 자주 놓치는지에 맞춰 읽기 부하를 줄이는 방식입니다.

스트레스 테스트에서는 핵심 쓰기를 평소 수준으로 유지하면서, 높은 우선순위와 낮은 우선순위 파일 모두에 읽기 요청을 보냈습니다. 약 4MiB 파일의 읽기를 초당 2000건까지 늘리자 읽기 트래픽이 50Gbps를 넘어 백엔드 스토어가 과부하됐습니다. 오리진은 낮은 우선순위 읽기만 거절했고, 높은 우선순위의 쓰기와 읽기는 계속 처리했습니다.

변경 전에는 한계에 닿으면 낮은 우선순위 읽기와 함께 핵심 쓰기와 읽기도 실패했습니다. 이번 테스트에서 파일을 제공하는 서비스의 CPU는 10% 미만이었습니다. CPU는 여유가 있어도 백엔드는 과부하였으므로, 이 상황에서는 IO 기반 제한기만이 서비스를 보호할 수 있었습니다.

오리진은 데이터스토어가 낮은 지연으로 요청을 받아 주는 한 계속 더 많은 트래픽을 처리합니다. 예전의 단순한 동시성 제한은 문제가 없는데도 너무 일찍 요청을 거절하거나, 이미 혼잡 실패에 빠진 뒤에야 거절하는 일이 있었습니다. 백엔드의 지연을 기준으로 삼으면서 이 문제를 피했습니다.

Netflix는 서비스 단위 우선순위 로드 셰딩의 후속 소식도 이어 전하겠다고 밝혔습니다.

주요 수치와 설정값
항목값
PlayAPI 파티션user-initiated 1.0(100% 보장), pre-fetch 0.0(여유분만)
파티션 기준 헤더X-Netflix.Request-Name
지연 주입 테스트프리페치에 2초, 평소 p99 200ms 미만
장애 후 프리페치 급증Android 기기에서 초당 요청 12배
급증 때 가용성프리페치 최저 20%, 사용자 시작 99.4% 초과
우선순위 버킷CRITICAL, DEGRADED, BEST_EFFORT, BULK
CPU 셰딩 실험목표 45%, 비핵심 60%부터·핵심 80%부터 셰딩, RPS 6배 초과까지
KeyValue 지연 SLO목표 10ms, 최대 500ms(네임스페이스별)
오리진 셰딩 시작 조건목표 지연 사용률 40% 초과
오리진 스트레스 테스트50Gbps 초과, 약 4MiB 파일 2000건/초
마지막 수정 일자