본문으로 건너뛰기
Switchboard의 한 홉을 덜어 낸 Lightbulb
목차

Switchboard의 한 홉을 덜어 낸 Lightbulb (2026-05)

원문 정보

  • 원문: State of Routing in Model Serving
  • 매체 · 게시일: Netflix TechBlog · 2026-05-01
  • 저자: Nipun Kumar, Rajat Shah, Peter Chng
  • ML 모델 서빙 인프라를 다루는 여러 편짜리 시리즈의 첫 번째 글이며, 이후 편에서 추론과 피처 조회를 다룬다고 예고합니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

모든 요청이 거치던 Switchboard

Netflix의 중앙 ML 서빙 플랫폼은 2025년 기준 수백 개 모델 유형과 버전을 서비스하며 초당 100만 요청을 처리합니다. 타이틀 추천부터 커머스까지 여러 도메인의 마이크로서비스가 이 플랫폼에 모델 실행을 맡깁니다. 연구자는 새 가설을 빠르게 시험하고 모델을 안전하게 출시해야 하고, 호출 서비스는 그 과정의 복잡성을 모르더라도 추론 결과를 받아야 합니다.

이 사이에서 모든 요청을 받던 중앙 라우터가 Switchboard입니다. 30개가 넘는 서비스 클라이언트가 같은 진입점에 요청을 보내면, Switchboard가 요청 맥락과 사용자의 실험 할당에 맞는 모델을 골라 해당 클러스터로 보냈습니다. 모델을 바꿀 때마다 호출 서비스를 함께 고치는 부담이 줄었고, 기존 ML 기능의 개선과 새 ML 제품 개발을 뒷받침했습니다.

규모가 커지자 이 진입점의 비용이 드러났습니다. Switchboard를 거치는 한 홉에서 페이로드를 역직렬화하고 다시 직렬화하는 데 크기에 따라 10~20ms가 더 들었습니다. 요청은 꼬리 지연이 증폭될 위험에도 노출됐습니다. 지연에 민감한 일부 클라이언트에서는 이 추가 시간이 타임아웃으로 이어져 최종 사용자에게 영향을 줬습니다.

가용성도 문제였습니다. Switchboard의 버그나 과도한 트래픽을 보내는 이웃 때문에 모든 서빙 호스트로 가는 접근이 막힐 위험이 있었습니다. 모델들이 여러 클러스터에 흩어져 있어도, 그 앞의 라우터는 여러 ML 경험이 공유하는 의존성이었습니다. 이곳의 장애가 여러 서비스의 품질 저하나 중단으로 번질 수 있었습니다.

중앙 프록시는 요청의 출처도 가렸습니다. 서빙 클러스터에서는 어느 클라이언트가 보낸 요청인지 알기 어려워, 학습에 쓰는 로그에서 실제 트래픽과 인위적 트래픽을 구분하는 일이 까다로워졌습니다. 지속적인 커스터마이징과 MLOps 부담이 늘었고, 테넌트 분리와 테스트 트래픽 격리도 어려워졌습니다.

Netflix가 Lightbulb로 전환하며 바꾸려 한 것은 이 공통 의존성입니다. 클라이언트가 모델과 클러스터의 세부 사항을 몰라도 되는 계약은 유지하되, 모델을 선택하는 일과 실제 요청을 보내는 일을 분리했습니다. 그 선택을 이해하려면 먼저 Netflix가 무엇을 ‘모델’이라고 부르는지 봐야 합니다.

입력부터 출력까지 맡는 Netflix 모델

Netflix에서 모델은 점수 함수보다 범위가 넓습니다. 추론이 보통 infer(features) -> score를 뜻한다면, 모델은 입력을 받아 출력을 만드는 자기 완결적 워크플로입니다. 전처리와 후처리, 피처 계산 로직을 표준 패키지에 묶고, 필요에 따라 ML로 학습한 구성 요소도 포함합니다. 여러 맥락에서 이 패키지를 사용할 수 있으며, 워크플로 전체를 실행하는 일이 모델 서빙입니다.

홈페이지의 개인화된 Continue Watching 행이 한 예입니다. 사용자 ID와 국가, 기기 ID를 입력하면 순위를 매긴 타이틀 ID 목록을 돌려줍니다. 결제 사기 탐지 모델은 사용자 ID, 국가, 거래 정보를 받아 사기일 확률을 반환합니다. 호출자가 원하는 것은 각각 추천 순서와 사기 확률이지만, 모델은 그 결과를 얻기까지 필요한 작업도 함께 맡습니다.

피처를 준비하는 일도 여기에 들어갑니다. 모델 정의에는 피처 계산에 필요한 팩트, 즉 비즈니스 워크플로에서 나온 가공 전 데이터나 관측값의 목록이 있습니다. 서빙 플랫폼은 요청을 처리할 때 다른 마이크로서비스를 호출해 이 데이터를 공급합니다. 오프라인에서는 Netflix의 ML 팩트 스토어가 스냅샷을 제공해 피처를 대량으로 계산하게 합니다.

따라서 호출 서비스가 피처를 미리 계산해서 넘기는 계약은 아닙니다. userId, 국가, 기기 같은 공통 요청 컨텍스트와 순위를 매길 타이틀이나 결제 거래 같은 도메인 컨텍스트를 전달하면, 모델이 필요한 피처를 계산하고 추론합니다. 라우팅과 API도 이 워크플로를 실행하는 수준에서 동작합니다.

도메인마다 목적은 달라도 공통 요청 컨텍스트는 같습니다. 이를 바탕으로 표준 API와 클라이언트 연동 방식을 공유할 수 있었습니다. 모델 선택과 실행을 플랫폼 안에 두었으므로, 모델 구조나 필요한 입력이 달라져도 클라이언트와의 조율은 적게 유지할 수 있었습니다.

사용 사례를 계약으로 삼은 Objective

Switchboard에 들어오는 모든 요청은 Objective를 반드시 포함합니다. 플랫폼이 정의한 열거형이며, ContinueWatchingRanking처럼 비즈니스 사용 사례에 붙인 이름입니다. 이 이름을 기준으로 요청의 목적을 알리고, 구체적인 모델 선택과 라우팅은 플랫폼에 맡기는 계약입니다.

이 계약에서 클라이언트 연동은 사용 사례별로 한 번이면 됩니다. 이후의 모델 변경이나 중간 A/B 실험은 호출 서비스에 대체로 드러나지 않도록 했습니다. 플랫폼이 사용자의 A/B 할당에 따라 모델을 고르고, 실험 모델에 필요한 추가 데이터를 조회하며, 학습과 관측을 위한 로그를 남깁니다. 연구자도 모델을 바꿀 때 여러 호출 서비스 대신 한 플랫폼과 조율하면 됩니다. 같은 비즈니스 요구에 새 모델을 도입하더라도 클라이언트가 새 서비스 의존성이나 별도 클라이언트를 관리할 부담은 없습니다.

모델의 위치도 이 계약 뒤에 있습니다. 모델은 여러 서빙 클러스터 샤드에 배치되고, 각 샤드는 자체 가상 IP인 VIP를 가집니다. 트래픽 패턴과 SLA, 모델 구조, CPU와 메모리 여유가 모델 배치에 영향을 주므로 모델에 도달하는 VIP도 바뀝니다. 플랫폼은 이런 변경을 클라이언트에 드러내지 않으면서 높은 가용성을 유지해야 했습니다.

고정된 모델 이름과 주소를 감추는 것만으로는 부족했습니다. 기기, 로케일, 홈 화면인지 검색 결과인지 같은 랭킹 화면 유형, 현재 참여 중인 A/B 테스트에 따라 모델을 달리 골라야 했습니다. 새 모델과 VIP로 트래픽을 조금씩 옮기는 조절 장치와 클라이언트 오버라이드도 요구사항이었습니다.

AWS API Gateway나 독립형 서비스 메시 프록시 같은 기성 게이트웨이는 이 요구를 모두 채우지 못했습니다. Netflix 실험 플랫폼과 긴밀하게 통합하면서 클라이언트에 gRPC 엔드포인트를 제공하고, 풍부한 도메인 컨텍스트로 라우팅을 조정해야 했습니다. 안전한 출시와 이전을 위해 섀도 모드, 카나리, 롤백 같은 모델 수명 주기도 다뤄야 했습니다. Netflix는 이를 위해 유연한 프록시 계층을 직접 만들었습니다. Switchboard는 높은 가용성을 유지하며 초당 100만 요청이 넘는 트래픽을 처리했고, 설정에 따라 모델 입력에 컨텍스트를 보강하는 일도 맡았습니다.

이 프록시에서 트래픽 분할은 모델 출시를 조절하는 수단입니다. 새 버전을 작은 비율의 사용자에게 먼저 내보내 카나리와 실험을 진행하고, 같은 모델의 여러 버전으로 요청을 보냅니다. 섀도 모드에서는 사용자 경험에 영향을 주지 않은 채 새 버전에도 프로덕션 트래픽을 보내 성능을 비교합니다. 문제가 생기면 안정 버전으로 트래픽을 즉시 돌리는 롤백도 지원했습니다.

공통 진입점에는 운영용 제한 장치도 모였습니다. 모델 버전별로 클라이언트의 요청 속도를 제한하고, 문제가 있는 클라이언트에 대응하기 위한 중앙 동시성 제한을 조절했습니다. 클라이언트와 연구자에게는 단순한 연동을 제공했지만, 그만큼 라우터가 모델 배포 과정에서 알아야 할 정보는 많아졌습니다. 연구자의 실험 의도를 플랫폼 코드와 별도로 전달할 방법이 필요했습니다.

플랫폼 코드와 별도로 배포하는 Switchboard Rules

Objective는 클라이언트와의 계약으로 남겨 두고, 그 뒤에 연결할 모델과 실험은 연구자가 바꿉니다. 이를 위한 주된 설정 방식이 JavaScript로 작성하는 Switchboard Rules입니다. 이 설정은 보통 JSON 형태의 규칙 집합을 만들어 Switchboard와 서빙 클러스터에 전달합니다.

규칙에는 Objective별 기본 모델이 들어갑니다. 어떤 Objective에서 A/B 실험을 진행하고 어떤 모델을 올릴지, 새 모델로 트래픽을 얼마나 점진적으로 옮길지도 여기에 정의합니다. 호출 서비스의 코드를 고치지 않고 사용 사례에 모델 변형과 실험을 연결하는 방식입니다.

Continue Watching 행의 예시를 보면 관계가 분명해집니다. 테스트 ID 12345는 ContinueWatchingRanking을 대상으로 하며, 셀 1에는 현재 프로덕션 기본 모델을 연결하고 셀 2와 3에는 서로 다른 후보 모델을 연결합니다. 이 예에서 모델 입력 유형은 타이틀이고 모델 유형은 SCORER입니다. 셀과 모델의 대응은 이 실험의 설정이며, 모든 실험이 따라야 하는 고정 규칙은 아닙니다.

규칙을 받았다고 곧바로 요청을 보내지는 않습니다. 컨트롤 플레인이 먼저 모델을 어느 클러스터 샤드에 할당할지 정합니다. 이어서 지정된 모델을 모두 해당 샤드에 올리고 의존성을 검증한 뒤, 모델과 샤드 VIP의 매핑을 Switchboard에 제공합니다. 연구자가 정한 모델 선택 규칙과 실제로 모델을 실행할 위치가 이 과정에서 연결됩니다.

실제 요청이 들어오면 데이터 플레인이 이 정보를 사용합니다. Objective가 ContinueWatchingRanking이면 Switchboard는 실험 플랫폼에 해당 userId의 셀 할당을 묻습니다. 할당 결과와 A/B 규칙으로 모델을 고른 다음, 그 모델이 있는 샤드로 컨텍스트와 요청을 보냅니다. 서빙 호스트는 모델 워크플로를 실행하고 응답을 반환합니다.

이렇게 실험 설정에는 플랫폼 코드와 별개의 릴리스 주기가 생겼습니다. 규칙을 바꾸기 위해 플랫폼 코드까지 함께 배포할 필요가 없어진 것입니다. Netflix의 Gutenberg 시스템은 pub-sub 방식으로 설정의 버전 관리, 동적 로딩, 롤백을 지원합니다. Switchboard와 서빙 호스트가 같은 Switchboard Rules 설정을 구독하며, 동적으로 바뀌는 설정에서 경쟁 상태를 막고 양쪽을 동기화하는 흐름도 마련했습니다.

이 분리는 Lightbulb에서도 이어집니다. 연구자가 모델과 실험을 정의하는 방식은 유지하고, 요청을 처리할 때 그 설정을 어디에서 해석할지 바꾼 것입니다.

모델 선택과 요청 전송을 나눈 Lightbulb

Lightbulb 전환에서도 모델을 준비하고 설정을 배포하는 흐름은 대체로 유지했습니다. 바뀐 부분은 요청 경로입니다. Switchboard가 한곳에서 수행하던 모델 선택과 실제 요청 라우팅을 별도 구성 요소로 나눴습니다.

라우팅 규칙은 자주 바뀌지 않습니다. 그런데 중앙 라우팅 서비스를 요청 경로에 두면, 그 서비스가 가용성을 해칠 수 있는 또 하나의 장애 지점이 되고 폴백의 선택도 제한합니다. Netflix는 규칙의 일관성을 유지하려고 감수하던 이 가용성 부담을 줄이고자 했습니다.

큰 요청 본문도 분리 대상이었습니다. 목적지를 정하려고 모델 입력 전체를 역직렬화하고 다시 직렬화하는 일이 지연과 서빙 비용을 늘렸기 때문입니다. 라우팅에 필요한 메타데이터를 모델 입력과 떼어 놓으면, 목적지 선택을 위해 큰 페이로드를 중앙 서비스에 통과시키는 일을 피할 수 있습니다.

격리 문제 역시 같은 방향의 변경을 요구했습니다. 여러 테넌트를 한 라우팅 클러스터에 모으면 한 테넌트의 문제 요청이 급증할 때 오류가 다른 테넌트로 퍼질 위험이 있습니다. 사용 사례마다 요청의 복잡도가 크게 달라, 공유 클러스터가 서로 다른 지연 요구를 수용해야 하는 부담도 있었습니다. 새 설계는 라우팅 계층의 격리를 강화하는 것을 목표로 삼았습니다.

유지하려는 조건은 분명했습니다. 공통 클라이언트 추상화와 모델 샤딩의 분리, 유연한 라우팅 규칙은 계속 제공해야 했습니다. 클라이언트는 가볍게 유지하고, 모델과 실험 설정은 한곳에서 정의하며 빠르게 전파해야 했습니다. 실패 시 폴백과 클라이언트 측 캐싱도 유지할 요구사항에 포함됐습니다.

Objective 규칙은 이제 역할에 따라 나뉩니다.

  • 모델 서빙 설정: 요청 시점에 사용할 모델과 필요한 메타데이터
  • 라우팅 규칙: 모델이 정해진 뒤 요청을 보낼 클러스터의 VIP

이 구분은 요청에 맞는 모델과 실행 설정을 정하는 일을 모델의 배치 정보에서 분리합니다. Lightbulb는 요청 컨텍스트를 해석해 모델 선택에 필요한 정보를 제공하고, 실제 클러스터로 보내는 작업은 Envoy가 맡습니다.

헤더의 routingKey를 읽는 Envoy

Netflix는 앱 사이의 모든 이그레스 통신에 이미 Envoy를 사용하고 있었습니다. Envoy는 컨트롤 플레인이 게시한 라우팅 규칙에 따라 요청을 클러스터 VIP로 보낼 수 있습니다. 하지만 요청에 맞는 A/B 모델을 결정할 정보가 없고, 모델 변형에 필요한 서빙 파라미터를 요청 본문에 보강하는 역할도 할 수 없었습니다. 이 부분을 Lightbulb가 채웁니다.

Lightbulb에 전달하는 것은 사용 사례 정보가 담긴 최소한의 요청 컨텍스트입니다. 이를 해석한 결과가 routingKey와 ObjectiveConfig입니다. ObjectiveConfig에는 모델 ID와 요청별 실행 설정이 들어갑니다. 어떤 모델을 어떤 설정으로 실행할지 결정하는 정보와, 그 모델이 배치된 클러스터로 가는 정보가 여기서 분리됩니다.

클라이언트는 두 결과를 서로 다른 곳에 넣습니다. routingKey는 Envoy가 읽을 요청 헤더에, ObjectiveConfig의 파라미터는 요청 본문에 넣습니다. 모델 실행에 필요한 추가 설정을 모두 헤더로 보내면 헤더가 비대해지므로, 실행 설정은 본문으로 전달하는 방식입니다.

실제 요청을 받은 Envoy는 헤더의 routingKey를 모델이 실행 중인 클러스터 VIP에 대응시킵니다. 목적지 판단에 쓰는 키가 헤더에 있으므로 라우팅 오버헤드는 작습니다. Switchboard에서처럼 라우팅을 결정하려고 큰 모델 입력을 읽고 다시 직렬화하던 부담을 줄이는 설계입니다.

클라이언트에게 남는 계약은 여전히 사용 사례와 요청 컨텍스트를 기준으로 한 단일 연동 지점입니다. 모델 선택은 컨텍스트에 맞게 이뤄지고, 연구자는 모델과 실험 규칙을 유연하게 바꿉니다. Lightbulb는 라우팅 메타데이터에 집중하고 Envoy는 그 정보를 이용해 요청을 보내면서, Switchboard가 제공하던 추상화를 유지하고 중앙 프록시에서 드러난 지연과 장애 위험을 해결했습니다.

이어질 글에서는 추론과 피처 조회를 다루며, 이 작업들이 라우팅과 어떻게 상호작용하는지 설명할 예정입니다.

원문의 규모·지연 수치
항목값
서빙 규모 (2025년 기준)수백 개 모델 유형과 버전, 초당 100만 요청
Switchboard 클라이언트30개가 넘는 서비스
Switchboard가 더한 지연페이로드 크기에 따라 10~20ms (직렬화와 역직렬화)
예시 A/B 규칙테스트 ID 12345, 셀 1은 기본 모델, 셀 2와 3은 후보 모델
예시 ObjectiveContinueWatchingRanking
규칙 배포Gutenberg로 코드 배포와 별도 릴리스
Lightbulb 이후 라우팅routingKey는 헤더로, ObjectiveConfig는 요청 본문으로 전달
마지막 수정 일자