목차
Netflix의 LLM 서빙을 함께 맡은 vLLM과 Triton (2026-07)
원문 정보
- 원문: In-House LLM Serving at Netflix
- 매체 · 게시일: Netflix TechBlog · 2026-07-17
- 저자: AI Platform의 Model Runtime 팀과 Inference 팀
- 원문 내용을 바탕으로 재구성한 요약입니다.
LLM까지 같은 gRPC로 받는 MSS
Netflix는 LLM만을 위한 별도의 ML 섬을 만들지 않았습니다. 배포부터 추론까지 직접 운영하되, XGBoost 앙상블부터 대형 LLM까지 같은 gRPC 호출을 쓰도록 기존 프로덕션 환경에 통합했습니다. 클라이언트 라이브러리와 헬스 체크, 배포 파이프라인도 재사용합니다. LLM이라고 특별 취급하지 않겠다는 선택입니다.
회원 대상 ML의 앞단에는 JVM 기반 통합 서빙 시스템이 있습니다. 라우팅과 A/B 로직에서 시작해 후보 생성, 피처 조회, 추론, 후처리, 단계별 로깅까지 처리하며, 실시간 요청과 캐시된 배치 결과를 쓰는 경로를 모두 지원합니다.
추론이 실행되는 위치는 모델 크기에 따라 달라집니다. 작은 CPU 모델은 원격 호출 비용을 피하려고 프로세스 안에서 실행합니다. GPU가 필요한 큰 모델은 전후처리를 로컬에서 수행하고 추론을 Model Scoring Service(MSS)에 맡깁니다. MSS는 XGBoost, TensorFlow, PyTorch, LLM을 한 인터페이스로 지원하는 공유 백엔드입니다. 그 아래에서 NVIDIA Triton Inference Server가 모델 로딩과 배칭, GPU 스케줄링을 담당합니다.
모델 작성자가 직접 GPU 인스턴스를 준비하는 방식은 아닙니다. 아티팩트를 패키징하고 배포 설정을 정하면, Triton 위의 Java 컨트롤 플레인이 인스턴스를 마련하고 Triton을 설정해 무중단 업그레이드를 진행합니다. 버전 관리와 헬스 체크, 오토스케일링, 멀티 리전 롤아웃도 이 컨트롤 플레인이 맡습니다.
JSON 제약이 사라지던 OpenAI 호환 프론트엔드
기존 서빙 시스템을 거치는 gRPC 외에, 새로운 LLM 애플리케이션이 직접 호출하는 HTTP 경로도 열었습니다. OpenAI 호환 API가 LLM 생태계의 사실상 표준 인터페이스였기 때문입니다. 추론 엔진과 오케스트레이션 프레임워크, 평가 도구, 클라이언트가 이미 이 API를 쓰고 있었습니다. 품질이나 지연, 비용, 데이터 프라이버시 때문에 호스팅 모델을 파인튜닝한 자체 호스팅 모델로 바꾸더라도 호출 코드는 거의 그대로 쓸 수 있습니다.
Netflix는 NVIDIA의 Triton OpenAI 호환 프론트엔드를 재사용했습니다. 이 프론트엔드는 임베디드 Triton 서버를 시작하고, TritonLLMEngine에서 API 요청 스키마를 Triton 추론 요청으로 변환하며, FastAPI로 HTTP API를 제공합니다. KServe HTTP/gRPC 프론트엔드도 켜 두었습니다. 덕분에 Java 컨트롤 플레인은 같은 Triton에 계속 gRPC로 접근합니다.
그런데 API가 요청을 받아들였다고 요청의 의미까지 엔진에 전달된 것은 아니었습니다. response_format은 스키마 검사를 통과한 뒤 vLLM에 도착하기 전에 조용히 사라졌습니다. 호출자가 JSON 출력을 지정해도 guided decoding이 적용되지 않아, 플랫폼 오류 없이 형식이 깨진 JSON을 받을 수 있었습니다.
팀은 프론트엔드를 git subtree로 가져와 수정했습니다. 요청마다 response_format을 vLLM의 guided decoding 파라미터로 바꾸어 전달하도록 패치했습니다. API에 필드가 있다는 사실만으로는 드러나지 않던 누락이었습니다.
커스텀 디코딩까지 맡긴 vLLM
초기 엔진은 TensorRT-LLM이었습니다. 당시 성능이 좋았고 Triton과의 연동도 이미 갖춰져 있었습니다. 하지만 2025년 여름에는 선택의 조건이 달라졌습니다. 오픈소스 엔진이 특화 스택과의 성능 격차를 대부분 좁혔고, Netflix의 워크로드도 임베딩 생성에서 랭킹·검색용 prefill 전용 추론, 자기회귀 디코딩, 매 단계 복잡한 제약을 적용하는 커스텀 모델까지 넓어졌습니다.
팀은 달라진 워크로드 조합으로 다시 벤치마크한 뒤 운영 적합성을 기준으로 vLLM을 골랐습니다. 여러 단계의 컴파일 파이프라인 없이 커스텀 아키텍처를 로드하고, 확장 후크에 자체 디코딩 로직을 연결할 수 있었습니다. 초기 TensorRT-LLM의 컴파일된 엔진보다 디버깅도 수월했습니다. 연구 단계에서 이미 vLLM을 쓰던 ML 실무자가 많다는 점은 실험한 모델을 프로덕션으로 넘기는 부담을 줄였습니다.
요청 하나로는 보이지 않던 CPU 병목
커스텀 디코딩 후크는 실제 워크로드에 필요했습니다. 일부 모델은 생성이 끝난 뒤 비즈니스 규칙으로 결과를 걸러서는 비용이 큽니다. 유효하지 않은 출력에도 추론 비용을 지불하고, 다시 생성하거나 결과를 고쳐야 하기 때문입니다. Netflix는 제약을 디코드 루프 안으로 옮겨 출력이 만들어질 때부터 규칙을 지키도록 했습니다.
구현에는 vLLM의 커스텀 logits processor 인터페이스를 썼습니다. 제약을 상태 기계로 표현하고, 생성된 토큰 이력에 맞춰 상태를 갱신하면서 매 단계 허용할 토큰의 마스크를 만듭니다. 규칙이 요청마다 다르므로 프로세서도 요청별로 둡니다. 처음에는 V1에 필요한 기능이 부족해 vLLM V0에서 시작했습니다.
순수 Python으로 만든 첫 구현은 기능상 잘 동작했습니다. 병목은 요청을 모아서 처리할 때 나타났습니다. V0에서는 GPU가 배치 전체의 logits를 계산한 뒤 CPU가 이를 복사해 오고 전송 완료를 기다립니다. 그다음 제약 로직을 요청별로 순차 실행하는데, GIL 때문에 Python 작업을 병렬화하지 못했습니다.
GPU의 순전파는 효율적으로 배칭돼도 CPU 처리 시간은 배치 크기에 비례해 늘어났습니다. 그 시간이 꼬리 지연으로 이어지면서 전체 추론이 CPU에 묶였습니다. 단일 요청 벤치마크에서는 보이지 않던 문제였습니다. 실제에 가까운 동시 요청을 넣어야 드러났습니다.
2025년 4분기, V1이 성숙하면서 처리 단위를 바꿀 수 있었습니다. V1은 logits 처리를 배치 수준에서 수행합니다. 팀은 프로세서의 자료구조부터 다시 작성해 여러 요청의 마스크를 함께 계산하고, 자주 실행되는 코드는 멀티스레드 C++로 옮겨 GIL의 제약을 피했습니다. 변경 뒤에는 배치 크기가 커져도 logits 처리 시간이 일정하게 유지됐습니다.
늘어나기만 하지는 않는 토큰 이력
배치 단위 처리에는 더 복잡한 상태 관리가 따라왔습니다. V1 API에서는 update_state(batch_update)로 배치에 들어오고 나가는 요청을 명시적으로 추적해야 합니다. V0의 요청별 인터페이스보다 다루기 어렵지만, 배치 구성이 계속 바뀌는 동안 각 요청의 상태를 유지하려면 필요한 작업입니다.
성능 문제를 해결한 뒤에도 예상하지 못한 동작이 남았습니다. V1은 chunked prefill을 사용하므로 한 요청의 prefill이 여러 엔진 스텝에 걸쳐 진행될 수 있습니다. 그런데 BatchUpdate만으로는 prefill을 마친 요청과 일부만 처리한 요청을 구분할 수 없었습니다. 팀은 이 진행 상태를 내부에서 따로 추적하도록 보완했습니다.
선점은 상태 기계의 가정을 깨뜨렸습니다. 메모리 압박을 받으면 vLLM은 아직 끝나지 않은 요청의 KV 캐시를 제거하고 나중에 다시 스케줄할 수 있습니다. 이때 프롬프트와 출력 토큰 목록이 달라질 수 있어, 출력 이력이 계속 늘어난다는 전제가 성립하지 않습니다. 팀은 디코드 스텝 사이에 토큰 이력이 줄었는지 감지하고, 줄었다면 상태 기계를 리셋해 새 프롬프트로 초기화하도록 고쳤습니다.
프론트엔드와 따로 바뀌는 모델 패키지
엔진을 정한 뒤에는 모델을 어떤 형태로 Triton에 전달할지 결정해야 했습니다. 이 선택은 프론트엔드를 업그레이드할 때 모델 패키지까지 함께 바꿔야 하는지를 좌우합니다.
Triton의 Python 백엔드에서는 모델 작성자가 패키징할 때 입출력 텐서 사양을 명시합니다. 사양이 아티팩트에 고정되므로 외부 벤더 프론트엔드의 요청 빌더가 기대하는 형식과 계속 맞아야 합니다. 프론트엔드 업그레이드가 입출력 사양을 건드리면 패키징 쪽도 함께 변경해야 합니다. 어느 한쪽만 바꾸면 요청이 런타임에 실패합니다.
vLLM 백엔드는 이 의존성을 줄입니다. 모델 아티팩트에는 가중치와 토크나이저를 가리키는 JSON 설정을 넣고, 입출력 사양은 Triton의 vLLM 백엔드가 배포 시점에 동적으로 생성합니다. 모델과 프론트엔드를 독립적으로 변경할 수 있어 Netflix는 이 방식을 기본 경로로 삼았습니다.
그렇다고 버전까지 자유롭게 조합할 수는 없었습니다. Triton의 vLLM 백엔드는 특정 vLLM API에 맞춰 컴파일됩니다. 예를 들어 Triton 25.09는 vLLM 0.11.2에서 제거된 vllm.engine.metrics를 가져오려다 백엔드 로딩 자체에 실패합니다. Netflix는 서비스 이미지를 만들 때 호환되는 버전을 고정하고, 모델 작성자가 패키징 과정에서 vLLM 버전을 덮어쓰지 못하게 했습니다.
Python 백엔드도 여전히 필요합니다. vLLM 백엔드는 표준 HuggingFace 호환 모델을 전제로 추론 수명 주기 전체를 실행합니다. 커스텀 전후처리나 앙상블, 커스텀 토크나이징처럼 비표준 실행이 필요한 모델에는 맞지 않습니다. 이런 모델은 execute()를 직접 제어할 수 있는 Python 백엔드를 사용합니다. 팀은 일부 모델을 위한 이 탈출구가 앞으로도 필요할 것으로 봅니다.
호출자의 전환 시점을 기다리는 Versioned
GPU 배포는 CPU 서비스보다 준비에 오래 걸립니다. 모델 버전 사이에 입출력 스키마까지 바뀌면, 새 모델을 띄우는 일과 호출자의 설정을 바꾸는 일을 함께 조율해야 합니다. 모델의 준비가 끝나는 시점만 관리해서는 부족했습니다.
인터페이스가 안정적일 때는 Red-Black이 맞습니다. 현재 버전 옆에 새 버전을 배포하고 헬스 체크를 통과하면 트래픽을 단계적으로 옮깁니다. 새 버전의 규모를 늘리는 속도에 맞춰 이전 버전을 줄이며, 어느 단계에서든 실패하면 원자적으로 롤백합니다.
문제는 새 버전이 다른 입출력 스키마를 요구할 때입니다. 예를 들어 텐서 차원이 바뀌면 호출자의 설정도 바뀌어야 하는데, 호출자는 새 모델이 완전히 배포되기 전까지 설정을 전환할 수 없습니다. 그 사이 새 배포에는 이전 형식의 요청이 들어갑니다. 모델 배포가 진행되는 동안 요청 실패가 불가피한 구간이 생기는 것입니다.
Versioned는 (modelId, modelVersion) 쌍마다 독립 배포를 유지해 이 시간차를 처리합니다. 새 버전이 준비되는 동안 이전 버전은 기존 트래픽을 계속 받고, 호출자는 준비가 끝난 뒤 자기 설정을 바꿉니다. 모델 배포와 호출자 업데이트를 분리하는 방식입니다. 한동안 쓰이지 않은 이전 배포는 정리하되 최신 버전은 항상 남깁니다. 여러 버전이 겹쳐 실행되는 동안에는 GPU 비용이 일시적으로 늘어납니다.
Netflix가 권하는 기본 방향은 텐서 모양 같은 가변 설정을 모델 안에 넣어 호출자가 모델 버전에 의존하지 않게 만드는 것입니다. 그러면 비용이 더 적게 드는 Red-Black을 쓸 수 있습니다. Versioned는 호환성을 깨는 변경이 불가피한 드문 경우에 사용하도록 권합니다.
스케줄러의 대기 한도를 넘긴 모델 다운로드
큰 LLM을 S3나 Hugging Face에서 내려받는 일을 인스턴스 시작 시점까지 미루면 콜드 스타트가 너무 길어집니다. 스케줄러가 기다릴 수 있는 한도를 넘을 정도였습니다. Netflix는 모델을 공지하는 시점에 Amazon FSx에 미리 준비해 두었습니다. 웜 스타트에서는 고성능 파일 시스템에 있는 모델을 읽습니다.
Triton의 실행 방식도 배포마다 정합니다. OpenAI 호환 API가 필요하면 프론트엔드 프로세스 안에서 임베디드로 실행하고, 그렇지 않으면 독립 프로세스로 실행합니다. 어느 쪽을 쓸지는 패키징 시점에 결정합니다.
부팅 중에는 모델 패키지를 풀고 Python entry_points로 커스텀 vLLM 플러그인을 설치하며 Prometheus multiprocess 디렉터리를 정리합니다. 포트를 여는 일은 마지막까지 기다립니다. 엔진이 준비되기 전에는 gRPC 포트를 닫아 둡니다.
흩어진 지표를 모으는 /metrics
인스턴스가 실행된 뒤에는 메트릭이 따로 나왔습니다. vLLM은 PROMETHEUS_MULTIPROC_DIR에 .db 파일을 쓰고, Triton은 서버 메트릭을 자체 Prometheus 엔드포인트로 공개합니다. Triton에 내장된 브리지도 충분하지 않았습니다. vLLM 메트릭 40여 개 중 9개만 노출했으며, 토큰 처리량과 KV 캐시 사용률, 프리픽스 캐시 적중률이 빠져 있었습니다.
팀은 가벼운 HTTP 프록시로 둘을 하나의 /metrics 엔드포인트에 모았습니다. 프록시는 Triton 메트릭을 HTTP로 가져오고, vLLM 메트릭은 Prometheus의 MultiProcessCollector를 이용해 디스크에서 읽습니다. 합친 결과를 한 번에 반환하므로 기존 대시보드와 알림을 수정할 필요가 없었습니다.
GPU 커널로 옮기려는 logits processor
제약 디코딩에서 CPU 병목을 해결했지만 최적화 작업은 이어집니다. 팀은 logits processor를 벡터화해 CPU 코드 대신 fused GPU 커널로 실행하는 방식을 다음 투자 대상으로 잡았습니다. vLLM V1의 비동기 스케줄링과 시스템 프롬프트 압축도 추진할 계획입니다. 메모리 사용을 줄이고 처리량을 높이기 위한 저정밀 모델 변형 역시 앞으로의 작업에 포함돼 있습니다.
원문의 버전·수치 정보
| 항목 | 값 |
|---|---|
| 엔진 전환 시점 | 2025년 여름 재벤치마크 후 vLLM 선택 (기존 TensorRT-LLM) |
| 버전 불일치 사례 | Triton 25.09가 vLLM 0.11.2에서 제거된 vllm.engine.metrics를 import |
| Triton 내장 브리지의 vLLM 메트릭 | 40여 개 중 9개 |
| 제약 디코딩 엔진 이행 | vLLM V0에서 시작, 2025년 4분기 V1로 이행 |
| 모델 캐시 | 모델 공지 시점에 Amazon FSx에 구체화 |
| Versioned 배포 단위 | (modelId, modelVersion) 쌍마다 독립 배포 |