본문으로 건너뛰기
실시간 워크로드에 자기만의 방을 준 단일 테넌트 Titus
목차

실시간 워크로드에 자기만의 방을 준 단일 테넌트 Titus (2026-10)

원문 정보

몇 초의 간섭에 멈춰 선 스트리밍 잡

실시간 스트리밍 잡에는 몇 초의 자원 고갈도 긴 중단으로 번질 수 있습니다. 메모리에 상태를 유지하며 대량의 데이터를 처리하다 멈추면, 체크포인트에서 복구한 뒤 수 분 동안 밀린 처리를 따라잡아야 하기 때문입니다. Netflix의 해당 팀들이 겪은 이웃 간섭은 평균 응답 시간이 조금 나빠지는 정도가 아니었습니다. 잡 전체가 멈추고 온콜이 호출되는 일이었으며, 이 팀들은 순수 EC2에서는 같은 문제를 본 적이 없다고 했습니다.

이들이 쓰던 Titus는 Netflix의 Kubernetes 기반 컨테이너 호스팅 플랫폼입니다. Compute/Platform 팀이 컨트롤 플레인과 컨테이너 호스트를 패치하므로, 애플리케이션 팀은 컨테이너를 넘기면 됩니다. 호스트나 클러스터, 커널을 직접 관리하지 않습니다. 여러 AWS 리전의 수만 대 EC2 인스턴스에서 매주 수백만 개의 컨테이너를 띄우는 플랫폼이기도 합니다. 여러 팀의 컨테이너가 큰 호스트를 나눠 쓰는 멀티테넌시가 기본이며, 그 밀도 덕분에 효율을 얻어 왔습니다.

일부 까다로운 워크로드에는 그 공유가 문제였습니다. Netflix는 태스크 하나에 전용 EC2 인스턴스를 주는 단일 테넌트 Titus를 만들었습니다. 애플리케이션 팀은 익숙한 API와 배포 경로를 계속 쓰고, 플랫폼 팀은 여전히 호스트를 관리합니다. 전용 VM을 얻으려고 Titus를 떠날 이유를 없앤 것입니다.

이웃을 보호하다 병목이 된 HTB 전역 락

Titus에 격리 장치가 없었던 것은 아닙니다. cgroup으로 CPU·메모리·디스크 사용을 제한하고, 네임스페이스로 컨테이너마다 보이는 자원을 나눴습니다. seccomp와 AppArmor는 시스템 콜을 제한하며, CFS와 iocost, 트래픽 셰이핑은 CPU 시간과 디스크 IO, 네트워크 사용량을 배분합니다. 컨테이너마다 별도의 신원과 IAM 역할, 보안 그룹도 갖습니다. 그러나 큰 베어메탈 인스턴스 안에서 커널과 하드웨어를 공유한다는 사실까지 바꾸지는 못했습니다.

가장 큰 피해는 네트워크에서 나왔습니다. 컨테이너별 대역폭을 제한하는 HTB(hierarchical token bucket)는 바이트와 패킷을 계산할 때 전역 락을 잡아 트래픽을 직렬화합니다. 한 컨테이너가 작은 패킷을 쏟아내면 이 락을 둘러싼 경합이 커널 CPU를 소모했습니다. 아무 잘못이 없는 이웃 서비스에서 TCP 재전송이 늘고 꼬리 지연이 치솟았습니다. 이웃을 보호하려고 둔 장치가 이웃을 방해한 것입니다.

대역폭 한도만으로는 부족했습니다. 패킷 수신 처리는 softirq에서 실행되므로, 한 컨테이너가 유발한 패킷 처리 비용을 이웃이 쓰는 CPU가 부담할 수 있습니다. 작은 패킷이 몰리면 바이트 기준 대역폭 상한에 닿기도 전에 코어의 softirq 처리 여력이 소진됩니다. 네트워크를 얼마나 썼는지와 그 네트워크를 처리하느라 CPU를 얼마나 썼는지는 같은 제한으로 다룰 수 없었습니다.

CPU 한도를 지키는 컨테이너끼리도 서로를 느리게 만들었습니다. 같은 코어 그룹은 마지막 수준 캐시인 LLC와 메모리로 가는 경로를 공유합니다. 한쪽이 RAM에서 데이터를 대량으로 읽으면 다른 쪽의 캐시 라인이 밀려나고 메모리 대역폭도 부족해집니다. 둘 다 CPU 쿼터 안에 있어도 벌어지는 일입니다. CPU shares가 있어도 메모리 대역폭이나 캐시 점유를 제한할 cgroup은 없습니다. 실행 큐의 경합 역시 할당량 위반 없이 스케줄링 지연을 늘립니다.

디스크에서도 비슷한 일이 일어납니다. 이웃이 디바이스 큐를 포화시키면 다른 컨테이너의 IO까지 줄을 서고, 클라우드 블록 스토리지의 볼륨별·인스턴스별 처리량 상한도 함께 쓰는 예산입니다. 여기에 페이지 캐시 회수, NUMA와 소켓 간 트래픽, TLB-shootdown 인터럽트, PCIe·GPU 경합, 전력·열 스로틀링, 커널 전역 락까지 간섭의 경로는 길게 이어집니다. CPU 시간과 메모리 용량에 쿼터를 걸어도 각 테넌트에 전용 메모리 버스나 LLC, softirq 처리 여력이 생기지는 않습니다.

이전 글에서 다룬 개선도 계속해 왔습니다. 예측 기반 CPU 격리는 컨테이너별 수요를 예측하고 매분 최적화 문제를 풀어 코어 배치를 조정했고, eBPF 기반 탐지는 컨테이너별 실행 큐 지연을 측정했습니다. ‘Mount Mayhem’에서는 CPU 캐시 토폴로지가 증폭한 커널 전역 락 경합을 찾아 컨테이너 시작 지연을 다뤘습니다. 이런 작업으로 전반적인 격리 수준은 높아졌지만, 나쁜 1분조차 견디기 어려운 워크로드에 충분한 보장은 아니었습니다.

Titus를 떠나지 않고 얻는 전용 EC2

원하는 기준은 이미 있었습니다. 해당 팀들이 신뢰하던 VM 수준의 격리입니다. 어려운 부분은 VM을 제공하면서 Titus의 관리 편의까지 지키는 일이었습니다. EC2로 직접 옮기면 애플리케이션 팀이 인스턴스 유형 선택, 호스트 패치, 플릿 크기와 확장을 다시 맡아야 했습니다. 그 일을 피하려고 Titus에 온 팀에는 후퇴였고, Titus에서 EC2로 나가는 길은 지금까지 한 번 통과하면 돌아오기 어려운 문이었습니다.

먼저 필요한 격리의 종류를 구분했습니다. microVM과 gVisor가 겨냥하는 것은 서로 신뢰하지 않는 테넌트 사이의 보안 격리입니다. Netflix 내부의 이 워크로드들이 요구한 것은 이웃이 CPU, 캐시, 메모리 대역폭, 네트워크를 빼앗지 못하게 하는 자원·성능 격리였습니다. 전용 EC2 인스턴스면 그 요구를 충족하면서 별도의 하드웨어 에뮬레이션이나 샌드박스 커널을 추가하지 않아도 됐습니다.

microVM은 서류상 매력적인 선택이었습니다. Firecracker와 Kata는 에뮬레이트하는 하드웨어를 줄여 약 150ms에 부팅하며, 서버리스 플랫폼에서도 쓰입니다. 하지만 하드웨어 가상화에는 베어메탈이나 중첩 가상화가 필요했고, 당시 Netflix가 쓰는 인스턴스 유형에서는 중첩 가상화가 준비되지 않았습니다. 적용할 수 있는 플릿의 범위가 좁았습니다. 기반으로 삼을 관리형 microVM 서비스도 없어 하이퍼바이저 패치, 라이브 마이그레이션, 에뮬레이트 장치 검증을 Netflix가 맡아야 했습니다. CPU·IO 중심 작업의 오버헤드와 GPU 미지원도 부담이었습니다.

gVisor는 사용자 공간 커널에서 시스템 콜을 가로채므로 하이퍼바이저나 베어메탈 제약 없이 샌드박스 격리를 제공합니다. 대신 IO가 많은 경로에 비용이 붙습니다. 보호하려던 스트리밍 작업이 바로 그런 워크로드였습니다. 오픈소스 프로젝트의 수정이 내부 버전보다 뒤처지고, 사실상 한 벤더가 유지한다는 점도 고려 대상이었습니다.

공유 커널의 격리를 계속 개선하는 길은 여전히 유효합니다. 별도 신청 없이 모든 워크로드가 혜택을 얻으므로 Netflix도 투자를 이어 갑니다. 그러나 하드웨어를 함께 쓰는 동안 캐시와 메모리 대역폭, 셰이핑과 스케줄링의 커널 락을 완전히 분리할 수는 없습니다. Netflix는 멀티테넌시를 기본값으로 유지하되, 더 강한 성능 격리가 필요한 태스크에는 기존 API와 책임 분담 아래에서 전용 EC2를 제공하기로 했습니다.

태스크 하나가 끝까지 쓰는 전용 노드

단일 테넌트 노드에는 애플리케이션 태스크 하나와 플랫폼 사이드카가 실행됩니다. 다른 애플리케이션 태스크는 들어오지 않습니다. 인스턴스는 태스크의 요청 크기에 맞춰 고르지만, 여전히 Compute/Platform 팀이 소유하고 패치하는 Titus 호스트입니다.

배치 결정은 개별 셀 위의 federation 계층에서 시작합니다. 이 계층은 잡을 어느 셀의 어떤 용량에 배치할지 정하며 리전의 용량과 가용성을 함께 봅니다. 단일 테넌트 모드에서는 Compute/Platform 팀이 관리하는 허용 목록으로 대상 여부를 판단합니다. 팀은 공개 API 플래그를 켜는 대신 단일 테넌트 워크로드 그룹을 지정합니다. federation은 태스크에 단일 테넌트 표시를 붙이고, 일관된 성능을 위해 실행을 허용할 인스턴스 패밀리도 기록합니다.

대기 중인 태스크가 생기면 오토스케일러가 노드를 준비합니다. 허용된 패밀리 안에서 요청한 CPU·메모리·GPU를 만족하는 가장 작은 인스턴스를 골라 필요한 순간에 띄웁니다. 태스크마다 가까운 크기를 선택해 남는 자원을 줄이는 방식입니다.

노드가 생긴 뒤에는 스케줄러가 독점을 보장합니다. 파드 anti-affinity로 다른 파드와의 동거를 막고, 선점 대상에서 제외하는 priority class를 부여합니다. 노드의 taint는 단일 테넌트 워크로드만 허용합니다. 이 노드에서는 디프래그와 재패킹도 꺼 둡니다. 태스크가 살아 있는 동안 플릿을 더 잘 채우겠다는 이유로 다른 호스트로 옮기지 않습니다.

허용 목록은 의도적인 제한입니다. 누구나 켤 수 있는 체크박스였다면 많은 팀이 전용 호스트를 선택해 멀티테넌시의 효율을 떨어뜨렸을 것입니다. 허용 목록은 운영 경험을 쌓는 동안 공개 API를 작게 유지하는 역할도 합니다. 노드에 빈 공간이 남는다고 잡의 요청 자원을 몰래 늘리지도 않습니다. 요청은 그대로 두고, 활용률을 높이려는 팀에는 노드 크기에 가깝게 잡을 조정하도록 안내합니다.

들어오는 길과 나가는 길도 남겨 뒀습니다. 라벨을 바꾸면 전용 노드로 옮길 수 있고, 다시 공유 호스트로 돌아갈 수도 있습니다. 애플리케이션을 재작성하거나 Titus를 떠나지 않아도 됩니다. 한 분기 동안 써 본 뒤 선택을 바꿀 수 있는 설정입니다. 인스턴스 선택과 패치, 플릿 크기와 확장은 플랫폼 팀이 계속 맡고, 앱 팀은 같은 Titus API와 배포 파이프라인, 관측 도구를 사용합니다.

나쁜 이웃 옆에서 매기는 격리 점수

격리는 같은 애플리케이션을 방해하기 전과 후로 비교합니다. 먼저 정상적으로 동작하는 대표 참조 컨테이너를 혼자 실행해 처리량과 꼬리 지연을 기록합니다. 이어 일부러 나쁜 이웃이 되도록 만든 havoc 컨테이너를 옆에 붙여 다시 측정합니다. 어떤 자원을 괴롭히는지에 따라 부하를 구분했습니다.

  • 네트워크 셰이핑 경로: XDP를 통한 UDP 플러드
  • LLC와 메모리 대역폭: pointer-chasing과 STREAM
  • 디스크: fsync 폭풍
  • 스케줄러: stress-ng
  • 가속기: GPU-burn

부하를 시작했다고 곧바로 결과를 믿지는 않습니다. 부하가 안정된 상태에 도달하고, 커널의 Pressure Stall Information(PSI)에서 cpu_some 또는 mem_some이 태스크의 실제 자원 대기를 보여 줄 때까지 기다립니다. 각 시나리오는 고정 시드로 여러 번 실행합니다. 간섭의 영향은 꼬리가 두꺼운 분포를 보이므로 중앙값과 부트스트랩 신뢰구간으로 보고합니다.

처리량 효율은 단독 실행 때의 초당 연산량 중 간섭을 받으면서도 유지한 비율입니다. 지연 효율은 방해가 없을 때의 P99를 간섭 중 P99로 나눈 값입니다. 이 둘을 가중 합산해 종합 점수를 만들며, 상호작용이 많거나 스트리밍 경로에 있는 서비스에는 꼬리 지연의 비중을 높인 프리셋을 씁니다. 완벽한 격리의 기준은 100%입니다. 하드 실패가 한 번이라도 발생하면 다른 수치가 좋아도 해당 실행을 무효로 처리합니다.

이 방식은 전용 노드의 격리뿐 아니라 공유 호스트에서 진행하는 개선도 비교할 수 있게 합니다. 어떤 격리 작업에 더 투자할지 판단하는 기준으로 같은 벤치마크를 사용합니다.

소수의 이웃이 떠난 뒤 더 촘촘해진 플릿

태스크마다 EC2를 한 대씩 주면 전체 효율은 낮아질 것처럼 보입니다. 그러나 공유 호스트가 이미 얼마나 비어 있었는지도 따져야 했습니다. 이웃 간섭은 모든 워크로드가 고르게 만드는 문제가 아니었습니다. 작은 패킷을 쏟아내거나 페이지 캐시를 계속 교체하고 메모리 대역폭을 포화시키는 소수가 대부분의 교란을 일으켰습니다. 그중 일부는 자신도 간섭에 매우 민감했습니다.

이 소수와 가장 취약한 워크로드를 전용 노드로 옮기자 이전 이웃들이 보호됐습니다. 민감한 워크로드를 anti-affinity로 여러 호스트에 흩어 놓을 이유도 사라졌습니다. 그동안은 흩어 놓기 위한 규칙 때문에 호스트 일부를 비워 둬야 했습니다. 중단에 민감한 상태 저장 서비스는 엄격한 중단 요건으로 노드를 붙잡아, 한가한 시간대에도 디프래그를 막았습니다. 이들을 분리하면 남은 공유 호스트를 더 촘촘하게 채울 수 있습니다.

비용을 모두 합쳐도 배치 효율이 같거나 더 나아질 수 있었습니다. 비용의 원인도 선명해졌습니다. 플릿 곳곳에 남은 빈 공간을 어느 워크로드 때문인지 추적하는 대신, 전용 노드에 남는 자원과 호스트 오버헤드를 해당 워크로드의 비용으로 계산할 수 있게 됐습니다.

물론 멀티테넌트 bin-packing의 이론적 효율 상한은 더 높습니다. 실제 EC2에는 정해진 인스턴스 크기만 있다는 제약이 있습니다. 큰 공유 호스트의 용량이 여러 태스크의 요청 합계와 정확히 맞는 일은 드물고, 큰 인스턴스에서 남는 공간도 상당했습니다. Netflix의 경험에서는 워크로드 하나에 가장 가까운 크기를 고르는 편이, 높은 이론적 상한을 가진 멀티테넌트 배치가 실제로 제공했던 것보다 더 높은 효율을 냈습니다.

격리를 유지할 기간도 워크로드마다 다릅니다. 회귀 문제를 고칠 때까지만 전용 노드를 쓸 수 있고, 공유 환경에서 감당할 가치가 없는 부하 패턴이라면 계속 분리할 수도 있습니다. 배치에 따라 달라지던 성능이 민감한 서비스에서는 안정적인 운영과 온콜 호출을 가르는 차이였으므로, 되돌릴 수 있는 설정으로 이 선택을 제공한 의미가 컸습니다.

여러 워크로드가 함께 쓰는 단일 테넌트 노드 풀

큰 공유 인스턴스 몇 대를 작은 전용 인스턴스 여러 대로 바꾸면 관리할 노드가 늘어납니다. EC2 인스턴스를 시작하는 호출도 많아집니다. 특히 리전 장애 조치 때 부담이 큽니다. 가장 빨리 용량을 늘려야 하는 순간에 EC2 컨트롤 플레인의 호출 제한을 감당하기는 어렵습니다. Titus는 독립적인 셀을 추가해 용량을 늘리는 연합 방식을 쓰며, 워크로드를 단계적으로 옮기고 인스턴스 시작 경로를 정기적으로 통제된 부하 아래 시험합니다.

가장 크게 바뀐 부분은 용량 관리였습니다. 태스크마다 맞는 인스턴스를 찾으면 여러 패밀리와 크기에 걸쳐 수요가 계속 달라집니다. 모든 유형의 노드를 정적 풀에 미리 준비하면 관리가 느리고 낭비가 클 것이었습니다. 그래서 단일 테넌트 노드 풀은 즉시 쓸 인스턴스를 쌓아 두기보다, 지원하는 패밀리와 크기의 목록을 정의하고 요청에 맞춰 노드를 띄웁니다. 여러 단일 테넌트 워크로드가 이 풀을 함께 사용합니다.

풀은 별도 클러스터에 둘 수도 있고 멀티테넌트 클러스터와 함께 운영할 수도 있습니다. 지원할 인스턴스 유형 조합과 Titus 컨테이너 호스트 AMI를 지정합니다. 애플리케이션 팀이 호스트를 관리하지 않아도 되는 경험은 이 AMI와 플랫폼의 노드 관리에서 나옵니다.

비워진 노드도 곧바로 버리지는 않습니다. 스케일 인되거나 종료된 워크로드가 남긴 노드만 회수 대상으로 삼고, 종료를 두 단계로 나눠 대기 중인 배포가 먼저 재사용할 기회를 줍니다. 실행 중인 태스크를 옮겨 노드를 합치는 멀티테넌트의 재패킹은 적용하지 않습니다.

패치는 드리프트를 기준으로 처리합니다. 새 호스트 AMI를 배포할 때 mutable 방식은 컨테이너에 영향을 주지 않고 기존 노드에 변경을 적용하며, immutable 방식은 새로 띄우는 노드가 사용할 AMI를 바꿉니다. 많은 업그레이드가 워크로드 중단 없이 가능하고, 필요하면 사용자와 조율해 플릿을 교체할 수도 있습니다.

호스트를 비우는 일도 쉬워졌습니다. 가득 찬 공유 호스트에서는 여러 테넌트를 한꺼번에 옮겨야 하고, 일부 워크로드의 중단 예산까지 조율해야 했습니다. 전용 호스트에서는 대상이 하나뿐이므로 새 AMI 배포에 맞춰 이 과정을 자동화할 수 있습니다. 중단에 가장 민감한 워크로드가 빠진 덕분에 남은 멀티테넌트 호스트의 패치도 수월해졌습니다.

맞는 크기가 있어야 쓸 수 있는 웜 풀

전용 노드의 대가는 시작할 때 먼저 나타납니다. 태스크를 띄우려면 EC2 인스턴스를 부팅하고 이미지를 받아 압축을 푼 뒤, 애플리케이션 초기화까지 마쳐야 합니다. JVM의 클래스 로딩과 JIT, 캐시 채우기가 뒤쪽 작업에 해당합니다. 앞쪽 작업 가운데 이미지를 받아 압축을 푸는 단계가 대부분의 잡에서 호스트 준비의 가장 큰 부분입니다. 새 EC2 인스턴스는 이미지 다운로드를 시작하기 전까지만 수십 초가 걸립니다.

멀티테넌트 Titus에서는 이 비용이 잘 보이지 않았습니다. 새 태스크가 이미 실행 중인 호스트에 배치되고 이미지 레이어도 캐시에 있어 수 초면 시작하는 경우가 보통입니다. 호스트의 부팅 비용은 오래전에 치렀습니다. 단일 테넌트는 태스크가 새 호스트를 필요로 하므로 그 비용을 숨길 곳이 없어집니다.

부팅해 둔 유휴 인스턴스, 즉 웜 풀을 두면 해결될 듯합니다. 큰 인스턴스 유형 몇 개로 대부분의 수요를 충족하는 멀티테넌트 플릿에서는 잘 통하는 방법입니다. 전용 노드에서는 사정이 달라집니다. r7i.2xlarge가 준비돼 있어도 m7a.8xlarge가 필요한 태스크에는 쓸모가 없습니다. 높은 적중률을 얻으려면 패밀리와 크기의 각 조합에 유휴 용량을 마련해야 하며, 맞는 태스크가 오지 않으면 그 용량은 그대로 비용입니다.

평소의 효율을 높인 맞춤 크기가 웜 풀 재사용에는 불리했습니다. 리전 장애 조치나 라이브 이벤트처럼 수요가 몰리는 순간에는 얇게 준비한 웜 풀이 금방 소진되고, 나머지 태스크는 처음부터 부팅을 기다려야 합니다. 웜 용량을 늘리는 것만으로 시작 지연을 해결하기 어려운 이유입니다.

Netflix는 시작 지연에 가장 민감한 경우에 한해 소량의 웜 용량을 사용하는 방식을 택했습니다. 제공하는 크기도 추린 목록으로 좁혀 미리 띄운 인스턴스가 더 많은 요청과 맞도록 합니다. 태스크에 꼭 맞는 크기를 고르는 효율을 조금 포기하는 대신 웜 풀 적중률을 높이는 선택입니다. 나머지 노드는 필요한 순간에 띄웁니다.

더 지속적인 개선 방향은 시작 비용 자체를 낮추는 데 있습니다. 새 OCI 이미지 형식과 stargz, SOCI 같은 lazy-pulling 스냅샷터는 시작 시 실제로 읽는 바이트만 가져오는 방법입니다. 초기화가 느린 프로세스에는 CRIU 같은 도구를 이용한 체크포인트와 복원이 있습니다. 노드 준비와 애플리케이션 초기화의 비용을 각각 줄이는 접근이며, 멀티테넌트에도 도움이 됩니다.

인스턴스 선택과 스케줄링에서는 이미 변경을 적용했습니다. 멀티테넌트는 성능이 조금 더 좋지만 시작이 느린 메탈 인스턴스를 써 왔습니다. 단일 테넌트에서는 노드 시작 시간이 더 중요해 메탈에서 벗어났습니다. 플릿 확장 스트레스 테스트에서는 Kubernetes 선점 로직의 병목도 찾았습니다. 노드는 빠르게 늘었는데 배치가 따라가지 못해 유휴 상태로 남았습니다. 단일 테넌트 풀에는 선점 가능한 워크로드가 없으므로 선점을 끄자 부하가 큰 상황의 스케줄링 성능이 크게 좋아졌습니다.

그래도 이미 준비된 공유 호스트의 빈자리보다 전용 노드를 세우는 데 시간이 더 걸립니다. 여러 유형을 유지해야 하는 웜 풀의 비용도 노드당 더 큽니다. 오래 실행되는 서비스에는 시작할 때 한 번 기다리고 이후 간섭 없이 운영하는 선택이 받아들일 만했습니다.

작은 노드에서 비중이 커지는 고정 비용

전용 인스턴스를 받는다고 태스크가 모든 자원을 쓰지는 못합니다. 플랫폼 사이드카와 시스템 서비스, kubelet, 호스트 환경이 먼저 자원을 사용합니다. 대략 고정된 양의 CPU와 몇 GB의 메모리입니다. 공유 호스트에서는 여러 태스크가 나눠 부담하던 비용을 전용 노드에서는 하나가 감당합니다.

작은 노드일수록 비율이 커집니다. 호스트 오버헤드만으로 자원의 수십 퍼센트를 잃을 수 있으며, 가장 큰 인스턴스에서는 그 비중이 몇 퍼센트로 줄어듭니다. 요청한 자원과 이를 수용하는 가장 작은 인스턴스 사이의 차이도 남습니다. 전용 노드에는 그 빈 공간을 쓸 이웃이 없습니다. 고정 오버헤드와 크기 차이로 생긴 낭비가 겹쳐 실제로 쓸 수 있는 자원의 상한을 낮추며, 작은 인스턴스에서 특히 불리합니다. 크기 차이에 따른 낭비는 서비스 소유자와 조율해 줄일 수 있습니다.

잘 맞는 대상은 크고 오래 실행되며 성능 변화와 중단에 민감한 워크로드입니다. 요청 자원이 노드 크기에 가깝고, 작은 복제본 여러 개보다 큰 복제본 몇 개로 실행할 때 유리합니다. 작고 순간적으로 실행되거나 수요에 따라 빠르게 늘고 줄어드는 워크로드에는 사정이 다릅니다. 호스트 오버헤드의 비중이 높고 전용 노드가 유휴 상태로 남기 쉬워, 멀티테넌트 배치가 더 저렴하고 확장도 빠릅니다. 허용 목록은 이런 차이를 반영하는 장치입니다.

자기만의 방을 얻은 Apache Flink와 스트리밍 서비스

첫 도입자는 문제를 가장 자주 겪던 실시간 데이터 인프라였습니다. 관리형 Apache Flink 스트림 처리, 스트리밍 데이터 커넥터, 텔레메트리와 로깅 파이프라인입니다. 이들은 네트워크 경합의 빈번한 원인이면서 피해자이기도 했습니다. 복구 비용이 크고 중단 예산이 엄격했으며, 몇 초의 자원 고갈이 수 분의 따라잡기로 이어질 수 있었습니다. 플릿을 재패킹하는 작업 자체도 이들에게는 교란이었습니다.

전용 노드로 옮긴 뒤 해당 팀들은 이웃 간섭에서 비롯된 문제가 사라지고 운영이 안정됐다고 보고했습니다. 원인을 짚기 어려운 간헐적 간섭도, 재패킹 때문에 잡이 옮겨지는 일도 없어졌습니다. 실시간 스트리밍 시스템에는 ‘자기만의 방’이 필요한 기능이었습니다.

지연에 민감한 서빙 경로와 일부 GraphQL·엣지 서비스도 뒤따랐습니다. 이들은 몇 퍼센트의 배치 효율보다 예측 가능한 꼬리 지연을 우선했습니다. 도입은 계속 진행 중입니다. Netflix는 가장 큰 프로덕션 잡으로 확장 가정을 시험하고, 작은 노드 수가 늘어날 때 컨트롤 플레인과 EC2 인스턴스 시작 속도 지표를 살피며 오토스케일링과 스케줄링을 개선하고 있습니다.

격리의 정도까지 요청받는 하나의 Compute API

단일 테넌트 쪽에는 시작 지연과 적용 범위를 넓히는 과제가 남았습니다. 자주 쓰는 인스턴스 유형을 더 잘 예측해 미리 준비하고, 확장 데이터가 뒷받침하는 범위에서 허용 목록을 늘릴 계획입니다. 비용 귀속과 용량 관리가 성숙하면 장기 실행 서비스 밖으로도 적용 범위를 넓히려 합니다.

기본값인 멀티테넌시도 계속 개선합니다. 우선순위는 네트워크입니다. HTB의 전역 락 대신 패킷에 타임스탬프를 붙여 전송률을 제한하는 eBPF 기반 Expected Departure Time 방식으로 바꾸고, 오버헤드가 낮은 컨테이너 네트워크 디바이스를 함께 쓰는 계획입니다. LLC와 메모리 대역폭을 나누는 Intel RDT·AMD PQoS, GPU 격리를 위한 NVIDIA MIG도 평가하고 있습니다. cgroup v2 IO 컨트롤러 작업 역시 이어 갑니다. 격리 벤치마크로 각 접근의 효과를 비교해 투자 순서를 정합니다.

더 큰 목표는 컴퓨트를 요청하는 방법을 하나로 모으는 것입니다. 지금은 EC2 VM과 Titus 컨테이너라는 경로가 따로 있습니다. Netflix가 구상하는 Compute API는 필요한 격리 수준, 시작 속도, 중단 없이 실행할 기간, 업무 도메인을 입력받습니다. 그 의도에 맞춰 플랫폼이 전체 용량을 보며 배치와 런타임을 선택하는 방향입니다.

원문의 주요 수치와 설정값
항목값
Titus 규모매주 수백만 컨테이너, 여러 리전의 수만 대 EC2 인스턴스
microVM 부팅 시간약 150ms
새 EC2 인스턴스이미지 풀 시작 전까지 수십 초
멀티테넌트 태스크 시작호스트와 이미지 레이어가 이미 있어 수 초
호스트 고정 오버헤드대략 고정된 CPU 조각과 몇 GB 메모리
작은 전용 노드 / 가장 큰 모양의 오버헤드 비율자원의 수십 퍼센트 / 몇 퍼센트
격리 점수처리량 효율과 지연 효율(P99 비)의 가중 혼합, 완벽한 격리는 100%
신뢰 조건PSI의 cpu_some 또는 mem_some으로 정상 상태 확인, 고정 시드 반복, 중앙값과 부트스트랩 신뢰구간
노드 패치 방식mutable(기존 노드 적용), immutable(새 노드의 AMI 변경)
마지막 수정 일자