목차
100배 트래픽 쏠림을 푼 Netflix Service Topology (2026-07)
원문 정보
- 원문: Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned
- 매체 · 게시일: Netflix TechBlog · 2026-07-13
- 저자: Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez-Silva, Nathan Fisher
- 원문 내용을 바탕으로 재구성한 요약입니다.
로컬에서 보이지 않던 병목
첫 버전은 로컬에서 완벽하게 돌아갔습니다. 프로덕션에 올리자 Kafka 컨슈머가 뒤처지고 인스턴스의 메모리가 바닥났습니다. 일부 노드에는 다른 노드의 100배 트래픽이 몰렸고, GC가 비즈니스 로직보다 CPU를 더 쓰기도 했습니다. 실시간 서비스 의존성 지도를 만들려던 팀이 마주한 현실입니다.
서비스 토폴로지 시리즈의 첫 편은 왜 이런 지도가 필요한지, 어떤 데이터를 모아야 하는지를 다뤘습니다. 장애를 빨리 추적하고 영향 범위를 가늠하려면 서비스 사이의 의존성을 한눈에 볼 수 있어야 했습니다. 팀은 eBPF 네트워크 플로, IPC 메트릭, 분산 트레이싱을 독립된 계층으로 두고 따로 또는 합쳐서 조회하는 방식을 택했습니다. 이번 두 번째 편은 그 설계를 Netflix 규모에서 구현하며 배운 이야기입니다. 병목 하나를 해결하면 다음 병목이 드러났고, 측정 결과에 따라 처음의 선택도 바뀌었습니다.
새벽 3시의 장애에 필요한 지도
새벽 3시에 장애가 났는데 지도가 한 시간 전 상태라면 곤란합니다. 팀의 표현대로라면 관측이 아니라 고고학입니다. 시간 또는 일 단위로 배치를 돌려 전체 스냅샷을 저장하는 방식으로는 라이브 이벤트와 장애 대응, 변경 검증에 필요한 신선도를 얻기 어려웠습니다.
그래서 수집부터 스트리밍으로 설계했습니다. 여러 리전의 Kafka에서 플로 레코드를 읽고, IPC 메트릭은 Server-Sent Events(SSE)로 받아 계속 처리합니다. 변경 사항은 보통 수십 분 안에 지도에 반영됩니다. 배치의 수시간 또는 하루 지연을 줄인 결과입니다.
초당 수백만 건을 받는 파이프라인에서는 저장소가 잠깐 느려지는 상황도 감당해야 합니다. 무한 큐에 쌓아 두면 결국 메모리가 바닥나고, 버퍼가 찼을 때 버리면 연결 정보가 사라져 지도에 빈틈이 생깁니다. 배치로 넘기면 처리는 끝내더라도 몇 시간 늦습니다. 팀이 선택한 것은 처리 속도를 낮추면서 데이터를 보존하는 백프레셔였습니다.
신호는 데이터의 반대 방향으로 흐릅니다. 3단계가 그래프 DB에 충분히 빨리 쓰지 못하면 2단계에 속도를 낮추라고 알리고, 그 신호가 1단계를 거쳐 Kafka 컨슈머의 읽기를 멈춥니다. 데이터는 처리 여력이 돌아올 때까지 Kafka에서 기다립니다. 트래픽 급증이나 GC 일시 중지, 외부 시스템의 지연이 생겨도 파이프라인은 감당할 수 있는 속도로 조정됩니다. 부하가 몰릴 때 갱신이 몇 초에서 몇 분 늦어질 수 있지만, 대부분의 경우 데이터 손실이나 인스턴스 중단 없이 버팁니다.
서로 다른 저장소를 쓰는 계층
하나의 의존성 지도를 제공한다고 해서 모든 데이터를 같은 저장소에 넣지는 않았습니다. 계층마다 처리량과 조회 패턴이 다르고, 개선 일정도 독립적으로 가져가야 했기 때문입니다.
| 계층 | 데이터와 저장소 | 얻는 정보와 한계 |
|---|---|---|
| 네트워크 | eBPF 플로 로그, 그래프 DB 파티션 | 폭넓은 연결 정보, 애플리케이션 맥락 없음 |
| IPC | 애플리케이션 메트릭, 네트워크 계층과 격리된 그래프 DB | 풍부한 엔드포인트 정보, 계측된 서비스만 포함 |
| 트레이싱 | 분산 트레이스, Parquet 컬럼 저장소 | 실제 요청 경로, 샘플링된 데이터 |
조회할 때는 관련 저장소에 병렬로 질의하고 결과를 합칩니다. 물리적으로 나뉜 계층을 하나의 API로 제공하며, 응답 지연은 서브초입니다. 저장소를 분리한 덕분에 각 계층의 수집과 저장 방식을 독립적으로 최적화할 수 있었습니다.
Kafka 지연을 줄이자 드러난 V1의 핫 노드
V1에서 먼저 드러난 문제는 Kafka 컨슈머 랙이었습니다. 여러 리전에서 들어오는 플로 로그를 처리 속도가 따라가지 못하면서 지연이 초에서 분으로, 다시 시간 단위로 늘었습니다. 실시간 지도를 만들고 있었지만 데이터는 계속 오래되고 있었습니다.
컨슈머 메트릭을 확인하니 병렬로 읽을 컨슈머 그룹 규모에 비해 파티션이 적었습니다. 한 번의 fetch에서 가져오는 레코드 수도 적었고, 소켓 수신 버퍼는 처리량에 비해 작았습니다. 리전 간 읽기 지연도 부담이었습니다. 팀은 파티션 수를 늘리고 fetch당 레코드 수와 소켓 수신 버퍼를 키웠습니다. 더 많이 모아서 읽는 선택은 개별 메시지의 지연을 늘리는 대신 왕복 횟수를 줄여 처리량을 높였습니다. 이후 피크 때도 랙은 대체로 1분 이내로 유지됐습니다.
이제 읽기는 빨라졌습니다. 늘어난 입력을 받은 인스턴스가 다음 병목이었습니다. 특히 인증 계층이나 추천 API처럼 수백 개 서비스가 호출하는 목적지에 문제가 집중됐습니다. 초기 설계는 목적지별로 일관 해싱을 적용해 한 인스턴스가 해당 플로 로그를 맡게 했는데, 인기 있는 목적지를 맡은 인스턴스에는 다른 인스턴스의 100배 트래픽이 몰렸습니다. 일관 해싱으로 소유자를 나눠도 데이터 자체의 쏠림까지 없어지지는 않았습니다.
재분배 과정은 그 부담을 더했습니다. 예를 들어 100개 상류 서비스의 플로 로그가 10개 인스턴스에 걸쳐 있다면, 목적지를 맡은 인스턴스는 각 인스턴스가 만든 집계 객체인 aggregator 10개를 받아 병합해야 합니다. 객체와 병합 작업이 한곳에 집중되는 형태입니다. async-profiler와 힙 덤프에서는 aggregator를 빠르게 만들고 해제하느라 GC가 CPU 대부분을 쓰는 모습이 드러났습니다. 처리가 느려지면 메모리 압박이 더 커졌고, 인스턴스가 내려가면 그 부하가 다른 인스턴스로 재분배되면서 연쇄 장애로 이어졌습니다.
로드 밸런서 앞뒤를 연결하는 3단 집계 파이프라인
이 쏠림을 푸는 데는 다른 요구에서 출발한 설계가 도움이 됐습니다. 네트워크 계층에는 원래부터 개별 홉을 애플리케이션 사이의 연결로 바꾸는 작업이 필요했습니다. 플로 로그에 보이는 것은 App A → 로드 밸런서와 로드 밸런서 → App B입니다. 엔지니어가 알고 싶은 관계는 App A → App B입니다. NAT 게이트웨이, API 게이트웨이, 프록시도 같은 해석이 필요한 중간 장치입니다.
앞뒤의 플로를 연결하려면 두 데이터가 같은 인스턴스에 있어야 합니다. 하지만 Kafka에서 읽은 플로는 파티션별로 흩어져 있습니다. 중간 장치 식별자를 기준으로 재분배해, 예컨대 ‘로드 밸런서 X’를 드나드는 플로가 한 인스턴스에 모이게 해야 했습니다. 데이터가 어디에 놓이는지가 처리 단계를 결정한 이유입니다.
처음에는 두 단계로 만들었습니다. 1단계에서 집계하고 2단계에서 중간 장치를 해석한 뒤 저장했습니다. 테스트에서는 잘 돌아갔지만, 프로덕션에서는 인기 있는 중간 장치를 맡은 2단계 인스턴스에 데이터가 집중됐습니다. 그 인스턴스가 외부 저장소에서 애플리케이션 정보를 조회하는 작업까지 맡았으므로, 계산이 가장 바쁜 곳에 I/O도 가장 많이 발생했습니다. 팀은 중간 장치 해석과 재분배를 2단계에 남기고, 정보 보강과 저장을 별도의 3단계로 옮겼습니다.
1단계인 FlowLog Ingestion Service는 4개 리전의 Kafka에서 읽은 로그 중 유효하지 않은 것을 거르고, 각 인스턴스의 메모리에서 5분 창으로 집계합니다. 원시 레코드는 처리한 뒤 빨리 해제하고 집계 결과만 일관 해싱으로 분배해 SSE로 보냅니다. 이때는 중간 장치가 관련된 플로를 식별할 뿐, 앞뒤 관계를 해석하지 않습니다.
2단계인 Intermediate GraphEntity Ingestion Service가 그 관계를 풉니다. 같은 중간 장치로 들어오는 플로와 나가는 플로를 모아 출발지 → 목적지의 직접 간선을 만들고, 두 홉의 메트릭을 합칩니다. 어떤 중간 장치를 거쳤는지도 기록합니다. 조회할 때마다 이 작업을 반복하지 않도록 집계 시점에 해석을 끝내며, 결과는 다시 일관 해싱으로 분배해 3단계로 보냅니다.
3단계인 GraphEntity Ingestion Service는 시간 창을 가로질러 최종 집계를 수행합니다. 키-값 저장소에서 애플리케이션 상태와 소유 정보, 메타데이터를 가져와 보강하고, 노드와 간선으로 된 그래프 엔티티로 변환합니다. 쓰기 속도는 저장소 한도에 맞춰 조절합니다. 조회 전에 노드의 맥락을 갖추므로 조회 결과에 외부 정보를 조인하는 비용도 피할 수 있습니다.
이렇게 하면 2단계에는 개별 로그 대신 압축된 aggregator가 도착하고, 3단계는 두 차례 집계와 분배를 거친 데이터를 받습니다. 중간 장치의 트래픽이 평소의 100배로 늘어도 한 인스턴스가 병목이 되지 않았습니다. 뒤에서 다룰 SSE 전환과 함께 CPU 사용은 인스턴스 사이에 고르게 퍼졌고, 네트워크 대역폭과 메모리 압박도 크게 줄었습니다. 프록시를 해석하려고 나눈 단계가 부하 분산 문제까지 해결한 것입니다.
IPC 계층에는 이런 재분배 단계가 필요하지 않았습니다. 메트릭이 이미 애플리케이션 단위이고, 일관 해싱으로 각 노드가 맡은 애플리케이션의 메트릭을 처음부터 모두 받기 때문입니다. 한 단계에서 바로 집계하면 충분했습니다. 네트워크 계층의 단계 수를 IPC에도 그대로 적용할 이유는 없었습니다.
대량 집계 전송에 맞춰 고른 SSE
단계를 나누면서 전송 비용도 줄여야 했습니다. 처음 사용한 gRPC에서는 직렬화, 커넥션 풀 관리, 스트리밍 응답의 메모리 압박이 병목이 됐습니다. 비즈니스 로직보다 통신 처리에 CPU를 더 쓰는 상황이었습니다. 메시지 큐도 이득 없이 인프라 복잡도만 늘렸습니다.
SSE는 이 용도에 더 잘 맞았습니다. 가벼운 HTTP 프로토콜에 직렬화 부담이 적고, 연결 모델이 단순하며, 반응형 스트림의 백프레셔와도 자연스럽게 맞물렸습니다. gRPC에서 SSE로 바꾸자 송신 측과 수신 측의 자원 사용이 함께 줄었습니다. 요청과 응답을 주고받는 서비스 통신에서 유용한 선택이 대량의 집계 결과를 계속 보내는 경로에서도 최선인지는 측정해야 했습니다.
SSE로 보낼 상대는 서비스 레지스트리와 일관 해싱으로 정합니다. 각 인스턴스는 레지스트리에서 정상 상태인 Auto Scaling Group(ASG) 인스턴스 목록을 받아 정렬하고, 이를 findOwnerInstance(aggregator.primaryKey)에 사용합니다. 헬스 체크를 위해 이미 관리하던 ASG 멤버십을 재사용한 방식입니다. 정렬된 목록으로 인스턴스들이 같은 기준을 사용하고, 일관 해싱으로 멤버십이 바뀌어도 대부분의 aggregator는 제자리에 남습니다.
ASG가 확장되면 새 인스턴스가 곧바로 일부 데이터를 받습니다. 배포 중에는 정상 인스턴스로 aggregator가 이동합니다. 별도의 조율 프로토콜이나 수동 데이터 이동 없이 분배가 인스턴스 구성의 변화를 따라갑니다.
Scala의 관례를 벗어난 가변 aggregator
핫 노드를 해결한 뒤에도 힙 사용량은 높았습니다. GC 일시 중지가 잦았고, 간혹 인스턴스가 내려갔습니다. 힙 덤프와 GC 로그를 살펴보니 5분 창이 닫히기를 기다리며 남아 있는 플로 로그, 단계 사이에서 타입을 바꾸느라 생긴 중간 객체, 갱신할 때마다 새로 만드는 불변 aggregator가 보였습니다.
Scala의 모범 사례를 따른 불변 구조가 이 처리 경로에서는 부담이었습니다. 초당 수백만 건을 갱신할 때마다 새 객체를 만들면서 GC를 압도했습니다. minor GC는 몇 초마다 발생했고 major GC는 수백 밀리초씩 걸렸습니다. 객체를 만들고 버리는 데 CPU를 쓰느라 정작 데이터를 처리할 여력이 줄어든 상태입니다.
팀은 Pekko Streams 처리 단계를 조정해 플로 로그를 즉시 집계하고 참조를 빨리 해제했습니다. 불필요한 중간 타입 변환도 줄였습니다. 신선도와 메모리 사용량을 고려해 시간 창을 조정하고, 핫 패스의 aggregator는 가변 구조로 바꿨습니다. 이 전환만으로 힙 할당이 50% 넘게 줄었습니다. 개선을 거친 뒤 GC 일시 중지는 수백 밀리초에서 수십 밀리초로 짧아졌고, 메모리 때문에 인스턴스가 내려가는 문제도 사라졌습니다.
가변 구조를 쓰는 코드는 더 신중하게 리뷰해야 했습니다. 팀이 관례를 벗어난 범위는 측정으로 필요성이 확인된 경로였습니다. 초당 100건에서 돌아가던 방식이 10만 건에서는 무너집니다. 규모가 바뀌면 문제의 성격도 달라지므로, 모범 사례는 출발점으로 삼되 실제 할당량과 GC 비용을 근거로 판단했습니다.
스택 트레이스 없이 멈춘 Pekko Streams
백프레셔는 부하 급증을 견디게 해 줬지만, 파이프라인을 이해하기는 더 어려워졌습니다. Pekko Streams가 예고 없이 멈추거나 백프레셔가 기대한 대로 전파되지 않는 일이 있었습니다. 동기식 코드와 달리, 소비자가 생산자에게 데이터를 요구하는 수요 주도 흐름을 이해해야 했습니다.
.async도 단순히 병렬도를 높이는 스위치가 아니었습니다. 작업을 다른 스레드로 옮기면 병렬 처리에는 도움이 되지만 버퍼 크기, 수요 신호, 오류 전파까지 함께 고려해야 합니다. 팀도 처음에는 경계를 잘못 배치하고 과도하게 병렬화해 오버헤드를 늘렸습니다. 스트림이 멈춰도 스택 트레이스가 남지 않아 수요 신호와 버퍼 상태, materializer 상태를 살펴야 원인을 찾을 수 있었습니다.
대응은 학습과 단순화였습니다. 문서와 작은 실험으로 동작을 익히고, 복잡하게 분기하고 병합하던 스트림 그래프를 단계 경계가 분명한 선형 흐름으로 바꿨습니다. 경계마다 버퍼 크기와 요소 처리량, 백프레셔 이벤트를 측정하고, 확인한 패턴은 문서로 남겨 팀에 공유했습니다. V2에서도 프로파일링과 실험을 이어 가며 병렬도, 버퍼 크기, async 경계 위치를 조정했고, 처리량과 지연의 안정성을 개선했습니다.
저장 직전까지 변환을 미룬 V2
V1에서 큰 문제를 해결하고도 힙 사용량은 기대보다 높았습니다. 다음 단계는 압축된 aggregator 상태만 필요했는데, 일부 경로에서는 이를 전체 그래프 엔티티로 바꾼 뒤 보내고 있었습니다. V2에서는 모든 단계를 aggregator 상태로 통과시키고, 3단계에서 저장하기 직전에만 그래프 엔티티로 변환했습니다. 변환 두 단계가 사라지면서 힙 사용량과 GC 빈도가 더 낮아졌고 처리 여유가 늘었습니다.
직렬화는 조금 덜 효율적인 쪽을 택했습니다. 기존 SSE 메시지의 커스텀 직렬화는 코드마다 방식이 달랐고, 간헐적으로 재현하기 어려운 오류를 냈습니다. 파이프라인 전체를 JSON으로 통일하자 직렬화 오류가 사라졌습니다. 이진 형식보다 약간 비효율적이지만 다른 비용에 비하면 차이가 미미했고, SSE 메시지를 직접 읽으며 디버깅할 수 있다는 이점이 있었습니다.
저장소도 고르게 쓰지 못하고 있었습니다. 일부 그래프 DB 파티션에 쓰기가 몰리는 동안 다른 파티션은 여유가 남았고, 쏠린 파티션에서 먼저 스로틀링이 걸려 전체 쓰기 처리량을 제한했습니다. 팀은 aggregator를 배치로 모으고 파티션 분배를 개선했으며, 여러 엔티티를 함께 쓰도록 작업을 조정했습니다. 쓰기 처리량은 더 안정됐고 DB 용량도 더 잘 활용하게 됐습니다.
Kafka 랙을 줄인 뒤 핫 노드가 드러나고, 핫 노드를 해결한 뒤 GC와 직렬화 비용이 남았습니다. 한 번의 최적화로 모든 병목이 사라지지는 않았습니다. 팀은 영향이 큰 문제부터 원인을 측정하고 수정한 뒤, 지표가 나아졌는지 확인하며 다음 문제로 넘어갔습니다.
장애 시점의 연결을 복원하는 변경 이력
현재 지도가 빨리 갱신되는 것만으로는 장애 조사가 끝나지 않습니다. 장애가 발생했던 시점의 호출 그래프도 조회해야 합니다. 모든 상태를 통째로 스냅샷으로 남기면 저장 비용이 크고, 이벤트 소싱으로 로그를 다시 재생하면 복원이 느립니다. 팀은 5분 단위 체크포인트와 속성별 변경 이력을 함께 사용했습니다.
각 aggregator는 5분 창의 startTs와 endTs를 갖습니다. 저장할 때는 불변 aggregator를 (entity_id, timestamp) 키로 그래프 DB에 남겨 체크포인트를 만듭니다. 여기에 그래프 DB가 속성별 변경 이력을 기록합니다. 바뀐 속성과 타임스탬프만 저장하므로 전체 엔티티를 복사하는 것보다 저장 비용이 적고, 5분 경계 사이의 변화도 더 세밀하게 추적할 수 있습니다.
과거 상태를 조회하면 해당 구간의 변경 이력 API에서 변경 사항을 가져와 순서대로 적용합니다. 압축된 집계 상태와 변경이 생긴 속성만 보관하고, 인덱싱된 이력을 찾아 복원하므로 전체 이벤트 로그를 재생할 필요가 없습니다. 미리 계산해 두지 않은 시간 구간도 분석할 수 있는 방식입니다.
과거 데이터를 묶는 기준도 고정하지 않았습니다. 수집 때 쓰던 aggregator 클래스를 조회 시점에 재사용해 가용성 등급, 비즈니스 도메인, 배포 클러스터 등 원하는 기준으로 다시 집계합니다. 가능한 조합을 모두 미리 저장하지 않고도 장애 당시의 의존성을 여러 관점에서 살펴볼 수 있습니다.
Service Topology는 현재 프로덕션에서 여러 리전의 플로 로그, IPC 메트릭, 트레이스를 처리하고 서브초 지연으로 조회에 응답합니다. Netflix의 팀들은 장애 조사와 영향 범위 분석, 의존성 파악, 프로덕션 변경 관리에 이 시스템을 매일 사용합니다. 다음 편에서는 트레이싱 계층의 통합, 서로 다른 저장소를 아우르는 조회, 그리고 세 계층을 결합하는 방식을 다룹니다.
원문에 제시된 구성과 수치
| 항목 | 값 |
|---|---|
| 플로 로그 소스 | 멀티 리전 Kafka (4개 리전) |
| 집계 시간 창 | 5분 |
| 갱신 지연 | 보통 수십 분 안 |
| 핫 노드 쏠림 | 일부 인스턴스가 다른 인스턴스의 100배 트래픽 |
| Kafka 랙 개선 결과 | 피크 때도 대체로 1분 이내 |
| 가변 aggregator 전환 효과 | 힙 할당 50% 넘게 감소 |
| GC 일시 중지 | 수백 밀리초에서 수십 밀리초로 |
| 단계 사이 통신 | gRPC에서 SSE로 교체 |
| 직렬화 | JSON으로 통일 |
| 조회 지연 | 서브초 |