본문으로 건너뛰기
수천 서비스의 실제 연결을 담은 Netflix 서비스 토폴로지
목차

수천 서비스의 실제 연결을 담은 Netflix 서비스 토폴로지 (2026-05)

원문 정보

  • 원문: From Silos to Service Topology: Why Netflix Built a Real-Time Service Map
  • 매체 · 게시일: Netflix TechBlog · 2026-05-29
  • 저자: Parth Jain, Rakesh Sukumar, Yingwu Zhao, Renzo Sanchez-Silva, Nathan Fisher
  • 서비스 토폴로지 시리즈의 첫 번째 글이며, 대규모 구현의 어려움은 다음 편에서 다룹니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

새벽 3시의 장애 호출과 흩어진 단서

새벽 3시에 장애 호출을 받은 엔지니어를 떠올려 보겠습니다. 핵심 서비스의 에러율이 높아지고, 회원은 재생에 불편을 겪고 있습니다. 내 서비스가 문제의 시작점인지, 의존하는 서비스에서 장애가 번져 온 것인지부터 알아야 합니다. 수천 개 마이크로서비스가 얽힌 환경에서는 이 답을 찾는 속도에 따라 작은 문제가 큰 장애로 커질 수도 있습니다.

신호가 부족한 것은 아닙니다. 메트릭에는 증상이 있고, 로그에는 개별 서비스의 동작이 있으며, 트레이스에는 요청 하나가 지나간 경로가 남습니다. 빠진 것은 평소 서비스들이 어떤 의존 관계를 이루고 있는지 한눈에 보여 주는 지도입니다. 새벽 3시에 여러 도구를 오가며 기억과 흩어진 신호로 천 조각 퍼즐을 맞추는 일은 느리고, 틀리기 쉽고, 부담스럽습니다.

Netflix 엔지니어들도 같은 어려움을 겪었습니다. 팀이 4년 동안 쌓인 지원 요청 수천 건을 분석하자, 상류와 하류에 어떤 서비스가 있는지, 장애가 내 서비스에서 시작됐는지, 점검 때문에 서비스를 내리면 어디까지 영향을 받는지 묻는 요청이 반복됐습니다. 메트릭에 서비스 이름이 “Unknown”으로 표시되는 이유나 호출 경로에서 최근 바뀐 부분을 찾는 질문도 있었습니다. 모두 연결을 알아야 풀리는 문제입니다.

재생 버튼 뒤에는 긴 호출 경로가 있습니다. 인증과 개인화 추천, 비디오 인코딩 선택, 재생 최적화에 이르기까지 여러 서비스가 움직이며, 이 아키텍처 덕분에 수백 개 팀이 독립적으로 새로운 기능을 개발합니다. 그만큼 장애 때 살펴야 할 관계도 복잡해집니다. Live 방송과 광고 요금제가 더 정교한 모니터링과 빠른 문제 해결을 요구하면서, 연결을 파악하는 일은 더욱 급해졌습니다. 라이브 이벤트는 긴 조사가 끝날 때까지 기다려 주지 않습니다.

배포 속도를 따라잡아야 하는 서비스 지도

Netflix가 의존성 지도를 처음 시도한 것은 아닙니다. 수년에 걸쳐 외부 그래프 DB와 벤더 플랫폼을 평가했고, 저장 기술과 데이터 모델을 달리한 내부 프로토타입도 만들었습니다. 그 과정에서 작은 규모의 성공이 Netflix에서도 이어지지는 않는다는 점을 배웠습니다. 수천 개 노드를 처리하던 저장소도 Netflix의 서비스 수와 트래픽 앞에서는 어려움을 겪었습니다.

지도가 얼마나 최신인지도 문제였습니다. 서비스가 하루에 여러 번 배포되는데 몇 시간 전의 연결을 보여 준다면, 장애를 조사하는 엔지니어에게는 이미 쓸모없는 정보입니다. 어제의 지도는 관측이 아니라 고고학입니다. 새 지도는 실제 트래픽을 따라 실시간으로 갱신되어야 했고, 규모가 커져도 호출 그래프를 서브초로 순회할 수 있어야 했습니다.

빨리 그린다고 충분하지는 않습니다. 틀린 의존성 정보는 아예 없는 것보다 나쁘며, 네트워크 연결만으로는 애플리케이션 맥락을 알 수 없고 애플리케이션 메트릭만으로는 계측되지 않은 서비스를 볼 수 없습니다. 따라서 실제 통신 관계와 API·엔드포인트 정보를 함께 다루되, 각 데이터가 어디까지 보여 주는지 구분해야 했습니다. 연결선에는 서비스 상태, 가용성 등급, 비즈니스 도메인, 소유자 정보도 따라야 합니다.

사용 방식 역시 기존 도구와 이어져야 했습니다. 지도를 보려고 별도의 작업 흐름을 배워야 한다면 장애 조사 중에 쓰기 어렵습니다. 엔지니어가 화면에서 의존성을 탐색하다 로그와 메트릭으로 바로 이동할 수 있어야 하고, 복원력 프레임워크나 영향 범위 계산기, 장애 대응 자동화도 같은 데이터를 조회할 수 있어야 했습니다. 이 요구를 모아 만든 시스템이 Service Topology입니다.

호출 경로에 서비스 상태를 겹친 화면

Service Topology의 출발점은 실제 호출입니다. 새 호출자가 나타나면 거의 실시간으로 지도에 추가되고, 호출이 멈추면 연결선이 옅어지며, 배포로 호출 동작이 바뀌면 그 변화도 반영됩니다. 장애 중에는 서비스 상태를 겹쳐 보여 주는 오버레이가 실시간으로 갱신됩니다. 엔지니어가 보는 것은 설계 당시 의도한 연결이 아닌, 지금 트래픽에서 확인되는 연결입니다.

화면에서는 서비스의 상류와 하류를 따라갑니다. 가용성 등급인 Tier 0, Tier 1 등과 비즈니스 도메인으로 범위를 좁히고, 호출 경로에서 어느 서비스의 상태가 나빠졌는지 살펴볼 수 있습니다. 문제가 있는 서비스에서 로그, 트레이스, 메트릭으로 바로 이동하면 토폴로지는 상세 신호를 읽기 위한 출발점이 됩니다. 내 서비스에서 발생한 실패인지 다른 곳에서 전파된 실패인지 구분하는 데도 이 맥락이 쓰입니다.

점검 전에도 같은 지도를 펼칩니다. 서비스를 내리거나 큰 변경을 적용하기 전에 영향을 받을 서비스와 알려야 할 팀을 확인하고, 변경 계획에 그 범위를 반영합니다. 사람이 보는 화면 외에 gRPC API도 있습니다. Platform Modernization Engineering 팀은 이 API로 핵심 Live 서비스의 의존성 사슬을 조회해, 연결된 서비스들의 가용성 등급이 적절하게 분류되어 있는지 검증합니다.

현재의 연결만 볼 수 있는 것은 아닙니다. 과거 특정 시점의 토폴로지를 조회하면 장애가 시작된 즈음 호출 경로에 무엇이 바뀌었는지, 시간이 흐르며 서비스의 의존성이 어떻게 달라졌는지 확인할 수 있습니다. 장애 당시와 현재를 비교할 근거가 남는 것입니다.

이 기능들이 향하는 곳은 회원의 재생 경험입니다. 의존성을 빨리 이해하면 장애를 더 빨리 해결할 수 있고, 변경 전에 영향 범위를 파악하면 중단을 피하는 데 도움이 됩니다. 주말에 몰아보기를 하든 라이브 스포츠를 보든, 회원이 원하는 순간에 재생이 제대로 동작하도록 하려는 목적입니다.

서로의 빈틈을 채우는 관측 계층

이 지도를 단일 데이터 소스로 채울 수는 없었습니다. Netflix는 eBPF 네트워크 플로, IPC 메트릭, 종단 간 트레이싱으로 각각 의존성 그래프를 만들었습니다. 엔지니어는 네트워크만, IPC만, 트레이스만 선택하거나 이들을 합친 화면을 볼 수 있습니다. 소스마다 잘 보여 주는 것과 놓치는 것이 다르기 때문입니다.

eBPF 네트워크 플로는 가장 넓게 봅니다. 커널에서 수집한 플로 레코드에는 계측 여부와 무관하게 모든 서비스의 네트워크 연결이 나타나며, 어느 배포 클러스터끼리 통신하는지와 어느 앱끼리 통신하는지를 모두 알 수 있습니다. 그러나 연결의 내용까지 보이지는 않습니다. A가 특정 프로토콜로 B의 IP 주소에 연결했다는 사실은 알아도, 호출한 경로가 /api/v1/users인지 /api/v1/orders인지는 구분하지 못합니다.

엔드포인트 정보는 IPC 메트릭이 채웁니다. 계측된 서비스가 gRPC, GraphQL, REST 등으로 다른 서비스를 호출할 때 내보내는 메트릭에는 엔드포인트와 에러율, 지연 분포, 프로토콜 세부 정보, 요청과 응답의 특성이 담깁니다. 이 애플리케이션 계층의 자연스러운 단위는 엔드포인트 정보가 붙은 앱 간 연결입니다. 설명은 풍부하지만, 계측된 서비스만 나타난다는 한계가 있습니다.

종단 간 트레이싱은 개별 요청의 실행을 보여 줍니다. 서비스 사이에 연결이 있다는 사실에서 더 나아가, A가 특정 회원의 요청을 처리하면서 실제로 B를 호출한 경로를 확인할 수 있습니다. 조건부 로직이나 기능 플래그가 바꾼 동작도 이 경로에 남습니다. 트레이스를 모으면 클러스터와 앱 수준의 토폴로지를 만들 수 있고, 개별 트레이스를 지도에 겹쳐 특정 요청의 흐름을 살펴볼 수도 있습니다.

여기에는 샘플링이라는 제약이 있습니다. 모든 요청을 추적하면 성능에 영향을 주므로 일부를 수집하며, 그 결과 흔한 요청 흐름은 잘 드러나지만 드물게 실행되는 코드 경로는 집계한 토폴로지에서 빠질 수 있습니다. 네트워크 플로가 연결의 빠짐없는 파악을 맡고, IPC가 호출의 내용과 방식을 보태며, 트레이싱이 특정 요청에서 실제로 일어난 실행을 보여 주는 이유입니다.

저장소도 물리적으로 나눴습니다. 네트워크 계층과 IPC 계층은 그래프 DB의 서로 다른 파티션에 두고, 트레이싱 계층은 분석 질의에 맞춘 컬럼 저장소에 둡니다. 각 계층을 독립적으로 발전시키면서 병렬 질의도 수행하기 위한 선택입니다. 통합 화면을 요청하면 모든 계층에 순회 질의를 병렬로 보내고, 각 계층의 속성을 유지한 채 노드와 간선의 합집합을 반환합니다. 세 계층을 합쳐 조회해도 응답은 서브초 수준입니다.

과거 지도 역시 계층별로 집계한 데이터에서 복원합니다. 모든 시점의 스냅샷을 따로 저장하는 대신, 각 계층의 집계기가 시간 창에 걸쳐 토폴로지 데이터를 누적합니다. 이 방식으로 저장량이 폭증하지 않게 하면서 과거의 연결을 효율적으로 재구성합니다.

중간 장치 너머의 앱 간 경로

네트워크 플로를 모았다고 곧바로 앱 간 의존성이 생기지는 않습니다. 로그에는 앱 A → 로드 밸런서 → 앱 B처럼 중간 장치를 지나는 홉이 남고, NAT 게이트웨이를 거치는 연결도 있습니다. 엔지니어가 알고 싶은 것은 그 경로 양 끝의 앱 A → 앱 B 관계입니다. Netflix의 처리 파이프라인은 이 관계를 복원하는 일을 맡습니다.

수집은 여러 AWS 리전의 Kafka에서 시작합니다. 수백만 건의 플로 레코드를 계속 받아 처리하며, Akka의 포크인 Apache Pekko Streams를 사용해 여러 Auto Scaling Group에 작업을 분산합니다. 백프레셔는 스트림 처리 과정에서 자연스럽게 다룹니다. 그 뒤의 집계를 한 번에 끝내지 않고 3단계로 나눈 것도 이 규모를 감당하기 위한 설계입니다.

첫 단계에서는 Kafka에서 받은 플로를 초기 집계합니다. 다음 단계가 중간 장치를 해석하는 부분입니다. 로드 밸런서, NAT 게이트웨이, API 게이트웨이, 프록시를 식별하고 각 장치로 들어온 플로와 나간 플로를 합쳐, 앱 사이의 직접적인 의존 경로를 복원합니다. 마지막 단계에서는 서비스 상태 정보를 결합해 최종 집계한 뒤 저장합니다.

단계를 나눈 이유는 경로 복원만이 아닙니다. 일부 애플리케이션이나 중간 장치에 다른 곳보다 100배 많은 트래픽이 몰려도, 단계별로 집계하면서 부하를 분산해 핫스팟을 막습니다. 트래픽이 많은 지점까지 처리해야 전체 지도를 계속 갱신할 수 있습니다.

그래프 저장에는 Netflix의 그래프 DB를 씁니다. 분산 키-값 저장소 위에 만든 추상화 계층으로, 높은 처리량의 그래프 연산과 빠른 멀티 홉 순회를 지원하도록 설계했습니다. 앞서 나눈 관측 계층은 각각 별도 그래프로 다루며, gRPC API는 여러 홉을 따라가는 질의와 가용성 등급·비즈니스 도메인 필터, 큰 결과를 나누어 받는 페이지네이션을 제공합니다.

변경 이벤트까지 담을 Service Topology

다음 확장 계획에는 변경 이벤트 오버레이가 있습니다. 배포와 설정 변경 등 시스템에서 일어난 변화를 그래프 곁에 표시해, 의존성의 문제와 변경 사이의 연관성을 살펴보기 쉽게 하려는 것입니다. 관측 범위가 넓어지면 엔드포인트 세부 정보와 프로토콜 정보, 네트워크 경로의 맥락도 더 풍부하게 제공할 계획입니다.

자동 근본 원인 분석은 더 먼 방향입니다. 지능형 에이전트가 토폴로지 그래프를 계속 탐색하면서 의존 관계를 따라 발생한 실패들을 연관 짓고, 과거 패턴을 학습해 유력한 원인을 제시하는 모습을 구상하고 있습니다. Service Topology는 이 작업에 필요한 지식 그래프의 기반입니다. 현재 제공하는 의존성 탐색과 상태 표시에서 출발해, 원인 후보를 자동으로 찾는 단계까지 확장하려는 계획입니다.

Kafka 랙과 GC 일시 중지를 다룰 다음 편

이 글은 서비스 토폴로지 시리즈의 첫 편입니다. 다음 편에서는 초당 수백만 건의 플로 로그를 처리할 때 생기는 Kafka 컨슈머 랙, 분산 처리 중의 GC 일시 중지, 멈춰 버린 반응형 스트림의 디버깅, 핫 노드 문제를 다룹니다. 여기서 소개한 설계를 실제 규모로 운영하며 부딪힌 엔지니어링 문제들입니다.

이후 편에서는 분산 시스템 전반에 적용할 교훈과 시간 여행 기능, 자동 근본 원인 분석 같은 발전 방향을 다룰 예정입니다. 두 번째 편은 대규모 서비스 토폴로지 구축의 설계와 교훈으로 정리했습니다.

마지막 수정 일자