목차
거짓 의존성을 없앤 Netflix의 eBPF 플로 로그 (2025-04)
원문 정보
- 원문: How Netflix Accurately Attributes eBPF Flow Logs
- 매체 · 게시일: Netflix TechBlog · 2025-04-08
- 저자: Cheng Xie, Bryan Shultz, Christine Xu
- 원문 내용을 바탕으로 재구성한 요약입니다. eBPF로 TCP 플로 로그를 대규모로 수집하는 방법을 다룬 이전 글의 후속입니다.
플로 하나가 만든 거짓 의존성
플로 하나에 엉뚱한 워크로드 신원을 붙이면, 로그에는 존재하지 않는 서비스 의존성이 생깁니다. 사용자는 이 로그로 통신 상대를 확인합니다. 실제 의존성을 잘 아는 전문가가 아니라면 잘못 붙은 이름을 알아채기 어렵습니다.
Netflix의 플로 수집량은 평균 초당 500만 건입니다. AWS의 모든 Netflix 워크로드 옆에서 도는 사이드카 FlowExporter가 eBPF와 TCP tracepoint로 소켓 상태 변화를 추적하다가, 소켓이 닫히면 IP 주소와 포트, 타임스탬프, 소켓 통계를 기록합니다. 백엔드 FlowCollector는 각 FlowExporter의 로그를 모아 IP에 워크로드 신원을 붙이는 귀속 작업을 맡습니다. 그 결과를 Netflix의 Data Mesh로 보내 스트림·배치 처리에 씁니다. 언어나 RPC 방식, 애플리케이션 프로토콜에 관계없이 서비스 토폴로지와 네트워크 상태를 볼 수 있어, Service Mesh가 아직 닿지 않는 곳까지 살피는 수단입니다.
문제는 IP의 주인이 바뀐다는 점입니다. 인스턴스가 생기고 사라지는 클라우드에서 IP만으로 워크로드를 식별할 수는 없습니다. 처음에는 내부 IP 추적 서비스 Sonar가 Netflix의 AWS VPC에서 IP 할당·해제를 알릴 때마다, FlowCollector가 그 이벤트를 받아 실시간으로 신원을 붙였습니다.
이벤트가 제때 도착하지 않으면 어떻게 될까요? IP가 워크로드 X에서 Y로 넘어갔는데도 FlowCollector는 여전히 X의 주소로 알고 플로를 귀속합니다. 이벤트가 유실될 수도 있고, 이벤트에 찍힌 시각 자체가 부정확할 수도 있었습니다. 이런 오류는 인스턴스가 많고 IP가 자주 바뀌는 주요 서비스에서 잦아, 플릿 전체의 의존성을 분석하기 어려웠습니다.
FlowCollector가 플로를 받은 뒤 15분을 기다리게 하는 임시방편도 썼습니다. 오류는 줄었지만 사라지지 않았습니다. 오래 기다린 만큼 데이터도 늦어졌습니다. 플로 하나만 잘못 연결해도 거짓 의존성이 생기는 상황에서 대기 시간을 늘리는 것으로는 부족했습니다. Netflix는 약 1년에 걸쳐 귀속 방식을 새로 만들었습니다.
소유 기간을 알려 주는 플로의 하트비트
새 방식은 플로 자체에서 IP의 소유 기간을 찾습니다. 소켓에는 로컬 IP와 원격 IP가 있는데, 로컬 IP는 FlowExporter가 실행되는 인스턴스 쪽 주소입니다. FlowExporter가 자기 환경에서 워크로드 신원을 확인해 로컬 IP에 붙여 보내면, FlowCollector는 그 플로를 다른 플로의 원격 IP를 식별하는 근거로 쓸 수 있습니다.
이제 플로마다 로컬 IP와 워크로드 신원, 연결 시작·종료 시각이 함께 들어옵니다. 예를 들어 10.0.0.1이 t1부터 t2까지 워크로드 X에 속했다는 사실을 알게 됩니다. 시각도 믿을 만합니다. Netflix 플릿은 Amazon Time Sync로 시간을 맞추므로, FlowCollector는 이 시간 범위를 귀속의 기준으로 삼습니다.
계속 들어오는 플로는 하트비트처럼 작동합니다. 각 플로가 믿을 만한 소유 기간을 알려 주므로 몇 건이 늦거나 유실돼도 잘못된 귀속으로 이어지지 않습니다. 이전 방식은 할당·해제라는 개별 이벤트에 의존했습니다. 새 알림이 오기 전까지는 몇 시간, 길게는 며칠 동안 같은 워크로드가 IP를 소유한다고 가정해야 했습니다. 새 방식에서 신원을 붙이는 근거는 플로로 확인한 시간 범위입니다.
호스트 안에서 신원을 찾는 FlowExporter
이 설계가 성립하려면 로컬 IP부터 정확해야 합니다. EC2에서 직접 실행하는 워크로드는 수월했습니다. Metatron이 부팅할 때 워크로드 신원 인증서를 배포하므로, FlowExporter는 로컬 디스크에서 인증서를 읽으면 됩니다.
컨테이너 플랫폼 Titus에서는 사정이 달랐습니다. FlowExporter가 실행되는 곳은 컨테이너 호스트입니다. 한 호스트에 신원이 서로 다른 워크로드가 여럿 있고, 관찰한 소켓을 호스트 자신이 만들었을 수도 있습니다. Netflix는 컨테이너 IP를 할당하는 IPMan에서 답을 찾았습니다. 각 호스트의 데몬 IPManAgent가 컨테이너를 시작할 때 IP와 워크로드 ID의 매핑을 eBPF 맵에 쓰고, FlowExporter의 eBPF 프로그램은 이 맵을 조회해 소켓의 로컬 IP가 누구 것인지 확인합니다.
IP만으로 구분되지 않는 경우도 있었습니다. Titus는 IPv6 전용 컨테이너가 NAT64 오버헤드 없이 IPv4 목적지와 통신하도록 connect 시스템 콜을 가로채고, 소켓을 호스트의 공유 IPv4 주소를 쓰는 소켓으로 바꿉니다. 그 결과 커널에는 서로 다른 워크로드의 소켓이 같은 로컬 IPv4 주소로 나타납니다.
여기서는 로컬 포트까지 봐야 합니다. Titus가 connect를 가로챌 때마다 (로컬 IPv4, 로컬 포트)와 워크로드 ID의 매핑을 eBPF 맵에 기록하도록 수정했습니다. 이 구분까지 갖추면서 모든 플로의 로컬 IP를 정확히 귀속하게 됐습니다.
1분을 기다리는 FlowCollector의 시간 범위 맵
로컬 신원을 확인한 뒤에는 각 FlowCollector 노드가 배운 내용을 공유해야 합니다. 플로 하나는 한 노드에만 도착하지만, 어느 노드든 임의의 원격 IP를 귀속할 수 있어야 하기 때문입니다.
각 노드는 IP 주소를 시간 범위 목록에 연결하는 인메모리 해시맵을 유지합니다. 목록의 항목은 워크로드 ID와 시작·종료 시각으로 이루어지며, 시간순으로 정렬되고 범위끼리는 겹치지 않습니다. 노드는 받은 플로에서 로컬 IP와 신원, 연결 시각을 추출해 범위를 새로 만들거나 늘립니다. 이렇게 알아낸 범위는 Kafka 브로드캐스트로 다른 노드에 전달합니다. 더 효율적인 브로드캐스트 방법도 있지만, Netflix에서는 이 단순한 방식이 잘 작동했습니다.
원격 IP의 신원을 찾는 절차는 짧습니다. 맵에서 해당 IP의 시간 범위 목록을 조회하고, 플로의 시작 시각이 들어가는 범위의 워크로드 ID를 선택합니다. 맞는 범위가 없으면 잠시 뒤 다시 시도합니다. 플로 유실이나 브로드캐스트 지연으로 끝내 확인하지 못하면 귀속을 포기합니다. 일부 플로가 귀속되지 않는 것은 받아들일 수 있어도, 잘못된 신원을 붙이는 것은 허용하지 않는 선택입니다.
조회 전에 기다리는 시간도 남아 있습니다. FlowExporter가 플로를 1분마다 묶어 보내므로, 원격 워크로드 쪽에서 기록한 최신 묶음이 도착해야 그 IP의 소유 기간을 알 수 있습니다. FlowCollector는 받은 플로를 디스크에 1분간 보관한 뒤 귀속합니다. 이전의 15분 대기가 1분으로 줄었습니다.
조회는 메모리 안에서 끝납니다. IP 귀속에 쓰는 상태는 노드가 시작할 때 빠르게 다시 만들 수 있어 영구 저장소가 필요 없습니다. 이 방식으로 c7i.2xlarge 30대가 Netflix 전체 플릿의 초당 500만 플로를 처리합니다.
전체의 1%만 건너가는 리전 경계
시간 범위 맵을 모든 리전에 똑같이 복제하지는 않습니다. 주요 리전마다 FlowCollector 클러스터가 있고, FlowExporter는 자신과 같은 리전의 클러스터로 플로를 보냅니다. 따라서 수신한 플로의 로컬 IP는 항상 그 리전 안에 있습니다. 시간 범위 브로드캐스트도 같은 리전의 노드 사이에서만 이루어지므로 각 맵에는 해당 리전의 IP만 담깁니다.
원격 IP가 다른 리전에 있으면 플로를 그 리전의 노드로 넘깁니다. 목적 리전은 Netflix의 모든 VPC CIDR로 만든 트라이에서 찾습니다. 리전을 건너는 플로는 전체의 1%뿐입니다. 이 플로들만 전달하는 편이 모든 리전에 시간 범위 갱신을 퍼뜨리는 것보다 효율적입니다.
Sonar가 여전히 필요한 ELB
플로만으로 신원을 알 수 없는 원격 IP도 있습니다. 상당수 플로가 거치는 AWS ELB가 그런 대상입니다. ELB에서는 FlowExporter를 실행할 수 없어, 앞서 설계한 방식에 필요한 로컬 신원 정보를 얻지 못합니다.
이런 IP에는 Sonar의 변경 이벤트를 계속 사용합니다. Sonar가 AWS 리소스를 훑어 IP 할당 변화를 찾아내는 방식입니다. 이벤트가 늦거나 타임스탬프가 부정확할 가능성은 남아 있지만, ELB의 IP 재할당은 드물어 잘못된 귀속을 크게 우려하지 않습니다.
라우팅 설정을 기준으로 삼은 Zuul 검증
정확도를 검증할 기준부터 찾아야 했습니다. 플로 로그 자체를 서비스 의존성의 기준으로 쓰려던 터라, 그 결과와 대조할 별도의 정답이 없었습니다. 검증 대상은 로그 없이도 의존성을 확인할 수 있어야 했고, 잘못된 귀속이 더 자주 나타나던 인스턴스 수가 많은 서비스여야 했습니다.
Netflix의 클라우드 게이트웨이 Zuul이 이 조건에 맞았습니다. 클라우드로 들어오는 모든 트래픽을 처리해 규모가 크고 다운스트림 의존성도 많으며, 라우팅 설정에서 의존성을 알아낼 수 있었습니다. 이전 방식에서는 플로 로그가 보고한 Zuul 의존성의 약 40%가 잘못 귀속된 결과였습니다. 새 방식으로 2주 동안 Zuul을 지나는 플로를 확인했을 때는 잘못된 귀속을 발견하지 못했습니다.
이 검증은 새 방식의 정확도를 신뢰할 강한 근거가 됐습니다. eBPF 플로 로그로 플릿 전체의 서비스 토폴로지와 네트워크 상태를 믿고 살필 수 있게 되면서, 서비스 의존성 감사와 보안 분석, 인시던트 분류에 활용할 길도 열렸습니다. 후속 글 예고는 없습니다.
처리 규모와 귀속 방식의 변화
| 항목 | 값 |
|---|---|
| 플로 레코드 생산량 | 평균 초당 500만 건 |
| 처리 인스턴스 | c7i.2xlarge 30대 |
| 이전 방식의 대기 시간 | 15분 |
| 새 방식의 대기 시간 | 1분 (디스크에 임시 저장) |
| FlowExporter 보고 주기 | 1분 묶음 |
| 리전 간 플로 비율 | 약 1% |
| 이전 방식의 Zuul 의존성 오귀속 | 약 40% |
| 새 방식의 Zuul 검증 | 2주간 오귀속 없음 |