본문으로 건너뛰기
패킷의 운명을 기록하는 Network Analytics v2
목차

패킷의 운명을 기록하는 Network Analytics v2 (2023-05)

원문 정보

  • 원문: How we built Network Analytics v2
  • 매체 · 게시일: The Cloudflare Blog · 2023-05-02
  • 저자: Alex Forster, Clément Joly
  • 원문 내용을 바탕으로 재구성한 요약입니다.

패킷 안에 없던 flowtrackd의 판단 근거

Network Analytics v1은 패킷의 처리 결과를 직접 받지 않았습니다. 네트워크 입구에서 수집한 샘플을 나중에 완화 규칙과 대조해, 그 패킷이 규칙에 걸려 버려졌는지 추론했습니다. 패킷 안의 바이트만 보면 그 운명을 알아낼 수 있다는 전제였습니다.

이 방식은 처음 목적에는 잘 맞았습니다. 2020년에 도입한 Network Analytics는 Magic Transit와 Spectrum 고객에게 자체 DDoS 탐지·완화 시스템인 dosd의 조치를 보여 주는 보고 시스템입니다. dosd는 들어오는 패킷을 샘플링해 공격을 분석하고, 특정 공격 지문에 맞는 패킷을 버리는 규칙을 전역 네트워크에 배포합니다. 예를 들면 “DNS ANY 쿼리의 응답을 담은 UDP/53 패킷을 버린다” 같은 규칙입니다. Network Analytics는 샘플을 이 규칙들과 대조한 뒤 시계열 데이터를 1분 버킷으로 집계해 ClickHouse에 저장했습니다. 대시보드는 공개 GraphQL API로 데이터를 조회해 대화형 시각화로 보여 줬습니다.

문제는 완화 시스템이 늘면서 드러났습니다. Advanced TCP Protection(flowtrackd)과 Magic Firewall이 추가됐지만, v1이 보여 주는 정보는 여전히 dosd의 조치뿐이었습니다. Magic Firewall 지원은 비교적 수월하게 추가할 수 있었을 것입니다. 방화벽 규칙은 연결 상태를 따지지 않는 stateless 규칙이어서, 패킷 자체만 보고 규칙에 맞는지 확인할 수 있기 때문입니다.

flowtrackd는 달랐습니다. 이전에 본 다른 패킷의 정보를 추적하는 stateful 시스템으로, 그 정보를 바탕으로 현재 패킷이 정상적인 연결에 속하는지 판단합니다. 지금 손에 든 패킷 샘플에는 그 판단에 필요한 과거가 없습니다. Cloudflare는 기존 설계를 확장하려고 시도했지만, 패킷 내용만으로 처리 결과를 알아내는 방식으로는 이 문제를 풀 수 없었습니다.

작동하는 시스템을 다시 쓰는 일은 대개 좋은 선택이 아닙니다. 이번에는 그 시스템을 지탱하던 전제부터 더는 성립하지 않았습니다.

장비 사슬에서 찾은 samplerd의 설계

새 설계의 실마리는 온프레미스 네트워크에 있었습니다. 패킷이 방화벽을 지나 라우터로, 다시 로드 밸런서로 이동하는 장비 사슬입니다. 각 고리는 입출력이 분명하고 저마다 맡은 일이 있습니다. 눈을 가늘게 뜨고 보면 Cloudflare의 소프트웨어도 비슷합니다. 서버가 받은 패킷을 DDoS 완화, 방화벽, 리버스 프록시 같은 독립된 구성요소에 차례로 넘긴다는 점에서 그렇습니다.

전통적인 네트워크 운영자는 이 사슬의 여러 지점을 관측합니다. 거의 모든 온프레미스 장비가 Netflow나 sFlow 샘플을 중앙 플로 수집기로 보낼 수 있고, 운영자는 그 샘플로 장비별 동작을 살펴봅니다. Cloudflare가 패킷을 처리하기 전 입구에서 한 번만 샘플을 뜨던 방식과는 차이가 있었습니다.

샘플에 담기는 내용도 달랐습니다. Netflow와 sFlow에는 패킷 내용뿐 아니라 들어오고 나간 인터페이스, 통과·폐기 여부, 일치한 방화벽이나 ACL 규칙 같은 메타데이터가 들어갑니다. 형식도 확장할 수 있어 각 장비에만 의미가 있는 정보를 추가할 수 있습니다. 수집기는 장비마다 어떤 기능을 수행하는지 모두 이해하지 않아도 풍부한 보고를 제공하는 방식입니다.

Cloudflare는 이 관측 방식을 소프트웨어에 적용했습니다. 각 구성요소가 자기 맥락에 맞는 메타데이터를 붙여 패킷 샘플을 직접 내보내도록 바꾼 것입니다. 소프트웨어마다 별도 샘플 스트림을 만든다는 발상은 처음에는 직관에 어긋나 보였습니다. 하지만 아직 구상하지 않은 제품까지 수용하려면, 각 시스템이 자신이 내린 판단을 기록할 수 있어야 했습니다.

이 샘플들을 받는 새 파이프라인이 samplerd(sampler daemon)입니다. 수집기 자체는 비교적 작고 단순합니다. 여러 소프트웨어가 메타데이터를 담은 샘플을 보낼 수 있도록 인터페이스를 제공하고, 받은 샘플을 정규화해 후처리와 ClickHouse 저장 단계로 넘깁니다. 더 큰 작업은 보내는 쪽에 있었습니다. 기존 완화 시스템들이 처리 결과와 이유를 샘플에 담도록 각각 고쳐야 했습니다.

이 전환으로 고객은 네트워크 트래픽을 더 정확하고 상세하게 볼 수 있게 됐습니다. Cloudflare 내부에서도 완화 시스템의 문제를 진단하고 세부 동작을 조정하기가 한결 수월해졌습니다. 앞으로 새 완화 시스템을 개발해 배포하더라도 보고 기능을 그에 맞게 확장할 수 있다는 것이 팀의 확신입니다.

여러 규칙을 거쳐도 한 번만 뽑는 iptables 샘플

판단 이유를 기록한다고 해서 규칙마다 샘플을 내보내면 문제가 생깁니다. iptables가 그런 사례입니다. Cloudflare는 상태를 추적하는 연결 추적처럼 l4drop에서 처리할 수 없는 완화에 iptables를 사용합니다. 패킷은 규칙 목록을 차례로 거치며, 조건에 따라 다른 규칙으로 점프하기도 합니다. 일부 규칙은 rate limiting을 수행합니다. 예를 들어 초당 10 패킷을 임계값으로 삼았다면, 그 값을 넘는 패킷만 버리는 방식입니다.

기존 규칙은 IP와 포트 같은 특성을 확인하고 패킷을 곧바로 버리거나 통과시켰습니다. 여기에 샘플을 추가하는 간단한 방법은 폐기 규칙이 일정 확률로 nflog 샘플도 내보내게 하는 것입니다. 하지만 고객이 알고 싶은 것은 버려진 패킷만이 아닙니다. rate limiter에 걸렸어도 임계값 아래라 통과한 패킷까지 보여 줘야 합니다.

통과한 패킷도 샘플링하면 다른 문제가 드러납니다. rate limiter를 지난 패킷이 뒤쪽 규칙에서 버려질 수 있으므로, 같은 패킷에 샘플링 기회가 여러 번 생깁니다. 이렇게 일부 트래픽이 더 자주 뽑히면 통계가 왜곡됩니다. 처리 이유를 더 자세히 기록하려던 변경이 샘플의 비율을 틀어 놓는 것입니다.

해법은 샘플링 여부를 정하는 시점과 실제 샘플을 내보내는 시점을 분리하는 데 있었습니다. 입구의 규칙 묶음에서 무작위로 샘플링 여부를 한 번 정하고, 그 결과를 Linux 패킷 마킹으로 남깁니다. 이어지는 규칙 묶음은 정해진 순서로 완화 규칙을 평가합니다. 특정 규칙과 일치해 버려야 한다는 정보도 별도 표시로 전달하는 방식입니다.

폐기를 결정한 규칙은 곧장 마지막 규칙 묶음으로 점프합니다. 그곳에서 샘플링 표시를 확인해 필요한 샘플을 내보낸 뒤 패킷을 버립니다. 어떤 완화 규칙에도 맞지 않은 패킷은 마지막 묶음의 일반 통과 규칙에 도달합니다. 이 규칙 역시 필요하면 샘플을 내보내고, 패킷을 스택의 다음 처리 단계로 넘깁니다. 샘플링 결정, 완화 결정, 샘플 방출과 최종 처리를 나눈 덕분에 같은 패킷을 중복 샘플링하지 않습니다.

완화 판단 앞뒤로 나뉜 l4drop 샘플러

패킷 처리 경로의 더 앞쪽에서는 복사 비용이 걸림돌이었습니다. Cloudflare로 들어오는 패킷은 먼저 xdpd가 관리하는 XDP 프로그램들을 거칩니다. xdpd는 패킷 샘플러, l4drop, L4LB의 설치를 관리하는 데몬입니다. 기존에는 샘플러가 일부 패킷의 샘플을 먼저 내보내고, l4drop이 통과나 폐기를 결정한 다음 L4LB가 4계층 로드 밸런싱을 맡았습니다. l4drop의 완화 비용이 낮은 이유는 네트워크 스택의 아주 이른 지점에서 처리하기 때문입니다.

여기서도 버려지는 패킷을 볼 수 있어야 합니다. 고객에게 차단된 트래픽을 보여 주는 데도, 공격 양상이 달라질 때 완화를 조정하는 데도 그 샘플이 쓰입니다. 그런데 기존 샘플러는 완화 결정 전에 샘플을 내보냈습니다. 공격 시그니처와 일치해 버려졌는지, rate limiting 규칙에 맞았지만 임계값 아래라 통과했는지 기록할 수 없는 위치였습니다.

처음 떠올린 방법은 샘플러를 l4drop 뒤로 옮기는 것이었습니다. l4drop이 패킷에 “버릴 것” 표시와 이유를 붙여 넘기면, 샘플러가 그 정보를 담은 샘플을 내보낸 뒤 실제로 버리거나 통과시킬 수 있습니다. 배치는 단순했지만 비용을 감당할 수 없었습니다. 샘플링할지 아직 정하지 않은 상태라 모든 패킷의 판단 메타데이터를 복사해야 했고, Cloudflare에 들어오는 모든 패킷이 이 경로를 지나기 때문입니다.

복사가 필요한 패킷부터 가려야 했습니다. 그래서 샘플러를 둘로 나눠 완화 판단 프로그램들의 앞뒤에 배치했습니다. 앞부분은 샘플링 여부만 정합니다. 가운데의 완화 프로그램들은 모든 패킷에 DROP 또는 PASS를 표시하되, 샘플링 대상으로 정해진 패킷에 한해서 메타데이터를 복사합니다. 뒤쪽 샘플러는 샘플링 표시와 DROP/PASS 표시를 함께 읽고, 필요하면 샘플을 만든 뒤 패킷을 버리거나 통과시키는 역할입니다.

iptables에서는 중복 샘플링을 막았던 단계 분리가 여기서는 불필요한 복사를 줄였습니다. 이 과정에서 샘플러는 l4drop과 밀접하게 결합했고, 더는 xdpd의 독립된 구성요소로 남지 않았습니다.

오래 이어진 공격을 위한 ClickHouse 집계표

처리 결과를 담은 샘플은 저장과 조회 단계로 이어집니다. samplerd가 가볍게 처리해 넘긴 샘플에 삽입기가 메타데이터를 보충합니다. 도착지 IP에 연결된 계정을 식별하고, 진행 중인 공격을 찾아 그 공격에 속한 샘플마다 고유한 공격 ID를 붙이는 식입니다. 높은 삽입률을 유지하려고 한 번 저장한 데이터는 수정할 일이 없도록 설계했으며, ClickHouse의 MergeTree 엔진은 이를 뒷받침하는 선택 중 하나였습니다.

조회에는 별도의 고민이 있었습니다. GraphQL API를 직접 호출하거나 대시보드를 사용할 때, 특정 공격의 모든 샘플을 바탕으로 도착지 IP나 포트가 고정돼 있는지 알아야 합니다. 공격은 며칠에서 몇 주까지 이어질 수 있습니다. 답 하나를 얻으려고 그동안 쌓인 샘플을 모두 읽는 쿼리는 비싸고 느려질 수 있었습니다.

아래는 공격 abcd의 샘플을 단순화한 예입니다. ABR을 사용하는 이 파이프라인에서 샘플 간격(Sample Interval, SI)은 두 샘플 사이에 지나간 패킷 수를 뜻합니다.

공격 ID도착지 IP도착지 포트샘플 간격(SI)
abcd1.1.1.1531000
abcd1.0.0.1531000

단순하게는 uniq()로 고유 값 수를 추정하고, 결과가 1인지 확인할 수 있습니다. 하지만 필요한 답은 값이 하나인지 여럿인지뿐입니다. 순서를 매길 수 있는 값이라면 최솟값과 최댓값이 같은지만 비교해도 됩니다. 위 예에서는 도착지 IP의 최솟값과 최댓값이 다르고, 포트는 둘 다 53입니다. IP는 하나로 고정되지 않았지만 포트는 53 하나라는 답을 얻습니다.

이 차이가 저장할 정보의 양을 줄였습니다. 최솟값이나 최댓값을 보관하는 데는 대개 해당 컬럼 값 하나 정도의 공간만 들며, 샘플을 삽입할 때 갱신하기도 쉽습니다. Cloudflare는 AggregatingMergeTree 엔진으로 공격 ID별 최솟값과 최댓값, 합계를 미리 계산하는 테이블을 추가했습니다. 이 엔진은 지정한 키를 기준으로 집계 함수의 결과를 계산하고 저장합니다. 원본의 일부 컬럼만 담은 이 집계표는 Cloudflare에서 원본 데이터 크기의 약 0.002%였습니다.

같은 방식은 sum() 같은 다른 집계 함수에도 적용됩니다. 조건은 있습니다. 전체 데이터에 한 번에 함수를 적용한 결과가, 부분집합의 집계 결과에 나머지 값을 합쳐 다시 계산한 결과와 같아야 합니다.

실제 조회에는 한 단계가 더 남습니다. 같은 공격 ID의 집계가 여러 파티션에 나뉘면 집계표에도 행이 여러 개 생길 수 있습니다. 그래서 프로덕션 쿼리는 해당 공격 ID의 모든 집계 행에서 다시 최솟값과 최댓값을 구합니다. 그래도 보통 서너 행입니다. 며칠 동안 쌓인 수천 건의 샘플을 훑는 것보다 훨씬 빠르게 답을 얻습니다.

구현 요소와 수치
항목값
Network Analytics v1 도입2020
집계 단위1분 버킷 (v1)
새 파이프라인samplerd (sampler daemon)
XDP 프로그램패킷 샘플러, l4drop, L4LB (xdpd가 관리)
iptables 규칙 묶음샘플링 결정, 통과/폐기 결정, 샘플 방출과 최종 처리의 3단계
집계 테이블 크기원본 데이터의 약 0.002% (일부 컬럼만 포함)
프로덕션 집계 테이블에서 공격 ID당 행 수보통 3~4행
집계에 쓰는 ClickHouse 엔진MergeTree, AggregatingMergeTree
마지막 수정 일자