본문으로 건너뛰기
9만 개 넘는 IDS 룰을 다듬는 Aristotle v2
목차

9만 개 넘는 IDS 룰을 다듬는 Aristotle v2 (2024-02)

원문 정보

방향에 따라 심각도가 달라지는 Mirai 알림

Mirai 감염 트래픽도 방향에 따라 심각도가 달라집니다. 바깥에서 내부 네트워크로 들어오는 트래픽은 대개 스캔이나 인터넷 잡음에 가깝지만, 내부에서 바깥으로 나가는 트래픽은 보호해야 할 기기가 감염돼 활동 중인 봇넷에 참여하고 있다는 뜻입니다. 알림에도 이 차이가 드러나야 합니다.

네트워크 IDS(침입 탐지 시스템)나 IPS를 오래 다룬 SOC 분석가에게 “너무 많은 알림”과 오탐은 익숙한 문제입니다. 우버도 사정은 같습니다. 하루에도 여러 번 9만 개가 넘는 IDS 룰을 파싱하고 분석한 뒤 갱신·필터링해 네트워크 센서에 배포합니다. 이 규모에서 알림의 양과 정확도를 관리하려면 룰을 고르고 조정하는 작업부터 자동화해야 합니다.

Aristotle v2는 이 과정을 자동화하고, 룰에서 정보를 추론해 메타데이터를 보강합니다. 룰을 모아 센서에 배포하는 작업은 다른 Suricata 배포에서도 비슷합니다. 우버가 집중한 지점은 그 사이에 있는 4단계 “Filter Rulesets”입니다. 어떤 룰을 포함하고 어떻게 고칠지 정하는 단계입니다.

대응할 시그널을 고르는 Entity Based Alerting

우버가 처리하는 이벤트는 하루 수십억 건입니다. IDS 알림만 해도 수십만 건에 이르며, 로그 파일과 벤더 제품, 사내 시스템, 커스텀 탐지, 각종 센서에서 나온 이벤트가 함께 처리됩니다. 이 중 보안 관련 이벤트를 “시그널”로 다루고, 각각에 정수 하나로 표현한 위험 점수를 붙입니다.

이 점수가 쓰이는 곳은 후속 집계와 상관 분석입니다. 우버의 Entity Based Alerting은 일정 시간 창 안에서 IP 주소, 호스트, 사용자 같은 엔티티별로 시그널을 묶습니다. 각 시그널의 위험 점수에 가중치를 적용해 더한 뒤 임계값과 비교하고, 대응이 필요한 정식 메타 알림을 만들지 결정합니다. 메타 알림은 분석가의 수동 조사나 SOAR 파이프라인의 자동 조치로 이어지며, 둘 모두를 수행하기도 합니다.

같은 점수라도 관련 엔티티와 다른 데이터에 따라 가중치가 달라집니다. 관리자 계정과 관련된 시그널에는 일반 사용자보다 높은 가중치를 주고, 승인된 취약점 스캐너로 알려진 IP의 시그널에는 낮은 가중치를 줍니다. 금융 거래를 처리하는 격리 네트워크의 IP가 관련됐다면 가중치를 높입니다. 점수가 충분히 높으면 시그널 하나만으로도 메타 알림이 나옵니다.

이 흐름에서 Aristotle v2는 켤 IDS 룰과 룰에 붙일 정보, 룰별 위험 점수를 정합니다. 센서에서 무엇을 탐지할지 고르는 일이, 탐지 뒤에 무엇을 조사할지 판단하는 일과 이어집니다.

미세 조정에 둔한 분류 손잡이

Suricata와 Snort 같은 IDS 엔진은 트래픽과 연결 상태를 룰에 대조해 패턴이 맞으면 알림을 냅니다. 센서에 어떤 룰을 적용하느냐에 따라 오탐과 불필요한 알림, 엔진 성능이 달라집니다. 리눅스 웹 서버를 지키는 센서에 윈도 파일 공유 공격을 탐지하는 룰까지 돌릴 이유는 없습니다.

전통적으로 룰 선택을 조절하는 손잡이는 classtype과 파일 이름이었습니다. classtype은 제공자가 정한 수십 개 분류 가운데 하나를 지정합니다. trojan-activity, attempted-dos, bad-unknown 같은 값입니다. 파일 이름도 sql.rules, scan.rules, trojan.rules처럼 룰을 분류하는 기준으로 쓰입니다.

어느 쪽이든 룰 하나에 값 하나뿐입니다. 최근 익스플로잇 킷 활동을 탐지하는 룰은 current-events, exploit, web-client 가운데 어디에 넣어야 할까요? 여러 분류에 걸친 룰을 한곳에만 넣어야 하니, 이 손잡이만으로는 환경에 맞게 세밀히 조정하기 어렵습니다.

사람이 룰을 읽고 판단하는 방법도 있습니다. 실제로 매일 새 룰을 하나씩 검사해 포함 여부를 정하고 튜닝하는 회사가 있지만, 기존 룰까지 계속 다시 살펴야 하는 작업은 규모가 커질수록 감당하기 어렵습니다.

한 룰에 여러 분류를 담는 BETTER

Suricata와 Snort의 metadata 키워드는 룰에 임의의 키-값 쌍을 넣도록 지원합니다. 키와 값을 미리 정해진 선택지에서 고르지 않아도 되고, protocols에 http와 tcp를 함께 넣듯 한 키에 여러 값을 연결할 수도 있습니다. 이 정보로 룰을 필터링합니다. Suricata는 메타데이터를 알림에도 실어 후처리와 상관 분석에 쓸 수 있게 합니다.

2019년에 제안된 BETTER(Better Enhanced Teleological and Taxonomic Embedded Rules) 스키마는 이런 일대다 관계를 받아들이고, 자주 쓰는 키와 일부 값의 표준을 정했습니다. Secureworks는 자사 Suricata 룰셋에 이를 완전히 구현했고, Proofpoint ET Pro 등은 부분적으로 호환합니다. 널리 채택되지는 않았지만, 메타데이터로 룰을 골라내는 접근은 여전히 유효합니다.

문제는 채워진 정보의 품질입니다. attack-target http-server가 20개 룰에만 붙어 있고 같은 값을 붙일 만한 룰이 400개 더 남아 있다면, 이 키로 필터링해도 쓸모가 거의 없습니다. 값이 있어도 표기가 제각각입니다. CVE 하나가 cve_2023_1234, 2023_1234, 2023-1234로 나타나고, cve_2023_1234_cve_2023_2468처럼 여러 CVE를 이어 붙이기도 합니다. 날짜 역시 ISO 8601 형식을 따르지 않는 경우가 있습니다.

룰의 단서로 메타데이터를 채우는 Aristotle v2

Secureworks가 2019년에 공개한 Aristotle v1은 메타데이터 키-값으로 룰을 켜고 끄는 오픈소스 Python 도구였습니다. 불리언 대수에 기반한 필터 문자열로 조건을 표현했지만, 판단에 쓸 정보는 제공자가 얼마나 충실히 메타데이터를 넣었느냐에 달려 있었습니다. 빠진 정보를 손으로 관리하기도 고됐습니다. 우버가 크게 기여한 v2는 여기서 더 나아가 메타데이터를 정규화하고, 보강하고, 수정합니다.

표기를 맞추고 빠진 정보를 채운 메타데이터

먼저 같은 정보를 같은 형식으로 맞춥니다. CVE 값은 YYYY-NNNN 형식으로 정규화하며, cve_2021_27561_cve_2021_27562처럼 밑줄로 이어 붙인 값에서도 CVE를 각각 찾아냅니다. BETTER 표준 밖의 키인 mitre_technique_id와 mitre_tactic_id에 들어 있던 값은 표준 키 mitre_attack으로 옮깁니다. created_at처럼 이름이 _at이나 -at으로 끝나는 날짜 키는 ISO 8601의 YYYY-MM-DD 형식으로 통일합니다.

없는 값은 표기를 맞춰도 생기지 않습니다. Aristotle v2는 룰의 구성과 의미를 분석해, 메타데이터 밖에 들어 있는 단서에서도 정보를 추론합니다. 이렇게 추가하거나 갱신하는 정보에는 다음 항목이 포함됩니다.

  • flow: to_server 또는 to_client로 정규화한 흐름
  • protocols: 룰에서 식별한 프로토콜
  • cve: msg, reference 등에서 찾아낸 CVE
  • mitre_attack: reference에서 추출한 정보
  • hostile: target 키워드 값의 반대편인 dest_ip 또는 src_ip
  • classtype: 룰의 분류 값
  • filename: 파일에서 룰을 읽었을 때의 원본 파일 이름
  • originally_disabled: 필터링을 위해 내부에서 붙이는 불리언 값

필터가 읽을 정보가 늘면서 조건도 더 세밀해졌습니다. v1이 지원하던 불리언 필터링과 created_at > 2023-01-01 같은 비교에 더해, v2에서는 risk_score도 비교 대상이 됩니다. 정규 표현식으로 룰을 찾는 기능도 추가했습니다. rule_regex는 룰 전체를, msg_regex는 msg 필드만 검사합니다. 리터럴이 아닌 요소를 평가하므로 성능 비용은 따릅니다.

안팎의 방향을 구분하는 detection_direction

룰에서 추론하는 정보에는 탐지 방향도 있습니다. 대부분의 네트워크 IDS 룰은 클라이언트와 서버 사이 통신의 한쪽을 겨냥하고, 출발지와 목적지를 IP 그룹으로 한정합니다. 거의 항상 등장하는 HOME_NET은 보호할 자기 네트워크이고, EXTERNAL_NET은 그 바깥입니다. 후자는 대개 인터넷을 뜻하며, HOME_NET에 속하지 않는 주소 전체로 정의하는 경우가 많습니다.

detection_direction은 출발지와 목적지를 각각 $HOME_NET, $EXTERNAL_NET, any, UNDETERMINED로 단순화해 탐지 방향을 표현합니다. 앞서 Mirai 사례에서 본 안팎의 차이를 필터가 읽을 정보로 만드는 작업입니다. 외부에서 들어오는 스캔과 내부 감염을 알림에서 다르게 취급하려면, 이렇게 알아낸 방향을 룰 수정에도 반영해야 합니다.

고른 룰을 다시 손보는 PFMod

PFMod(Post Filter Modification)는 정규화와 보강, 초기 필터링을 마친 룰을 다시 골라 수정하는 기능입니다. 필터 문자열로 대상 룰을 찾고, 그 룰에 적용할 동작을 지정합니다. 메타데이터를 추가하거나 삭제하고, 룰을 켜거나 끄고, 우선순위를 바꾸거나 정규식으로 룰의 문자열을 치환합니다.

조건과 동작은 YAML 파일에 PFMod 룰로 작성합니다. 여기서 PFMod 룰은 센서가 트래픽을 탐지할 때 쓰는 IDS 룰과 별개입니다. 파일은 깊이 우선으로 순차 처리하므로, 넓은 범위에 적용할 동작을 먼저 두고 그중 일부에만 적용할 구체적인 동작을 뒤에 이어 붙일 수 있습니다. 한 파일에 여러 룰을 담거나 include로 다른 PFMod 파일을 불러와 관리합니다.

수정은 새 값을 지정하는 데 그치지 않습니다. 정수형 키워드에는 상대값도 쓸 수 있어, set_priority "-1"처럼 기존 값에서 1을 낮추는 동작을 표현합니다. 정수형 메타데이터에도 상대값과 기본값을 지원하지만, 키 이름에 밑줄이 하나 이상 있어야 합니다. 대상 키가 없다면 지정한 기본값을 쓰고, 기본값도 없으면 변경하지 않습니다.

PFMod 동작 목록
동작설명
disable룰 비활성화
enable룰 활성화. 비활성 룰이 PFMod 대상이 되려면 먼저 초기 필터 문자열 매칭을 통과해야 함
add_metadataYAML 키-값 쌍으로 메타데이터 추가(예: protocols http). 같은 키가 있으면 값이 같지 않은 한 덮어쓰지 않음
add_metadata_exclusive같은 키가 있으면 새 값으로 덮어씀(예: priority high)
delete_metadata키-값 쌍을 주면 그 쌍만, 키 이름만 주면 값과 무관하게 해당 키 전체 삭제
regex_sub룰에 정규식 찾아 바꾸기
set_(키워드)룰 문자열의 키워드 값을 설정하고, 없으면 추가. priority, sid, gid, rev, msg, classtype, reference, target, threshold, flow 지원. 정수 키워드는 +/- 상대값 가능(예: set_priority “-1"은 우선순위를 1 낮춤)
set_(메타데이터 키)임의의 정수형 메타데이터 값을 설정. 상대값과 기본값 지원. 키 이름에 밑줄이 하나 이상 있어야 하고, 키가 없으면 기본값이 있을 때만 설정

우버가 배포하는 모든 Suricata 룰에는 위험 점수가 붙습니다. 룰셋을 컴파일할 때 점수를 자동으로 만들고, PFMod 룰이 이를 risk_score 메타데이터로 기록합니다. Suricata가 이 값을 알림에 포함하면, 후속 집계와 상관 분석에서 다른 시그널과 함께 대응 여부를 판단하는 데 사용합니다. 룰을 고치는 단계에서 마련한 정보가 분석가에게 전달할 알림을 고르는 데까지 이어집니다.

새 룰은 매일 들어옵니다. 그래도 룰마다 수동 분석을 반복하지는 않습니다. 기존 Aristotle v2 파이프라인이 필터 조건과 PFMod 로직을 새 룰에도 적용해 분류하고 다듬습니다. 우버가 이를 “설정하고 잊는” 방식이라고 부르는 이유입니다. 필터와 PFMod 로직은 환경과 예상 트래픽 패턴에 맞도록 가끔 신중하게 다시 살핍니다.

마지막 수정 일자