목차
NACL 차단 누락을 드러낸 WOOWA-SOC-ACL-IR (2026-07)
원문 정보
- 원문: 멀티 어카운트 NACL 차단 자동화 도구 운영 및 개선 경험
- 매체 · 게시일: 우아한형제들 기술블로그 · 2026-07-16
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
슬랙에는 GOOD! all-delete-report가 떴습니다. 차단 룰을 모두 지웠다는 보고였지만, 곧바로 새 차단을 요청하자 기록과 실제 NACL 상태가 다르다는 알림이 나왔습니다. 지웠어야 할 룰이 남아 있었습니다.
우아한형제들의 차단 자동화에서는 이런 일이 반복됐습니다. API는 정상 응답을 돌려주고 운영 알림에도 성공이 찍혔지만, 수십 개 계정의 실제 상태는 보고와 조금씩 달랐습니다. 개선은 자동화가 놓친 차단을 찾고, 실패한 결과를 성공으로 보고하지 않게 만드는 데서 시작됐습니다.
침해대응에 남겨 둔 NACL의 30개 슬롯
공격 IP는 지금 막아야 합니다. 우아한형제들은 서비스와 목적별로 AWS 계정을 나누고 계정마다 VPC와 트래픽 방향별 NACL을 운영하므로, IP 하나를 막는 데도 수십 개 계정의 룰을 고쳐야 했습니다. 분석가가 콘솔에서 하나씩 처리하자 차단 IP가 늘수록 누락과 지연도 늘었습니다. 이를 자동화한 도구가 WOOWA-SOC-ACL-IR입니다. 침해대응 아키텍처를 다룬 이전 글에서는 NACL-IR이라는 이름으로 짧게 소개됐습니다.
요청이 지나는 경로는 단순했습니다. 분석가나 SOAR가 API Gateway에 보낸 요청은 SQS FIFO 큐에 들어가고, 컨슈머 람다가 메시지를 꺼내 NACL 차단 람다를 비동기로 호출합니다. 차단 람다는 STS AssumeRole로 각 계정에 들어가 deny 룰을 추가한 뒤 계정, NACL, 룰 번호, IP, 등록 시점을 보안 계정의 DynamoDB(DDB)에 기록합니다. 요청 한 건마다 람다 한 번이 모든 계정을 순회하는 fan-out 방식입니다.
차단할 자리는 한정돼 있습니다. NACL 규칙 수 한도는 기본 20개이며 Service Quotas로 최대 40개까지 늘릴 수 있습니다. AWS는 한도를 높이면 네트워크 처리 비용도 늘 수 있다고 안내하지만, 보안팀은 인바운드와 아웃바운드 NACL을 분리하고 자동화 대상의 한도를 40개로 높인 뒤 별다른 성능 이슈를 겪지 않았습니다. 다른 정책과 우선순위가 충돌하지 않도록 침해대응에는 21~50번의 30개 슬롯만 사용했습니다. 자리가 다 차면 DDB에 가장 먼저 기록된 룰을 지우고 새 항목으로 교체합니다.
차단 이력의 어긋남을 드러낸 sync_check
처음부터 단일 IP를 등록하는 update와 해제하는 delete는 있었습니다. 운영 중 오탐으로 드러난 IP를 풀 수는 있었지만, 룰 번호가 어긋나거나 슬롯이 의도치 않은 상태로 채워졌을 때 전체를 초기화할 방법은 없었습니다. 그래서 trigger=alldelete를 추가했습니다. 모든 계정에서 21~50번의 deny 룰과 해당 DDB 항목을 비우는 기능입니다.
기록을 믿기 어려운 순간도 생겼습니다. DDB에는 차단됐다고 적혀 있는데 NACL에는 룰이 없거나, NACL의 룰에 대응하는 DDB 기록이 없는 경우였습니다. 이는 차단이 의도대로 적용되지 않았다는 신호일 수 있고, 다음 차단에 쓸 룰 번호의 교체 순서까지 어긋나게 만들었습니다.
이를 감지하는 기능이 sync_check입니다. trigger=check로 실행하면 모든 계정에서 NACL의 21~50번 룰 번호 목록과 DDB 목록을 비교하고, 차이가 있는 계정과 번호를 슬랙에 보고합니다. 분석가가 직접 호출할 수도 있고, 새 차단 요청의 update에 앞서 시스템이 실행하기도 합니다. 점검을 붙이자 어긋남은 보이기 시작했습니다. 문제는 그다음 처리였습니다.
한 계정의 어긋남에 멈춰 선 차단 요청
처음에는 한 계정만 어긋나도 전체 update를 멈췄습니다. 모든 계정이 같은 수준의 보호를 받아야 하고, 차단이 빠진 계정이 가장 약한 고리가 된다는 판단이었습니다. 그런데 이 원칙대로 멈추면 정상 계정들까지 이번 IP를 차단하지 못했습니다. 한 계정의 보호 공백을 막으려다 다른 계정에도 공백을 만든 것입니다.
코드의 중단 방식도 거칠었습니다. 불일치를 발견하면 호출하던 exit()는 SystemExit을 발생시키므로 try/except Exception으로 잡히지 않았고, 람다 호출 전체를 끝낼 수 있었습니다. 보안팀은 이를 return과 continue로 바꾸고 계정별 처리를 try/except로 분리했습니다. 어긋난 계정은 건너뛰어 슬랙에 알리되 나머지 계정의 차단은 이어가도록 했습니다.
건너뛴 계정에는 복구 기회를 줬습니다. 1차 fan-out에서 실패한 계정을 별도로 모은 뒤 5초를 기다렸다가 그 계정들만 한 번 더 처리합니다. 이미 차단된 계정은 건드리지 않으며, 이미 등록된 IP는 중복 처리를 생략하는 idempotent skip으로 통과합니다.
재시도는 1회로 제한했습니다. 일시적인 STS throttle이나 짧은 AWS API 오류는 5초 뒤 한 번의 재시도로 거의 모두 회복되는 편이었습니다. 그래도 풀리지 않는 누락에는 보통 권한 문제, 누적된 상태 불일치(drift), 길어지는 장애 같은 이유가 있었습니다. 이런 경우에는 반복을 늘리는 대신 남은 계정을 슬랙에 보고하고 운영자가 확인하도록 했습니다. 무한 반복이나 람다 실행 시간의 급증도 피하려는 결정이었습니다.
성공 보고를 믿기 전에 확인한 실제 상태
계정별로 처리를 이어가려면 어느 계정이 실패했는지부터 정확히 알아야 합니다. 하지만 기존 코드에는 실제 룰, DDB 기록, 슬랙 보고가 서로 다른 결과를 가리키게 만드는 부분이 남아 있었습니다.
DDB 기록보다 앞선 NACL 재조회
NACL 생성 함수는 성공 여부를 True나 False로 반환했습니다. 호출부는 그 값을 확인하지 않았습니다. 함수가 예외 없이 False를 돌려주면 try/except를 그대로 지나 DDB에 차단 기록을 남겼고, 실제 NACL 생성은 실패했는데 기록에는 차단된 것으로 보였습니다.
정상 응답도 곧바로 믿지 않기로 했습니다. HTTP 200을 받은 직후에는 AWS API의 일시적 일관성 지연으로 룰이 조회되지 않을 수 있어, describe_network_acls로 같은 CidrBlock의 룰이 나타나는지 확인하는 readback 루프를 추가했습니다. 확인은 1.5초 간격 6회, 최대 9초가량 이어집니다. API 지연을 기다리면서도 전체 계정 순회가 지나치게 길어지지 않도록 운영 경험으로 정한 값입니다.
호출부도 반환값을 검사하도록 고쳤습니다. 확인에 실패해 False가 돌아오면 명시적으로 예외를 던지고 DDB 기록을 건너뜁니다. 이제 차단 기록을 남기는 조건은 NACL 룰을 다시 조회해 확인했는지입니다.
마지막 계정의 성공에 지워진 실패 알림
일부 계정이 실패했는데 슬랙에는 성공만 남는 일도 있었습니다. 실패 카운터인 update_error_value를 헬퍼 함수에 전달했지만, Python의 int는 불변 객체여서 함수 안에서 값을 바꿔도 호출자 변수는 갱신되지 않았습니다. 반환값을 매번 받아야 했는데, 기존 코드는 루프가 끝난 뒤 마지막 계정의 결과만 반영했습니다.
마지막 계정이 성공하면 카운터는 0이 됐습니다. 그러면 앞서 쌓인 실패 메시지까지 지우고 성공 알림만 보냈습니다. 각 호출의 반환값을 받아 실패를 누적하도록 고친 뒤 슬랙 알림이 일시적으로 늘었습니다. 새 문제가 생긴 것이 아니라 묻혀 있던 실패가 드러난 결과였습니다.
모두 지운 뒤에 남아 있던 NACL 룰
GOOD! all-delete-report 뒤의 잔여 룰도 삭제 과정을 다시 살펴보고서야 설명됐습니다. alldelete는 계정마다 각 룰 번호에 delete_network_acl_entry를 호출하므로 한 번에 수백 번의 API 호출이 발생합니다. 그중 일부가 일시적인 throttle이나 5xx 응답으로 실패해도 기존 코드는 재시도하지 않았고, 누락을 슬랙에 보고하지도 않았습니다.
삭제에도 재조회가 들어갔습니다. 단일 룰 삭제를 헬퍼 함수로 분리해 실패를 추적하고, 1차 삭제 후 2초를 기다렸다가 NACL을 다시 읽습니다. 처음 실패한 룰과 재조회에서 발견한 잔여 룰을 합쳐 한 번 더 삭제하는 방식입니다. 두 차례 시도 뒤에도 남은 룰은 FAIL! leftover after retry: [...]로 보고합니다. 모두 지우지 못했다면 그 사실이 알림에 남습니다.
SQS FIFO 뒤에서 겹친 차단 람다
가장 까다로운 어긋남은 점검에 통과한 직후 나타났습니다. sync_check가 syncperfect를 보고했는데, 바로 이어진 update에서 다시 불일치가 나온 것입니다. CloudWatch Logs를 확인하자 같은 시각에 다른 차단 요청도 처리되고 있었습니다.
요청이 짧은 간격으로 들어오면 컨슈머는 메시지를 빠르게 꺼내 차단 람다를 비동기로 호출했습니다. 한 람다가 NACL에 룰을 추가하고 DDB에 기록하기 전, 다른 람다의 sync_check가 그 짧은 중간 상태를 읽으면 불일치로 판단했습니다. 메시지는 순서대로 나왔지만 호출된 람다의 실행은 겹쳤습니다. SQS FIFO만으로 막을 수 없었던 race condition입니다.
보안팀은 NACL 차단 람다의 reserved concurrency를 1로 설정했습니다. 어느 시점에도 하나만 실행되므로, 한 람다가 sync_check에서 update로 진행하는 동안 다른 람다가 중간 상태를 관찰하지 못합니다.
이 구분은 컨슈머의 긴 대기도 줄였습니다. 기존 컨슈머는 다음 메시지가 너무 빨리 처리되지 않도록 메시지당 70초가량 기다렸습니다. 메시지 순서는 SQS FIFO의 MessageGroupId가 이미 제어하고 있었으므로, 이 대기를 비동기 invoke 직후의 짧은 안전 마진으로 줄였습니다. 차단 람다의 실행은 reserved concurrency가 제어합니다. 그 결과 SQS 컨슈머의 메시지당 처리 시간은 약 72초에서 약 7초로 줄었습니다. 모든 AWS SDK 호출에는 botocore의 adaptive 재시도 모드도 적용해, throttle 신호에 따라 재시도와 요청 속도를 조절하도록 했습니다.
직렬화에는 지연 가능성이 남습니다. 분당 요청 수가 reserved=1의 처리 속도를 넘으면 적체가 쌓일 수 있습니다. Lambda 비동기 invoke의 최대 6시간 자동 재시도로 단기 적체를 견딜 여유는 있지만, 차단까지 걸리는 시간은 늘어날 수 있습니다. 보안팀은 SQS 메시지 적체 알람을 별도로 두고 추세를 살피고 있습니다.
누락 복구를 맡길 reconcile
균등 보호의 기준도 시간을 두고 회복하는 방향으로 바뀌었습니다. 1차 처리로 대부분의 계정을 보호하고 짧은 재시도로 일시적 누락을 복구하되, 그래도 남은 계정은 운영자가 확인해 정합성을 맞추는 흐름입니다.
이 마지막 복구까지 자동화하는 reconcile은 아직 개선 과제입니다. NACL과 DDB의 어긋남을 스스로 맞추고, 어느 계정에서 어떤 IP의 차단이 빠졌는지 메타데이터로 추적해 다시 요청하는 단계가 남아 있습니다. 차단 요청이 자동인지 수동인지, 어느 SOAR 룰에서 시작됐는지 저장하는 기능과 DDB TTL을 활용한 차단 룰 자동 만료도 앞으로 개발할 대상입니다.
차단 이후의 업무는 이미 일부 맡고 있습니다. WOOWA-SOC-ACL-IR은 보안팀에 일·주간 리포트를 전달하고 TIP(Threat Intelligence Platform)에 결과를 자동 등록합니다. 이번 글은 차단 동작에 집중했으며, 이 사후 처리 흐름은 기회가 닿으면 별도 글로 다루고 싶다고 밝혔습니다.
운영 설정과 패치 전후 비교
| 항목 | 값 |
|---|---|
| NACL 규칙 수 한도 | 기본 20개, Service Quotas로 최대 40개 |
| 침해대응 슬롯 | 21~50번, 30개 |
| readback 루프 | 최대 9초가량, 1.5초 간격 6회 |
| alldelete 재시도 | 1차 시도 후 2초 대기, 잔여분 합쳐 재삭제 |
| 누락 계정 재시도 | 5초 대기 후 1회 |
| 차단 람다 동시 실행 | reserved concurrency 1 |
| 컨슈머 메시지당 소요 | 약 72초에서 약 7초 |
| NACL 실패 시 DDB 기록 | 패치 전 그대로 기록, 패치 후 NACL 확인된 경우에만 기록 |
| 한 계정 실패 시 | 패치 전 람다 전체 종료, 패치 후 해당 계정만 건너뜀 |
| 같은 IP 수십 번 재요청 시 알림 | 패치 전 계정 수만큼의 메시지, 패치 후 한 줄의 idempotent skip 요약 |