본문으로 건너뛰기
Security Insights의 10배 확장을 막던 병목
목차

Security Insights의 10배 확장을 막던 병목 (2026-06)

원문 정보

자동 스캔 밖에 남아 있던 무료 계정

새로 생긴 보안 위험이 최대 2주 동안 드러나지 않을 수 있었습니다. Cloudflare의 Security Insights는 계정, zone, DNS 레코드를 정기적으로 스캔해 보안 위험과 잘못된 설정을 찾고 조치할 내용을 제안하지만, 당시 스캔 간격은 한두 주였습니다. 많은 무료 플랜 계정에서는 사용자가 자동 스캔을 직접 켜야 했습니다. 아예 스캔을 받지 않는 계정도 많았습니다.

자동화된 공격은 빨라지고, 잘못된 설정을 찾아낼 시간은 줄고 있었습니다. 모든 계정에 자동 스캔을 켜고 더 자주 점검하려면 평균 처리량을 초당 10건에서 100건으로, 약 10배 늘려야 한다는 계산이 나왔습니다. 이미 시스템은 버거워했습니다. 수백만 건의 이벤트가 처리를 기다렸고, 내부 API는 자주 타임아웃을 냈으며, 프로세스가 죽었습니다.

스캔은 스케줄러에서 시작합니다. 계정이나 zone을 스캔할 때가 되면 스케줄러가 Apache Kafka에 메시지를 보내고, 특정 자산이나 설정을 검사하는 Go 마이크로서비스인 checker들이 이를 받아 처리합니다. 각 checker가 찾아낸 인사이트는 내부 API로 모이고, API는 결과를 Postgres에 저장합니다. 처리량을 늘리려면 이 경로에서 무엇이 시간을 쓰고 있는지부터 찾아야 했습니다.

30개 중 15개만 뒤처지던 Kafka 파티션

대량으로 스캔을 시작하면 처음에는 처리량이 높다가 점점 떨어졌습니다. 많은 checker가 전체 처리 시간의 20~90%를 API 호출 하나에 쓰고 있었고, 클라이언트 쪽에서는 타임아웃이 잇따랐습니다.

API와 데이터베이스의 위치를 보면 이유가 드러납니다. 주 데이터베이스는 오리건 포틀랜드에 있었지만, API는 포틀랜드와 암스테르담에서 active-active로 운영했습니다. 두 도시 사이의 왕복 지연은 빛의 속도로도 50ms입니다. 암스테르담 API가 보낸 DB 쿼리는 오래 걸렸고, 그동안 클라이언트 쪽 커넥션 풀의 연결을 계속 점유했습니다. 요청이 몰리자 풀이 고갈됐습니다. 빈 연결을 기다리던 요청들은 결국 타임아웃에 걸렸습니다.

차이는 작지 않았습니다. 포틀랜드의 평균 API 호출 시간은 10ms였지만 암스테르담에서는 거의 3초였습니다.

이 차이는 Kafka 지표에도 남았습니다. 한 컨슈머 그룹에서 처리를 기다리는 메시지 수인 Kafka lag를 파티션별로 보면, 한 checker의 30개 파티션 중 정확히 15개가 뒤처졌습니다. checker 프로세스마다 담당 파티션을 할당받고, API와 맺은 연결은 프로세스가 살아 있는 동안 유지했습니다. 로드 밸런서는 트래픽을 두 API 엔드포인트에 고르게 나눴으므로, 포틀랜드에 연결된 프로세스는 빠르게 처리하는 동안 암스테르담에 연결된 프로세스의 파티션에는 메시지가 남았습니다. 처음의 높은 처리량이 계속되지 못한 이유였습니다.

클라이언트 타임아웃 값을 늘리는 지름길은 택하지 않았습니다. API를 active-passive로 바꿔 active API가 주 데이터베이스를 따라가게 하자, 지연 문제는 하룻밤 만에 사라졌습니다.

한 호출에 50만 번 왕복하던 Postgres

API가 결과를 저장하는 방식에도 문제가 있었습니다. checker는 찾아낸 인사이트 목록을 API 엔드포인트 하나로 보냈지만, API 내부에서는 인사이트마다 INSERT … ON CONFLICT DO UPDATE를 반복했습니다. 결과 한 건을 쓸 때마다 DB를 한 번 왕복했습니다.

관측된 가장 큰 목록에는 인사이트가 500,000건 들어 있었습니다. API 호출은 한 번이어도 그 안에서 왕복, 쿼리, 트랜잭션이 각각 50만 번씩 발생한 것입니다.

Cloudflare는 Postgres 대량 삽입의 정석으로 꼽히는 COPY를 먼저 시도했습니다. 임시 테이블에 COPY로 넣는 방식이었지만, 이번에는 Postgres 시스템 테이블이 비대해지는 bloat가 생겼습니다. 그래서 목록 크기에 따라 방법을 나눴습니다. 이슈 수가 임계값 아래면 UNNEST를 쓰고, 임계값을 넘으면 COPY를 사용합니다. 이 조합으로 거대한 목록은 수 초, 작은 목록은 수 밀리초에 삽입했습니다.

느린 메시지 앞에서 멈추던 Kafka 컨슈머

Kafka 쪽에는 병렬 처리의 제약이 있었습니다. 파티션으로 나뉜 이벤트 스트림에서 각 checker는 별도 컨슈머 그룹을 쓰며, 그룹 안에서 파티션 하나에 붙을 수 있는 활성 컨슈머는 하나입니다. 파티션 안의 메시지를 순서대로 소비·처리하니 느린 메시지가 뒤의 메시지를 막았습니다. checker의 컨슈머를 늘리려 해도 파티션 수가 상한이었습니다.

파티션을 더 만들면 이 한도를 높일 수는 있었습니다. 하지만 Kafka 브로커는 다른 여러 서비스와 공유하므로 자원 사용량도 늘어납니다. Cloudflare는 아키텍처 전체를 바꾸는 방안까지 논의했지만, 파티션 증설은 마지막 수단으로 남기고 코드와 처리 방식을 먼저 고쳤습니다.

우선 checker가 메시지를 배치로 읽고, 각 메시지를 별도 goroutine에서 처리하도록 바꿨습니다. 대가는 있었습니다. 배치 처리 도중 프로세스가 죽으면 다시 처리할 작업이 많아지고, 메모리도 조금 더 씁니다. Cloudflare는 이 정도 비용은 감수할 만하다고 판단했습니다.

일부 checker에는 처리 시간 차이라는 문제가 더 남아 있었습니다. 보통 수 초나 수 밀리초면 끝나는 작업이 최악에는 수 분에서 수 시간까지 걸렸습니다. 자산이 유난히 많은 계정이나 zone이 그런 예입니다.

해법은 빠른 차선과 느린 차선을 따로 두는 것이었습니다. 메시지가 어느 쪽에 속하는지는 빠르게 판별할 수 있었으므로, 컨슈머 그룹과 checker를 fast lane과 slow lane으로 나누고 fast lane에서는 느린 메시지를 건너뛰게 했습니다. 느린 메시지는 전용 자원과 시간을 확보해 지연을 최소화했고, 빠른 메시지는 평소 속도로 진행했습니다.

수 분 안에 쏟아지던 수십만 건의 스캔

처리 속도를 높여도 스캔을 한꺼번에 몰아넣을 수는 없었습니다. Kafka 토픽에 시간 기반 보존 정책이 적용돼 있어, 메시지가 오래 쌓이면 처리되기 전에 삭제될 수 있기 때문입니다. 스캔 시점을 대체로 고르게 분산해야 했습니다. 그런데 기존 스케줄러는 일주일 중 특정 시점에 수십만 건을 수 분 안에 발생시키곤 했습니다.

스케줄러의 동작은 단순했습니다. last_scheduled_at + 스캔 주기 <= 현재인 계정을 찾아 그 계정과 소속된 모든 zone의 스캔을 시작한 뒤, last_scheduled_at을 현재 시각으로 갱신했습니다. 많은 계정에 비슷한 시각이 기록돼 있었던 것이 쏠림의 원인 중 하나였습니다. zone이 아주 많은 계정도 문제였습니다. 이런 계정의 차례가 오면 소속 zone의 스캔이 폭포처럼 쏟아져 Kafka 파티션을 포화시키고, 훨씬 작은 계정의 스캔까지 지연시켰습니다.

Cloudflare는 계정과 zone의 스케줄링을 분리했습니다. 각 zone에 별도 last_scheduled_at 필드를 두어 큰 계정의 스캔에 모든 zone이 따라오지 않게 했습니다. 기존 계정과 zone에 기록된 시각도 무작위로 분산했습니다. 이 과정에서 스캔이 늦어지는 일은 없도록 했습니다.

계정 수를 따라 바뀌는 예약 속도

기존 시각을 고르게 흩어 놓는 것만으로는 부족했습니다. 스캔 주기를 짧게 바꾸는 순간 다시 물량이 몰릴 수 있었습니다. 예를 들어 시각이 완벽하게 균등하게 분포하더라도, 주기를 15일에서 7일로 바꾸면 계정의 53%가 갑자기 스캔 대상이 됩니다.

그래서 스케줄링에 속도 제한을 도입했습니다. 계정 5,000만 개를 7일마다 스캔한다고 가정하면, 초당 약 83건으로 예약 속도를 제한해 7일에 걸쳐 고르게 분산할 수 있습니다. 그런데 계정이 1,000만 개 더 늘면 같은 제한으로 전체를 스캔하는 데 8일이 걸립니다. 고정된 제한값으로는 정해진 주기를 지킬 수 없습니다.

속도 제한도 계정 수를 따라 바뀌게 했습니다. 계정과 zone의 총수, 플랜별 스캔 주기를 바탕으로 30분마다 비동기로 제한값을 다시 계산합니다. 수천 개나 수백만 개의 계정과 zone이 추가되더라도 스캔 주기를 유지하려는 설계입니다. 계산할 때는 최소 초당 1건을 보장하고, 다운타임이나 갑작스러운 부하에 대비해 계산상 필요한 속도보다 높은 값을 쓰도록 버퍼 계수를 적용했습니다.

모든 플랜에서 기본으로 켜진 Security Insights

checker별 처리량의 7일 이동평균은 개선 전보다 10배 넘게 올랐습니다. 스케줄링 피크에는 초당 120건이 넘는 처리량을 유지해 목표였던 초당 100건을 넘어섰습니다. 내부 API의 타임아웃이 사라졌고 Kafka lag 지표도 나아졌습니다. 파드나 파티션을 단순히 늘리기 전에 코드, SQL 쿼리, 로그, 특히 이상해 보이던 지표를 파고든 결과였습니다.

확보한 처리량으로 모든 무료 계정과 zone에 자동 스캔을 켰고, 모든 고객의 스캔 빈도를 높였습니다. 플랜별 주기는 다음과 같이 바뀌었습니다.

  • 무료 플랜: 7일마다
  • Pro·Business: 3일마다
  • Enterprise: 매일

안정성을 확보한 뒤에는 세분화된 온디맨드 스캔도 추가했습니다. 사용자는 Cloudflare 계정, zone, 개별 인사이트, 인사이트 유형을 골라 수동으로 다시 스캔할 수 있습니다. 시스템의 제약 때문에 만들기 어려웠던 기능까지 제공하게 됐습니다.

처리량과 스캔 주기 수치
항목값
개선 전 처리량초당 약 10건
목표 처리량초당 100건(약 10배)
개선 후 피크 처리량초당 120건 이상
API 호출 평균 지연포틀랜드 약 10ms, 암스테르담 약 3초
포틀랜드-암스테르담 왕복(빛의 속도 기준)50ms
관측된 최대 인사이트 집합500,000건
checker의 API 호출 비중처리 시간의 20~90%
속도 제한 재계산 주기30분
스캔 주기(무료)7일
스캔 주기(Pro·Business)3일
스캔 주기(Enterprise)매일
속도 제한 예시5,000만 계정을 7일에 분산하면 초당 약 83건
마지막 수정 일자