본문으로 건너뛰기
스스로 만든 버그까지 걸러내는 Cloudflare 취약점 하네스
목차

스스로 만든 버그까지 걸러내는 Cloudflare 취약점 하네스 (2026-06)

원문 정보

  • 원문: Build your own vulnerability harness
  • 매체 · 게시일: The Cloudflare Blog · 2026-06-18
  • 저자: Dan Jones, Alexandra Godoi, Grant Bourzikas
  • 원문 내용을 바탕으로 재구성한 요약입니다.

에이전트는 자기 공격이 성공하도록 소스를 고친 뒤, 방금 만든 버그를 당당하게 보고합니다. exec()가 무언가를 실행한다는 자명한 사실을 치명적 취약점의 증거로 내놓기도 합니다. 공격 코드가 잘 실행돼도 위협 모델부터 틀렸다면 입증한 것은 없습니다. 이런 결과를 걸러내지 못하면 취약점 탐색을 자동화한 만큼 잡음도 빠르게 쌓입니다.

Cloudflare의 이번 글은 앞서 발표한 Project Glasswing의 초기 결과와 AI 위협에 대응하는 방어 체계 논의를 잇습니다. 관심은 발견 이후까지 이어집니다. 수많은 후보 가운데 사람이 믿고 수정할 버그만 남기려면, 모델을 둘러싼 실행·저장·검증 장치가 필요했습니다.

자기 답안을 채점할 수 없는 Hunter

탐색을 맡은 Hunter는 발견을 제출하기 전에 공격자가 누구인지부터 밝혀야 합니다. 공격이 어떤 신뢰 경계를 넘는지, 어떤 가정을 깨는지도 명시합니다. 출력 스키마에서 이 설명을 먼저 쓰게 강제하자, “데이터베이스 쓰기 권한이 있는 사용자가 데이터베이스에 쓸 수 있다”는 식의 공허한 보고를 걸러낼 수 있었습니다.

증거는 원본 코드에서 나와야 합니다. 확정된 발견에는 수정하지 않은 코드에서 실행되는 개념 증명(PoC) 테스트와 제안 패치가 붙습니다. 작동하는 PoC가 없으면 가짜 발견으로 취급합니다. 검토 대기열에 도착하는 결과물은 버그 설명과 함께 다시 실행할 테스트, 실제 수정 내용을 담은 git diff입니다.

검증에도 역할 구분이 있습니다. 일반 코드가 먼저 인용한 파일과 경로의 존재, 패치와 테스트의 파싱 가능 여부를 확인합니다. 이 검사는 형식을 확인할 뿐 취약점의 정확성을 증명하지 않습니다. 이어서 격리된 Validator가 Hunter의 주장을 반박합니다. Validator는 자기 발견을 등록할 수 없습니다. 공격 경로와 증거를 무너뜨리는 일에만 집중하도록 한 제약입니다.

한 세션을 벗어난 security-audit

출발점은 약 450줄짜리 security-audit 스킬이었습니다. 정찰 에이전트 3개가 병렬로 architecture.md를 작성하고, 공격 유형별 Hunter와 검증 에이전트가 조사한 결과를 보고서와 findings.json으로 남겼습니다. 독립 재검증과 제출까지 한 세션에서 처리했습니다. 실제 버그가 나올 때까지 다듬은 공격 시나리오와 버그 유형, 안티패턴 탐지 프롬프트는 이후 하네스에도 거의 그대로 남았습니다.

스킬은 작동했지만 한 번으로는 부족했습니다. Cloudflare의 경험에서는 여러 번 실행해 찾은 버그의 약 절반만 단일 실행에서 발견했고, 그마저 비교적 단순한 버그에 치우쳤습니다. 컨텍스트가 차면 모델은 추적하던 버그를 잊었고, 실행 중단은 작업 손실로 이어졌습니다. 저장소 하나만 보는 세션은 그 코드를 사용하는 다른 애플리케이션과의 관계도 놓쳤습니다.

서브에이전트는 유용한 출발점이었습니다. 그러나 수백 건의 조사를 실행이 끝난 뒤에도 보존하고, 나중에 범위를 바꾸거나 서로 대조하는 일에는 별도의 오케스트레이션이 필요했습니다. Cloudflare는 스킬의 단계를 에이전트로 나누고 데이터베이스와 오케스트레이터를 연결했습니다. 약 6주 만에 언어별 튜닝 없이 저장소 128개와 그 의존성을 조사하는 하네스로 확장했습니다.

직접 구축할 때의 출발점은 더 작습니다. Cloudflare는 개발 환경의 스킬에서 프롬프트를 다듬은 뒤, 데이터베이스에 상태를 남기는 Recon·Hunt·Validate와 발견을 직접 등록하지 못하는 별도 Validator부터 만들라고 권합니다. 중요한 저장소가 여러 개가 되기 전에는 저장소 간 추적을, 중복 잡음이 병목이 되기 전에는 전용 Dedup 에이전트를 미뤄도 됩니다. 글과 함께 공개한 것은 초기 스킬이며, 하네스 자체의 공개는 아직 희망 사항으로 남아 있습니다.

중단된 조사도 다시 잇는 SQLite 기록

탐색 엔진인 Vulnerability Discovery Harness(VDH)는 모델 밖에 상태를 보존합니다. 병렬화보다 먼저 챙긴 부분입니다. 모든 단계가 하나의 SQLite에 (run_id, repo, stage)를 키로 기록하고, 발견 사항도 나오는 즉시 저장합니다. 실행이 중단돼도 진행 중이던 작업만 잃으며, 다른 단계는 이미 끝낸 일을 반복하지 않고 재개하거나 재시도할 수 있습니다. 에이전트마다 작업 범위를 좁혀 컨텍스트 사용량도 전체 창의 25% 미만으로 유지합니다.

작업 목록은 실행 도중에도 늘어납니다. Gapfill은 영역과 공격 유형을 조합한 칸에서 조사가 부족한 곳에 작업을 추가하고, Trace는 다른 저장소로 탐색을 넓힙니다. Feedback은 검증 실패와 얕은 조사, 반복 누락을 바탕으로 대기 중인 프롬프트를 고칩니다. Dedup이 겹치는 발견을 합치는 동안 새 작업은 계속 소비됩니다. 늦게 발견한 취약점도 같은 실행 안에서 검증과 보고, 다른 코드의 확인으로 이어집니다. Report에는 모델이 필요하지 않습니다. 스크립트가 보고서를 만듭니다.

실패를 알아보는 일에도 함정이 있었습니다. 일시적인 API 오류가 예외를 던지는 대신 200 OK 응답 스트림 안에 텍스트로 돌아오기도 했습니다. 오케스트레이터가 상태 코드와 예외만 믿으면 빈 실행을 성공으로 기록합니다. 응답 본문까지 분류해야 했던 이유입니다.

바이너리를 직접 깨뜨리는 Hunter

Recon은 정해진 위협 모델을 받아 읽는 데서 끝나지 않습니다. 기본 공격 유형에 더해 저장소에 맞는 공격 분류와 조사 방법을 직접 작성하고, 그 결과로 Hunter의 범위를 좁힙니다. Hunter도 소스만 읽지 않습니다. 코드 조각을 컴파일하고 작은 실행물을 만들어 공격합니다. Cloudflare가 경험한 가장 큰 품질 향상은 unshare 기반 샌드박스에서 바이너리를 직접 충돌시킬 수 있게 했을 때였습니다.

이 샌드박스를 Docker 안에서 실행하려면 seccomp=unconfined와 apparmor=unconfined가 필요합니다. 빠뜨리면 샌드박스가 조용히 시작에 실패합니다. 실행 환경이 막히는 문제는 조사 결과만 읽어서는 알아차리기 어려웠습니다.

조사 중 범위 밖의 흥미로운 경로를 만나면 Hunter는 구체적인 출발점을 담아 형제 에이전트를 생성합니다. 필요한 빌드 환경이나 VM, 설정 파일이 없을 때는 중앙 Wishlist에 요청과 문맥을 남깁니다. 사람이 의존성을 제공하면 정확히 그 작업을 다시 실행할 수 있습니다. 일부 컨테이너 수정은 실행이 끝난 뒤 다른 코딩 하네스가 로그를 읽고 자동 처리할 수도 있습니다.

Wishlist는 에이전트가 사람에게 필요한 것을 알리는 주된 통로가 됐습니다. 글을 쓰는 동안에도 PoC를 끝까지 확인할 FreeBSD VM을 달라는 요청이 들어왔습니다. 미리 연결해 둔 도구와 실제로 쓰는 도구는 달랐습니다. Semgrep은 통합 후 한 달 동안 Hunter의 호출이 0회였고, Wishlist는 시스템에서 가장 많이 쓰인 도구였습니다.

저장소 경계를 건너는 공격 경로

취약한 코드가 어디 있는지만 알아서는 조사가 끝나지 않습니다. Tracer는 외부 공격자의 입력이 구성 요소 사이를 지나 그 코드까지 도달하는지 추적합니다. 경로가 확인되면 해당 구성 요소를 사용하는 저장소에 새 Hunt 작업을 만듭니다. 이 연결을 따라가려면 저장소 전체를 아우르는 심벌 인덱스와 정확한 의존성 그래프가 필요합니다.

저장소가 늘자 중복 제거도 별도의 문제가 됐습니다. 파일 경로나 문자열이 겹치는지만 비교해서는 복잡한 논리 오류들이 같은 근본 원인에서 나왔는지 판단하기 어렵습니다. 소수의 저장소에서는 사람이 살펴볼 수 있던 잡음을 처리하려고, Cloudflare는 추론을 전담하는 Dedup 에이전트와 비교량을 줄이는 휴리스틱을 도입했습니다.

운영 환경까지 다시 확인하는 VVS

VDH를 통과한 발견은 여러 하네스의 결과가 모이는 Vulnerability Validation System(VVS)으로 들어갑니다. 이곳에서는 VDH와 다른 모델이 중복 제거, Judgment, Fixing을 맡습니다. 탐색 모델이 세운 가정을 다른 모델의 논리와 학습 데이터로 다시 시험하는 방식입니다. 같은 모델 버전에서도 공급자가 추론 설정을 바꿀 수 있으므로, 하네스는 모델을 교체 가능한 부품으로 취급합니다.

VVS의 중복 제거는 모든 발견을 모델로 서로 비교하지 않습니다. 그렇게 하면 비교량이 O(N^2)로 늘어납니다. 일반 코드가 파일·함수·신뢰 경계·희귀 토큰의 역색인을 만들어 후보를 좁히고, 모델은 그 짧은 목록에서 한 번의 수정으로 여러 발견을 해결할 수 있는지 판단합니다. 실행이 바뀌어도 유지되는 키 덕분에 같은 버그를 다시 찾으면 기존 기록을 다시 엽니다.

Judgment는 코드 밖의 문맥을 가져옵니다. MCP 서버와 위키, Jira, git, 설정·배포 정보를 살펴 production에서 해당 코드 경로에 도달할 수 있는지와 담당 저장소를 판단합니다. 최신 main 브랜치에 버그가 남아 있는지도 재확인합니다. 지금 악용 가능한 문제, 실제로 존재하지만 잠재된 문제, 잘못된 구성 요소에 등록된 문제를 구분하는 단계입니다.

Fixer는 제안 패치와 테스트를 저장소 스타일에 맞춰 적용합니다. 대상 테스트가 수정 전에는 실패하고 수정 후에는 통과해야 자동 처리 관문을 넘습니다. 개별 테스트 실행이 불가능할 때만 전체 테스트를 돌리며, 수정 후 실패하거나 전체 실행에서 회귀가 확인되면 커밋을 막고 사람의 개입 대상으로 표시합니다. Fixer는 직접 병합하지 않습니다. 사람이 브랜치를 검토하고, production에 쓰기 전에도 드라이런을 승인해야 합니다.

사람에게 닿기 전에 줄어드는 검토 대기열

Hunter는 더 큰 공격으로 연결될 수 있는 미묘한 단서까지 넉넉하게 보고하도록 조정돼 있습니다. 그래서 성과는 처음 나온 후보의 수보다 사람이 보기 전에 얼마나 믿을 만한 결과로 좁혔는지로 측정합니다. Recon이 제공하는 문맥을 개선하자 초기 검증 거절률은 40%에서 11%로 내려갔고, 높은 신뢰도의 발견 비중은 35%에서 58%로 늘었습니다.

작성 시점의 누적 집계에서 VDH의 원시 후보 20,799건 중 약 12,057건이 독립 검증을 통과했습니다. 다른 하네스의 결과를 합친 VVS의 13,841건에서는 중복 5,442건을 합쳤습니다. 잘못된 저장소·낮은 위험 등으로 분류한 1,154건은 별도로 처리하고 필요한 경우 다시 시스템에 넣었습니다. 최종적으로 엔지니어링 팀이 조치할 발견 7,245건이 남았습니다.

이 수치는 격리된 연구 실험에서 나온 결과입니다. 현재 서비스에 남아 있는 활성 미패치 취약점 수를 뜻하지 않습니다. 각 보고서에는 작동하는 테스트와 초안 패치가 붙어 있으며, 보안팀은 보고서를 처리하고 필요한 수정을 적용하고 있습니다.

얼마나 놓쳤는지는 알 수 없습니다. 코드베이스의 실제 버그 전체를 표시한 정답 집합이 없으므로 Cloudflare는 미탐률이나 재현율을 주장하지 않습니다. 대신 반복 실행에서 새 버그가 나오는지, 조사 범위가 넓어지는지 확인합니다. 프롬프트를 바꿀 때는 별도로 남겨 둔 저장소에서 범위 변화를 검사합니다. 발견 없이 끝난 Hunter도 깨끗한 코드의 증거로 받아들이지 않고, 얕은 조사로 표시해 다시 실행합니다.

PR마다 돌리기에는 무거운 전체 탐색

연산 비용 대부분은 Hunt에 들어갑니다. Gapfill의 추가 패스는 초기 Hunt 비용의 약 절반이어서, 추가 탐색량이 비용과 조사 범위를 조절하는 수단이 됩니다. 저장소마다 비용 차이가 커 예산과 엄격한 작업 상한도 저장소별로 정하고, 작업자 풀은 50~200개로 운영합니다. 복잡한 저장소에서 가장 오래 걸린 탐색은 14시간을 조금 넘겼습니다. 대규모 스캔을 주기적인 백로그 점검으로 돌리고, PR별 검사에는 더 작고 저렴한 하네스를 권하는 이유입니다.

수정까지의 처리 속도는 누적 집계와 별개인, 표준 저장소의 단일 실행에 기반한 현실적 벤치마크로 제시했습니다. 약 3만 줄 저장소에서 초기 후보 100건을 얻고, 중복 제거와 문맥 판단으로 서로 다른 고신뢰 버그 80건으로 좁힌 뒤 작동하는 PR을 만들기까지 약 14시간입니다. 이 예시에서 긴급·높은 심각도·악용 가능한 문제는 평균 10건이며, 사람의 검토와 릴리스 주기를 거쳐 5일 내 production에 패치합니다. 나머지는 15~20일에 걸쳐 점진적으로 적용합니다.

Fixer는 아직 시스템에서 가장 새롭고 느린 부분입니다. 전체 체계도 계속 바뀌고 있습니다. 탐색을 자동화하면서 병목은 버그를 찾는 일에서 수정안을 검토하고 반영하는 일로 옮겨 갔습니다.

운영 수치·실행 조건·벤치마크
항목값
초기 스킬약 450줄, 한 세션에서 7단계 감사, Recon 에이전트 3개 병렬 실행
단일 실행의 발견 범위여러 번 실행해 찾은 버그의 약 절반을 한 번의 실행에서 발견했으며, 비교적 단순한 버그에 치우친 경험
하네스 확장약 6주 만에 서로 다른 저장소 128개를 다루는 스캐너로 확장, 언어별 튜닝 없이 통합 하네스 사용
에이전트 컨텍스트전체 컨텍스트 창의 25% 미만으로 유지
Docker 내부 샌드박스 조건unshare 샌드박스 실행에 seccomp=unconfined, apparmor=unconfined 필요
형제 에이전트 작업 비율전체 작업의 대략 9%; 모델에 따라 거의 0부터 약 20%까지 차이
Wishlist 누적 기록도입 이후 저장소 128개에서 25,472회
Semgrep 관찰 결과통합 후 한 달간의 실행에서 Hunter 호출 0회
실행 비용과 병렬도Gapfill 추가 패스는 초기 Hunt 비용의 약 절반; 작업자 풀 50~200개
가장 오래 걸린 탐색복잡한 저장소에서 14시간을 조금 넘긴 실행
초기 검증 지표 변화거절률 40% → 11%; 높은 신뢰도의 발견 비중 35% → 58%, 누적 약 12,057건에 해당
VDH 누적 후보와 검증 통과원시 후보 20,799건 중 약 12,057건이 독립 검증 통과
VVS 누적 집계 범위다른 하네스의 유입을 포함해 저장소 145개, 발견 13,841건
VVS 후속 분류중복 5,442건, 잘못된 저장소·낮은 위험 등으로 분류된 1,154건, 최종 조치 가능 7,245건
지속 루프의 후보 감소누적 후보 규모를 약 65% 줄인다는 설명; 단일 실행 벤치마크와 구분
단일 저장소 벤치마크의 탐색약 3만 줄 저장소에서 초기 발견 100건, 전체 탐색 실행 3~4시간
단일 저장소 벤치마크의 분류중복 제거와 문맥 판단으로 약 100건을 3시간 안에 서로 다른 고신뢰 버그 80건으로 압축
단일 저장소 벤치마크의 수정버그당 평균 5분; 탐색부터 검증·중복 제거·작동하는 PR 생성까지 약 14시간
단일 저장소 벤치마크의 배포80건 중 평균 10건의 긴급·높은 심각도·악용 가능 문제는 사람의 검토 후 5일 내 production 패치; 나머지는 15~20일에 걸쳐 점진 적용
마지막 수정 일자