목차
AI 크롤러의 반복 스캔에 흔들리는 Cloudflare 캐시 (2026-04)
원문 정보
- 원문: Why we’re rethinking cache for the AI era
- 매체 · 게시일: The Cloudflare Blog · 2026-04-02
- 저자: Avani Wildani, Suleman Ahmad
- 원문 내용을 바탕으로 재구성한 요약입니다.
사이트가 받아들이고 싶은 AI 크롤러
Read the Docs에서는 AI 크롤러가 큰 파일을 하루 수백 번씩 내려받았습니다. 대역폭 사용량이 크게 늘자 크롤러를 일시 차단하고 IP 기반 속도 제한을 적용했으며, 캐싱을 개선하도록 CDN도 재구성했습니다. Wikipedia에서는 모델 학습용 대량 이미지 스크래핑으로 멀티미디어 대역폭 사용량이 50% 급증했고, 크롤러 트래픽을 차단하는 조치를 취했습니다.
차단은 영향을 일부 줄여 줍니다. 하지만 AI 요청을 받고 싶은 사이트도 있습니다. 앱 개발자는 개발자 문서의 최신 내용이 기반 AI 모델에 반영되기를 바라고, 전자상거래 사이트는 상품 설명이 LLM 검색 결과에 나오기를 원합니다. 출판사라면 pay per crawl 같은 방식으로 콘텐츠 제공에 따른 대가를 받을 수도 있습니다.
Cloudflare 네트워크에서 자동화된 트래픽은 전체의 32%입니다. 검색 엔진 크롤러, 가동 확인기, 광고 네트워크가 여기에 포함되며, 최근에는 웹에서 자료를 가져와 검색 증강 생성(RAG)으로 답변을 만드는 AI 어시스턴트도 합류했습니다. 이들의 요청 방식은 사람과 크게 다릅니다. 대량 요청을 병렬로 보내는가 하면, 인기 페이지에 머물지 않고 거의 방문하지 않는 콘텐츠까지 사이트 전체를 순차적으로 훑습니다.
운영자에게 접근 제어 수단이 없는 것은 아닙니다. Cloudflare는 AI Crawl Control과 Pay Per Crawl로 콘텐츠에 프로그램 방식으로 접근하는 주체를 제어하게 하고, AI 인지 캐싱으로 봇 트래픽이 많은 고객의 대역폭 비용을 이미 줄이고 있습니다. AI Index와 Markdown for Agents는 알려진 AI 에이전트와 봇에게 사이트를 단순화하거나 축소한 버전으로 제공하게 해 줍니다.
그런 도구가 있어도 캐시 설계에는 선택이 남습니다. 사람과 AI 크롤러의 접근 패턴이 워낙 달라, 현재의 캐시 구조에서는 자원을 아끼려면 어느 쪽에 맞출지 골라야 합니다. Cloudflare가 풀려는 문제는 AI 요청을 받아들이면서도 사람의 응답 시간을 지키는 일입니다.
캐시 미스마다 오리진에 쌓이는 부하
사용자의 요청은 보통 가장 가까운 Cloudflare 데이터센터로 향합니다. 유효한 캐시 사본이 있으면 바로 응답합니다. 사본이 없으면 오리진 서버에서 새로 가져와야 하며, 가져온 사본은 만료되거나 다른 데이터에 밀려날 때까지 캐시에 남습니다.
이 캐시 미스는 동네 도서관에 책이 없어 상호 대차를 기다리는 일과 비슷합니다. 책은 결국 받습니다. 하지만 원하던 때보다 늦어지고, 도서관에는 그 책을 직접 비치해 두면 좋겠다는 신호가 전해집니다. 캐시에서도 무엇을 남겨 둘지 잘 골라야 다음 요청에 빨리 응답할 수 있습니다.
Cloudflare는 가장 오래 쓰이지 않은 항목부터 내보내는 LRU로 캐시를 관리합니다. 저장 공간이 가득 차면 이 정책에 따라 새 콘텐츠가 들어갈 자리를 만듭니다. 그런데 CDN 노드 하나에서 식별된 AI 크롤러의 유무에 따른 적중률을 비교하자, 크롤러 트래픽이 더해졌을 때 적중률이 뚜렷하게 떨어졌습니다. 당시 크롤러의 영향은 아직 비교적 제한적이었지만, 반복 스캔 아래에서 LRU가 고전한다는 신호는 드러났습니다.
캐시 미스 하나하나가 오리진 요청입니다. 응답은 늦어지고, egress 비용과 오리진 부하가 늘어납니다. 앞서 본 Read the Docs와 Wikipedia 외에도 여러 사이트가 AI 크롤러 때문에 서비스 불안정이나 사람 사용자의 응답 지연을 겪었습니다.
| 사이트 | 보고된 문제 | 대응 |
|---|---|---|
| SourceHut | LLM 크롤러의 코드 저장소 스크래핑으로 서비스 불안정과 속도 저하 | 크롤러 트래픽 차단 |
| Fedora | AI 스크레이퍼의 패키지 미러 재귀 크롤링으로 사람 사용자의 응답 지연 | 알려진 봇 출처의 트래픽을 지역별로 차단하고 일부 서브넷과 국가도 차단 |
| Diaspora | robots.txt를 무시한 공격적인 스크래핑으로 사람 사용자의 응답 지연과 다운타임 | 크롤러 트래픽 차단과 속도 제한 |
이 사례들에서는 차단과 제한이 대응 수단이었습니다. 캐시 구조를 바꿔 사람의 응답 시간을 유지하면서 AI 크롤러도 받을 수 있다면, 운영자에게는 다른 선택지가 생깁니다.
인기 페이지 너머를 훑는 AI 크롤러
Cloudflare가 최근 분석에서 관찰한 AI 봇 가운데 가장 활발한 유형은 크롤러입니다. 스스로 AI 봇이라고 식별한 트래픽의 80%를 차지합니다. 질문에 답하거나 페이지를 요약하는 실시간 서비스를 위해 콘텐츠를 가져오기도 하고, LLM 학습용 데이터셋을 모으기도 합니다. Cloudflare Radar에서 단일 목적 AI 봇 트래픽의 대부분은 학습용이며, 검색용은 그보다 훨씬 적습니다.
크롤러 하나만으로도 탐색 범위가 넓습니다. 일반 사용자보다 사이트 깊숙이 들어가며, AI 어시스턴트가 답변을 만드는 과정에서는 서로 관련 없는 수십 개 출처에서 이미지와 기술 문서, 지식 문서를 가져올 수 있습니다. 크롤러마다 관심사도 다릅니다. 기술 문서에 집중하는 크롤러가 있는가 하면 소스 코드, 미디어, 블로그를 수집하는 크롤러도 있습니다.
가져오는 콘텐츠는 얼마나 겹칠지도 문제입니다. 매달 대규모 웹 크롤을 수행하는 Common Crawl의 공개 통계에서는 페이지의 90% 넘게가 내용상 고유합니다. 검색용과 학습용 크롤링 모두 드물게 찾는 롱테일 콘텐츠를 순차적으로 요청하지만, 학습 트래픽은 높은 고유 URL 비율과 콘텐츠 다양성, 비효율적인 크롤링 때문에 캐시에 더 큰 영향을 줍니다.
요청이 늘 유효한 콘텐츠로 이어지지도 않습니다. 인기 AI 크롤러가 보내는 요청의 상당 부분은 404나 리다이렉트로 끝나며, URL 처리가 서툰 경우가 많습니다. 이런 비효율적인 요청의 비율은 크롤러가 실제로 접근할 수 있고 의미 있는 콘텐츠를 얼마나 잘 겨냥하도록 조정됐는지에 따라 달라집니다. 브라우저 쪽 캐싱이나 세션 관리도 사람 사용자와 같은 방식으로 활용하지 않는 것이 일반적입니다. 여러 독립 인스턴스가 세션을 공유하지 않으면, 같은 콘텐츠를 요청해도 CDN에는 각각 새 방문자로 보일 수 있습니다.
그 결과 예전의 비인기 콘텐츠도 자주 호출됩니다. Wikipedia의 사용 데이터에서는 한때 롱테일로 분류되거나 거의 찾지 않던 페이지의 요청이 잦아지면서, CDN 캐시 안의 콘텐츠 인기도 분포가 달라졌습니다.
AI 에이전트가 검색 결과를 다듬는 반복 과정도 재사용을 보장하지는 않습니다. 같은 콘텐츠를 거듭 긁는 일도 있지만, 연구팀이 RAG에서 흔한 이 반복 패턴을 모델링했을 때 고유 접근 비율은 보통 70~100%로 높게 유지됐습니다. 반복할수록 에이전트의 정확도는 대체로 올라갔으나, 그 과정에서 이전 페이지를 다시 쓰기보다 새로운 콘텐츠를 계속 가져왔습니다.
이처럼 롱테일 콘텐츠에 접근할 때마다 사람이 쓰는 캐시의 내용도 계속 바뀝니다. 폭넓고 예측하기 어려운 요청 앞에서는 캐시 추측이나 프리페치의 효과가 크게 떨어집니다. 크롤러 트래픽이 늘수록 기존의 프리페치와 전통적인 캐시 무효화 전략은 더 약해질 수 있습니다.
LRU 다음 후보인 SIEVE와 S3FIFO
Cloudflare는 ETH Zurich 연구진과 함께 AI를 인지하는 캐시 알고리즘으로 트래픽을 필터링하는 방법을 실험하고 있습니다. AI 크롤러를 별도 캐시로 보내는 새 계층도 탐색 중입니다. 서로 보완하는 이 접근의 목표는 사람과 AI 크롤러 모두의 성능을 높이는 데 있습니다. 공동 연구의 전체 내용은 Zhang 외의 “Rethinking Web Cache Design for the AI Era”로 2025 Symposium on Cloud Computing에 발표됐습니다.
먼저 바꿔 볼 대상은 교체 정책입니다. 캐시가 가득 찼을 때 항목을 내보내는 방법에는 LRU 외에도 사용 빈도가 가장 낮은 항목을 고르는 LFU, 먼저 들어온 항목을 고르는 FIFO 등이 있습니다. LRU가 널리 쓰이는 데는 이유가 있습니다. 일반적인 상황에서 단순성, 낮은 오버헤드, 효과 사이의 균형이 좋습니다.
사람과 AI 봇이 섞이면 다른 정책이 유리할 가능성이 보입니다. 초기 실험 결과는 SIEVE나 S3FIFO를 쓰면 AI의 간섭이 있을 때도 사람 트래픽의 적중률을 간섭이 없을 때와 같게 유지할 수 있음을 시사합니다. 아직 초기 실험에서 얻은 결과이며, 이를 모든 환경에서 검증된 효과로 넓혀 읽을 수는 없습니다.
워크로드를 더 직접적으로 인지하는 머신러닝 기반 캐시 알고리즘도 실험하고 있습니다. 캐시 응답을 실시간으로 조정해 더 빠르고 저렴하게 처리하려는 시도입니다. 교체 정책을 고르는 데서 더 나아가, 들어오는 작업에 맞춰 캐시가 반응하게 하려는 방향입니다.
기다릴 수 있는 시간에 맞춘 AI 전용 계층
Cloudflare가 장기적으로 가장 나은 방향으로 보는 것은 AI 트래픽을 위한 별도 캐시 계층입니다. 사람과 AI 요청을 네트워크의 서로 다른 위치에 배치한 계층으로 보내는 구상입니다. 사람의 요청은 지금처럼 CDN PoP의 엣지 캐시에서 처리하며 응답성과 적중률을 우선합니다.
AI 요청은 작업의 성격을 구분해야 합니다. RAG나 실시간 요약은 사용 중인 애플리케이션의 응답을 뒷받침하므로 지연에 민감합니다. 이런 요청에는 더 큰 용량과 적당한 응답 시간을 함께 제공하는 캐시가 필요합니다. 콘텐츠의 신선도는 유지하되, 사람용 캐시보다는 조금 더 긴 접근 지연을 허용할 수 있습니다.
학습 데이터셋 구축과 대규모 콘텐츠 수집은 더 오래 기다릴 수 있습니다. 시간에 민감하지 않은 이 작업들은 접근에 더 오래 걸리는 깊은 캐시 계층에서 처리할 수 있으며, 오리진 쪽 SSD 캐시가 그 예입니다. 큐에서 요청의 진입을 기다리게 하거나 속도 제한기로 처리를 늦춰 백엔드 과부하를 막는 방안도 가능합니다.
이렇게 작업별로 처리하면 인프라에 부하가 몰릴 때 대량 스크래핑을 미루면서도 사람이나 AI의 대화형 사용에는 영향을 주지 않을 수 있습니다. 별도 계층은 아직 탐색 중인 설계 방향입니다. 이미 제공 중인 접근 제어와 캐싱 기능에서 더 나아가, AI 작업마다 허용하는 지연에 맞춰 콘텐츠를 보관하고 제공하려는 구상입니다.
본문의 수치와 실험 범위
| 항목 | 값 |
|---|---|
| 네트워크 전체 트래픽 중 자동화된 트래픽 | 32% |
| 스스로 식별한 AI 봇 트래픽 중 AI 크롤러 | 80% |
| Common Crawl 페이지 중 내용이 고유한 비율 | 90% 이상 |
| AI 에이전트 반복 루프의 고유 접근 비율 | 70~100% |
| Wikimedia 멀티미디어 대역폭 | 50% 급증(대량 이미지 스크래핑) |
| 현재 캐시 교체 알고리즘 | LRU |
| 초기 실험에서 시사된 대안 | SIEVE, S3FIFO(사람 트래픽 적중률 유지 가능성) |
| 논문 | Zhang 외, “Rethinking Web Cache Design for the AI Era”, 2025 Symposium on Cloud Computing |