본문으로 건너뛰기
한 고객이 포화시킨 Cloudflare와 AWS us-east-1 연결
목차

한 고객이 포화시킨 Cloudflare와 AWS us-east-1 연결 (2025-08)

원문 정보

  • 원문: Cloudflare incident on August 21, 2025
  • 매체 · 게시일: The Cloudflare Blog · 2025-08-22
  • 저자: David Tuber, Emily Music, Bryton Herdes
  • 원문 내용을 바탕으로 재구성한 요약입니다.

AWS에서 밀려온 한 고객의 캐시 요청

시작은 한 고객의 요청이었습니다. 2025년 8월 21일 16:27 UTC, 이 고객이 AWS us-east-1에서 Cloudflare 캐시의 객체를 대량으로 요청하자 Cloudflare가 AWS로 보내는 전체 트래픽이 두 배로 늘었습니다. 요청에 대한 응답 트래픽이 양쪽을 잇는 모든 직접 피어링 연결을 포화시켰습니다.

장애 범위는 Cloudflare와 AWS us-east-1 사이입니다. AWS us-east-1의 서버로 Cloudflare에 연결하거나 Cloudflare에서 연결을 받던 사용자들이 높은 지연과 패킷 손실, 오리진 연결 실패를 겪었습니다. 글로벌 Cloudflare 서비스에는 영향이 없었으며, 공격이나 BGP 하이재킹으로 벌어진 일도 아니었습니다.

캐시 응답이 지나가는 엣지 라우터

Cloudflare는 고객의 오리진 앞에서 리버스 프록시로 동작합니다. 요청한 콘텐츠가 캐시에 있으면 오리진에 접속하지 않고 바로 응답합니다. 캐시에 없으면 오리진에서 가져와 방문자에게 보내고, 캐시 가능한 콘텐츠는 저장해 다음 요청에 씁니다.

캐시에서 꺼낸 응답도 네트워크를 지나갑니다. 내부 DCI(Data Center Interconnect)와 여러 네트워크 장비를 거쳐 엣지 라우터에 도착한 뒤, AWS로 가는 응답은 피어링 링크로 나갑니다. Cloudflare는 이중화 링크 장애, 다른 위치에서의 페일오버, 트래픽 엔지니어링과 사용자 트래픽 급증을 감안해 내부 네트워크 용량을 수요보다 크게 잡습니다.

이번에도 대부분의 링크는 정상이었습니다. 부족했던 곳은 AWS 피어링 스위치에 연결된 일부 엣지 라우터 링크의 용량이었습니다. 직접 피어링 링크 하나는 기존 장애로 절반 용량에서 동작했고, 엣지 라우터와 오프사이트 상호연결 스위치를 잇는 DCI는 증설 시기를 맞은 상태였습니다.

BGP 철회로 더 좁아진 우회 경로

AWS는 혼잡을 줄이려고 경로를 조정했습니다. 16:37 UTC부터 혼잡한 PNI(Private Network Interconnect) BGP 세션에서 Cloudflare에 광고하던 프리픽스를 철회하자, 트래픽은 오프사이트 상호연결 스위치를 거치는 추가 피어링 링크로 옮겨 갔습니다. 그곳도 포화됐습니다.

Cloudflare가 대응에 쓸 경로도 줄었습니다. 16:44 UTC에 Ashburn(IAD)의 내부 혼잡 알림을 받은 네트워크 팀은 대응 방안을 검토했지만, 16:45 UTC에는 혼잡하지 않은 경로에서 AWS 프리픽스를 쓸 수 없었습니다. AWS가 광고를 철회한 탓입니다. 17:22 UTC에는 프리픽스 철회에 따른 패킷 드롭이 더 늘면서 고객 영향이 커졌습니다.

패킷 드롭보다 오래 남은 지연

혼잡으로 라우터 큐가 커지면서 Ashburn 엣지 라우터는 장애 내내 높은 우선순위의 패킷까지 버렸습니다. 고객이 주로 겪었을 증상은 지연 증가와 손실에 따른 타임아웃, 낮은 처리량입니다. Cloudflare는 고객의 오리진 요청을 모사해 가용성과 지연을 측정하는데, 장애 중에는 지연 SLO 지표도 패킷 드롭과 맞물려 허용 수준 아래로 떨어졌습니다.

19:05 UTC에 트래픽 급증을 일으킨 고객에게 속도 제한을 적용하자 혼잡이 줄었습니다. 이어 네트워크 팀이 추가로 트래픽 엔지니어링을 수행해 19:27 UTC에는 혼잡을 완전히 해소했습니다. 고객 영향은 19:38 UTC에 크게 줄었습니다.

패킷 드롭이 사라져도 고객의 지연은 곧바로 회복되지 않았습니다. 양쪽이 혼잡을 줄이려고 바꿨던 프리픽스 광고를 정상화하면서 생긴 지연의 긴 꼬리입니다. Cloudflare의 요청에 따라 AWS는 19:45 UTC부터 BGP 철회를 되돌렸고, 20:07 UTC에 IAD PNI의 프리픽스 광고 정상화를 마쳤습니다. 이 과정에서 일부 고객은 지연의 영향을 받았을 수 있으며, 간헐적인 지연 증가는 20:18 UTC까지 이어졌습니다.

트래픽 급증부터 영향 종료까지
시각(UTC, 2025-08-21)사건
16:27단일 고객 트래픽 급증 시작, Cloudflare에서 AWS로 가는 전체 트래픽 두 배
16:37AWS가 혼잡한 PNI BGP 세션에서 프리픽스 철회 시작
16:44네트워크 팀이 Ashburn 내부 혼잡 알림 수신
17:22철회로 드롭 트래픽 증가, 영향 확대
17:45Ashburn 고객 영향 인시던트 등록
19:05단일 고객 속도 제한으로 혼잡 감소
19:27추가 트래픽 엔지니어링으로 혼잡 해소
19:45AWS가 BGP 철회를 되돌리기 시작
20:07AWS가 IAD PNI 프리픽스 광고 정상화 완료
20:18영향 종료

고객별로 배분할 네트워크 예산

용량을 늘리는 일과 함께 고객 간 격리도 재발 방지 과제로 남았습니다. 한 고객이 공유 자원을 독점해 다른 고객의 서비스까지 저하시키지 못하게 하려는 것입니다. Cloudflare는 단기·중기 대응으로, 다른 고객에게 피해를 줄 만큼 혼잡을 일으키는 고객 트래픽의 우선순위를 선택적으로 낮추는 메커니즘을 개발하고 있습니다.

DCI 증설도 앞당겨 현재보다 훨씬 큰 용량을 확보하려 합니다. AWS와는 서로의 BGP 트래픽 엔지니어링이 충돌하지 않도록 조율하고 있습니다.

장기적으로 구축할 새 트래픽 관리 시스템에는 고객별 네트워크 예산을 둘 계획입니다. 자원을 고객마다 배분하고, 예산을 넘긴 고객의 트래픽이 다른 고객의 서비스를 저하시키지 못하게 하는 방식입니다. 이번 장애에서 수동으로 수행했던 조치 상당수도 이 시스템에서 자동화할 수 있게 하려는 구상입니다.

마지막 수정 일자