목차
Cloudflare 1.1.1.1을 멈춘 서비스 토폴로지 설정 (2025-07)
원문 정보
- 원문: Cloudflare 1.1.1.1 incident on July 14, 2025
- 매체 · 게시일: The Cloudflare Blog · 2025-07-15
- 저자: Ash Pallarito, Joe Abley
- 원문 내용을 바탕으로 재구성한 요약입니다.
이름을 해석하지 못한 62분
장애는 62분간 이어졌습니다. 2025년 7월 14일 21:52 UTC부터 22:54 UTC까지 Cloudflare의 1.1.1.1 퍼블릭 DNS 리졸버를 전 세계에서 사용할 수 없었고, 사용자 대부분이 영향을 받았습니다. 이름을 해석하지 못한 많은 사용자에게는 사실상 모든 인터넷 서비스가 끊긴 것과 같은 상황이었습니다.
Gateway DNS에서도 간헐적인 서비스 저하가 발생했습니다. 원인은 Cloudflare의 IP 주소를 인터넷에 광고하는 인프라를 관리하던 레거시 시스템의 설정 오류입니다. 공격으로 발생한 장애는 아니었습니다.
다른 IP로 접속하던 DoH 사용자
장애가 시작되자 UDP, TCP, DoT(DNS over TLS) 쿼리가 즉시 크게 줄었습니다. 1.1.1.0/24, 1.0.0.0/24, 2606:4700:4700::/48 등 리졸버의 IP 주소 대역인 프리픽스에서 BGP 경로 광고가 철회되면서, 해당 주소로 보낸 트래픽이 Cloudflare에 닿지 못한 결과입니다.
DoH(DNS over HTTPS) 트래픽은 비교적 안정적이었습니다. 대부분의 DoH 사용자는 IP 주소를 직접 지정하는 대신 cloudflare-dns.com으로 리졸버에 접속하는데, 이 도메인은 다른 IP 주소를 사용합니다. 다른 IP 주소를 쓰던 일부 UDP DNS 트래픽도 대체로 영향을 피했습니다.
전 세계에서 오프라인 한 곳으로 줄어든 토폴로지
Cloudflare는 거의 모든 서비스를 애니캐스트로 제공합니다. 같은 서비스로 향하는 트래픽을 인터넷의 여러 위치에서 받아 용량과 성능을 높이는 방식입니다. 2018년에 공개한 무료 퍼블릭 DNS 리졸버 1.1.1.1도 여기에 속하며, 주소 광고에 문제가 생기면 장애 역시 전 세계로 번질 수 있습니다.
서비스를 제공할 위치가 항상 전 세계인 것은 아닙니다. 데이터 현지화 제품군(DLS)은 고객이 국가·지역별 규정 준수 요구에 맞춰 Cloudflare를 구성하도록 지원하며, 일부 서비스의 IP 주소는 필요한 지역에서만 인터넷으로 접근할 수 있어야 합니다. 서비스의 트래픽을 받을 위치의 집합을 정한 것이 서비스 토폴로지입니다.
오류는 장애보다 먼저 들어왔습니다. 6월 6일 17:38 UTC, 아직 사용하지 않는 새 DLS 서비스의 토폴로지를 준비하던 배포에서 1.1.1.1 리졸버 프리픽스가 새 서비스용 프리픽스와 잘못 묶였습니다. 당시에는 실제 네트워크 설정이 바뀌지 않았고 라우팅과 트래픽에도 영향이 없어 알림이 울리지 않았습니다. 잘못된 설정만 프로덕션 네트워크에 잠복한 상태였습니다.
7월 14일 21:48 UTC에 같은 DLS 서비스의 토폴로지에 테스트용 데이터센터 위치를 추가하면서 상황이 달라졌습니다. 그 위치는 아직 오프라인이었습니다. 내부 테스트를 위한 변경이 관련 경로의 전역 설정 갱신을 촉발했고, 앞서 잘못 연결한 1.1.1.1 프리픽스까지 갱신 대상에 포함됐습니다.
리졸버의 토폴로지는 전 세계 모든 위치에서 오프라인 위치 한 곳으로 줄어들었습니다. 그 결과 Cloudflare 데이터센터들이 모든 1.1.1.1 프리픽스의 BGP 경로 광고를 전 세계에서 즉시 철회했습니다.
롤백 뒤에도 남은 IP 바인딩 복구
22:01 UTC에 쿼리·프록시·데이터센터 실패를 알리는 리졸버 상태 알림이 울렸고, Cloudflare는 인시던트를 선언했습니다. 조사해 보니 리졸버 프리픽스로 보낸 트래픽이 엣지 데이터센터에 도달하지 않았으며, 서버에서 나오던 리졸버 BGP 경로도 통째로 사라진 상태였습니다.
그런데 1.1.1.0/24에는 뜻밖의 경로가 남아 있었습니다. Cloudflare Radar는 Tata Communications India(AS4755)가 이 프리픽스를 광고한다고 알렸습니다. 21:54 UTC에 드러난 이 BGP 오리진 하이재킹은 Cloudflare의 경로 철회로 노출된 별개 문제이며, 장애의 원인은 아닙니다. Cloudflare는 Tata Communications와 후속 조치를 진행 중이라고 밝혔습니다.
이전 설정으로 되돌린 시각은 22:20 UTC입니다. 철회했던 BGP 프리픽스를 거의 즉시 다시 광고하면서 1.1.1.1 트래픽은 장애 전의 약 77%까지 돌아왔습니다. 경로가 열리자 클라이언트의 재시도 쿼리가 도착해 트래픽이 크게 치솟았다가 가라앉기도 했습니다.
경로를 되살리는 것만으로는 부족했습니다. 경로가 철회된 동안 엣지 서버의 약 23%가 토폴로지 변경에 따라 자동으로 재구성되면서, 서비스에 필요한 IP 바인딩을 잃은 상태였습니다. 이 서버들은 변경 관리 시스템으로 다시 구성해야 했습니다.
IP 바인딩 복구에는 원래 시간이 걸립니다. 추가 장애를 피하기 위해 개별 위치의 네트워크를 여러 시간에 걸쳐 점진적으로 갱신하도록 설계했기 때문입니다. Cloudflare는 장애의 심각성을 고려해 테스트 위치에서 변경을 검증한 뒤 롤아웃을 앞당겼습니다. 22:54 UTC에 모든 위치의 라우팅이 복구되고 트래픽이 정상 수준으로 돌아왔으며, 22:55 UTC에 인시던트를 종료했습니다.
카나리 없이 진행된 전역 배포
이번 변경에는 여러 엔지니어의 동료 리뷰가 있었습니다. 빠져 있던 것은 카나리 배포입니다. 레거시 시스템의 토폴로지 변경은 일부 위치에서 먼저 적용하고 상태를 확인하는 과정을 거치지 않은 채 모든 Cloudflare 데이터센터에 반영됐습니다.
당시 서비스 토폴로지는 레거시 시스템과 새 시스템을 함께 유지하고 데이터를 동기화하며 관리했습니다. 레거시 방식은 프리픽스에 명시적인 데이터센터 위치 목록을 연결하는 방식입니다. 예를 들어 새 데이터센터를 가동하려면 여러 목록을 일관되게 갱신하고 동기화해야 하므로 오류가 나기 쉽습니다.
새 방식은 IP 주소를 하드코딩하지 않고 서비스 토폴로지를 표현합니다. 새로운 위치와 고객 요구에 더 잘 대응하면서, 상태를 모니터링하며 변경을 천천히 전파하는 단계적 배포도 지원합니다. 그러나 전환이 끝나기 전까지는 두 시스템의 데이터를 계속 맞춰야 하는 상태였습니다.
Cloudflare는 이번 장애를 계기로 레거시 시스템 폐기를 앞당기겠다고 밝혔습니다. 점진적 배포를 지원하지 않는 구성 요소를 제거하고, 각 단계에서 상태를 확인해 문제를 더 일찍 발견하고 롤백할 수 있도록 주소 배포 방식을 바꿀 계획입니다. 레거시 폐기와 함께 문서화와 테스트 커버리지 기준도 높이겠다는 방침입니다.
오류 유입과 복구 시각
| 시각(UTC) | 사건 |
|---|---|
| 2025-06-06 17:38 | 아직 프로덕션에 쓰이지 않는 DLS 서비스 설정에 1.1.1.1 프리픽스가 실수로 포함됨, 영향 없음 |
| 2025-07-14 21:48 | 같은 DLS 서비스에 테스트 위치 추가, 전역 설정 갱신 촉발, 프리픽스 철회 시작 |
| 21:52 | 1.1.1.1 DNS 트래픽 전 세계에서 감소 시작 |
| 21:54 | 1.1.1.0/24 BGP 오리진 하이재킹이 철회로 노출(원인 아님) |
| 22:01 | 내부 알림 발생, 인시던트 선언 |
| 22:20 | 이전 설정으로 되돌려 BGP 재광고, 트래픽 약 77% 복구 |
| 22:54 | 영향 종료, 트래픽 정상 수준 |
| 22:55 | 인시던트 종료 |
| 장애 지속 시간 | 62분 |
| 자동 재구성으로 IP 바인딩이 제거된 엣지 서버 비율 | 약 23% |