본문으로 건너뛰기
Cloudflare BYOIP 대량 철회로 번진 삭제 자동화
목차

Cloudflare BYOIP 대량 철회로 번진 삭제 자동화 (2026-02)

원문 정보

  • 원문: Cloudflare outage on February 20, 2026
  • 매체 · 게시일: The Cloudflare Blog · 2026-02-21
  • 저자: David Tuber, Dzevad Trumic
  • 원문 내용을 바탕으로 재구성한 요약입니다.

목적지에 닿지 못한 BYOIP 연결

2026년 2월 20일 17:48 UTC, Cloudflare의 Bring Your Own IP(BYOIP) 서비스를 쓰는 일부 고객의 인터넷 경로가 BGP에서 철회됐습니다. 원인은 Cloudflare가 직접 배포한 변경이었습니다. 프리픽스 삭제를 자동화하려던 작업이 고객의 서비스와 애플리케이션으로 가는 경로를 없애면서, 접속 실패와 타임아웃이 이어졌습니다. 사이버 공격이나 악의적 활동은 없었습니다.

피해는 BYOIP 프리픽스의 약 25%에 이르렀습니다. 당시 한 BGP 피어에 광고하던 전체 프리픽스는 6,500개였고, 그중 4,306개가 전 세계 모든 피어에 광고하는 BYOIP 프리픽스 전부였습니다. 17:56~18:46 UTC 사이에 이 가운데 1,100개의 광고가 철회됐습니다. 변경이 순차적으로 적용되고 있어, 엔지니어는 전체 고객에게 영향이 번지기 전에 작업을 멈출 수 있었습니다.

경로를 잃은 연결은 곧바로 끝나지도 않았습니다. 목적지 IP로 가는 길을 찾아 네트워크를 떠돌다가 타임아웃으로 실패하는 BGP Path Hunting 상태에 들어갔습니다. 프리픽스가 어딘가에서 다시 광고될 때까지 반복되는 실패입니다. BYOIP로 인터넷에 주소를 광고하는 제품들이 이 영향을 받았습니다.

서비스·제품영향
Core CDN과 보안 서비스트래픽이 Cloudflare에 도달하지 않아 해당 대역의 웹사이트 접속 실패
Spectrum트래픽이 유입되지 않아 BYOIP 앱의 프록시 동작 실패
Dedicated EgressBYOIP를 사용하는 Gateway Dedicated Egress와 Dedicated IPs for CDN Egress에서 목적지로 트래픽 송신 실패
Magic Transit보호 대상 애플리케이션의 주소가 인터넷에 광고되지 않아 연결 타임아웃과 접속 실패

1.1.1.1 재귀 DNS 리졸버의 웹사이트인 one.one.one.one에도 HTTP 403과 “Edge IP Restricted” 메시지가 나타났습니다. 이 웹사이트의 실패가 Cloudflare의 장애 대응으로 이어졌습니다. DNS over HTTPS(DoH)를 포함한 1.1.1.1의 DNS 해석 자체는 영향을 받지 않았습니다.

재광고만으로 돌아오지 못한 약 300개 프리픽스

18:46 UTC, 엔지니어가 문제의 하위 작업을 종료하고 정기 실행을 비활성화했습니다. 추가 철회는 멈췄습니다. 하지만 이미 지워진 설정을 되살리는 일은 남아 있었고, 총 장애 시간 6시간 7분의 대부분을 여기에 써야 했습니다.

복구 방법은 서비스 설정이 얼마나 남아 있는지에 달려 있었습니다. 대부분의 고객은 프리픽스 광고만 철회된 상태여서 대시보드에서 광고를 껐다 켜면 서비스를 복구할 수 있었습니다. Cloudflare는 19:19 UTC에 이 방법을 고객에게 안내했습니다.

일부 고객은 광고와 함께 서비스 바인딩도 잃었습니다. 서비스 바인딩은 IP 대역에 Magic Transit, Spectrum, CDN 같은 제품을 연결하는 설정입니다. 바인딩 일부만 사라졌다면 대시보드에서 재광고할 수 있는 프리픽스와 그렇지 않은 프리픽스가 함께 남았습니다. 바인딩이 전부 사라진 고객은 연결된 서비스가 없어 대시보드에서 광고를 전환할 수조차 없었습니다.

20:20 UTC쯤 Cloudflare가 광고 변경의 상당수를 되돌리면서 800개 프리픽스가 복구됐습니다. 엣지에서 서비스 설정까지 사라진 약 300개는 별도 복원이 필요한 상태였습니다. 엔지니어가 서비스 바인딩을 Cloudflare 엣지의 모든 머신에 다시 적용해야 했고, 이 복구는 23:03 UTC에 끝났습니다. 그 사이 프리픽스 광고가 돌아왔더라도 설정이 엣지에 전파되기 전까지는 지연과 실패가 이어졌을 수 있습니다.

삭제 대상으로 읽힌 Addressing API의 전체 목록

출발점은 위험한 수작업을 줄이려는 시도였습니다. 고객이 BYOIP 서비스에서 프리픽스를 제거해 달라고 요청하면 당시에는 수작업으로 처리했습니다. Cloudflare는 이를 Code Orange: Fail Small의 일부로 자동화하고, 상태 지표로 안전성을 확인하며 배포하는 방식으로 옮기려 했습니다. 프리픽스에 연결된 객체가 많을 수 있어, 삭제할 프리픽스를 주기적으로 찾아 종속 객체와 함께 지우는 하위 작업을 만들었습니다.

이 작업이 조회한 Addressing API는 Cloudflare 네트워크의 IP 주소를 관리하는 권위 있는 데이터셋입니다. 고객이 API나 BGP Control로 광고·철회를 요청하면 머신에 변경을 알리고, 충분한 수의 머신이 알림을 받은 뒤 라우터의 BGP 광고를 갱신합니다. 주소 데이터셋의 변경이 전 세계 엣지로 곧바로 전파되는 체계였습니다.

문제는 삭제 대상을 조회하는 요청에 있었습니다. 하위 작업은 /v1/prefixes?pending_delete처럼 플래그 이름만 보내고 값은 넣지 않았습니다. 서버가 확인한 것은 플래그의 존재 여부가 아닌 Query().Get("pending_delete")의 반환값이었습니다. 값이 빈 문자열이었으므로 삭제 대기 목록을 가져오는 분기로 들어가지 않았고, API는 전체 BYOIP 프리픽스 목록을 반환했습니다.

하위 작업은 그 목록을 모두 삭제 대기 상태로 받아들였습니다. 이후 프리픽스와 서비스 바인딩을 비롯한 종속 객체를 차례로 지우기 시작했습니다. 삭제 요청이 없던 고객의 주소까지 처리한 이 작업은 엔지니어가 원인을 찾아 중단할 때까지 계속됐습니다.

태스크 러너의 단독 실행이 빠진 테스트

고객이 직접 밟는 절차는 테스트를 통과했습니다. 초기 테스트와 코드 리뷰는 BYOIP 셀프서비스 API 경로에 집중했고, 엔지니어는 고객이 수행할 과정을 그대로 검증했습니다. 빠진 것은 명시적인 사용자 입력 없이 태스크 러너가 독립적으로 실행돼 고객 데이터를 바꾸는 경우였습니다.

스테이징 데이터는 운영 환경에 최대한 가깝게 맞췄지만, 이 상황을 재현하기에는 목 데이터와 테스트 범위가 부족했습니다. Addressing API의 변경을 단계별로 검증하고 정확성 검사를 강화하는 작업도 진행 중이었습니다. 그러나 사고를 일으킨 자동화 변경이 배포될 때, 이를 막을 보호 조치는 아직 모두 적용되지 않은 상태였습니다.

잘못된 설정의 확산을 막을 안전장치

값의 해석을 명확히 할 API 스키마

pending_delete를 문자열로 해석하는 방식은 클라이언트와 서버가 플래그의 의미를 판단하기 어렵게 했습니다. Cloudflare는 스키마를 표준화해 테스트와 시스템이 API 요청의 형식을 더 명확하게 검증하도록 개선할 계획입니다. 예상하지 못한 조건에서도 동작을 명확히 정의하려는 Code Orange의 세 번째 작업 흐름에 해당합니다.

정상 버전으로 되돌릴 운영 스냅샷

당시에는 고객 설정을 저장하는 권위 데이터베이스가 운영 동작에도 그대로 쓰였습니다. 데이터베이스가 잘못 바뀌면 엔지니어는 원하는 상태와 실제 상태를 비교해 되돌리는 대신, 데이터베이스 스냅샷을 이용해 수동으로 복구해야 했습니다. 이번 장애 당시 빠르게 정상 상태로 돌아갈 수 있는 운영 상태 스냅샷 배포 체계는 아직 운영에 들어가지 않았습니다.

Cloudflare는 고객 설정과 운영에 적용한 상태를 분리하도록 데이터베이스 구성과 롤백 방식을 다시 설계할 계획입니다. 데이터베이스에서 읽어 운영에 적용할 데이터를 스냅샷으로 만들고, 다른 운영 변경처럼 상태 지표를 확인하며 배포하는 방식입니다. 지표에 문제가 드러나면 배포를 자동으로 멈추고, 데이터베이스가 잘못된 상태가 되더라도 개별 고객이나 전체 고객을 거의 즉시 정상 버전으로 되돌리는 것이 목표입니다.

이 방식에는 제약도 있습니다. 장애 중에는 고객이 API로 직접 설정을 바꾸는 기능을 일시적으로 막아야 합니다. 그동안 정상 스냅샷으로 트래픽을 계속 처리하면서 데이터베이스를 복구하려는 설계입니다.

대량 철회를 멈출 서킷 브레이커

변경 자체의 속도와 범위도 감시할 예정입니다. BGP 프리픽스가 빠르게 철회되거나 삭제되는 등 변경이 지나치게 빠르거나 넓게 일어나면 스냅샷 배포를 차단하는 서킷 브레이커를 마련할 계획입니다. 데이터베이스를 잘못 조작하는 프로세스가 계속 실행되더라도 그 결과가 넓게 전파되는 것을 막기 위한 장치입니다.

고객 서비스가 실제로 정상 동작하는지 직접 감시하는 작업도 진행 중입니다. 이 신호 역시 서킷 브레이커를 작동시키는 데 사용할 수 있습니다. 위험한 변경의 적용을 멈추고, 원인을 조사할 시간을 확보하려는 구상입니다.

장애 진행과 복구 기록
시각(UTC)단계내용
2026-02-05 21:53코드 머지문제의 하위 프로세스가 코드베이스에 병합
2026-02-20 17:46코드 배포문제의 하위 프로세스가 담긴 Addressing API 릴리스 완료
2026-02-20 17:56영향 시작하위 프로세스 실행, 프리픽스 광고 철회 전파 시작
2026-02-20 18:13Cloudflare 인지one.one.one.one 실패로 대응 시작
2026-02-20 18:18내부 인시던트 선언엔지니어가 영향 조사
2026-02-20 18:21Addressing API 팀 호출담당 팀 디버깅 시작
2026-02-20 18:46원인 식별하위 프로세스 종료, 정기 실행 비활성화, 복구 시작
2026-02-20 19:11완화 시작철회된 프리픽스 복구와 삭제된 프리픽스 복구 병행
2026-02-20 19:19일부 복구고객이 대시보드에서 직접 재광고 가능, 영향 축소
2026-02-20 19:44추가 완화삭제된 프리픽스를 위한 데이터베이스 복구 시작
2026-02-20 20:30최종 완화 시작서비스 바인딩이 남은 철회 프리픽스 복구 릴리스 완료, 영향 축소
2026-02-20 21:08설정 업데이트 배포나머지 프리픽스 복구를 위한 전역 머신 설정 롤아웃 시작, 영향 축소
2026-02-20 23:03설정 업데이트 완료전역 설정 배포 완료, 영향 종료
항목값
총 지속 시간6시간 7분
철회된 프리픽스약 1,100개 (BYOIP 4,306개 중 약 25%)
해당 피어에 광고한 전체 프리픽스6,500개
철회 지속 구간17:56~18:46 UTC
대시보드로 복구된 프리픽스약 800개 (20:20 UTC 전후)
수동 복구한 프리픽스약 300개 (23:03 UTC)
고객 자체 복구 안내19:19 UTC
마지막 수정 일자