본문으로 건너뛰기
비어 있다고 믿은 주소에서 시작된 Cloudflare IPv4 장애
목차

비어 있다고 믿은 주소에서 시작된 Cloudflare IPv4 장애 (2024-09)

원문 정보

정상 철회로 보였던 17시 57분의 경보

2024년 9월 17일, Cloudflare는 정기 유지보수 중 더는 쓰지 않는다고 판단한 IPv4 프리픽스 15개를 철회했습니다. 웹사이트의 주소 이전은 끝난 줄 알았습니다. 하지만 철회한 주소에는 Business 플랜 웹사이트 1,661개가 여전히 연결돼 있었습니다.

철회된 주소로 향하는 IPv4 트래픽은 Cloudflare에 도달할 수 없었고, 그 주소를 할당받은 웹사이트에 접속하려는 사용자가 오류를 받는 상황이 약 1시간 이어졌습니다. IPv6 트래픽과 다른 고객·서비스에는 영향이 없었습니다. 공격이 아닌 내부 소프트웨어 오류에서 비롯된 장애입니다.

이하 시각은 모두 같은 날 UTC 기준입니다. Addressing 팀은 17:41에 프로덕션에서 프리픽스를 비활성화하는 릴리스를 시작했습니다. 17:51부터 BGP(Border Gateway Protocol) 광고가 철회됐고, 이후 10분 동안 영향받은 웹사이트로 가는 트래픽이 네트워크 전체에서 합계 10Gbps 줄었습니다. 수백 개 데이터센터에 걸친 글로벌 네트워크여서 정확한 철회 시점은 지역마다 달랐습니다.

17:57에는 SRE 팀이 도달할 수 없는 IP 주소 공간이 늘었다는 경보를 보고 조사에 나섰습니다. 서비스에서 빼는 주소라면 도달 불가 상태가 되는 것도 예상된 결과입니다. 경보는 비정상 상황을 가리키는 것처럼 보이지 않았습니다. 조사는 곧 끝났습니다.

고객 두 곳에서 에스컬레이션이 들어온 18:36에야 Cloudflare는 사고를 선언했습니다. 심각도를 파악한 뒤 곧바로 제한된 배포 창을 적용했고, 18:46에는 Addressing 팀이 주소 이전 릴리스의 변경을 원인으로 확인해 롤백을 준비했습니다.

복구 수단은 준비돼 있었습니다. Cloudflare의 승인된 변경에는 모두 시험을 거친 롤백 절차가 있습니다. 18:50에 릴리스를 되돌리고 BGP 광고를 재개하자 트래픽이 돌아오기 시작했습니다. 18:50:27에는 영향받은 경로가 복구됐고, 해당 프리픽스가 다시 트래픽을 받았습니다.

다른 곳에 다시 쓸 IPv4 주소

철회 대상은 7월에 비워 두었어야 할 주소였습니다. Cloudflare는 웹사이트를 기존 IP 주소 집합에서 다른 집합으로 옮기는 재번호(renumbering) 작업을 주기적으로 수행합니다. 연결된 웹사이트가 하나도 남지 않은 주소 집합은 서비스에서 빼고, 그 주소를 다른 곳에 다시 쓸 수 있습니다.

이 일을 맡은 Addressing 팀은 2019년에 만들어졌습니다. 제품과 서비스 전반의 IP 주소 사용 방식을 단순화하고, 네트워크 자원을 아끼고 관리하는 시스템을 만드는 팀입니다. IPv4 주소는 유한하고 갈수록 부족해집니다. 이번 작업도 고객 웹사이트에 쓰는 주소를 줄여 새 지역에 인프라를 배치하는 등 다른 용도에 쓸 주소를 확보하려는 목적이었습니다.

2024년 7월에는 Business 플랜 웹사이트 한 묶음을 해당 플랜의 예상 요구량에 맞는 더 작은 IPv4 주소 집합으로 옮기는 작업을 진행했습니다. 9월 17일에는 남은 단계를 실행했습니다. 옛 주소의 프리픽스를 Cloudflare 네트워크에서 분리하고 BGP 광고를 철회해, 인터넷 전역 라우팅 테이블에서 해당 경로를 제거하는 일입니다. 그러면 그 주소로 향하는 트래픽은 더 이상 Cloudflare로 라우팅되지 않고, 주소는 다른 용도로 배치할 준비를 마칩니다.

그 순서가 성립하려면 웹사이트 이전이 모두 끝나 있어야 했습니다.

레거시 SSL 참조에 묶여 있던 주소 갱신

실제로는 7월부터 이전이 일부 누락돼 있었습니다. 당시 사용한 일회성 마이그레이션 템플릿은 옛 IP 주소에 연결된 모든 웹사이트를 순회하며 새 주소로 옮기는 방식이었습니다. 그 과정에서 IP 할당 메커니즘을 갱신해 주소와 웹사이트의 매핑을 동기화하는 함수를 호출했습니다.

이 함수는 7월 마이그레이션보다 두어 달 앞서, 레거시 SSL 설정을 다루는 별도 프로젝트에서 수정됐습니다. 두 주소 풀을 동기화하던 레거시 코드를 기존 동기화 함수 호출로 바꾼 변경입니다. 리뷰와 승인을 거쳐 병합하고 릴리스한 코드였습니다.

문제는 그 변경의 부수 효과였습니다. 사고 후 코드를 면밀히 살펴보니, 레거시 SSL 인증서에 연결된 참조가 없는 경우에는 갱신이 일어나지 않았습니다. 모든 웹사이트가 레거시 인증서를 쓰지는 않았으므로 일부 웹사이트는 새 주소로 옮겨지지 않았고, 철회 예정인 주소 풀의 옛 주소에 1,661개가 그대로 남았습니다.

7월 작업에서는 이를 알아채지 못했습니다. 옛 주소에 연결된 웹사이트를 모두 옮겼다는 가정 아래 작업을 마쳤고, 그 가정이 맞는지는 확인하지 않았습니다. 9월에 안전하게 철회할 수 있다고 여긴 주소가 실제로는 사용 중이었던 이유입니다.

빈 주소라는 가정을 대신할 철회 전 검사

롤백으로 트래픽은 복구했지만, 근본 원인을 찾는 데는 더 많은 노력이 들었습니다. 문제의 코드는 Addressing 팀이 출범 때부터 벗어나려던 레거시 시스템의 일부였습니다. 그동안 엔지니어링 작업은 새 시스템을 만드는 데 집중돼 있었고, 오래된 코드를 줄 단위로 깊이 들여다보는 데 들인 노력은 상대적으로 적었습니다.

이번 버그는 이미 수정했습니다. 남은 과제는 새 시스템의 코드만큼 잘 이해하지 못하는 오래된 코드에 의존한다는 점입니다. Cloudflare는 소프트웨어가 오래됐거나 버그가 있다는 사실을 변명으로 삼을 수 없다고 밝혔습니다. 그런 현실에서도 릴리스를 민첩하고 자신 있게 이어 가며, 고객과 그 고객들이 의지하는 안전성과 안정성을 지키는 일이 팀의 책임이라는 입장입니다.

Addressing 팀은 재번호 작업에서 옛 주소에 연결된 웹사이트가 남아 있는지 확인하는 테스트를 추가하고 있습니다. 이전이 끝났다고 가정하는 대신, 옛 주소가 계속 서비스돼야 하는 웹사이트가 없는지 명시적으로 검사하려는 조치입니다.

프리픽스 철회 절차도 보강하는 중입니다. 재번호 작업에 따른 철회인지와 관계없이, Cloudflare 소유 프리픽스를 철회할 때 대상 주소의 트래픽 수준을 자동 검사와 수동 검사로 확인하도록 개선하고 있습니다. 해당 트래픽이 더 자세한 로그를 제공하는 서비스와 연결돼 있다면, 서비스별 요청 로그에서도 사용 중인 흔적을 확인할 계획입니다. 쓰지 않는다고 여긴 주소에 실제 트래픽이 남아 있는지 살피는 과정입니다.

레거시 시스템과 관련한 저장 프로시저와 함수의 모든 사용처도 검토하고 있습니다. 의심이 남는 부분은 현재 기준에 맞는 문서화와 테스트 커버리지를 갖춰 다시 구현할 계획입니다.

원문의 주요 시각과 수치
항목값
7월 재번호 작업Business 플랜 웹사이트 한 묶음을 더 작은 IPv4 집합으로 이동
영향 웹사이트1,661개 (옛 주소에 연결된 채 남아 있던 사이트)
철회된 IPv4 프리픽스15개
17:41 UTC프리픽스 비활성화 릴리스 시작
17:51 UTCBGP 광고 철회 시작, 이후 10분간 네트워크 전체 10Gbps 하락
17:57 UTCSRE가 도달 불가 주소 경보를 보고 조사했으나 정상 동작으로 판단
18:36 UTC고객 두 곳의 에스컬레이션으로 사고 선언
18:46 UTC원인 변경 확인, 롤백 준비
18:50 UTC (18:50:27)롤백, 프리픽스 재광고, 트래픽 복구
영향 지속 시간약 1시간 (원문 표현)
IPv6영향 없음
마지막 수정 일자