목차
DDoS 규칙이 드러낸 Cloudflare의 무한 루프 (2024-06)
원문 정보
- 원문: Cloudflare incident on June 20, 2024
- 매체 · 게시일: The Cloudflare Blog · 2024-06-26
- 저자: Lloyd Wallis, Julien Desgats, Manish Arora
- 원문 내용을 바탕으로 재구성한 요약입니다.
트래픽이 빠진 뒤에도 바쁜 CPU
2024년 6월 20일 Cloudflare에서는 CPU 사용률이 가장 높은 데이터 센터가 트래픽을 가장 적게 받고 있었습니다. 요청을 처리하던 프로세스가 무한 루프에 빠졌기 때문입니다. 트래픽을 다른 곳으로 보내도 이 프로세스들은 CPU를 계속 소모했습니다.
그날은 서로 독립적인 사건이 겹쳐 지연과 오류율이 114분 동안 높아졌습니다. 영향이 가장 컸던 30분 동안 CDN으로 들어온 HTTP 요청의 1.4~2.1%가 일반 오류 페이지를 받았습니다. 첫 바이트가 도착할 때까지 걸리는 시간인 TTFB는 p99에서 약 3배로 늘었습니다.
먼저 17:33~17:50 UTC에는 백본 혼잡이 발생했습니다. 자동 네트워크 모니터링이 성능 저하를 감지한 뒤 트래픽을 비효율적인 경로로 옮긴 결과였습니다. Cloudflare는 이미 해당 데이터 센터의 백본 용량을 늘리고, 우회 경로의 가용 용량을 더 잘 반영하도록 네트워크 완화 로직을 개선하고 있었습니다.
더 큰 영향을 남긴 무한 루프 장애는 17:47~19:27 UTC에 이어졌습니다. 그날 새로 배포한 DDoS 규칙이 기존 rate limiting의 잠복 버그를 드러낸 것입니다.
정상 요청을 통과시키려던 DDoS 규칙
Cloudflare의 rate limiting은 방문자가 일정 시간 안에 보낼 수 있는 요청 수를 제한합니다. 고객 설정이나 DDoS 규칙의 의심 활동 탐지에 따라 적용하며, 보통 방문자의 IP 주소를 기준으로 삼습니다. 하지만 기관이나 ISP처럼 한 IP 뒤에 많은 사용자와 기기가 모여 있으면 차단 범위가 넓어집니다. 정상 트래픽까지 막힐 수 있습니다.
새 방식은 공격의 일부로 잘못 분류된 정상 클라이언트도 통과시키려고 rate limit과 쿠키를 조합했습니다. 의심 요청에 유효한 쿠키가 없으면 차단하고, 있으면 쿠키 값을 기준으로 rate limit 규칙을 등록합니다. 한도 검사는 뒤로 미룹니다. 적용 중인 DDoS 완화 규칙들을 모두 실행한 뒤 등록한 rate limit 규칙을 평가하는 순서입니다. 다른 규칙으로 먼저 요청을 차단할 수 있다면 rate limit 평가를 거치지 않는 편이 더 효율적이었습니다.
rate limit을 평가하려면 클라이언트별 카운터를 찾을 키가 필요합니다. 이번에는 IP 대신 쿠키 값을 키로 쓰도록 기존 로직을 재사용했습니다. 의사 코드의 키 생성 함수 get_cookie_key는 독립적인 rate limit 규칙에서도 쓰이므로 쿠키를 다시 검증합니다. 앞에서 통과한 쿠키라면 결과가 같아야 했습니다.
그런데 두 번째 검사에는 다른 함수인 has_valid_cookie_broken을 썼습니다. 클라이언트가 유효한 쿠키와 무효한 쿠키를 함께 보내면 앞선 검사와 판단이 엇갈릴 수 있었습니다. 키 생성 함수가 쿠키를 무효로 처리하면 else 분기에서 상위 키 생성기인 parent_key_generator를 호출합니다. 여기에 또 다른 문제가 있었습니다. DDoS 로직이 내부 API를 예상 밖의 방식으로 사용하면서 상위 생성기가 get_cookie_key 자신을 가리키게 된 것입니다. 그 경로에 들어서면 같은 함수를 끝없이 호출했습니다.
호출 스택의 깊이 제한도 이 루프를 멈추지 못했습니다. 이 로직을 작성한 Lua는 proper tail call 최적화를 지원합니다. 함수의 마지막 동작이 다른 함수 호출이면 스택에 프레임을 추가하지 않고 맨 위 프레임을 새 호출로 교체합니다. 스택은 커지지 않은 채 가용 CPU를 100% 소모하는 실행이 계속됐습니다.
새 규칙의 적용 대상이면서 유효한 쿠키와 무효한 쿠키가 섞인 요청 하나면 충분했습니다. 이를 받은 프로세스는 ‘오염’되어 이후 요청을 더는 처리하지 못했습니다. 새 DDoS 규칙 자체는 의도대로 동작했지만, 기존 컴포넌트의 결함을 드러냈습니다. Cloudflare는 의심 트래픽이 이 버그를 의도적으로 악용했다고 볼 근거도, 침해 증거도 없다고 밝혔습니다.
트래픽 재분배를 따라 번진 프로세스 오염
서버마다 HTTP 처리 프로세스가 수십 개여서 하나가 오염됐을 때의 영향은 작았습니다. 문제는 부하를 분산하는 과정에서 커졌습니다. 엣지 L4 로드 밸런서 Unimog는 데이터 센터 안에서 서버들의 CPU 부하를 고르게 맞춥니다. CPU 사용률이 높아진 서버의 새 연결을 줄이고, 오염된 프로세스가 적거나 없는 서버로 트래픽을 보냈습니다.
데이터 센터 전체의 CPU 사용률이 오르자 Traffic Manager도 움직였습니다. 이 시스템은 전 세계 데이터 센터의 CPU 사용률, HTTP 요청 지연, 대역폭 사용률을 살피고 목적지의 예상 부하를 고려해 트래픽을 재분배합니다. 그러나 트래픽을 내보내도 오염된 프로세스는 회복되지 않았습니다. CPU 사용률이 계속 높으니 Traffic Manager는 더 많은 트래픽을 다른 데이터 센터로 보냈습니다.
어느 경로로 옮기든 트래픽에는 프로세스를 오염시키는 요청이 섞여 있었습니다. 이를 받은 서버와 데이터 센터에서도 같은 일이 벌어졌습니다. 몇 분 만에 여러 데이터 센터에 오염된 프로세스가 쌓였고, Traffic Manager는 더 옮기기 어려운 상태에 이르렀습니다. 급격한 이동을 막는 자동화 안전 한도에 걸렸을 뿐 아니라, 트래픽을 받아 줄 용량이 충분한 목적지도 찾기 어려워졌습니다.
첫 프로세스가 오염된 시각은 17:47 UTC였습니다. 18:09 UTC에는 이미 유럽에서 많은 트래픽이 빠져나가고 있었고, 트래픽이 몰리는 시간대에 서유럽 용량의 10%, 동유럽의 4%를 잃은 상태였습니다. 남은 프로세스들이 요청을 감당하지 못하면서 Cloudflare는 최소한의 HTTP 오류 응답을 반환했습니다. 원 서버의 응답까지 포함한 전체 5xx 비율은 최대 3.45%에 달했습니다.
재시작 뒤에도 돌아오지 않은 트래픽
18:04 UTC, 전역 CPU 사용률이 일정 수준 이상 지속되자 엔지니어들에게 자동으로 알림이 갔습니다. 당직 대응 인력 상당수는 이미 백본 혼잡을 처리하던 중이었습니다. 초기 조사도 두 사건의 연관성에 집중했습니다. CPU가 가장 높은 곳에서 트래픽은 가장 적다는 사실을 알아차리는 데 시간이 걸렸고, 이 단서가 나온 뒤에야 네트워크 사건을 원인으로 보던 조사 방향이 바뀌었습니다.
엔지니어들은 서버 한 대에서 재시작이 효과가 있음을 확인한 뒤 데이터 센터 전체로 대상을 넓혔습니다. 이후에는 오염된 프로세스가 많은 서버를 가려내 재시작했습니다. 일부 엔지니어가 영향받은 서비스의 재시작을 반복하는 동안 다른 엔지니어들은 프로세스를 CPU 포화 상태로 만드는 요청의 조건을 추적했습니다.
서비스가 회복돼도 트래픽이 돌아오지 않는 문제가 남았습니다. 장애 중의 조건이 Traffic Manager의 잠복 버그까지 드러낸 것입니다. 시스템은 예외에서 복구하려고 graceful restart를 시도하면서 동작을 멈췄습니다. 이 버그는 18:17 UTC에 처음 발생했고, 18:35~18:57 UTC에 여러 번 반복됐습니다. 특히 18:35~18:52 UTC와 18:56~19:05 UTC에는 새 라우팅 조치가 전혀 나가지 않았습니다. 가장 크게 영향받은 데이터 센터의 서비스를 회복시켜도 트래픽 대부분은 계속 다른 곳으로 향했습니다.
Traffic Manager 문제의 알림은 18:34 UTC에 당직자에게 전달됐습니다. Traffic 팀은 19:05 UTC까지 수정 코드를 작성하고 테스트한 뒤 배포했습니다. 복구 후 첫 라우팅 조치부터 서비스 회복에 효과가 나타났습니다.
요청 처리 프로세스를 오염시키는 원인을 찾는 작업도 이어졌습니다. 19:29 UTC에 새 DDoS 규칙 배포가 유력한 원인으로 지목됐고, 19:34 UTC에 규칙을 완전히 비활성화했습니다. 이후 재시작과 모니터링을 거쳐 20:16 UTC에 인시던트 대응을 마쳤습니다.
요청 실행 시간에 한도를 둘 새 서비스
새 규칙은 6월 26일 장애 보고서를 게시할 때도 완전히 롤백된 상태였습니다. Cloudflare는 잘못된 쿠키 검증을 고치고 같은 상황이 재발하지 않는다는 확신을 얻기 전까지 규칙을 다시 켜지 않겠다고 밝혔습니다. 보고서 당시 프로덕션에서는 이 잠복 버그를 발동시킬 조건이 더는 만들어질 수 없는 상태였습니다.
문제가 생긴 DDoS 모듈의 rate limiting은 레거시 컴포넌트입니다. 고객이 직접 설정하는 rate limit 규칙은 더 현대적인 기술과 보호 장치를 갖춘 새 엔진을 사용하고 있었습니다. Cloudflare는 문제가 난 서비스 안팎에서 tail call이 무한히 이어지는 것을 제한할 방법을 검토 중이었습니다.
서비스 전체를 교체하는 작업도 초기 구현 단계에 있었습니다. 교체할 서비스에서는 요청 하나가 중단 없이 실행되는 시간과 총 실행 시간에 한도를 둘 수 있도록 할 계획이었습니다. 아직 적용을 마친 보호 장치는 아니었습니다.
배포 절차도 보완 대상입니다. 이번 규칙은 일부 프로덕션 데이터 센터에서 검증한 뒤 몇 시간 후 전체로 넓혔습니다. Cloudflare는 변경에 따른 피해 범위를 줄이도록 스테이징과 롤아웃 절차를 계속 보강하고, 추가 수정과 탐지도 최대한 빨리 적용하겠다고 밝혔습니다.
타임라인과 영향 수치
| 시각 (UTC, 2024-06-20) | 사건 |
|---|---|
| 14:14 | DDoS 규칙 단계적 배포 시작 |
| 17:06 | DDoS 규칙 전역 배포 완료 |
| 17:47 | 첫 HTTP 처리 프로세스 오염 |
| 18:04 | 높은 CPU 부하 감지로 인시던트 자동 선언 |
| 18:34 | 서버 한 대에서 서비스 재시작 효과 확인, 한 데이터 센터에서 전체 재시작 시험 |
| 18:44 | 해당 데이터 센터 CPU 부하 정상화 |
| 18:51 | 오염 프로세스가 많은 서버 전체에 지속적 재로드 시작 |
| 19:05 | 사용자 대상 HTTP 오류율 정점(서비스 불가 2.1%, 전체 3.45%), Traffic Manager 첫 복구 조치 |
| 19:11 | 오류율 절반 수준(서비스 불가 1%, 전체 1.96%) |
| 19:27 | 오류율 기준선으로 복귀 |
| 19:29 | DDoS 규칙 배포를 유력 원인으로 파악 |
| 19:34 | DDoS 규칙 완전 비활성화 |
| 19:43 | 오염 프로세스 서버의 정기 재시작 중단 |
| 20:16 | 인시던트 대응 종료 |
| 항목 | 값 |
|---|---|
| 총 영향 시간 | 114분 |
| 정점 30분간 CDN 오류 페이지 비율 | 1.4~2.1% |
| p99 TTFB | 약 3배 |
| 5xx 응답 최대 비율(원 서버 포함) | 3.45% |
| 인시던트 선언 시 CPU 포화 프로세스(서유럽 / 동유럽 용량) | 10% / 4% |
| Traffic Manager 버그 발동 시각 | 18:17, 18:35~18:57 |
| Traffic Manager 조치 중단 구간 | 18:35~18:52, 18:56~19:05 |