목차
Cloudflare의 30분 지연을 부른 pipefail 누락 (2022-04)
원문 정보
- 원문: PIPEFAIL: How a missing shell option slowed Cloudflare down
- 매체 · 게시일: The Cloudflare Blog · 2022-04-05
- 저자: Alex Forster
- 원문 내용을 바탕으로 재구성한 포스트모템 요약입니다.
검증된 코드로 돌아가던 중 울린 경보
정상 동작하던 코드로 되돌리는 중에 전 세계 요청이 느려졌습니다. 2021년 12월 16일 20:10부터 20:40 UTC까지 약 30분 동안, Cloudflare가 받은 웹 요청은 처리를 시작하기 전에 최대 5초를 기다려야 했습니다.
시작은 긴급 롤백이었습니다. Front Line 팀은 대략 주 1회 버그 수정과 성능 개선을 배포하는데, 이날 릴리스에는 Cache-Control: no-transform 헤더가 있을 때 압축을 처리하는 방식의 미묘한 버그를 고친 코드가 들어 있었습니다. 그런데 일부 고객은 이미 그 잘못된 동작에 의존하고 있었습니다. 수정 후 이들에게 문제가 생기자, 팀은 릴리스를 되돌리고 해당 고객들과 문제를 해결하기로 했습니다.
평소에는 배포와 롤백 대부분을 자동화했지만 이번에는 급히 수동으로 진행했습니다. SRE들은 안전을 위해 배치를 나눴습니다. 19:25 UTC에 규모가 작은 tier 2·3 데이터센터부터 시작해 약 30분 만에 마쳤고, 이상이 없음을 확인한 뒤 20:10에 큰 tier 1 데이터센터의 롤백을 시작했습니다.
몇 분 뒤 트래픽과 CPU 사용률이 떨어진다는 경보가 울렸고, P0 인시던트가 자동으로 선언되었습니다. 수십 명의 엔지니어가 각 서비스의 영향을 살피고 원인을 추적했습니다. 이미 한 차례 문제없이 적용한 코드가 어떻게 전 세계 장애를 일으켰는지 설명해야 했습니다. 롤백을 멈춰도 지연은 사라지지 않았습니다.
빈 설정을 받고 멈춰 선 dosd
장애 시작 약 10분 후, DOS 팀에 “많은 서버에서 dosd가 실행되지 않음” 경보가 도착했습니다. 그때까지 팀은 방어하지 못한 공격 때문에 요청이 느려졌는지 조사하고 있었습니다. 이제는 공격을 탐지하는 서비스 자체를 살펴야 했습니다.
dosd는 트래픽을 분석하는 사이드카 서비스입니다. 공격을 발견하면 Front Line이 해당 트래픽을 식별하고 차단할 수 있도록 공격 지문 목록을 넘깁니다. 모든 Cloudflare 서버에서 실행되며, 인스턴스끼리 피어 투 피어 메시로 통신해 악성 트래픽 패턴을 찾아냅니다. 중앙집중식보다 정밀한 분석이 가능한 설계지만, 그 규모를 감당하려면 대량의 설정 데이터에 아주 빠르게 접근해야 합니다.
그래서 dosd는 Quicksilver를 사용합니다. Quicksilver는 설정을 수 밀리초 안에 전 세계로 복제하고, 서비스는 이를 마이크로초 단위로 읽습니다. 이 설정 중에는 IP 주소 관리의 기준이 되는 Addressing API의 데이터도 있습니다. dosd는 이 데이터로 특정 IP에서 어떤 트래픽을 예상해야 하는지 판단하며, 데이터가 자주 바뀌지 않아 Kubernetes 크론 잡이 매시 10분에 조회해 Quicksilver에 기록합니다.
로그를 보니 dosd는 고객 주소 데이터가 손상되어 패닉하고 있었습니다. 올바른 판단에 필요한 데이터가 없자 동작을 멈춘 것입니다. 손상의 실체는 단순했습니다. Quicksilver의 해당 키가 통째로 비어 있었습니다.
엔지니어들은 그 키를 채우는 크론 잡을 다시 실행했습니다. 20:40 UTC에 수동으로 실행한 잡이 끝나고 몇 초 뒤, dosd가 다시 동작하면서 트래픽도 정상으로 돌아오기 시작했습니다. 키에 값이 들어간 것도 확인했습니다. 장애는 끝났지만, 누가 어떻게 빈 값을 기록했는지는 아직 설명되지 않았습니다.
매시 10분에 몰려든 Addressing API 요청
빈 값을 기록한 크론 잡은 Addressing API의 응답을 기다리다가 타임아웃되었습니다. 둘째 롤백이 시작된 20:10 UTC에는 이 API를 찾는 작업이 한꺼번에 겹쳤습니다.
두 롤백 배치는 서버에 Salt highstate를 강제로 실행하는 방식으로 진행했습니다. 배치가 시작되면 수천 대의 서버가 일제히 highstate를 실행했고, 그 과정에는 Addressing API에서 고객 주소 정보를 가져오는 작업도 포함되어 있었습니다. 요청이 한꺼번에 몰리는 thundering herd가 발생한 것입니다. API는 대기열에 쌓인 요청을 결국 모두 처리했지만, 이를 소화하는 데 몇 분이 걸렸습니다. 크론 잡이 기다릴 수 있는 시간보다 길었습니다.
첫 배치가 시작된 19:25에는 정기 크론 잡이 실행되지 않았습니다. API에 요청이 몰리는 것만으로는 이 버그가 드러나지 않았고, 매시 10분의 조회 작업까지 겹쳐야 했습니다. 둘째 배치를 몇 분만 일찍 또는 늦게 시작했어도 버그는 잠들어 있었을 것입니다.
빈 출력을 성공처럼 넘긴 Bash 파이프라인
API 조회가 실패한 뒤에도 설정 갱신은 진행되었습니다. 크론 잡의 작은 Bash 스크립트에 pipefail이 빠져 있었기 때문입니다.
스크립트에서 dos-make-addr-conf는 Addressing API의 JSON 데이터를 조회해 Toml 문서로 직렬화하고 config.toml에 씁니다. 이어서 dosctl이 그 Toml을 입력으로 받아 Quicksilver의 template_vars 키에 기록합니다. 그런데 기본 설정의 셸 파이프라인은 앞 명령이 0이 아닌 종료 코드로 실패해도 그 오류를 무시하고 실행을 이어갑니다. dos-make-addr-conf가 실패해 출력이 비었는데도, 그 빈 값이 그대로 키를 덮어썼습니다.
pipefail은 파이프라인 안의 어느 명령이든 실패하면 파이프라인 전체를 실패로 처리하는 옵션입니다. 이미 30년 전에 도입된 옵션이었지만 기본으로 켜지지는 않습니다. 스크립트를 시작할 때 이 옵션 등을 명시적으로 켜도록 널리 권고해 온 이유입니다.
더 고약한 점은 dosd에 이미 잘못된 Toml을 처리하는 방어가 있었다는 사실입니다. 오류 메시지가 키에 기록되었다면 업데이트를 거부하고 이전 값을 계속 썼을 것입니다. 하지만 빈 문자열은 유효한 Toml 문서입니다. 잘못된 형식은 거부할 수 있었어도, 문법상 유효한 빈 설정은 막지 못했습니다.
지문이 사라진 Front Line 캐시
dosd가 멈췄다는 사실만으로는 요청 지연을 설명할 수 없었습니다. Front Line은 요청마다 dosd의 응답을 기다리도록 설계되지 않았습니다. 몇 초에 한 번 비동기로 공격 지문을 받아 메모리 캐시에 저장하고, 요청을 처리할 때는 그 캐시를 조회합니다. 새 지문을 받지 못하면 이전 지문을 계속 사용합니다.
문제는 롤백에 필요한 코드 재로드였습니다. Front Line 코드를 다시 로드하면서 메모리 캐시도 비워졌고, dosd에서 받아 둔 공격 지문까지 사라졌습니다. 다음 요청이 지문을 찾았을 때는 돌려줄 값이 없었습니다. 캐시 미스를 처리하려던 캐싱 계층은 dosd에 지문을 요청했고, 응답을 기다리는 동안 대기 중인 모든 요청의 진행을 막았습니다.
dosd는 이미 멈춰 있었습니다. 캐싱 계층은 5초 뒤에야 타임아웃으로 포기했고, 그동안 쌓인 요청은 그제야 풀려 처리를 이어갔습니다. 이 대기와 해제가 dosd를 복구할 때까지 모든 서버에서 5초마다 반복되었습니다.
지연에는 dosd의 중단과 캐시 초기화가 함께 필요했습니다. dosd가 멈췄더라도 캐시에 이전 지문이 남아 있었다면 요청 처리는 영향을 받지 않았을 것입니다. 평소에는 드러나지 않던 의존 관계가 캐시를 비운 순간 나타났습니다.
연쇄 장애를 막기 위한 보강 작업
작거나 드문 실패가 사슬처럼 이어져 큰 장애가 되었습니다. Cloudflare는 이 사슬의 각 고리를 보강했습니다.
- Addressing API를 크게 스케일 아웃해, 다시 요청이 몰리더라도 높은 요청률을 감당하도록 확장
- 크론 잡에
pipefail을 적용하고, 잡이 실패해도 Quicksilver 키를 덮어쓰지 못하도록 수정 dosd가 Quicksilver 설정을 읽을 때 처리하는 오류 조건을 보완해, 손상된 데이터에도 기능을 축소하며 동작하도록 개선- Front Line에서
dosd장애가 전파되던 의존 관계를 모두 제거해,dosd가 실패해도 요청 처리를 이어가도록 수정
장애 시각과 수치
| 항목 | 값 |
|---|---|
| 장애 일자 | 2021-12-16 |
| 영향 구간 | 20:10~20:40 UTC (약 30분) |
| 요청 지연 | 최대 5초 (캐싱 계층 타임아웃 주기) |
| 첫 번째 롤백 배치 | 19:25 UTC 시작, 약 30분 소요, tier 2·3 데이터센터 |
| 두 번째 롤백 배치 | 20:10 UTC 시작 (첫 배치 시작 45분 뒤), tier 1 데이터센터 |
dosd 장애 인지 | 사고 시작 약 10분 후 |
| 복구 | 20:40 UTC 크론 잡 수동 실행 |
| 크론 잡 주기 | 매시 10분 |
| 롤백 사유 | Cache-Control: no-transform 압축 수정이 일부 고객을 깨뜨림 |