목차
Cloudflare MCP 19곳의 연결을 끊은 BGP 정책 순서 (2022-06)
원문 정보
- 원문: Cloudflare outage on June 21, 2022
- 매체 · 게시일: The Cloudflare Blog · 2022-06-21
- 저자: Tom Strickx, Jeremy Hartman
- 원문 내용을 바탕으로 재구성한 요약입니다.
가장 붐비는 위치에서 시작된 장애
2022년 6월 21일, Cloudflare가 복원력을 높이려고 새 아키텍처로 전환한 데이터 센터 19곳이 네트워크 설정 변경 직후 오프라인이 됐습니다. 가장 붐비는 위치들이었습니다. 전체 네트워크의 4%에 불과한 이곳의 장애는 전체 요청의 50%에 영향을 미쳤습니다.
장애는 06:27 UTC에 시작했고, 모든 데이터 센터가 복구된 시각은 07:42 UTC였습니다. 이용자가 있는 지역에 따라 Cloudflare를 사용하는 웹사이트와 서비스에 접속하지 못했으며, 다른 지역에서는 서비스가 정상 동작했습니다. Cloudflare는 자사의 실수로 발생한 장애이며 공격이나 악의적 활동과는 무관하다고 밝히고 사과했습니다.
유지보수 중에도 트래픽을 받는 MCP
Cloudflare는 지난 18개월 동안 가장 붐비는 데이터 센터 19곳을 Multi-Colo PoP(MCP)라는 아키텍처로 전환했습니다. 고객 트래픽을 끊지 않고 유지보수할 수 있는, 더 유연하고 복원력 높은 네트워크를 만들려는 작업이었습니다.
MCP는 Clos 네트워크로 설계한 아키텍처입니다. 스파인이라는 라우팅 계층을 추가해 메시 형태로 연결하고, 유지보수나 문제 대응 때 데이터 센터 내부 네트워크 일부를 쉽게 끄고 켤 수 있게 했습니다. 실제로 신뢰성이 크게 나아졌고 고객 트래픽을 방해하지 않는 유지보수도 가능해졌습니다. 이번 오류가 적용된 곳은 바로 이 스파인이었습니다.
거부 항목 아래로 밀린 BGP 광고 항목
인프라 설정을 표준화하던 Cloudflare는 사이트 로컬 접두사에 정보성 BGP 커뮤니티를 더하려 했습니다. 접두사는 인접한 IP 주소의 묶음입니다. 사이트 로컬 접두사는 서버끼리 통신하고 고객 원본 서버에 연결하는 데 쓰입니다.
BGP 광고 정책은 어떤 접두사를 연결된 다른 네트워크에 알릴지 정하며, 각 항목(term)을 순서대로 평가합니다. 라우터에서 커뮤니티만 추가하는 변경 자체는 무해했습니다. 스파인의 diff도 얼핏 같은 변경처럼 보였지만, AGGREGATES-OUT 정책에서는 항목의 순서까지 바뀌었습니다.
이 diff에서 !는 항목의 순서가 바뀌었다는 표시입니다. 맨 위에 있던 4-ADV-SITE-LOCALS와 6-ADV-SITE-LOCALS가 맨 아래로 내려가면서 REJECT-THE-REST 뒤에 놓였습니다. 이름 그대로, REJECT-THE-REST는 then reject;로 명시적으로 거부하는 항목입니다.
이제 사이트 로컬 광고 항목보다 거부 항목이 먼저 평가됐습니다. 사이트 로컬 접두사 광고가 즉시 중단되면서 해당 접두사가 철회됐고, 엔지니어가 장애 위치에 직접 접속하거나 서버가 고객 원본 서버에 연결할 경로도 사라졌습니다.
영향은 원본 접속에 그치지 않았습니다. 내부 로드 밸런싱 시스템 Multimog는 Unimog 로드 밸런서의 변형으로, 사이트 로컬 접두사가 사라지자 MCP 안에서 서버 사이로 요청을 전달하지 못했습니다. 그 결과 작은 컴퓨트 클러스터에도 가장 큰 클러스터와 같은 양의 트래픽이 들어왔습니다. 작은 클러스터들이 과부하에 빠진 이유입니다.
서로의 롤백을 덮어쓴 복구 현장
검토도 단계적 배포도 거쳤습니다. 변경 요청 티켓에 드라이런과 단계적 롤아웃 절차를 담고 배포 전에 여러 엔지니어가 검토했지만, MCP 데이터 센터는 마지막 배포 단계에야 포함됐습니다. 오류가 모든 스파인에 적용되기 전에 발견할 만큼 배포 단계를 작게 나누지 못했습니다.
- 03:56 UTC: 기존 아키텍처를 쓰는 첫 위치에 배포, 영향 없음
- 06:17 UTC: MCP를 제외한 가장 붐비는 위치로 배포 확대
- 06:27 UTC: MCP 스파인에 배포, 19곳이 오프라인이 되며 장애 시작
- 06:32 UTC: 내부 인시던트 선언
- 06:51 UTC: 근본 원인 확인을 위해 라우터 하나에서 첫 변경
- 06:58 UTC: 근본 원인 파악, 첫 데이터 센터 복구와 롤백 시작
- 07:42 UTC: 마지막 롤백 완료, 모든 데이터 센터 복구
- 08:00 UTC: 인시던트 종료
접속 경로부터 끊긴 탓에 엔지니어들은 백업 절차를 사용해 영향받은 위치의 통제권을 되찾았습니다. 설정을 되돌리는 과정에서도 문제가 생겼습니다. 네트워크 엔지니어들이 서로의 변경을 덮어써 앞서 적용한 롤백까지 되돌리면서, 장애가 산발적으로 다시 나타나 마지막 복구가 늦어졌습니다.
MCP에 맞춰 다시 설계할 변경 절차
Cloudflare는 변경 절차와 자동화에 MCP 전용 테스트·배포 절차를 포함하는 개선에 착수했습니다. 단계적 배포를 했어도 MCP가 마지막 단계에만 들어 있던 공백을 메우려는 조치입니다. 네트워크 구성 롤아웃이 개선된 단계 정책을 따르도록 강제하는 자동화도 보강할 계획입니다.
문제를 일으킨 BGP 정책문도 재설계 대상입니다. 의도치 않게 잘못된 항목 순서가 생기지 않도록 정책문 자체를 바꿀 계획입니다.
복구 시간을 줄일 장치로는 자동 commit-confirm 롤백을 추진합니다. Cloudflare는 개선된 단계 정책을 강제하는 자동화가 있었다면 전체 장애 영향을 크게 줄였을 것이고, 자동 롤백이 있었다면 사고 당시 해결 시간을 크게 단축했을 것으로 평가했습니다.
인시던트 주요 수치와 영향 위치
| 항목 | 값 |
|---|---|
| 영향받은 데이터 센터 | 19곳 (MCP 아키텍처) |
| 해당 위치의 네트워크 비중 | 전체의 약 4% |
| 영향받은 전체 요청 비중 | 약 50% |
| 장애 시작 | 06:27 UTC |
| 인시던트 선언 | 06:32 UTC |
| 근본 원인 파악 | 06:58 UTC (첫 데이터 센터 복구 시각과 같음) |
| 모든 데이터 센터 복구 | 07:42 UTC |
| 인시던트 종료 | 08:00 UTC |
| 변경 첫 배포 | 03:56 UTC |
| MCP 전환 기간 | 최근 18개월 |
| MCP 데이터 센터 | 암스테르담, 애틀랜타, 애쉬번, 시카고, 프랑크푸르트, 런던, 로스앤젤레스, 마드리드, 맨체스터, 마이애미, 밀라노, 뭄바이, 뉴어크, 오사카, 상파울루, 새너제이, 싱가포르, 시드니, 도쿄 |