본문으로 건너뛰기
분산 트레이싱이 지운 Tiered Cache의 제어 헤더
목차

분산 트레이싱이 지운 Tiered Cache의 제어 헤더 (2022-10)

원문 정보

관측 코드 추가 뒤 시작된 530 오류

성능 병목을 찾으려고 추가한 코드가 요청을 실패하게 만들었습니다. 2022년 10월 25일 Cloudflare의 Tiered Cache에 분산 트레이싱을 추가한 CDN 릴리스에서 벌어진 일입니다. 영향은 총 6시간 가까이 이어졌고, 정점인 17:28 UTC에는 전체 HTTP 요청의 약 5%가 530 오류로 실패한 것으로 추정됩니다.

영향을 받은 곳은 Tiered Cache, Cloudflare Images, Bandwidth Alliance 중 하나를 설정한 사이트의 일부였습니다. 로컬 캐시에서 바로 제공할 수 있는 콘텐츠는 무사했습니다. 문제가 생긴 곳은 캐시 가능한 요청을 다른 데이터 센터로 넘기는 경로입니다.

원본 서버 호출을 줄이는 Tiered Cache

CDN 데이터 센터에 요청한 자산이 늘 캐시돼 있는 것은 아닙니다. 새 자산이거나 캐시가 만료·삭제됐다면 원본 서버에서 새 사본을 가져와야 하는데, 사용자가 접속한 데이터 센터는 원본 서버에서 멀리 떨어져 있을 수 있습니다. 캐시가 없는 데이터 센터마다 원본 서버를 다시 찾아야 한다는 점도 고객에게는 부담입니다.

Tiered Cache는 이 문제를 줄이기 위해 도입한 방식입니다. Cloudflare는 데이터 센터를 최종 사용자에 가까운 하위 계층(lower tier)과 원본 서버에 가까운 상위 계층(upper tier)으로 나눴습니다. 하위 계층에서 캐시 미스가 나면 곧바로 원본 서버로 가지 않고 상위 계층의 캐시를 먼저 확인합니다.

상위 계층에 최신 사본이 있으면 그것으로 응답합니다. 원본 서버까지 요청을 보내지 않아도 되므로 성능이 좋아지고, 하위 계층에 캐시가 없을 때 원본 서버에서 자산을 가져오는 횟수도 줄어듭니다. 이번 장애는 이 계층 사이에서 전달해야 할 정보가 사라지면서 발생했습니다.

상위 계층에 도착하지 못한 호스트 이름

변경 자체는 실행 시간을 재기 위한 것이었습니다. Tiered Cache 진입점의 기존 go() 함수를 trace_fn()으로 감싸면, trace_fn()이 go()를 호출한 뒤 실행 시간을 보고합니다. 서비스 각 부분의 성능을 관찰하고 개선할 병목을 찾으려는 작업입니다.

그런데 opentracing 모듈에 주입한 함수에는 요청마다 제어 헤더를 지우는 clear_control_headers() 호출이 있었습니다. 일반적인 요청 처리에서는 헤더에서 데이터를 먼저 추출한 뒤 지웁니다. 평소에는 정상적인 처리 절차였습니다.

내부 Tiered Cache 트래픽은 전제가 달랐습니다. 하위 계층의 제어 헤더를 그대로 전달해야 하는 경로입니다. 여기에 헤더를 지우는 동작이 들어오면서 상위 계층의 요청 라우팅에 필요할 수 있는 정보가 사라졌습니다.

영향을 받은 일부 요청에는 원본 서버의 IP 주소를 내부 DNS로 조회하는 데 필요한 호스트 이름이 없었습니다. 조회할 이름을 잃은 결과가 클라이언트에 반환된 530 DNS 오류입니다. 오류가 드러난 곳과 잘못된 변경이 들어간 곳이 달랐던 탓에, 조사도 처음부터 CDN 릴리스를 향하지는 못했습니다.

애틀랜타 롤백에서 확인한 원인

처음 의심한 곳은 내부 DNS였습니다. 이 시스템도 같은 시기에 릴리스를 진행 중이었고, 초기 징후는 DNS 쪽 문제를 가리켰습니다. 실제 원인을 확인하기까지 여러 차례 시도가 필요했던 이유입니다.

조사는 일부 데이터 센터에 배포한 뒤 530 오류가 간헐적으로 늘었다는 고객 제보에서 시작됐습니다. 배포가 나머지 데이터 센터로 확대되자 오류가 급증했습니다. 알림이 울리고 고객 제보도 늘면서 인시던트를 선언했습니다.

2022년 10월 25일의 배포와 대응 기록이며, 시각은 모두 UTC입니다.

시각배포와 대응
08:40소수 데이터 센터에 릴리스 배포 시작
10:35한 고객의 알림에서 500번대 오류 증가 감지
11:20작은 데이터 센터 하나를 문제 지점으로 지목하고, 조사하는 동안 프로덕션에서 제외
12:30더 많은 데이터 센터에 코드 변경이 적용되며 문제 확산
14:22가장 큰 데이터 센터들로 배포가 확대되며 530 오류 증가
14:39고객 제보가 늘면서 여러 팀이 조사에 합류
17:03애틀랜타에서 CDN 릴리스를 롤백하고 근본 원인 확인
17:28영향 정점, 전체 HTTP 요청의 약 5%가 530 오류로 실패한 것으로 추정
17:38많은 고객의 상위 계층 역할을 하는 대형 데이터 센터에서 가속 롤백 계속
18:04모든 상위 계층의 롤백 완료, 장애 영향 종료
18:30전체 롤백 완료

애틀랜타에서 릴리스를 되돌리자 530 오류가 줄었습니다. 이 결과로 문제의 CDN 릴리스를 원인으로 확인한 Cloudflare는 전역 롤백을 서둘렀고, 원인 확인부터 전체 롤백 완료까지 87분이 걸렸습니다. 장애 영향이 먼저 끝난 시점은 18:04 UTC로, Tiered Cache 상위 계층으로 설정된 모든 데이터 센터에서 롤백을 마친 때입니다.

상위 계층을 더 일찍 검증할 배포 계획

테스트 환경에서는 이 문제를 발견하지 못했습니다. 시스템의 복잡성과 테스트 사각지대가 겹친 결과입니다. Cloudflare는 버그 수정과 함께, 전역 배포 전에 비슷한 문제를 드러낼 수 있도록 배포 순서와 인수 테스트를 바꾸기로 했습니다.

  • 배포 초기 단계에 Tiered Cache 상위 계층으로 설정된 더 큰 데이터 센터 포함
  • 다양한 Tiered Cache 토폴로지를 포함하도록 인수 테스트 범위 확대

요청 정보가 사라졌을 때의 동작도 보완할 계획입니다. 요청의 전체 컨텍스트가 없고 제어 헤더의 추가 호스트 정보가 필요한 상황에서는 알림을 더 적극적으로 내도록 바꾸기로 했습니다.

이런 오류에서 시스템이 즉시 실패하도록 하는 fail fast도 후속 조치에 포함됐습니다. 그렇게 동작했다면 개발·테스트 중 문제를 찾는 데 도움이 됐을 것이라는 판단입니다. Cloudflare는 이 재발 방지 조치들을 가능한 한 빨리 적용하겠다고 밝혔습니다.

장애 영향과 롤백 기록
항목값
영향 지속 시간총 6시간 가까이
피크 실패 비율전체 HTTP 요청의 약 5% (17:28 UTC)
릴리스 시작2022-10-25 08:40 UTC
롤백 확인 데이터 센터애틀랜타, 17:03 UTC
모든 상위 계층 롤백 완료18:04 UTC (영향 종료)
전체 롤백 완료18:30 UTC
롤백 소요87분
영향 조건Tiered Cache, Cloudflare Images, Bandwidth Alliance 중 하나 설정
오류 코드HTTP 530 (DNS 오류)
마지막 수정 일자