목차
ZONEMD 추가 뒤 멈춘 1.1.1.1의 루트 존 갱신 (2023-10)
원문 정보
- 원문: 1.1.1.1 lookup failures on October 4, 2023
- 매체 · 게시일: The Cloudflare Blog · 2023-10-04
- 저자: Ólafur Guðmundsson
- 원문 내용을 바탕으로 재구성한 요약입니다.
유효한 질의에 돌아온 SERVFAIL
2023년 10월 4일 07:00 UTC부터 11:00 UTC까지 Cloudflare에서 DNS 해석 문제가 발생했습니다. 1.1.1.1과 WARP, Zero Trust, 1.1.1.1을 사용하는 서드파티 DNS 리졸버의 일부 사용자가 유효한 질의에도 SERVFAIL을 받았습니다. 공격과 무관한 내부 소프트웨어 오류였습니다.
SERVFAIL 자체는 평소에도 발생합니다. DNSSEC 체인의 문제나 권한 서버 접속 실패, 응답 지연 등으로 정상 운영 중에도 전체 질의의 약 3%가 이 응답을 받습니다. 장애 중에는 그 비율이 15%까지 올랐습니다. 문제의 시작은 당일이 아닌 9월 21일, 루트 존에 새 레코드가 추가된 시점이었습니다.
루트 서버 대신 응답하던 static_zone
DNS에서 함께 관리하는 도메인과 호스트 이름의 집합을 존이라고 합니다. cloudflare.com으로 가는 길은 com 존이 안내하고, 그 위에서 .com 같은 최상위 도메인(TLD)을 찾는 길을 알려 주는 것이 루트 존입니다. 이 루트 존에도 DNSSEC 서명이 붙습니다.
Cloudflare는 루트 서버에 공개된 루트 존을 자동으로 받아 사본을 보관합니다. 루트 서버에 닿지 않아도 정보를 쓸 수 있고, 이름 해석도 빨라집니다. 새 버전은 보통 하루 두 번 공개됩니다. 1.1.1.1에서는 메인 DNS 로직 위에서 실행되는 WebAssembly 앱 static_zone이 이 사본을 로드해 로컬에서 루트 존 질의에 응답합니다.
새 레코드 앞에서 멈춘 루트 존 갱신
9월 21일, 루트 존에 ZONEMD가 처음 포함됐습니다. 루트 존 내용의 체크섬 역할을 하는 레코드로, 추가 일정도 미리 알려진 변경이었습니다. Cloudflare의 코어 네트워크는 변경 뒤에도 새 루트 존을 정상적으로 받아 전 세계 데이터 센터에 배포했습니다. 실패한 곳은 그다음 단계였습니다. 엣지의 리졸버가 ZONEMD를 파싱하지 못했습니다.
문제는 내부 배포에 쓰던 텍스트 형식에 있었습니다. DNS 바이너리 형식에서는 16비트 정수인 TYPE이 레코드 타입을 나타내고, RDLENGTH가 데이터 영역인 RDATA의 길이를 알려 줍니다. 모르는 타입을 만나도 그 길이만큼은 내용을 해석하지 않고 다룰 수 있습니다. 텍스트 표현은 사정이 다릅니다. 레코드마다 표기가 크게 달라서, 엣지에서 사용하던 파싱 라이브러리는 알 수 없는 타입을 만나면 처리를 시도하지 않고 오류를 반환했습니다.
존은 통째로 로드하고 제공해야 합니다. ZONEMD 하나를 읽지 못하면서 새 루트 존 전체를 쓸 수 없게 됐습니다. static_zone은 새 버전을 성공적으로 파싱해야 메모리의 이전 버전을 버리는 방식이었습니다. 파싱이 계속 실패하자, 변경 전인 9월 21일에 받은 사본을 기한 없이 사용했습니다.
이전 사본으로도 한동안 응답은 가능했습니다. 그러나 10월 4일 07:00 UTC에 그 사본의 DNSSEC 서명이 만료됐습니다. 사용할 수 있는 새 버전이 없던 일부 리졸버는 서명을 검증하지 못했고, 그때부터 유효한 질의에도 SERVFAIL을 반환하기 시작했습니다.
노드를 건너며 빠진 rec_disable_static 태그
08:50 UTC, Cloudflare는 오래된 루트 존으로 응답하는 동작부터 막으려 했습니다. 1.1.1.1의 동작을 프로그램으로 바꾸는 override 규칙에 phase = pre-cache set-tag rec_disable_static을 배포했습니다. 들어오는 요청에 rec_disable_static 태그를 붙이면 static_zone이 이를 확인하고 캐시된 루트 존으로 응답하지 않는 방식입니다.
태그는 다른 노드까지 따라가지 못했습니다. 1.1.1.1은 캐시 성능을 높이기 위해 현재 노드에 응답이 없으면 질의를 다른 노드로 전달하기도 하는데, 이때 전달한 질의에는 태그가 빠져 있었습니다. 다른 노드의 static_zone은 계속 오래된 사본으로 답했습니다. 결국 10:30 UTC에 앱을 완전히 비활성화해 루트 존 파일을 미리 로드하는 동작을 중단했고, 10:32 UTC에 응답이 정상으로 돌아왔습니다.
재시작한 서버가 피한 장애
같은 파싱 오류가 모든 서버에서 같은 결과를 낳지는 않았습니다. Cloudflare는 커널 업데이트 등을 적용하기 위해 서버를 롤링 재부팅합니다. ZONEMD 추가와 서명 만료 사이에 1.1.1.1 서비스를 재시작한 서버는 메모리에 이전 루트 존이 없었습니다. 시작하면서 새 루트 존을 읽는 데 실패하자 루트 서버에 직접 질의하는 경로로 전환했고, 이번 장애의 영향을 일으키지 않았습니다.
인기 레코드는 별도의 캐시 동작으로도 보호했습니다. 리졸버는 상위 서버에서 레코드를 받은 뒤 TTL만큼의 시간이 지나도 캐시에서 계속 응답하는 serve stale(RFC 8767)을 사용합니다. 이 동작이 전면 장애를 막는 데 기여했습니다. 영향은 그 기간에 서비스를 재시작하지 않은 서버가 많았던 Ashburn, Frankfurt, Singapore 같은 대형 데이터 센터에 집중됐습니다.
오래된 사본에 기한을 둘 후속 조치
Cloudflare는 static_zone이 오래된 루트 존을 제공할 때 알리는 경보를 추가하고 있습니다. 갱신 실패를 더 잘 감시했다면 기존 캐싱 덕에 사용자 영향을 막을 수 있었다는 판단입니다. 사본의 수명도 관리할 계획입니다. 오래된 루트 존을 제한된 시간 동안 쓰는 것은 가능하지만, 일정 시점을 넘기면 운영상 감당할 수 없는 위험이 생기므로 RFC 8806에 따라 캐시 수명을 더 잘 관리하는 조치를 취하기로 했습니다.
루트 존을 가져와 내부에 배포하는 방식도 재검토 대상입니다. 새 RRTYPE을 처리하고, 파이프라인이 잠시 끊겨도 최종 사용자에게 영향이 드러나지 않게 하는 것이 목표입니다. 이번에는 수신과 배포가 계속됐어도 리졸버가 새 버전을 사용하지 못했습니다.
테스트가 없었던 것은 아닙니다. 아직 배포하지 않은 ZONEMD 파싱 변경과 관련된 테스트도 있었지만, 루트 존 파싱에 실패한 뒤 시스템이 어떻게 동작하는지는 충분히 시험하지 못했습니다. Cloudflare는 테스트 범위와 관련 절차를 개선할 계획입니다. 그 바탕에는 “변하지 않을 것”이라고 가정해서는 안 된다는 반성이 있습니다. DNS와 BGP 같은 인터넷 핵심 시스템에서도 형식 변경이 영향을 준다는 전제로, 입력이 달라졌을 때 구성 요소가 어떻게 실패하는지까지 검증해야 한다는 판단입니다.
장애 대응 시각과 영향 수치
| 시각 (UTC) | 사건 |
|---|---|
| 09-21 06:30 | 루트 존 마지막 정상 수신 |
| 10-04 07:00 | 9월 21일 루트 존의 DNSSEC 서명 만료, SERVFAIL 증가 |
| 10-04 07:57 | 외부에서 SERVFAIL 신고 시작 |
| 10-04 08:03 | 내부 인시던트 선언 |
| 10-04 08:50 | override 규칙으로 오래된 루트 존 응답을 막으려 했으나 실패 |
| 10-04 10:30 | 1.1.1.1이 루트 존 파일을 미리 로드하는 동작을 완전히 중단 |
| 10-04 10:32 | 응답 정상화 |
| 10-04 11:02 | 인시던트 종료 |
| 항목 | 값 |
|---|---|
| 평상시 SERVFAIL 비율 | 약 3% |
| 장애 중 최대 SERVFAIL 비율 | 전체 질의의 15% |
| SERVFAIL 응답률 증가 | 12% |
| 주로 영향받은 지역 | Ashburn, Frankfurt, Singapore |