본문으로 건너뛰기
Verisign DNSSEC 장애로 태평양을 건넌 DNS 쿼리
목차

Verisign DNSSEC 장애로 태평양을 건넌 DNS 쿼리 (2023-07)

원문 정보

오리진 주소를 찾지 못한 Cloudflare

2023년 7월 9일 일요일 이른 아침(UTC), 아시아태평양에서 Cloudflare를 쓰는 일부 사이트의 방문자가 연결 오류를 겪었습니다. 요청이 Cloudflare까지 도착해도 오리진 서버의 주소를 찾지 못해 HTTPS 요청을 전달할 수 없었습니다. 영향을 받은 데이터센터에서는 외부 조회와 오리진 조회를 합친 전체 DNS 쿼리의 최대 7%가 실패했습니다.

문제는 이 지역의 Verisign 네임서버가 보내는 응답에 있었습니다. .com과 .net 최상위 도메인(TLD)의 DNSSEC 서명이 만료된 상태였습니다. Cloudflare는 유효한 서명을 반환하는 미국 서부로 DNS 트래픽을 돌려 접속 오류를 해소했습니다.

CNAME 뒤에 남은 DNS 조회

blog.cloudflare.com의 오리진이 origin.example로 설정돼 있다고 가정해 보겠습니다. 방문자를 대신해 1.1.1.1이나 8.8.8.8 같은 공개 리졸버가 blog.cloudflare.com을 조회하면 Cloudflare Anycast IP가 돌아옵니다. 브라우저는 그 IP로 HTTPS 요청을 보냅니다. 여기까지가 외부 DNS 해석입니다.

이제 Cloudflare가 오리진에 연결할 차례입니다. 요청을 받은 데이터센터에 콘텐츠가 캐시돼 있지 않으면 오리진에서 가져와야 합니다. 고객의 DNS 설정에 IP 주소가 있으면 바로 연결하지만, CNAME이 있으면 그 대상의 IP를 다시 찾아야 합니다. 이 예에서는 origin.example을 조회하는 단계가 오리진 DNS 해석에 해당합니다.

외부 DNS 해석에서도 CNAME 대상의 IP가 필요할 때가 있습니다. 권한 네임서버가 CNAME 레코드 자체 대신 대상 IP를 반환하는 CNAME flattening입니다. 이 작업과 오리진의 CNAME 대상 조회에는 모두 Cloudflare의 자체 재귀 리졸버가 쓰입니다. 캐싱과 쿼리 최적화, DNSSEC 검증을 담당하는 리졸버입니다.

이번 장애에서는 CNAME으로 .com이나 .net 도메인을 가리키는 고객만 영향을 받았을 수 있습니다. 해당 도메인의 IP를 알아내는 과정에서 서명 검증이 실패했기 때문입니다.

서명과 함께 검사하는 DNSSEC 만료 시각

DNSSEC은 DNS 응답이 정당한 권한 네임서버에서 왔고 전송 도중 바뀌지 않았는지 확인하도록 레코드에 암호 서명을 붙입니다. 서명은 RRSIG 레코드에 담겨, 그 서명이 보호하는 레코드와 함께 RRset을 이룹니다. 재귀 리졸버는 서명 자체뿐 아니라 만료 시각도 검사합니다. 오래된 키가 이미 침해됐을 가능성이 있으므로, 그 키로 서명한 RRset을 계속 반환하지 않도록 하는 제한입니다.

만료된 서명은 검증을 통과하지 못합니다. Verisign이 그런 서명을 간헐적으로 반환하자 Cloudflare의 재귀 리졸버는 해당 RRset을 검증하지 못했고, 일부 쿼리에 SERVFAIL로 응답했습니다. 자체 권한 DNS 시스템도 필요한 IP 주소를 얻을 수 없었습니다. CNAME flattening과 오리진 주소 조회가 이 지점에서 실패했습니다.

싱가포르에서 확인한 만료 서명

첫 오류는 7월 8일 21:10 UTC, 아시아태평양 여러 데이터센터의 오리진 DNS 해석 로그에 나타났습니다. 존재하지 않는 DNS 레코드를 증명하는 NSEC3 응답의 서명에 문제가 있는 것으로 보였습니다. 첫 내부 알림은 한 시간쯤 뒤인 22:16에 울렸습니다. 문제가 일정 시간 지속돼야 알림을 내는 방식이었고, 당시 오류율은 업스트림 쿼리의 약 0.5%였습니다.

몇 시간 뒤에는 실패율이 약 13%로 높아졌습니다. 장애가 이어지는 동안 영향을 받은 지역의 업스트림 쿼리 가운데 10~15%가 실패했습니다. 처음에는 오류 로그가 특정 업스트림으로 해석되는 도메인에 몰려 있어 단일 제공자의 문제로 보였습니다. 그러나 7월 9일 04:52에는 여러 .com과 .net 도메인이 영향을 받고 있으며, 오류가 아시아태평양에서만 간헐적으로 발생한다는 점을 파악했습니다.

조회 경로에 따라서도 결과가 달랐습니다. 05:15 당시 8.8.8.8과 1.1.1.1을 거친 쿼리에서는 유효하지 않은 DNSSEC 서명이 나오지 않았지만, 로컬 스텁 리졸버의 쿼리는 계속 오류를 냈습니다. 06:24에는 싱가포르의 Verisign 네임서버가 만료된 서명을 반환하고, 다른 지역의 응답은 정상임을 확인했습니다. Cloudflare가 Verisign에 이를 알린 시각은 06:41입니다.

태평양을 건너 미국 서부로 향한 쿼리

Cloudflare는 지역에 한정된 이 문제를 가장 빨리 우회하려면 Verisign 네임서버로 가는 로컬 경로부터 바꿔야 한다고 판단했습니다. 7월 9일 06:50 UTC에 .com과 .net Verisign 네임서버로 향하는 IPv4 DNS 트래픽을 미국 서부 IP로 돌리자 오류율이 크게 떨어졌습니다. 07:06에는 IPv6 트래픽도 우회했습니다. 오류율은 0이 됐습니다.

DNS 쿼리는 이제 태평양을 건너야 했습니다. 이 때문에 아시아태평양에서 .com이나 .net 도메인을 처음 찾는 방문자는 지연이 조금 늘어날 수 있습니다. 자주 조회하는 이름은 첫 요청 뒤 캐시에 남습니다. Cloudflare는 로컬 재귀 리졸버의 캐시를 데이터센터 안에서 모아 공유하므로, 캐시를 처음 채우는 조회도 데이터센터마다 한 번만 거치면 됩니다. 거리가 늘어난 데 따른 영향이 예상보다 작은 이유입니다.

관리 접속을 잃고도 응답하던 Verisign 사이트

우회로 접속 오류를 해소한 뒤에도 아시아태평양에서 만료된 서명을 보내는 문제는 남아 있었습니다. 7월 10일 18:23 UTC, Verisign은 로컬 사이트에서 오래된 데이터를 제공하고 있었으며 문제를 해결했다고 회신했습니다. 7월 11일에는 원인을 설명하는 공지가 나왔고, Cloudflare도 글에 이를 추가했습니다.

Verisign은 싱가포르 DNS 해석 사이트를 한 사업자에서 다른 사업자로 이전하던 중 관리 접속을 잃었습니다. 사이트에 변경 사항과 DNS 갱신을 전달할 수 없는 상태였습니다. 표준 절차에 따라 모든 트랜짓 링크를 껐지만 피어링 라우터 하나는 계속 작동했고, 접속이 끊긴 탓에 팀은 이를 바로 알아채지 못했습니다.

주말이 되자 해당 사이트의 DNSSEC 서명이 만료되기 시작했습니다. 갱신을 받지 못하는 사이트가 여전히 응답을 보내고 있었던 것입니다. 피어링 라우터의 전원을 끄자 Anycast 경로 광고가 철회됐고, 트래픽은 다른 사이트로 향했습니다.

Verisign은 싱가포르 사이트가 200곳이 넘는 중복 구성의 글로벌 네트워크 일부이며, 이번 문제가 전 세계 .com과 .net의 핵심 DNS 해석에는 영향을 주지 않았다고 설명했습니다. 재발을 막기 위한 절차도 개선 중이라고 밝혔습니다.

Cloudflare는 긴급한 상황에 조치할 수 있는 다른 사업자와 빨리 연락하도록 사고 소통 채널을 개선하겠다고 밝혔습니다. 자사 고객 밖에서도 피해가 발생했을 수 있는 문제였기 때문입니다. 비슷한 장애를 더 빨리 탐지하고 해결할 방법도 조사하겠다고 했습니다. 장애의 원인을 제공한 쪽은 아니었지만, 접속하지 못한 고객과 사용자에게 사과했습니다.

사고 타임라인 (UTC)
시각사건
2023-07-08 21:10오리진 DNS 해석 로그에 DNSSEC 검증 오류 첫 등장
2023-07-08 22:16아시아태평양 데이터센터의 첫 내부 알림, 테스트 도메인에서 오리진 DNS 해석 오류
2023-07-09 02:58오류율이 크게 올라 사고 선언
2023-07-09 03:28단일 업스트림 제공자 문제로 판단
2023-07-09 04:52.com, .net 도메인 여러 곳에 걸친 문제임을 인지, 아시아태평양에 한정되고 간헐적
2023-07-09 05:158.8.8.8, 1.1.1.1 경유 쿼리에서는 유효하지 않은 서명이 나오지 않음, 로컬 스텁 리졸버는 계속 오류
2023-07-09 06:24싱가포르 Verisign 네임서버 응답에 만료된 서명 확인, 다른 위치는 정상
2023-07-09 06:41Verisign에 통보
2023-07-09 06:50IPv4 DNS 트래픽을 미국 서부 IP로 우회, 오류율 크게 하락
2023-07-09 07:06IPv6 DNS 트래픽도 우회, 오류율 0
2023-07-10 09:23우회 유지 중, 만료 서명 문제는 미해결
2023-07-10 18:23Verisign이 오래된 데이터를 서빙했음을 확인하고 해결했다고 회신
영향 수치
항목값
전체 DNS 쿼리 실패율 (아시아태평양, 최대)약 7% (장애 중 대체로 5~7%)
업스트림 DNS 쿼리 실패율10~15% (한때 약 13%)
첫 알림 시점의 오류율업스트림 쿼리의 약 0.5%
영향 대상.com, .net 도메인으로 CNAME을 쓰는 고객
Verisign 글로벌 네트워크 규모200개 이상 사이트
마지막 수정 일자