본문으로 건너뛰기
ROA 서명 뒤에도 벌어진 Cloudflare 1.1.1.1 장애
목차

ROA 서명 뒤에도 벌어진 Cloudflare 1.1.1.1 장애 (2024-07)

원문 정보

브라질에 나타난 1.1.1.1 요청

2024년 6월 27일, 미국과 독일에서 출발한 일부 1.1.1.1 요청이 브라질 데이터센터로 들어왔습니다. 평소라면 이 두 나라의 요청이 브라질로 갈 일은 없습니다. 그날 사용자가 겪은 문제는 지연만이 아니었습니다. 아예 1.1.1.1에 닿지 못하는 요청도 있었습니다.

Cloudflare가 공개한 그래프에는 이 차이가 드러납니다. 요청량이 치솟은 구간은 트래픽이 긴 지연 끝에 브라질의 Cloudflare 데이터센터에 도착한 때입니다. 그 사이 빈 구간에는 요청이 중간 네트워크에서 버려져 Cloudflare까지 오지 못했습니다. 응답이 돌아온 순간에도 정상 경로로 회복된 것은 아니었습니다.

원인은 Cloudflare 바깥에서 벌어진 BGP 하이재킹과 라우트 릭이었습니다. 한 네트워크가 1.1.1.1/32를 자기 출발지로 광고했고, 다른 네트워크는 1.1.1.0/24 경로를 전파해서는 안 되는 상대에게 넘겼습니다. 잘못된 경로를 받아들인 네트워크들이 영향을 더 넓혔습니다.

70개국의 300개가 넘는 네트워크에서 1.1.1.1이 즉시 도달 불가 상태가 되었습니다. 범위는 넓었지만 전체 사용자 중 영향을 받은 비율은 작았습니다. 영국과 독일에서는 1% 미만이었고, 영향을 알아챈 사용자가 없는 나라도 있었습니다.

테스트 주소의 이력이 남은 1.1.1.1

1.1.1.1은 기억하기 쉽습니다. Cloudflare가 2018년에 공개 DNS 리졸버를 내놓은 뒤 누구나 무료로 쓰는 인기 주소가 되었지만, 그 전부터 여러 네트워크가 실험실이나 테스트용으로 사용하던 주소이기도 합니다. 그 흔적이 예상하지 못한 트래픽이나 블랙홀 라우팅으로 남아 있습니다.

가상의 FooBar Networks가 라우터 하나에 1.1.1.1/32를 할당하고 내부에 경로를 공유했다고 가정하겠습니다. 이 네트워크의 고객은 Cloudflare의 DNS 서비스에 접근하기 어려워집니다. 그 경로를 외부까지 광고하면 다른 네트워크의 요청도 가로챌 수 있습니다.

이때 작동하는 규칙이 최장 프리픽스 매칭(LPM)입니다. 1.1.1.1에 맞는 경로로 1.1.1.0/24, 1.1.1.0/29, 1.1.1.1/32가 함께 있으면, 일치하는 비트가 가장 많은 /32를 고릅니다. Cloudflare가 광고하는 /24보다 FooBar Networks의 /32가 더 구체적인 경로인 것입니다.

평소라면 요청은 BGP 애니캐스트를 따라 가장 가까운 Cloudflare 데이터센터로 향합니다. 하지만 /32 경로가 선택되면 FooBar Networks 안에서 그 주소를 사용하는 장비에 도착하고, 클라이언트는 정상 응답을 받지 못합니다. 운영자가 의도했든 실수했든 결과는 하이재킹입니다.

하이재킹이나 라우트 릭은 인터넷의 어느 IP와 프리픽스에나 생길 수 있습니다. 1.1.1.1은 특히 잘 알려져 있고 오랫동안 다른 용도로 쓰인 이력이 있어, 우발적인 사고에 더 취약한 주소입니다.

ROA의 허용 범위를 벗어난 1.1.1.1/32

이번에 1.1.1.1/32를 광고한 곳은 ELETRONET S.A.(AS267613)였습니다. 공개 라우트 컬렉터의 기록을 monocle로 검색하면, 장애가 시작될 무렵 AS398465와 AS13760이 이 경로를 AS267613에서 받았다고 route-views에 보고한 내용이 나옵니다.

이 광고는 허용된 출발 AS와 프리픽스 길이를 모두 벗어났습니다. IP 프리픽스 소유자는 RPKI를 이용해 경로를 광고할 수 있는 출발 AS와 최대 프리픽스 길이를 Route Origin Authorization(ROA)에 서명합니다. 경로 출처 검증(ROV)은 받은 BGP 광고를 이 정보와 대조하는 방식입니다. 1.1.1.0/24의 ROA는 출발 AS로 AS13335(Cloudflare)만, 최대 길이로 /24만 허용하고 있었습니다. AS267613에서 출발한 /32는 RPKI Invalid였습니다.

프리픽스 길이에도 문제가 있었습니다. DFZ(Default-Free Zone)에서 통상 받아들이는 가장 긴 IPv4 프리픽스는 /24입니다. 그런데 여러 네트워크가 /32를 받아 실제 포워딩에 사용했고, 트래픽은 Cloudflare POP에 도착하지 못한 채 버려졌습니다.

Cloudflare 자신도 여러 라우트 서버에서 이 /32 광고를 받았습니다. 자체 BGP 모니터링 프로토콜(BMP) 데이터에 그 흔적이 남아 있지만, 경로를 받아들였다는 뜻은 아닙니다. BMP 기록은 정책 적용 전의 데이터를 보여 줍니다. Cloudflare는 잘못된 출발 AS와 프리픽스 길이를 확인해 RPKI Invalid와 DFZ Invalid로 경로를 거부했습니다.

문제를 더 키운 곳은 적어도 한 곳의 Tier 1 트랜짓 제공자였습니다. 이 제공자는 AS267613의 /32 광고를 RTBH(Remote-Triggered Blackhole) 경로로 받아들였습니다. RTBH는 DDoS 공격을 받을 때 특정 목적지의 트래픽을 자기 네트워크에 도착하기 전에 버려 달라고 상위 제공자에게 요청하는 수단입니다. 이번에는 Cloudflare가 아닌 제3자의 요청으로, Cloudflare로 가야 할 트래픽을 제공자 엣지에서 버린 것입니다.

이 Tier 1 제공자를 거쳐 1.1.1.1로 가던 네트워크들은 주소에 접근할 수 없었습니다. AS267613에는 1.1.1.1/32를 블랙홀 처리할 권한이 없었습니다. 그 권한은 해당 목적지를 운영하는 Cloudflare에만 있어야 하며, Cloudflare는 실제로 그런 조치를 하지는 않을 것이라고 밝혔습니다.

올바른 출발 AS 뒤에 숨은 라우트 릭

1.1.1.0/24 쪽의 문제는 출발지가 아니었습니다. 광고의 맨 끝에는 올바른 AS13335가 있었으므로 RPKI Valid였습니다. 잘못된 부분은 그 경로가 전파된 순서였습니다.

예시 AS path인 "199524 1031 262504 267613 13335"를 출발지 AS13335 쪽에서 읽으면 문제가 생긴 지점을 찾을 수 있습니다. AS267613은 Cloudflare와 기능상 피어 관계입니다. Cloudflare에서 받은 경로는 자기 고객에게 전달할 수 있지만, 다른 피어나 업스트림에 넘겨서는 안 됩니다. AS262504는 AS267613의 고객이므로 여기까지의 전달은 정상입니다.

경계를 넘은 곳은 Nova Rede de Telecomunicações Ltda(AS262504)였습니다. AS267613에서 받은 경로를 또 다른 업스트림인 Peer-1 Global Internet Exchange(AS1031)에 광고했습니다. 고객이 한 제공자에게서 배운 경로를 다른 제공자에게 넘기는, RFC7908의 타입 1 릭에 해당합니다. 경로를 받아서는 안 되는 방향으로 전파하면서 트래픽의 통과 경로를 바꾼 것입니다.

AS1031은 이 광고를 여러 지역의 피어와 라우트 서버로 퍼뜨렸습니다. Cloudflare는 AS1031의 고객이 아니므로, AS1031이 이 경로를 피어·라우트 서버·업스트림에 재배포해서는 안 되었습니다. Cloudflare는 AS1031이 고객 BGP 세션을 충분히 필터링하지 않고 인접 AS가 AS262504인지 정도만 확인한 뒤 경로를 재배포하는 것으로 보인다고 지적했습니다. 이런 운영을 무책임하다고 비판한 이유도 명확합니다. 처음 릭을 낸 곳은 AS262504였지만, AS1031을 비롯한 네트워크들이 이를 받아 널리 전파하면서 피해가 커졌기 때문입니다.

왜 Cloudflare에서 직접 받은 경로보다 이렇게 돌아가는 경로가 선택될까요?

BGP는 인터넷의 라우팅 프로토콜이면서 비즈니스 정책 엔진이기도 합니다. 트랜짓 제공자는 데이터를 운반해 주는 대가를 고객에게 받습니다. 그래서 고객 연결을 더 많이 사용하도록, 피어 연결보다 고객에게서 받은 경로에 높은 local-preference를 부여합니다. 이 값이 어떤 연결로 트래픽을 보낼지 우선순위를 정합니다.

네트워크에 따라서는 인터넷 익스체인지(IX)보다 사설 연결(PNI)로 받은 경로를 선호하기도 합니다. 두 네트워크 사이에 제3자가 관리하는 연결망이 없다는 신뢰성이 이유 중 하나입니다. 라우터 포트와 크로스커넥트에 비용을 들였으니 그 연결을 충분히 쓰려는 이유도 있습니다. Cloudflare가 전 세계 13,000개가 넘는 네트워크와 연결돼 있어도, 릭된 경로의 local-preference가 직접 받은 경로보다 높을 수 있습니다.

잘못된 경로를 충분히 많은 네트워크가 채택하면, 릭을 낸 네트워크가 감당할 준비도 없이 전 세계 트래픽을 끌어들여 과부하에 빠지기도 합니다. 이번 사고에서는 그 경로가 요청을 AS267613으로 모았습니다. 사고 시간 대부분에 AS267613은 내부 어딘가에서 1.1.1.1/32 트래픽을 버리고 있었습니다. /24 라우트 릭이 /32 하이재킹의 도달 불가 범위를 넓힌 것입니다.

피어링을 끊은 뒤에도 남은 São Paulo 경로

모든 시각은 UTC입니다.

2024-06-27 18:51, AS267613이 자기 AS를 출발지로 삼아 피어·제공자·고객에게 1.1.1.1/32 광고를 시작했습니다. 18:52에는 AS262504가 AS267613에서 받은 1.1.1.0/24를 AS1031에 넘겼고, AS1031은 이를 여러 IX 피어와 라우트 서버로 전파했습니다. 이때 AS path는 "1031 262504 267613 13335"였습니다. 같은 18:52에 Tier 1 제공자 한 곳이 /32 광고를 RTBH 경로로 받아들이면서, 그 제공자를 거치는 고객들의 1.1.1.1 트래픽이 버려졌습니다.

Cloudflare가 여러 나라의 접근 문제를 내부 사고로 선언한 시각은 20:03입니다. 20:08에는 1.1.1.0/24 트래픽을 받고 있던 AS267613과의 파트너 피어링 지점을 비활성화하고, AS267613에 사고를 알렸습니다.

피어링 한 곳을 닫아도 릭은 이어졌습니다. 20:10에 AS262504는 "262504 53072 7738 13335"라는 새 AS path로 1.1.1.0/24를 흘렸고, AS1031이 이를 재배포했습니다. 이 경로의 요청은 Cloudflare까지 도착했지만 지연이 컸습니다. Cloudflare는 20:17에 AS262504에도 상위 제공자 방향의 라우트 릭을 알렸습니다.

21:56에는 AS267613과의 두 번째 피어링 지점을 비활성화했습니다. 이곳에는 브라질 밖의 여러 출발지에서 온 1.1.1.0/24 트래픽이 들어오고 있었습니다. 그러나 AS262504가 São Paulo를 가리키는 오래된 경로를 계속 전파하면서 문제가 남았습니다. 22:16에 다시 발생한 릭으로 일부 요청이 São Paulo의 AS267613 피어링에 도착했고, Cloudflare는 요청을 처리했지만 사용자까지의 왕복 시간이 길었습니다. 이 무렵에는 /32 하이재킹과 블랙홀링이 해소된 것으로 보였습니다.

사고 중 잠깐씩 요청이 Cloudflare에 도달한 현상은 AS267613 내부에서 /32 경로가 나타났다 사라지는 플래핑으로 설명할 수 있습니다. 그 사이 트래픽이 통과했을 가능성입니다. 라우트 릭이 완전히 해소된 시각은 2024-06-28 02:28이었습니다.

Cloudflare는 사고에 관여한 네트워크들과 재발 방지 방안을 논의했습니다. 여기에는 무단 /32 블랙홀 경로를 받아들여 영향을 크게 만든 Tier 1 제공자도 포함됩니다.

블랙홀 권한을 가려내지 못한 RTBH 필터

이번 /32 광고에는 이미 거부할 근거가 있었습니다. MANRS의 BGP 모범 사례를 따르고 DFZ에서 /24보다 긴 IPv4 프리픽스를 거부했어도 영향은 줄었을 것입니다. RPKI 출처 검증 역시 이 광고를 무효로 판단할 수 있었습니다.

당시 ROA로 서명된 프리픽스 비율은 50%에 도달했습니다. 하지만 서명된 경로가 있어도 다른 네트워크가 검증 결과에 따라 잘못된 광고를 거부해야 하이재킹의 확산을 제한할 수 있습니다. 특히 많은 하위 AS를 둔 대형 네트워크의 적용이 필요합니다. 자신의 ISP가 RPKI 출처 검증을 시행하는지는 isbgpsafeyet.com에서 확인할 수 있습니다.

RTBH에는 별도의 권한 문제가 남습니다. RTBH용 BGP 필터는 흔히 IRR(Internet Routing Registry)의 AS-SET 객체에만 의존합니다. 이 정보만으로는 어떤 AS가 1.1.1.1/32를 블랙홀 처리할 권한이 있는지 입증하지 못합니다. 이번 사고에서 상당한 피해가 발생한 지점입니다.

그렇다고 RTBH 필터에 ROA를 그대로 적용하기도 어렵습니다. Cloudflare 규모에서는 수천 개의 ROA가 필요해 현실적이지 않습니다. 구체적인 /32 항목을 만들면 누군가 AS13335를 사칭해 그 주소를 광고할 위험도 생깁니다. 그렇게 광고된 1.1.1.1/32가 인터넷에서 가장 구체적인 경로로 선택되면 심각한 영향을 줄 수 있습니다.

Cloudflare가 가능한 대안으로 든 것은 Discard Origin Authorization(DOA)입니다. 만료된 IETF 초안 draft-spaghetti-sidrops-rpki-doa-00이 제안한 객체로, 특정 프리픽스의 블랙홀 처리를 요청할 수 있는 출발 AS를 명시합니다. 이런 객체에 서명하고 RTBH 요청을 대조했다면 AS267613의 요청은 무효로 판정됐을 것입니다. 이는 도입을 마친 해결책이 아니라, 느슨한 RTBH 권한 검증을 보완할 수 있는 제안입니다.

전파 경로의 권한까지 확인하는 ASPA

외부 네트워크의 행동을 Cloudflare가 직접 통제할 수는 없습니다. Cloudflare는 그 조건에서도 영향을 더 빨리 발견하고 대응하겠다고 밝혔습니다. 라우트 릭 탐지 시스템이 더 많은 네트워크를 관측하도록 데이터 소스는 이미 늘렸고, 실시간 데이터를 통합하는 작업은 진행 중이었습니다.

출발 AS가 올바른 릭을 막으려면 전파 경로를 검증해야 합니다. Cloudflare가 지지하는 Autonomous System Provider Authorization(ASPA)은 AS가 자기 경로를 전파하도록 허용한 제공자 목록에 서명하는 방식입니다. 프리픽스와 출발 AS의 관계를 확인하는 ROA에서 더 나아가, AS 사이의 제공자 관계를 확인합니다. Cloudflare의 경우라면 AS13335의 프리픽스를 상위로 광고할 수 있는 정당한 트랜짓 제공자만 허용 목록에 서명하는 것입니다.

이번 경로에도 이 검증을 대입할 수 있습니다. AS267613이 허용한 제공자 목록에 서명하고 AS1031이 그 목록으로 AS 경로를 검증했다면, AS262504가 경로를 상위로 넘긴 릭을 탐지했을 것입니다. 하지만 원문이 발표된 시점의 AS 경로 검증은 아직 IETF 초안 단계였습니다. 출처 검증이 보급되는 과정과 마찬가지로 긴 시간이 필요한 작업이며, 특히 대형 제공자들이 ASPA에 근거해 잘못된 AS path를 거부해야 효과가 납니다.

다른 접근으로는 RFC9234가 있습니다. BGP의 기능과 속성에 피어 역할을 표현하고, 경로상 라우터의 설정에 따라 프리픽스에 Only-To-Customer(OTC) 속성을 붙이는 방식입니다. 이 속성으로 고객에게만 전달해야 하는 경로가 업스트림으로 새어 나가는 것을 막을 수 있습니다.

여기에도 도입 조건이 붙습니다. 피어링 세션마다 역할을 지정하는 BGP 설정이 필요하고, 실제 운용에 쓰려면 벤더 지원도 더 다듬어져야 합니다. 이런 대안들이 인터넷 전반에 널리 보급되리라는 보장은 없습니다. 어느 접근이든 경로에 참여하는 네트워크 운영자들의 협력이 있어야 라우트 릭을 막을 수 있습니다.

원문의 주요 시각과 수치
항목값
영향 범위70개국 300개 이상 네트워크에서 즉시 도달 불가
사용자 비율영국, 독일은 1% 미만, 영향 없는 나라도 있음
18:51 UTCAS267613이 1.1.1.1/32 광고 시작
18:52 UTCAS262504가 1.1.1.0/24를 AS1031에 릭, AS1031 전파, Tier 1 제공자가 1.1.1.1/32를 RTBH로 수용
20:03 UTCCloudflare 내부 사고 선언
20:08 UTCAS267613과의 파트너 피어링 지점 비활성화
20:10 UTCAS262504가 새 경로 “262504 53072 7738 13335"로 릭, 높은 지연
21:56 UTCAS267613과의 두 번째 피어링 지점 비활성화
22:16 UTCAS262504가 다시 릭, 하이재킹과 블랙홀링은 해소된 것으로 보임
06-28 02:28 UTCAS262504가 릭을 완전히 해소
ROA 서명출발 AS13335, 최대 프리픽스 길이 /24
Cloudflare 연결 네트워크13,000개 이상
RPKI 도입ROA 서명 프리픽스 기준 50%
마지막 수정 일자