본문으로 건너뛰기
로그를 지키려다 과부하를 부른 Cloudflare Logs
목차

로그를 지키려다 과부하를 부른 Cloudflare Logs (2024-11)

원문 정보

5분 미만의 빈 설정이 남긴 여파

2024년 11월 14일, Cloudflare Logs를 쓰는 고객 대다수가 로그 전달 장애를 겪었습니다. 약 3.5시간 동안 평소 고객에게 보내는 로그의 약 55%가 전송되지 못한 채 유실됐습니다. 시작은 Logpush에 새 데이터셋을 지원하려던 설정 변경입니다.

새 데이터셋의 로그를 전달하려면 Logfwdr가 어떤 고객의 로그를 보내야 하는지 알아야 했습니다. 이 판단에 쓰는 설정은 별도 시스템이 몇 분마다 다시 생성합니다. 여기에 버그가 생겨 빈 설정이 전달됐습니다. Logfwdr에는 푸시할 로그를 설정한 고객이 아무도 없다는 뜻이었습니다. 팀은 실수를 발견하고 5분 안에 변경을 되돌렸습니다.

그 짧은 사이에 로그 유실을 막으려고 만든 안전장치가 작동했습니다. Logfwdr는 이 설정을 사용할 수 없으면 Logpush 작업을 설정한 고객뿐 아니라 모든 고객의 이벤트를 보내도록 구성돼 있었습니다. 이른바 fail open 동작입니다.

예를 들어 일시적인 네트워크 오류 때문에 개별 호스트가 설정을 받지 못하더라도, 필요 이상으로 로그를 보내서라도 유실을 막으려는 설계였습니다. 이 장치를 도입한 초기에는 트래픽이 훨씬 적고 고객 목록도 작았습니다. 규모가 커진 뒤의 fail open은 전혀 다른 부하를 만들었습니다. 5분도 안 되는 동안 Logfwdr가 로그를 보내는 고객 수가 폭증했고, 그 영향은 고객별 버퍼를 만드는 Buftee까지 이어졌습니다.

흩어진 로그를 묶어 보내는 Logpush

Cloudflare는 하루에 고객 이벤트 로그 50조 건 이상을 처리하고, 그중 약 4.5조 건을 고객에게 보냅니다. 전체의 10% 미만이어도 전달할 양은 방대합니다. 고객은 CDN 요청마다 생성되는 로그를 비롯한 이벤트 로그를 컴플라이언스, 관측, 정산에 사용합니다.

이 로그가 나오는 네트워크는 330개 이상의 도시에 있는 수만 대의 서버와 네트워크 장비로 구성됩니다. Edge Log Delivery를 쓰면 각 서버에서 고객에게 직접 로그를 보낼 수 있지만, 대부분의 고객은 받는 쪽의 복잡도와 비용 때문에 이 방식을 택하지 않습니다.

편지를 묶음으로 건네지 않고 한 통마다 초인종을 누르는 우편 서비스와 비슷합니다. 초당 수천 통이나 수백만 통이 도착한다면, 그만큼의 개별 전달을 처리하기는 어렵습니다. Logpush는 로그를 크기를 예측하기 쉬운 파일로 모아 보내고 사용량에 따라 자동으로 확장합니다.

로그를 모으는 일은 Logfwdr에서 시작합니다. 글로벌 네트워크의 내부 서비스에서 이벤트 로그를 받아, 로그 종류와 해당 고객, 처리 위치 규칙에 따라 보낼 로그와 목적지를 정합니다. 이때 사용하는 것이 이번에 비어 버린 설정입니다. Logfwdr가 묶음으로 넘긴 로그를 Logreceiver가 이벤트 종류와 목적에 따라 분류하고, Cloudflare Logs용 로그는 고객별 묶음으로 나눠 Buftee에 보냅니다. Logreceiver의 하루 처리량은 압축 전 약 45PB입니다.

Buftee에 쌓인 로그는 Logpush가 읽습니다. 활성 상태이고 설정이 갖춰진 작업만 실행하며, 고객이 지정한 목적지로 묶음을 보냅니다. 예를 들면 R2에 파일로 저장하는 방식입니다. 이렇게 보내는 묶음이 하루 6억 건을 넘습니다. Logfwdr, Logreceiver, Buftee, Logpush는 모두 Go로 작성됐습니다.

Buftee에 달아 놓고 매지 않은 안전벨트

Buftee는 생산자와 소비자의 처리 속도 차이를 흡수하고, 하위 소비자에 장애가 났을 때 데이터 유실을 막기 위한 분산 버퍼 시스템입니다. Cloudflare Logs에서는 Logpush 작업마다 별도 버퍼를 두고, 각 작업이 참조하는 존이나 계정에서 생성한 로그의 100%를 담습니다.

한 고객의 작업이 실패해도 다른 고객의 작업은 계속 진행됩니다. 이런 방식으로 head of line 블로킹을 피하고, 필요하면 고객 데이터를 각각 암호화하거나 삭제할 수도 있습니다. 고객별 버퍼는 작업을 서로 분리하는 장치입니다.

평소 Buftee가 전 세계에서 관리하는 버퍼는 100만 개가 넘습니다. 그런데 Logfwdr가 모든 고객의 이벤트를 보내기 시작하자, Buftee는 도착하는 로그의 고객마다 버퍼를 만들었습니다. 버퍼 하나마다 자원과 관리 비용이 필요합니다. 장애 영향이 나타나기 직전에는 버퍼 수가 약 40배인 4,000만 개에 이르렀습니다. Buftee 클러스터는 이 규모를 감당하도록 준비돼 있지 않았습니다.

버퍼 급증은 팀이 이미 예상한 실패 유형입니다. Buftee에는 이런 부하가 연쇄 장애로 번지는 것을 막을 장치도 마련돼 있었습니다. 빠진 것은 설정이었습니다. 장치를 제대로 설정했다면 Buftee는 과부하에 압도되지 않았을 것이고, 로그 전송도 계속됐을 것입니다.

자동차에 안전벨트를 달아 놓고 매지 않은 상황과 같습니다. 사고에 대비한 장치가 있어도 실제로 채워 두지 않으면 필요한 순간에 보호받을 수 없습니다. 이번에는 다른 구성요소의 버그로부터 로그를 지켜야 할 Buftee가 응답하지 않게 됐습니다.

설정을 되돌리는 것만으로 복구할 수 있는 상태도 아니었습니다. 기반 시스템이 정상적으로 조작할 수 없을 만큼 과부하에 빠져, 전체 리셋과 재시작이 필요했습니다. 5분 미만의 설정 오류를 수습하는 데 몇 시간이 걸린 이유입니다.

연쇄 과부하를 재현할 overload test

설정 생성기의 버그 자체는 고치기 쉬웠습니다. 언젠가 이런 오류가 생길 수 있다고 보고 fail open을 설계했지만, 더 큰 시스템 전체가 그 동작을 감당할 수 있는지는 정기적으로 시험하지 않았습니다. 보호 동작을 마련해 두는 것과 현재 규모에서 그 동작을 검증하는 것 사이에 공백이 있었습니다.

Cloudflare는 이번과 같은 설정 오류를 놓치지 않도록 경보를 만들고 있으며, 사고를 일으킨 버그와 관련 테스트도 바로잡고 있습니다. 실수와 설정 오류가 불가피하다는 전제에서, 시스템이 이에 예측 가능한 방식으로 대응하도록 시험 범위를 넓힐 계획입니다.

현재는 데이터센터 상실이나 네트워크 장애를 견디는지 확인하는 cut test를 정기적으로 수행합니다. 앞으로는 이번처럼 한 구성요소의 오류가 다른 구성요소의 과부하로 번지는 상황을 재현하는 overload test도 정기적으로 실시할 예정입니다. 프로덕션 시스템이 이런 연쇄 과부하를 무리 없이 처리하는지 확인하려는 계획입니다.

장애 규모와 평소 처리량
항목값
발생일2024-11-14 (UTC 시각은 원문에 없음)
영향 지속 시간약 3.5시간
유실 비율고객에게 보낼 로그의 약 55%
잘못된 설정이 유지된 시간5분 미만, 5분 안에 되돌림
하루 고객 전송 로그약 4.5조 건 (전체 처리량 50조 건 이상의 10% 미만)
Logreceiver 처리량하루 약 45PB (압축 전)
Buftee 버퍼 수평소 100만 개 이상, 영향 직전 4,000만 개 (약 40배)
Logpush 하루 전송6억 건 이상
네트워크 규모330개 이상 도시, 수만 대 서버
마지막 수정 일자