목차
Cloudflare DNS를 공용 DB에서 분리한 2초의 전환 (2024-10)
원문 정보
- 원문: Migrating billions of records: moving our active DNS database while it’s in use
- 매체 · 게시일: The Cloudflare Blog · 2024-10-29
- 저자: Alex Fattouche, Corey Horton
- 원문 내용을 바탕으로 재구성한 요약입니다.
DNS 요청에 함께 느려진 cfdb
DNS 요청이 몰리자 다른 서비스의 데이터베이스 성능까지 떨어졌습니다. Cloudflare API 대부분이 함께 쓰던 Postgres 클러스터 cfdb에서 생긴 문제입니다. 데이터베이스 접근과 주변 시스템을 개선하는 데도 한계가 있었고, 2022년 말 DNS 팀은 다른 25개 팀의 도움을 받아 DNS 레코드를 별도 클러스터 dnsdb로 옮기기로 했습니다.
옮겨야 할 데이터는 방대했습니다. DNS는 흔히 인터넷의 전화번호부에 비유되는데, 전화번호부가 다루는 지역에 따라 두꺼워지듯 호스트 이름과 IP 주소 등의 정보를 담은 존 파일도 한 도메인에서 수백만 레코드까지 커집니다. Cloudflare의 가장 큰 존은 약 400만 레코드를 담고 있으며, 대다수 존은 100개 미만입니다. W3Techs 조사에 따르면 2024년 10월 기준 전체 웹사이트의 14.5%가 Cloudflare를 권한 DNS 제공자로 사용합니다.
2022년에 처음 측정했을 때 DNS 데이터는 cfdb 저장 용량의 약 40%를 차지했습니다. 주 시스템과 여러 복제본으로 구성된 이 클러스터에 DNS 존을 저장하고, 분산 KV 저장소 Quicksilver를 거쳐 330개 이상 도시의 데이터센터로 전파하는 방식입니다. 고객이 가장 많이 쓰는 DNS Records API도 요청마다 데이터베이스에 질의합니다. DNS와 무관한 서비스까지 함께 부하를 주는 cfdb에서, DNS 데이터와 그 접근을 분리해야 할 이유가 충분했습니다.
복사하는 동안에도 바뀌는 수십억 레코드
주 테이블인 cf_rec에는 이전 당시 DNS 레코드 17억 건이 있었습니다. 인덱스를 포함한 디스크 사용량은 1.5TB입니다. 하루에도 삽입 300만~500만 건, 갱신 100만 건, 삭제 300만~500만 건이 일어났습니다. 초기 데이터를 복사하는 동안에도 따라잡아야 할 변경이 계속 쌓이는 테이블입니다.
cf_archived_rec는 cf_rec에서 폐기된 레코드의 복사본을 보관합니다. 이전 당시 약 43억 건이 있었고, cf_rec에서 삭제되는 레코드에 대응해 하루 300만~500만 건이 추가됐습니다. 이 테이블은 대개 삽입만 일어나며 갱신과 삭제는 없습니다. 두 테이블 모두 Cloudflare의 여러 중요 시스템이 기준으로 삼는 데이터입니다.
다행히 기존 테이블에는 트리거나 외래 키가 없었습니다. 레코드를 삽입·갱신·삭제하면서 다른 테이블에 변경을 일으키거나 의존 관계를 걱정하지 않아도 됐습니다.
실제 이전은 Cloudflare의 모든 Postgres 클러스터를 관리하는 데이터베이스 팀이 맡았습니다. 최우선 조건은 데이터 유실을 막고, 유실이 없다는 사실까지 증명하는 일이었습니다. 잃어버린 데이터와 함께 무너진 신뢰는 되찾기 어렵기 때문입니다. 팀은 쉽게 감사할 수 있는 이전 절차를 원했고, 다운타임은 1분 미만, 가능하면 몇 초의 지연으로 줄이려 했습니다.
새 클러스터를 준비하면서 이전 방식이 충족해야 할 조건도 더해졌습니다.
- 예상치 못한 문제가 생기면 큰 다운타임 없이 cfdb로 돌아갈 수 있는 양방향 이전
- 접근 대부분이
zone_id기준인cf_rec에mod(zone_id, num_partitions)를 키로 적용하는 파티셔닝 - 빠뜨린 프로세스 하나 때문에 전체 이전을 되돌리지 않도록, cfdb에서 dnsdb의 데이터를 읽을 수 있게 하는 foreign table
- 애플리케이션이 주 데이터베이스를 알고, 한 번에 한 데이터베이스에만 쓰도록 하는 제어
다운타임을 이 정도로 줄이려면 데이터 변경을 거의 실시간으로 옮겨야 했습니다. 처음에는 pgLogical을 이용한 논리 복제를 검토했지만 성능과 정확성 감사 가능성이 걱정됐습니다. 여기에 추가 요구 사항까지 더해지면서 이번 이전에는 pgLogical을 쓸 수 없었습니다.
직접 접근을 대신한 DNS Records gRPC API
복사에 앞서 풀어야 할 문제는 오래 묶여 있던 데이터와 서비스의 관계였습니다. Cloudflare는 처음에 단일 Postgres 클러스터 cfdb에 존과 계정 정보를 저장했고, 컨트롤 플레인 서비스 대부분이 여기에 의존했습니다. 2017년쯤부터 여러 서비스가 데이터를 밖으로 옮겨 마이크로서비스로 제공하기 시작했지만, DNS 레코드는 분리가 쉽지 않았습니다. 대부분의 서비스가 존과 DNS 레코드를 함께 알아야 했기 때문입니다.
존을 통째로 함께 옮기는 것도 적절하지 않았습니다. DNS에서 출발한 존이라는 개념은 이미 DNS 이외의 설정을 담고, 여러 제품을 고객 웹사이트와 연결하는 역할로 넓어져 있었습니다. DNS 레코드를 옮기려면 존 데이터는 남겨 둔 채 둘 사이의 의존성을 풀어야 했습니다.
접근 방식도 바꿨습니다. 기존에는 DNS 팀이 어떤 시스템이 어떤 데이터에 어느 속도로 접근하는지 거의 통제하지 못했습니다. 새로 만든 내부 DNS Records gRPC API는 이 접근을 관리하는 인터페이스입니다. 여러 시스템과 일일이 조율하지 않고 API 한 곳에서 접근 로직과 감사 절차를 바꾸거나, 필요에 맞게 속도 제한과 캐시를 적용할 수 있게 됐습니다.
이 인터페이스로 옮기는 작업부터 작지 않았습니다. 5개 프로그래밍 언어로 작성된 20개 이상의 서비스가 데이터베이스 직접 접근을 gRPC API 호출로 바꿨습니다. DNSSEC, TLS, Email, Tunnels, Workers, Spectrum, R2처럼 중요한 영역을 다루는 서비스도 포함됐습니다.
데이터베이스 안의 로직에도 존과 레코드가 함께 필요했습니다. 레코드를 생성할 때 존의 최대 허용량을 넘지 않는지 확인하는 검사가 한 예입니다. 기존 SQL은 레코드 수와 존의 한도를 비교했지만, DNS 레코드를 다른 클러스터로 옮기면 같은 방식으로 존을 조회할 수 없습니다. 레코드 변경을 감사하는 SQL 함수 역시 양쪽 데이터에 의존했습니다.
몇 년간 관련 기능을 모놀리식 API에서 별도 마이크로서비스로 옮겨 둔 작업이 여기서 도움이 됐습니다. 감사와 존 설정 로직을 데이터베이스에서 애플리케이션으로 옮길 수 있었기 때문입니다. 새 클러스터에서도 SQL 함수는 계속 사용합니다. 다만 레거시 시스템에 의존하지 않으며 최신 Postgres 버전을 활용합니다.
변경 이력을 배치로 옮기는 CDCTS
DNS와 존 데이터베이스를 대체로 분리한 뒤에는 실제 데이터를 옮길 차례였습니다. 이를 위해 만든 것이 Change Data Capture and Transfer Service(CDCTS), 변경을 캡처하고 전송하는 서비스입니다. 먼저 cfdb의 데이터를 dnsdb로 복사하고, 복사를 시작한 뒤 cfdb에서 발생한 변경을 계속 반영하도록 설계했습니다.
어려운 쪽은 변경을 따라잡는 과정이었습니다. 일반적인 논리 복제는 삽입·갱신·삭제를 같은 트랜잭션 순서로 재생하는 단일 스레드 파이프라인입니다. 큐 방식도 검토했지만, 보통 변경을 한 건씩 재생한다는 점에서 속도와 감사 가능성이 걱정됐습니다. 팀은 초기 복사 이후 쌓인 변경을 큰 배치로 적용해 빠르게 따라잡고 싶었습니다.
선택한 방법은 변경 캡처 테이블이었습니다. 트리거가 변경된 레코드를 실시간으로 기록하고, 전송 서비스가 한 배치에 수천 건씩 dnsdb로 옮겨 적용합니다. 전송과 적용 기록을 남겨 데이터가 안전하게 옮겨졌는지도 검증합니다. 아래에서는 cf_rec를 기준으로 설명하며, cf_archived_rec도 같은 과정을 거칩니다.
cf_rec에는 트리거를 새로 달고, 같은 열을 가진 변경 로그 테이블 log_cf_rec를 만들었습니다. 여기에 시퀀스 기반 고유 식별자 change_id, 동작을 나타내는 action(i/u/d), 변경 기록 시각 change_timestamp, 변경한 데이터베이스 사용자 change_user를 추가했습니다. 삽입과 갱신 때는 새 값을 복사합니다. 삭제 때는 기본 키 값만 담은 ‘D’ 레코드를 남깁니다.
중간 파일 없이 나눠 옮기는 초기 복사
변경 기록을 시작한 뒤 초기 데이터를 복사했습니다. 대상 클러스터에서는 테이블 구성이 달라지고 네트워크 타임아웃도 고려해야 했으므로, 몇 시간짜리 단일 복사나 pg_dump 대신 작은 범위로 나눠 옮기고 매번 검증하는 방식을 택했습니다. 장시간 읽기로 프로덕션에 영향을 주지 않아야 했고, 복사를 언제든 멈췄다가 재개할 수도 있어야 했습니다.
복사 자체는 단순합니다. cfdb에서 실행한 psql COPY의 출력을 dnsdb의 psql COPY 입력으로 연결하며, 중간 파일은 만들지 않습니다. 배치를 보내기 전에 cfdb에 옮길 레코드 수를 기록하고, 복사가 끝나면 dnsdb의 건수와 비교했습니다. 네트워크 중단 같은 예기치 못한 오류로 데이터가 빠졌는지 확인하기 위한 절차입니다.
운영 중에 멈출 방법도 마련했습니다. bash 스크립트가 pause_copy와 end_copy 파일을 확인하도록 만들어, 프로덕션 부하가 커지거나 사고가 나면 파일을 생성해 복사를 일시 중지하거나 끝낼 수 있게 했습니다.
30번의 갱신 뒤에 남기는 마지막 상태
초기 복사가 끝나면 그동안 쌓인 변경을 옮깁니다. cfdb의 fn_log_change_transfer_log_cf_rec(batch_id, batch_size) 함수는 지정한 크기만큼 log_cf_rec에서 배치를 고른 뒤, 전송 기록인 transferred_log_cf_rec에 복사하고 원래 로그에서 지웁니다. 이어 log_change_action에 전송 규모를 요약하고 배치를 반환합니다. 이 함수 안의 작업은 하나의 데이터베이스 트랜잭션입니다.
반환한 배치는 초기 복사와 같은 psql 파이프 방식으로 dnsdb의 migrate_log_cf_rec에 넣습니다. 이곳은 변경을 실제 cf_rec에 적용하기 전에 보관하는 테이블입니다. 이후 log_change_apply를 호출해 변경 적용과 감사 기록을 한 트랜잭션에서 처리합니다.
모든 변경을 차례로 재생할 필요는 없었습니다. 레코드 하나를 삽입한 뒤 30번 갱신했다면, 적용할 때 필요한 것은 마지막 갱신의 상태입니다. 함수는 배치를 임시 테이블로 옮기고 log_change_action에 배치별 건수를 기록한 다음, 고유 ID마다 마지막 동작만 남깁니다.
그다음 변경 대상 레코드를 dnsdb의 cf_rec에서 삭제하고, 마지막 동작이 삽입이나 갱신인 레코드를 넣습니다. 마지막 동작이 삭제라면 다시 넣지 않습니다. 처리한 배치는 applied_migrate_log_cf_rec에 남겨 적용 내역을 감사할 수 있게 했습니다.
배치 추출, dnsdb로 복사, 변경 적용, 양쪽 log_change_action의 건수 비교는 각각 별도 트랜잭션으로 실행했습니다. cfdb에서는 무엇을 보냈는지, dnsdb에서는 무엇을 적용했는지 기록해 서로 대조하는 방식입니다. 실제 전환 몇 주 전부터 이 과정을 3초마다 반복하며 dnsdb가 cfdb의 변경을 따라가도록 했습니다.
쓰기 대상을 dnsdb로 바꾸는 순간
마지막 전환 구간에는 쓰기를 잠가야 했습니다. DNS Records API가 이 잠금을 알고 HTTP 요청을 잠시 보류하도록 만들면, API 사용자의 다운타임을 거의 0으로 줄일 수 있으리라 기대했습니다. 이를 위해 데이터베이스와 API 사이에 전환 상태를 전달하는 cf_migration_manager 테이블을 만들었습니다.
테이블에는 활성 데이터베이스를 뜻하는 A 또는 B와 쓰기 잠금 여부를 기록합니다. DNS Records API는 이 테이블을 주기적으로 조회하며, 쓰기가 잠겨 있으면 잠금이 풀릴 때까지 HTTP 요청을 보류합니다. 상태를 바꾸는 주체는 마이그레이션 매니저 스크립트입니다. 앞서 내부 서비스의 접근을 gRPC API로 모아 둔 덕분에, 이 제어를 거치지 않는 쓰기를 막을 수 있었습니다.
목표는 몇 초 안에 전환하는 것이었습니다. 그래도 만일에 대비해 몇 시간까지 걸릴 수 있는 DNS 유지보수 기간을 공지했습니다. 양쪽 데이터베이스가 대략 동기화된 상태에서, 먼저 변경 복사 간격을 3초에서 0.5초로 줄였습니다.
이어서 cf_migration_manager로 cfdb의 쓰기를 잠그자 DNS Records API가 쓰기 요청을 보류했습니다. cfdb를 읽기 전용으로 바꾸고 마지막 변경을 dnsdb로 복사한 뒤에야 dnsdb의 쓰기를 활성화했습니다. 마지막으로 cf_migration_manager에서 새 주 데이터베이스가 dnsdb임을 알리고 API의 쓰기 요청을 다시 진행시켰습니다.
전체 전환은 2초를 넘지 않았습니다. 쓰기를 잠그고 밀린 질의를 처리하는 동안 API 지연은 급증했으며, 평소 수준으로 돌아오기까지는 몇 분이 걸렸습니다.
남은 문제도 있었습니다. cfdb에서 DNS 레코드에 접근하던 서비스 가운데 덜 쓰이는 3개를 사전 조사에서 놓쳤습니다. 미리 준비한 foreign table이 이때 쓰였습니다. 테이블 이름만 바꿔 dnsdb의 데이터에 접근하게 하면서 남은 문제를 빠르게 고칠 수 있었습니다.
늘어난 DNS 요청을 감당한 dnsdb
이전 직후 cfdb 사용량이 가파르게 떨어졌습니다. 다른 서비스가 사용할 자원이 확보됐습니다. 이후 DNS Records API의 초당 평균 요청 수는 두 배 넘게 늘었지만, cfdb와 dnsdb의 CPU 사용률은 모두 10% 미만으로 안정됐습니다. 요청 급증과 향후 성장을 감당할 여력이 생겼고, 데이터베이스 관련 사고율도 크게 줄었습니다.
평균 질의 지연은 조금 낮아졌습니다. 500ms를 넘는 지연이 오래 이어지는 경우도 줄었지만, 성능 개선이 더 뚜렷한 때는 부하가 높은 구간입니다. 고객이 많은 DNS 레코드를 한꺼번에 조회하거나 짧은 시간에 존을 여러 차례 변경해도 데이터베이스가 큰 문제 없이 처리하게 됐습니다. 대형 고객이 존을 온보딩할 때 흔히 발생하는 요청 패턴입니다.
DNS 팀이 직접 조정할 수 있는 범위도 넓어졌습니다. 이제 dnsdb의 설정을 다른 서비스의 요구에 맞출 필요 없이 DNS에 맞게 바꿀 수 있습니다. 예를 들어 복제 지연 한도를 조정해, 복제본을 읽는 서비스가 데이터의 존재와 일관성을 어느 정도 확신할 수 있게 했습니다. 거의 모든 읽기 질의를 복제본으로 보낼 수 있게 되면서 주 데이터베이스의 부하도 줄었습니다.
Cloudflare와 고객의 규모가 계속 커지는 만큼 확장 작업도 이어집니다. DNS 팀은 추가 개선을 로드맵에 두고 있으며, 구체적인 내용은 앞으로 공유할 계획입니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 권한 DNS 점유율 (W3Techs, 2024-10) | 전체 웹사이트의 14.5% |
| 최대 단일 존 | 약 400만 레코드, 대부분의 존은 100개 미만 |
| 2022년 측정 시 cfdb 내 DNS 데이터 비중 | 저장 용량의 약 40% |
cf_rec 규모 | 17억 레코드, 인덱스 포함 1.5TB |
cf_rec 일일 변경량 | 삽입 300만~500만, 갱신 100만, 삭제 300만~500만 |
cf_archived_rec 규모 | 약 43억 레코드, 일일 삽입 300만~500만 |
| 파티션 키 | mod(zone_id, num_partitions) |
| 참여 | 다른 25개 팀, 5개 언어의 20개 이상 서비스를 gRPC API로 전환 |
| 변경 복사 주기 | 평소 3초, 이전 당일 0.5초 |
| 쓰기 잠금 구간 | 2초 이내 |
| 이전 후 CPU 사용률 | cfdb와 dnsdb 모두 10% 미만 |
| 이전 후 DNS Records API 요청률 | 초당 평균 요청이 두 배 이상 |
| 다운타임 목표 | 1분 미만, 이상적으로 몇 초 |