본문으로 건너뛰기
1.1.1.1 DNS 캐시에서 되찾은 100TB의 메모리
목차

1.1.1.1 DNS 캐시에서 되찾은 100TB의 메모리 (2026-08)

원문 정보

2,500억 개 넘는 항목을 저장하는 Big Pineapple

캐시 항목마다 낭비하는 1바이트가 전체 서버에서는 250GB를 넘습니다. Cloudflare의 Big Pineapple이 다루는 규모입니다. 1.1.1.1, Gateway DNS, DNS Firewall, AS112 등을 뒷받침하는 이 플랫폼은 어느 시점에나 2,500억 개가 넘는 DNS 캐시 항목을 보관합니다.

Cloudflare가 바꾼 것은 항목을 메모리에 담는 방식이었습니다. 저장한 뒤에는 쓰지 않는 용량 정보, 같은 이름의 반복, 작은 레코드에 붙은 큰 여유 공간을 줄였습니다. 다섯 차례의 변경으로 확보한 메모리는 전체 서버에서 약 100TB입니다. Gen 13 서버 130대의 RAM에 해당합니다. 할당이 줄고 데이터가 가까이 모이면서 캐시도 더 빨라졌습니다.

이 캐시의 항목은 키와 값으로 나뉩니다. 키에는 질의 도메인인 qname, 질의 유형인 qtype, 인증 여부와 태그가 들어갑니다. 값은 DNS 응답의 answer, authority, additional 섹션에 속한 레코드와 생성 시각, 히트 카운터, TTL 같은 메타데이터를 담습니다. 이 안에는 캐시에 저장한 뒤에도 계속 유지할 이유가 없는 정보가 있었습니다.

캐시 키와 겹쳐 저장되던 owner

DNS 레코드의 owner는 그 레코드가 속한 도메인입니다. 대개 질의한 도메인과 같습니다. example.com A를 질의해 198.51.100.1과 198.51.100.2를 돌려받았다면, 응답의 A 레코드 둘 모두 owner가 example.com입니다. 이미 캐시 키에 있는 이름을 레코드마다 다시 저장하는 것입니다.

이름이 달라지는 경우도 있습니다. example.com의 CNAME이 cdn.example.com을 가리키고 그 뒤에 A 레코드가 따라온다면, 이 A 레코드들의 owner는 cdn.example.com입니다. 따라서 모든 레코드에서 owner를 없앨 수는 없습니다.

DNS 와이어 포맷에는 반복되는 이름을 줄이는 방법이 이미 있습니다. RFC 1035의 이름 압축은 같은 도메인을 다시 인코딩하는 대신, 먼저 등장한 위치를 가리키는 2바이트 포인터를 사용합니다. www.example.com이라면 www만 쓰고 메시지 안에 있는 example.com을 포인터로 가리킬 수도 있습니다. 전송할 때는 효과적이지만, 캐시 조회처럼 자주 실행되는 경로에서 압축 포인터를 따라가는 일은 비쌉니다. Big Pineapple이 레코드마다 전체 owner 이름을 저장했던 이유입니다.

캐시에서는 키에 이미 있는 이름을 이용했습니다. owner가 질의 도메인과 같으면 owner를 None으로 두고, 응답을 만들 때 캐시 키에서 이름을 복원합니다. 이 경우 owner를 위한 힙 할당이 사라집니다. 이름이 다를 때만 Some에 전체 이름을 담은 힙 포인터를 저장합니다.

레코드 하나만으로는 owner를 알 수 없게 됩니다. 하지만 모든 조회에서 캐시 키를 이미 가지고 있으므로 복원할 정보는 있습니다. 실제 캐시 레코드 대부분은 owner가 질의 도메인과 같아서, 이 변경으로 owner 필드의 힙 할당을 피했습니다.

저장 뒤에는 쓸모없는 Vec의 여유 공간

DNS 응답은 캐시에 넣은 뒤 다시 수정하지 않습니다. 그런데 응답을 담는 Vec<T>는 계속 커질 수 있는 자료형입니다. 힙 데이터의 포인터, 현재 길이, 전체 용량을 보관하고, 원소를 추가할 때 공간이 부족하면 재할당합니다. 캐시에 들어간 응답에는 이 성장 여력이 필요 없습니다.

용량 필드만으로 Vec마다 8바이트를 차지합니다. 힙에도 남는 자리가 있습니다. 원소 8개를 담을 공간을 확보하고 실제로는 5개만 저장했다면, 나머지 세 칸은 응답이 캐시에 머무는 동안 쓰이지 않습니다. 생성한 뒤 크기를 늘릴 수 없는 Box<[T]>로 바꾸면 용량 필드와 추가 원소를 위한 여유 공간이 모두 사라집니다. String도 같은 이유로 Box<str>로 바꿨습니다.

캐시 항목 하나에는 이런 Vec과 String 필드가 8개 있었습니다. 필드당 8바이트씩, 항목당 64바이트를 줄였습니다. Vec이 미리 확보하던 힙의 초과 공간까지 없애면서 2,500억 개가 넘는 항목에서 총 15TB 이상을 절약했습니다.

리스트를 나누는 방식에도 비용이 있었습니다. answer, authority, additional 섹션을 각각 Box<[T]>로 저장하면 리스트마다 8바이트 포인터와 8바이트 길이가 따라붙습니다. Cloudflare는 레코드를 리스트 하나에 모으고, 나머지 섹션의 시작 위치를 오프셋으로 표시했습니다. 섹션별 레코드 수는 u16에 들어가므로 오프셋은 각각 2바이트면 됩니다. 리스트 둘을 없애고 2바이트 오프셋 둘을 넣어 항목당 28바이트를 줄였습니다.

필드에서 뺀 바이트와 실제 구조체에서 줄어든 바이트가 늘 같지는 않습니다. Rust는 정렬 조건을 맞추려고 패딩을 넣고 구조체 크기를 정렬 단위의 배수로 올립니다. 작은 필드를 없애도 주변 패딩까지 함께 줄어들 수 있습니다. 실제로 불리언 필드 여럿을 하나의 비트플래그로 묶었을 때, 구조체는 개별 불리언의 크기를 합친 것보다 더 많이 작아졌습니다.

드문 NAPTR 때문에 커진 RecordData

레코드 데이터에서는 가장 큰 유형이 나머지 유형의 크기까지 결정하고 있었습니다. Rust enum은 변형마다 서로 다른 데이터를 담을 수 있지만, 어느 변형을 쓰든 가장 큰 변형을 담을 공간을 차지합니다. 값이 없는 None과 값이 있는 Some을 표현하는 Option도 두 변형의 크기는 같습니다.

DNS 레코드 유형을 RecordData의 변형으로 표현했을 때 가장 큰 유형은 NAPTR이었습니다. 가변 길이 텍스트 필드 셋, 도메인 이름, 정수 둘을 담는 데 136바이트가 들었습니다. 변형을 구분하는 태그와 패딩까지 더한 enum 전체 크기는 144바이트입니다.

A에는 4바이트면 충분합니다. AAAA도 16바이트면 됩니다. 그런데 이 둘이 트래픽의 80% 넘게 차지하므로, 대부분의 레코드가 120바이트 넘는 공간을 낭비하고 있었습니다. 캐시 항목 하나에 레코드가 여러 개 들어가면 낭비도 그만큼 늘어납니다.

큰 변형을 Box로 감싸 별도의 힙 할당으로 옮기면 enum에는 8바이트 포인터만 남길 수 있습니다. 작고 흔한 A와 AAAA는 enum 안에 그대로 뒀습니다. 이 변경으로 enum은 24바이트가 되어 A와 AAAA에서 레코드당 120바이트를 아꼈습니다. TXT와 CNAME도 24바이트 enum에 실제 데이터 크기만큼의 힙 공간을 더하는 방식이 되어 이득을 봤습니다.

가장 큰 NAPTR은 오히려 조금 더 커졌습니다. 원래 데이터에 힙 포인터와 할당 오버헤드가 추가되기 때문입니다. 하지만 실제로는 드문 유형이어서, 흔한 레코드에서 얻는 절감 효과를 위해 감수할 만한 비용이었습니다.

문제는 별도 할당에도 낭비가 있다는 점입니다. Big Pineapple이 사용하는 jemalloc은 비슷한 크기의 할당을 고정 크기 bin으로 묶습니다. TXT가 요청하는 32바이트는 32바이트 bin에 꼭 맞지만, MX가 요청하는 40바이트는 48바이트로 올림되어 8바이트가 남습니다.

데이터의 위치도 달라집니다. boxing 전에는 한 캐시 항목의 레코드 enum 값들이 하나의 연속된 할당 안에 있었습니다. boxing 뒤에는 각 변형의 데이터가 별도 힙 영역에 놓여 포인터를 따라가야 합니다. 그 위치가 나머지 데이터에서 멀면 CPU는 새 캐시 라인을 가져와야 합니다. 수많은 캐시 항목의 데이터가 힙 곳곳에 흩어지면서, enum을 줄인 뒤에도 할당 비용과 메모리 지역성 문제가 남았습니다.

레코드 데이터만 모아 담은 와이어 포맷 버퍼

흩어진 데이터를 다시 모으려면 저장 형태를 바꿔야 했습니다. DNS 응답 전체를 와이어 포맷으로 보관하고, 조회할 때 메시지 ID 같은 클라이언트별 필드만 고치는 방법도 있습니다. 하지만 완성된 응답을 저장하면 처리하기 까다로운 조건이 생깁니다.

DNSSEC 레코드는 클라이언트가 DO(DNSSEC OK) 플래그를 설정했을 때만 응답에 포함합니다. 전체 메시지를 캐시하면 DNSSEC을 포함한 버전과 제외한 버전을 모두 저장하거나, 이미 만든 메시지에서 해당 레코드를 걸러 내야 합니다. 조회마다 전체 메시지를 파싱하는 비용도 있습니다. 앞선 enum 방식은 이미 파싱한 레코드를 저장해 이 비용을 피하고 있었습니다.

Cloudflare는 레코드 데이터만 원시 바이트로 저장하고 나머지 필드는 그대로 유지했습니다. 각 레코드를 2바이트 길이 접두사와 원시 바이트로 인코딩한 뒤 Box<[u8]> 하나에 모았습니다. 변형별 enum 공간과 boxing을 위한 개별 힙 할당이 사라지고, 데이터도 연속으로 놓입니다.

레코드를 찾는 방식에는 제약이 생겼습니다. 이제 임의 인덱스로 바로 접근할 수 없고 버퍼를 앞에서부터 순서대로 읽어야 합니다. A와 AAAA 레코드를 라운드 로빈으로 회전하는 기능은 조금 복잡해졌습니다. 다만 항목당 레코드 수가 적어 순차 탐색의 비용은 무시할 만했습니다.

응답을 만드는 작업은 줄었습니다. 이전에는 파싱된 레코드의 필드를 하나씩 DNS 와이어 포맷으로 직렬화했지만, 새 버퍼의 A, AAAA, TXT와 모든 DNSSEC 레코드 유형은 인코딩된 바이트를 응답 메시지로 바로 복사합니다. CNAME, NS, MX, SOA처럼 도메인 이름이 들어 있는 레코드는 이름 압축을 적용해야 하므로 여전히 파싱합니다. 직접 복사할 수 있는 유형이 트래픽의 대부분이어서 조회 경로의 작업량이 줄었습니다. 메모리 지역성 개선까지 더해 이 변경으로 벤치마크의 조회 지연이 5% 낮아졌습니다.

삽입할 때는 재사용하는 스크래치 버퍼를 사용합니다. 이 버퍼는 캐시 삽입 사이에도 유지되며, 앞선 쓰기에서 이미 커져 있어 재할당이 드뭅니다. 레코드마다 크기가 다르므로 정확한 크기는 직렬화를 끝내야 알 수 있습니다. 우선 스크래치 버퍼에 기록하고, 크기가 정해지면 Box<[u8]>를 할당해 memcpy로 옮겼습니다.

이제 레코드마다 따로 할당하는 대신 모든 레코드 데이터를 한 번에 할당합니다. Vec<u8>의 크기를 줄일 때 할당자가 기존 공간의 남는 꼬리를 회수하지 못하는 낭비도 피했습니다. 이 버퍼 생성 방식만으로 벤치마크의 삽입 처리량이 13% 늘었습니다.

변경마다 메모리와 속도를 잰 벤치마크

변경의 효과는 무작위로 생성한 항목으로 캐시를 채워 측정했습니다. 레코드 구성은 프로덕션 트래픽에 가깝게 A 56%, AAAA 25%, TXT 19%로 잡고, 각 항목에는 레코드를 1~4개 넣었습니다. 여기서 TXT는 A와 AAAA를 제외한 모든 유형을 대신합니다. 크기는 가변 길이 유형의 평균 응답 크기에 가까운 64~224바이트 사이에서 무작위로 정했습니다.

Rust의 System 할당자를 감싼 커스텀 할당자로 항목별 할당 수와 크기를 기록했습니다. 메모리만 재지는 않았습니다. 전체 캐시 흐름의 삽입 처리량과 조회 지연도 함께 측정해, 공간을 줄인 대가로 처리 속도가 떨어지지 않는지 확인했습니다.

이 입력은 실제 트래픽의 근사치입니다. 프로세스 메모리는 트래픽 구성뿐 아니라 캐시가 얼마나 찼는지, 할당자가 어떤 상태인지, 캐시 밖에서 얼마나 쓰는지에도 영향을 받습니다. 그래서 벤치마크와 별도로 배포 기간에 프로덕션 인스턴스의 상주 메모리를 측정했습니다.

캐시가 다시 찬 뒤에도 줄어든 메모리

프로덕션 배포는 2026년 5월 18일에 시작해 7월 6일에 모든 서비스에서 끝났습니다. 릴리스마다 하나 이상의 최적화를 도입하면서 메모리 사용량은 계단식으로 내려갔습니다. 배포 직후의 하락만으로는 정상 상태의 사용량을 알기 어렵습니다. 재시작한 인스턴스의 캐시는 비어 있기 때문입니다.

캐시는 질의가 들어오면서 최대 항목 수까지 채워집니다. 그 뒤에는 오래됐거나 덜 인기 있는 항목을 내보내 새 항목의 자리를 만듭니다. 재시작 직후 낮아진 메모리는 캐시가 차면서 다시 늘어나므로, 그래프에서 사용량이 안정된 구간이 정상 상태를 더 잘 나타냅니다.

안정된 뒤에도 인스턴스당 메모리는 모든 백분위에서 줄었습니다. p99 상주 메모리는 9.3GB에서 5.3GB로 43%, p90은 6.5GB에서 3.8GB로 42% 감소했습니다. 캐시가 더 많이 찬 인스턴스에서 절대 절감량이 컸습니다.

벤치마크에서는 항목당 메모리가 953바이트에서 420바이트로 56% 줄었습니다. 항목당 할당한 메모리도 1.1KB에서 461바이트로 감소했습니다. 프로덕션 상주 메모리의 감소율이 이보다 작은 이유는 측정 범위에 있습니다. 상주 메모리에는 캐시 외의 프로세스 데이터도 모두 포함됩니다. 배포가 안정된 뒤 전체 서버의 워킹셋 메모리 합계는 약 100TB 낮아졌습니다. 전체 변경을 적용한 벤치마크에서는 삽입 처리량이 43% 늘고 조회 지연이 19% 줄었습니다.

절감 효과는 캐시의 구성에도 영향을 받습니다. 캐시 크기는 데이터 센터마다 다르며, EDNS Client Subnet(ECS)을 쓰면 권한 서버가 클라이언트 네트워크에 따라 다른 응답을 줍니다. 같은 질의에도 여러 버전을 저장해야 하므로 항목 수와 항목당 메모리가 모두 늘어납니다. ECS를 많이 사용하는 지역에서 이번 최적화의 효과가 특히 큰 이유입니다.

Cloudflare는 확보한 메모리를 캐시 용량을 늘리는 데 다시 사용할 계획입니다. 메모리 사용량을 늘리지 않으면서 적중률을 높이고 업스트림 질의량을 줄이려는 것입니다. 캐시 자체의 추가 최적화도 검토하고 있습니다.

벤치마크 결과와 변경별 절감량
항목값
캐시 항목 수2,500억 개 이상
항목당 순 메모리953바이트에서 420바이트 (-56%)
항목당 할당1.1KB에서 461바이트 (-58%)
캐시 삽입 처리량초당 625,000개에서 893,000개 (+43%)
캐시 조회 지연828ns에서 670ns (-19%)
벤치마크 레코드 구성A 56%, AAAA 25%, TXT 19%, 항목당 레코드 1~4개, TXT 64~224바이트
Vec/String을 Box로항목당 64바이트, 합계 15TB 이상
리스트를 오프셋으로항목당 28바이트
RecordData enum 크기NAPTR 136바이트, enum 전체 144바이트 (A 4바이트, AAAA 16바이트)
boxing 시 A·AAAA 절감레코드당 120바이트
와이어 포맷 버퍼조회 지연 5% 감소, 삽입 처리량 13% 증가
프로덕션 p99 상주 메모리9.3GB에서 5.3GB (-43%)
프로덕션 p90 상주 메모리6.5GB에서 3.8GB (-42%)
롤아웃 기간2026-05-18 시작, 2026-07-06 전 서비스 완료
플릿 전체 워킹셋 감소약 100TB (Gen 13 서버 130대분 RAM)
마지막 수정 일자