본문으로 건너뛰기
수학과 Rust로 100TB의 RAM을 되찾은 Pingora
목차

수학과 Rust로 100TB의 RAM을 되찾은 Pingora (2026-09)

원문 정보

  • 원문: Saving another 100TB of RAM with math (and Rust)
  • 매체 · 게시일: The Cloudflare Blog · 2026-09-18
  • 저자: Kevin Guthrie, Mariia Iurchenko, Zaidoon Abd Al Hadi, Ivan Babrou
  • 원문 내용을 바탕으로 재구성한 요약입니다.

6GB까지 불어난 PBR의 해시 링

발단은 메모리 사용량을 지적한 티켓이었습니다. Performance 팀의 Ivan은 내부 로드 밸런서 Pingora Backend Router(PBR)가 예상보다 많은 메모리를 쓰며, 특히 오픈 소스 라이브러리 pingora-ketama의 자료구조가 크다는 점을 발견했습니다. 일부 사례에서는 관련 메모리만 6GB에 달했습니다.

모든 서비스가 모든 노드에서 돌아가야 하는 Cloudflare에서는 작은 낭비도 수천 대의 서버에 걸쳐 쌓입니다. 1%의 개선도 반가운 규모입니다. 이번에는 해시 저장 방식과 개수를 바꿔 전 세계에서 100TB가 넘는 RAM을 회수했습니다. 앞선 달 DNS 팀이 줄인 100TB와는 별개의 성과입니다.

서버 용량에 따라 불어난 ketama의 해시

링이 커진 데는 이유가 있었습니다. PBR은 캐시 가능한 요청을 URL에 따라 서버로 보내고, 데이터 센터마다 파일 사본 하나만 저장하면서 그 위치를 안정적으로 찾아야 합니다. 여기에 쓰는 consistent hashing은 서버를 추가하거나 제거해도 요청 배정이 크게 바뀌지 않도록 하는 방식입니다.

흔히 원으로 그리는 해시 링을 32비트 정수의 수직선으로 펼치면 동작이 단순해집니다. 예를 들어 서버 A·B·C는 IP 주소로, 요청 t~z는 캐시 키로 해시해 같은 수직선에 표시합니다. 각 요청에서 왼쪽으로 가장 가까운 서버를 찾으면 배정이 끝납니다. 왼쪽에 서버가 없으면 수직선 끝부분의 서버로 이어집니다.

문제는 구간의 길이입니다. 서버마다 해시를 하나씩 두면 어떤 서버의 구간은 길고 다른 서버의 구간은 짧아지는데, 요청 비중도 그 길이에 비례합니다. 서버 100대라면 담당 범위의 기대값은 전체의 1%지만 표준편차도 약 0.99%입니다. 표준편차를 기대값으로 나눈 변동계수는 약 99%에 이릅니다. 어떤 서버는 기대한 양의 거의 두 배를 처리하고, 어떤 서버는 거의 놀 수도 있는 분포입니다.

서버 하나를 여러 해시로 표현하면 이 편차를 줄일 수 있습니다. 짧은 구간과 긴 구간을 여럿 합쳐 전체 담당 범위가 고르게 나뉘도록 하는 방법입니다. 해시 몇 개를 추가한 개별 사례에서 개선 폭을 보장하지는 않습니다. NGINX는 서버당 기본 해시 개수를 160개로 고정했고, Pingora도 같은 기본값을 씁니다. 서버 100대에 해시를 160개씩 두면 변동계수는 약 8%로 줄어듭니다.

그런데 서버들의 디스크 용량도 같지 않습니다. PBR은 ketama를 써서 디스크 용량을 가중치로 삼고, 그에 비례해 해시를 배정합니다. 저장 공간이 큰 서버가 더 많은 요청을 받도록 하는 것입니다. 이 가중치가 기본 해시 개수를 대체하지는 않습니다. 가중치가 가장 작은 서버에서도 오차를 제한하려면 기본 개수는 유지해야 합니다.

링 하나로도 부족했습니다. 규정 준수 요구나 활성화된 캐시 기능에 따라 요청을 처리할 수 있는 서버 집합이 달라지면, 같은 링에 해시를 더 넣는 것으로는 해결되지 않습니다. 기능 조합마다 별도 링이 필요할 수 있어 PBR에서는 링이 수십 개로 늘었습니다. 부하를 고르게 나누기 위한 해시에 용량 가중치를 적용하고 기능 조합별 링까지 만들면서, 메모리에 보관할 해시가 불어났습니다.

더 많은 해시가 오차를 키운 시뮬레이션

해시를 늘릴수록 분포가 고르게 된다면, 얼마나 늘려야 충분할까요? Cloudflare는 서버마다 같은 개수의 해시를 두는 연속 링 모델에서 변동계수를 정확히 계산했습니다. 서버 수가 (N), 서버당 해시 수가 (k)일 때 값은 (\sqrt{(N-1)/(Nk+1)})입니다. 전체 유도 과정은 별도 보충 글에 제시돼 있습니다.

계산 결과는 해시를 계속 늘리는 방식의 한계를 보여 줍니다. 해시가 많아질수록 오차는 줄지만, 추가한 해시가 가져오는 개선 폭도 작아집니다. 계산을 쉽게 하려고 디스크 가중치를 625로 놓으면 기본 160개가 서버당 100,000개로 불어납니다. 이 예시에서 마지막 90,000개를 추가해 얻는 오차 감소는 약 0.7%뿐입니다.

실제 32비트 해시에서는 사정이 더 나빴습니다. 연속 링과 달리 해시끼리 충돌할 수 있고, 해시 수가 많아질수록 충돌 확률도 빠르게 커지기 때문입니다. 충돌로 일부 해시가 담당 범위에 기여하지 못하면 예측하기 어려운 오차가 생깁니다. 서버 2,048대를 둔 시뮬레이션에서는 서버당 해시를 10,000개에서 100,000개로 늘리는 구간에서 오차가 오히려 커졌습니다.

메모리를 줄일 근거가 생겼습니다. Cloudflare는 계산과 시뮬레이션을 바탕으로 유의미한 오차 증가 없이 서버당 해시 생성 개수를 90% 줄일 수 있다고 판단하고, 축소 작업에 나섰습니다.

8바이트에 머물던 Rust 구조체

해시 개수와 별개로, 해시 하나가 차지하는 공간에도 줄일 여지가 있었습니다. Zaidoon이 눈여겨본 것은 해시 지점 하나를 저장하는 8바이트짜리 구조체입니다. u32 해시가 4바이트, 별도 배열의 서버를 가리키는 u32 인덱스가 4바이트를 썼습니다. PBR이 (2^{16}), 약 6만 5천 대를 넘는 서버를 관리할 가능성은 낮으므로 인덱스에는 u16이면 충분하다는 판단이었습니다.

정수형을 바꿔도 크기는 그대로였습니다. Rust의 메모리 정렬 규칙상 4바이트 해시 필드에 맞춰 구조체 크기도 4바이트의 배수여야 했기 때문입니다. 인덱스를 2바이트로 줄여도 패딩이 나머지를 채워 여전히 8바이트를 차지했습니다.

해시와 인덱스를 6바이트 원시 배열에 담고 getter에서 정수로 복원하자 비로소 공간이 줄었습니다. #[repr(packed)]와 같은 코드로 컴파일되면서도 더 안전한 방법입니다. 읽기는 조금 불편해졌지만, 이 변경만으로 consistent hashing 저장 공간을 25% 줄였습니다.

원본 서버를 지키며 옮겨 간 새 링

작아진 링을 바로 적용하는 것으로 끝낼 수는 없었습니다. 링을 바꾸면 캐시 가능한 요청이 향하는 서버도 바뀝니다. 전 세계 네트워크를 한 번에 전환하면 사실상 거의 모든 캐시 콘텐츠가 무효화되어, 메모리를 아끼려던 작업이 원본 서버 트래픽의 폭증으로 이어질 수 있었습니다.

PBR은 한동안 기존 ketama 링과 새 링을 메모리에 함께 보관했습니다. 평소 쓰던 마이그레이션 프레임워크로 요청마다 어느 링이 백엔드를 고를지 결정했습니다. 선택은 요청 해시를 기준으로 안정적으로 유지됐고, 문제가 생기면 PBR을 재배포하지 않고 새 요청을 기존 링으로 되돌릴 수 있었습니다.

조절 대상은 새 링을 쓰는 트래픽의 비율과 전환을 허용할 데이터 센터의 범위였습니다. 둘을 따로 제어하면서 작은 검증 지역에서 더 큰 데이터 센터 그룹으로 범위를 넓혀 갔습니다. 전 세계에 일정 비율을 적용했다면 캐시 변화가 곳곳에 한꺼번에 퍼졌을 텐데, 데이터 센터별로 범위를 제한한 덕분에 영향을 작게 유지하고 안전한지 판단하기도 쉬웠습니다.

이전 중에는 백엔드 선택 트레이스, 링 버전 카운터, PBR 연결 오류, 프로세스 메모리, 시작 시간, 캐시 동작, 원본 서버 트래픽을 지켜봤습니다. 새 링 사용 비율이 100%가 된 뒤 기존 링 경로를 제거했습니다. 메모리 사용량이 급감한 때는 이 큰 링을 없앤 날입니다. 변경 주간과 몇 주 전의 사용량 차이로 확인한 절감량은 100TB였습니다.

변경 사항은 pingora-ketama crate의 아직 널리 알리지 않은 Cargo 기능으로 제공됩니다. v2에는 압축 저장 형식과 더 빠른 정렬 방식, 노드당 기본 해시 개수를 조절하는 기능이 들어 있습니다. v1은 기존 동작을 그대로 유지합니다. 라이브러리에서도 두 버전을 함께 실행하고 요청별로 사용할 링과 전환 시점을 선택할 수 있습니다.

해시 개수와 메모리 절감의 수치 근거
항목값
서버당 해시 하나의 담당 범위서버 수가 (N)일 때 기대값 (1/N), 표준편차 ((1/N)\sqrt{(N-1)/(N+1)})
서버당 해시 하나의 예시서버 100대에서 기대값 1%, 표준편차 약 0.99%, 변동계수 약 99%
기본 해시 개수와 분산 예시NGINX는 서버당 160개로 고정하며 Pingora도 이를 기본값으로 사용. 서버 100대에서 서버당 160개이면 변동계수 약 8%
기능 조합별 링과 메모리PBR에서 수십 개의 링 사용, 일부 사례에서 관련 메모리 사용량 6GB
인덱스 축소의 근거PBR이 (2^{16}), 약 6만 5천 대를 넘는 서버를 관리할 가능성이 낮다는 판단
해시 지점 저장 크기기존 8바이트에서 바이트 배열 6바이트로 축소. u32 해시와 u16 인덱스를 일반 필드로 두면 패딩으로 8바이트 유지
서버당 해시 (k)개의 분포동일한 해시 개수를 배정하는 연속 링 모델에서 기대값 (1/N), 표준편차 (\sqrt{(k+1)/(N(kN+1))-1/N^2}), 변동계수 (\sqrt{(N-1)/(Nk+1)})
가중치 계산 예시기본 160개에 가중치 625를 적용하면 서버당 100,000개. 마지막 90,000개를 추가해 얻는 오차 감소는 원문 표현으로 약 0.7%
충돌 시뮬레이션 조건32비트 해시와 서버 2,048대 조건에서 서버당 해시를 10,000개에서 100,000개로 늘리는 구간에 오차 증가
이전 완료와 절감 관측새 링 사용 비율 100% 도달 후 기존 링 경로 제거. 변경 주간과 몇 주 전의 메모리 사용량 차이에서 100TB 절감 확인
마지막 수정 일자