목차
FL2에 맞춰 다시 설계한 Cloudflare Gen 13 (2026-03)
원문 정보
- 원문: Inside Gen 13: how we built our most powerful server yet
- 매체 · 게시일: The Cloudflare Blog · 2026-03-23
- 저자: Syona Sarma, JQ Lau, Ma Xiong, Victor Hwang
- 원문 내용을 바탕으로 재구성한 요약입니다.
L3 캐시 부담이 줄어든 FL2
Cloudflare는 Gen 13에서 이전 세대의 강점이던 큰 L3 캐시를 줄였습니다. 코어당 12MB에서 2MB로, 83.3%나 감소했습니다. 그런데도 Gen 13의 처리량은 지연 시간 SLA를 지키면서 Gen 12의 최대 2배에 이릅니다.
달라진 것은 소프트웨어입니다. Cloudflare는 핵심 요청 처리 계층을 Rust로 다시 쓴 FL2로 전환하면서 큰 L3 캐시에 대한 의존을 크게 낮췄습니다. FL2의 처리량은 코어 수에 거의 비례해 늘어납니다. Gen 12의 96코어 AMD EPYC Genoa-X 9684X 대신 192코어 Turin 9965를 고른 배경입니다. 하드웨어 스레드도 192개에서 384개로 늘었습니다.
코어 수만 보고 결정하지는 않았습니다. 운영 환경에서 평가한 후보 중 Turin 9755는 128코어로 코어당 성능이 뛰어났고, 9845는 160코어로 코어 수를 줄이는 대신 소켓 전력을 낮췄습니다. 9965는 코어당 성능보다 효율에 무게를 둔 192코어 모델입니다. 평가에서는 9965가 가장 높은 초당 요청 수를 냈으며, 500W TDP에서도 와트당 성능이 유리하게 늘어 랙 단위 총소유비용(TCO)에서 앞섰습니다.
Gen 13의 와트당 성능은 Gen 12보다 최대 50% 높습니다. 랙 전력 예산을 고정해도 랙당 처리량이 최대 60% 늘어납니다. 서버 한 대의 처리량뿐 아니라 주어진 전력으로 얼마나 많은 요청을 처리하는지가 부품 선택의 기준이었습니다.
서버 수를 줄이는 이점도 있습니다. 같은 컴퓨트 용량을 더 적은 노드로 제공하면 전 세계에서 프로비저닝하고 패치하고 모니터링할 장비가 줄어듭니다. 운영 팀이 밀도 높은 서버를 선호하는 이유입니다. 후보 CPU는 모두 DDR5-6400, PCIe Gen 5.0, CXL 2.0 Type 3 메모리를 지원하며, 9965로 옮기면 9684X보다 AMD의 보안 지원을 오래 받을 수 있어 서버의 유효 수명도 늘어납니다.
192코어 앞에서 한계에 닿은 25GbE
CPU가 처리할 요청이 늘자 네트워크가 먼저 제약으로 드러났습니다. 2018년부터 8년 넘게 서버를 뒷받침한 듀얼 25GbE가 대역폭의 벽에 부딪힌 것입니다. 전 세계 코로케이션에서 일주일 동안 수집한 운영 데이터에서는 Gen 12의 포트당 P95 대역폭 사용량이 가용 대역폭의 50%를 계속 넘었습니다. 서버당 처리량을 2배로 늘릴 Gen 13에서는 NIC가 포화될 위험이 있었습니다.
선택은 듀얼 100GbE였습니다. 포트당 대역폭을 4배로 늘리고 서버당 총 200Gb/s를 확보했습니다. 50GbE를 건너뛴 데에는 조달 사정도 작용했습니다. 업계에서 50GbE 트랜시버 물량이 적어 공급망 측면에서 불리했고, 100GbE는 앞으로 몇 년간 늘어날 트래픽에 대응할 여유도 제공합니다.
NIC 공급처는 Intel E830-CDA2와 NVIDIA Mellanox ConnectX-6 Dx로 나눴습니다. 팬데믹 때 Gen 11 NIC를 단일 벤더에서 조달하다 어려움을 겪은 뒤 유지해 온 전략입니다. 두 제품은 모두 OCP 3.0 SFF/TSFF 폼팩터여서 Gen 12와 섀시를 공통으로 쓰고, 현장 기술자도 새 도구나 교육 없이 교체할 수 있습니다. OCP 3.0 NIC 슬롯에는 PCIe 4.0 x16 레인을 할당해 양방향 256Gb/s 대역폭을 제공합니다.
192코어에 맞춘 768GB 메모리
메모리 용량은 384GB에서 768GB로 늘렸지만 코어당 4GB라는 비율은 유지했습니다. 처음 검토한 범위는 코어당 4~6GB, 서버당 768~1152GB였습니다. 12개 채널에 DIMM을 하나씩 꽂는 1DPC 구성에서 12x48GB는 총 576GB로 요구 하한에 못 미쳤습니다. 12x96GB는 총 1152GB로 코어당 용량을 50% 늘릴 수 있지만, 전력과 비용 부담도 컸습니다. 글이 나온 시점의 메모리 가격은 1년 전의 10배였습니다.
용량을 무작정 늘리기 어려운 상황에서 FL2가 여유를 만들었습니다. 내부 측정에서 FL2는 FL1보다 CPU를 절반 미만으로 사용했고, 메모리 사용량은 절반보다도 훨씬 적었습니다. Cloudflare에서는 매달 새 제품과 서비스가 추가되며 메모리 수요가 쌓이지만, 소프트웨어 전환으로 확보한 용량은 향후 몇 년의 성장을 뒷받침할 여유였습니다. 12x64GB 구성은 코어 수에 따라 확장되는 FL 워크로드를 수용하면서 과도한 용량 확보를 피하는 선택이었습니다.
대역폭은 12개 채널을 모두 채워 확보했습니다. 64GB DDR5-6400 ECC RDIMM을 채널마다 장착하면 소켓당 최대 614GB/s로 Gen 12보다 33.3% 높아집니다. DIMM 종류와 용량, 랭크 구성도 같게 맞췄습니다. Turin은 이 조건이 같은 채널들에 걸쳐 메모리 접근을 분산하는 인터리빙을 사용하므로, 연속된 메모리 접근이 일부 채널에 몰리지 않습니다.
듀얼 랭크 2Rx4를 고른 데에도 이전 세대의 측정이 있었습니다. Gen 12에서는 읽기·쓰기 비율이 1:1일 때 듀얼 랭크 DIMM의 처리량이 싱글 랭크보다 최대 17.8% 높았습니다. 한 랭크가 리프레시되는 동안 다른 랭크에 접근할 수 있기 때문입니다.
확보한 대역폭에는 여유가 있습니다. 요구량은 하드웨어 스레드당 약 1GB/s였지만, 614GB/s를 384스레드로 나누면 스레드당 1.6GB/s입니다. 운영 분석에서도 Cloudflare 워크로드는 메모리 대역폭에 제약받지 않았습니다. 이 여유는 현재 처리량을 늘리는 데 모두 쓰기보다 앞으로의 워크로드 성장에 대비해 남겨 둡니다.
CDN 캐시를 넓히는 세 번째 NVMe
스토리지는 네 개의 E1.S 슬롯 중 채우는 슬롯을 두 개에서 세 개로 늘렸습니다. 용량은 16TB에서 24TB로 1.5배가 됐습니다. 전 세계 CDN 캐시 성능을 유지·개선하고 Durable Objects, Containers, Quicksilver의 예상 성장도 수용하기 위한 증설입니다. 드라이브는 PCIe 4.0에서 PCIe 5.0 NVMe로 바꿔 지연 시간을 개선하고 새 CPU의 스토리지 대역폭 수요에 대응합니다.
드라이브가 버텨야 할 기간은 5년입니다. 서버 운영 수명 내내 1 DWPD를 견뎌야 하며, Samsung PM9D3a와 Micron 7600 Pro는 약 7%의 하드웨어 오버프로비저닝으로 이 조건을 충족합니다. 향후 워크로드가 더 높은 내구성을 요구한다면 사용자에게 제공하는 용량을 추가로 떼어 두어 유효 오버프로비저닝 비율을 높일 수 있습니다.
두 드라이브는 NVMe 2.0과 OCP NVMe Cloud SSD 2.0도 채택했습니다. 이들 규격에는 쓰기 증폭을 관리하는 ZNS, PCIe 버스를 거치지 않고 장치 안에서 데이터를 옮기는 Simple Copy Command, 보안 통제를 강화하는 Command and Feature Lockdown이 포함됩니다. OCP 2.0은 데이터센터 운영을 위한 텔레메트리와 디버깅 기능도 확장합니다.
기본 구성 밖의 확장 공간도 마련했습니다. 전면 베이에는 U.2 PCIe Gen 5.0 NVMe 드라이브를 최대 10개까지 추가할 수 있습니다. 컴퓨트와 스토리지 플랫폼에 같은 섀시를 쓰고, 필요할 때 컴퓨트 SKU를 스토리지 SKU로 전환할 수 있는 선택지입니다.
850W 운영을 뒷받침하는 2U 섀시
처리량이 늘면서 서버 한 대가 쓰는 전력도 커졌습니다. 일반 운영 전력은 Gen 12의 600W에서 850W로 250W 증가했습니다. CPU TDP가 400W에서 500W로 높아지고 메모리 용량이 2배가 된 데다 NVMe 드라이브도 하나 늘어난 영향입니다.
전원공급장치는 800W에서 1300W 80 PLUS Titanium CRPS로 바꿨습니다. 1000W를 택하지 않은 이유는 공급망에 있습니다. 조달할 만한 고효율 1000W 제품이 마땅치 않아 다음 업계 표준 등급인 1300W를 골랐습니다. Titanium 등급은 부하 10%, 20%, 50%, 100%에서 효율 기준을 정한 EU Lot 9 규정을 충족하므로 유럽 데이터센터에도 배치할 수 있습니다.
Gen 12에서 채택한 2U1N 단일 소켓 폼팩터는 그대로입니다. 늘어난 열을 처리하도록 80mm 팬을 네 개에서 다섯 개로 늘렸지만, 일반적인 주변 온도에서는 최대 듀티 사이클보다 훨씬 낮게 돌며 팬당 전력은 50W 미만입니다. 표면적이 큰 E1.S 15mm 드라이브 폼팩터도 유지했습니다. 지속적인 고부하 I/O에서 25W 넘게 소비할 수 있는 PCIe 5.0 컨트롤러를 식히는 데 필요한 설계이며, 2U 섀시는 E1.S 드라이브와 U.2 베이에도 충분한 공기 흐름을 제공합니다.
가속기를 나중에 추가할 여지도 넓혔습니다. Cloudflare는 기존 서버의 모듈성을 바탕으로 2024년에 100개 넘는 도시에 GPU를 빠르게 추가하고 배치했습니다. Gen 13은 이 방향을 이어 가되 더 큰 전력과 발열 요구를 수용하도록 내부 배치를 바꿨습니다. Gen 12가 단폭 FHFL 카드 두 개 또는 이중폭 FHFL 카드 한 개를 지원했다면, Gen 13에는 이중폭 FHFL 카드 두 개를 장착할 수 있습니다.
메인보드에서 독립한 Project Argus
관리와 보안의 두뇌는 별도 모듈에 남겼습니다. Gen 12에서 도입한 Project Argus Data Center Secure Control Module 2.0(DC-SCM 2.0)에 BIOS, BMC, 하드웨어 신뢰 루트(HRoT), TPM(Infineon SLB 9672), 이중화된 BMC/BIOS 플래시를 둡니다.
이 설계를 유지한 이유는 이전 세대에서 확인한 보안 효과입니다. 이중 이미지 덕분에 우발적인 손상이나 악의적인 업데이트를 감지하면 BIOS/UEFI와 BMC 펌웨어를 빠르게 복구할 수 있습니다. 관리 스택도 Gen 12와 호환되므로 보안 감사와 배포·프로비저닝, 표준 운영 절차를 이어 갑니다.
새로 바꾼 부분도 있습니다. 섀시의 침입 감지 장치를 평평한 가장자리에서 더 멀리 옮겨 물리적인 가로채기를 어렵게 했습니다. Gen 10부터 사용한 CPU와 메모리 사이의 암호화인 TSME에 더해, Gen 13의 Turin 9965는 PCIe 트래픽 암호화도 하드웨어로 지원합니다.
330개 넘는 도시로 향할 Gen 13
2026년 3월 글이 공개된 시점에 Gen 13은 검증을 마쳤으며, 330개 넘는 도시의 Cloudflare 글로벌 네트워크에 배포할 예정이었습니다. Gen 13 배포를 시작하면서 Cloudflare는 이미 Gen 14 아키텍처를 계획하고 있었습니다.
Gen 12와 Gen 13 사양 비교
| 항목 | Gen 12 | Gen 13 |
|---|---|---|
| 폼팩터 | 2U1N, 단일 소켓 | 2U1N, 단일 소켓 |
| 프로세서 | AMD EPYC 9684X Genoa-X 96코어 (400W TDP, L3 1152MB) | AMD EPYC 9965 Turin Dense 192코어 (500W TDP, L3 384MB) |
| 코어당 L3 | 12MB | 2MB |
| 메모리 | 384GB DDR5-4800, 12채널 | 768GB DDR5-6400, 12채널 |
| 스토리지 | E1.S NVMe 2개 (PCIe 4.0, 총 16TB) | E1.S NVMe 3개 (PCIe 5.0, 총 24TB), 선택적 U.2 10개 |
| 네트워크 | 듀얼 25GbE OCP 3.0 | 듀얼 100GbE OCP 3.0 |
| 관리 | DC-SCM 2.0 (AST2600 BMC + AST1060 HRoT) | 동일, PCIe 암호화 추가 |
| 전원공급장치 | 800W Titanium | 1300W Titanium |
| 일반 운영 전력 | 600W | 850W |
| 팬 | 80mm 4개 | 80mm 5개 |
| 가속기 | 단폭 FHFL 2개 또는 이중폭 FHFL 1개 | 이중폭 FHFL 2개 |
| 후보 CPU | Genoa-X 9684X | Turin 9755 | Turin 9845 | Turin 9965 |
|---|---|---|---|---|
| 코어/스레드 | 96/192 | 128/256 | 160/320 | 192/384 |
| 기본 클럭 | 2.4GHz | 2.7GHz | 2.1GHz | 2.25GHz |
| 최대 부스트 | 3.7GHz | 4.1GHz | 3.7GHz | 3.7GHz |
| 전체 코어 부스트 | 3.42GHz | 4.1GHz | 3.25GHz | 3.35GHz |
| 총 L3 | 1152MB | 512MB | 320MB | 384MB |
| 코어당 L3 | 12MB | 4MB | 2MB | 2MB |
| 최대 TDP | 400W | 500W | 390W | 500W |