목차
Kimi와 GLM의 GPU당 처리 용량을 늘린 Workers AI (2026-08)
원문 정보
- 원문: Smaller, faster, safer: running Kimi and GLM at scale
- 매체 · 게시일: The Cloudflare Blog · 2026-08-03
- 저자: Alex Reneau, Kevin Flansburg, Chi McIsaac
- 원문 내용을 바탕으로 재구성한 요약입니다.
정밀도를 따로 고르는 prefill과 decode
Moonshot의 Kimi K-series와 Z.ai의 GLM은 쓰기에는 훌륭하지만 효율적으로 서비스하기에는 까다로운 모델입니다. 긴 컨텍스트를 다루는 대형 mixture-of-experts 모델이라 GPU 메모리가 빠듯합니다. Workers AI는 사용자와 가까운 Cloudflare 데이터센터의 GPU에서 이 모델들을 실행하고 있습니다.
메모리에는 가중치뿐 아니라, 이미 처리한 토큰의 attention key와 value를 저장하는 KV 캐시도 자리 잡습니다. Cloudflare는 이 둘의 크기를 줄였습니다. 압축한다고 모든 추론 단계가 빨라지지는 않습니다. 앞선 글에서 소개한 대형 모델 서빙과 prefill·decode 분리 설계 덕분에, 각 풀에서 유리한 정밀도를 따로 고를 수 있었습니다.
실험과 실제 서비스 트래픽의 실행·벤치마크에는 모두 SGLang을 사용합니다. Cloudflare는 패치와 새 기능을 오픈소스에서도 쓸 수 있도록 SGLang 팀과 업스트림 반영 작업을 함께 진행하고 있습니다.
읽을 양이 줄어든 GLM 5.2의 가중치
GLM 5.2에서는 8비트 부동소수점 FP8 가중치를 4비트 정수 INT4로 압축했습니다. 체크포인트는 705 GB에서 421 GB로 약 40% 작아졌습니다. 8-way tensor parallel 배포에서 GPU당 가중치 메모리도 약 88 GB에서 약 52 GB로 줄어, 같은 하드웨어에 약 118만 토큰의 KV 캐시를 담을 공간이 생겼습니다.
decode도 빨라졌습니다. 토큰을 하나 생성할 때마다 GPU 메모리에서 가중치를 읽어야 하므로, 메모리 대역폭이 속도를 제한하는 이 단계에서는 읽을 데이터가 줄면 토큰이 더 빨리 나옵니다. 요청별 지연이 중요한 낮은 동시성에서 효과가 가장 컸으며, 동시 요청 1개일 때 처리량은 60 tok/s에서 92 tok/s로 늘었습니다.
prefill에서는 같은 압축이 손해였습니다. 연산 성능의 제약을 받는 단계인데, 곱셈 전에 INT4 가중치를 다시 확장하는 작업까지 추가되기 때문입니다. 처리량은 FP8의 약 10,160 tok/s에서 INT4의 약 8,660 tok/s로 낮아졌습니다. Workers AI는 decode에는 INT4, prefill에는 FP8 가중치를 씁니다.
평가 묶음에서 두 형식의 품질은 구별되지 않았습니다. 내부 mcxams에서도 FP8과 INT4 모두 63개 중 62개를 통과했습니다.
33번째 요청을 받아들인 Kimi K2.6
KV 캐시는 새 토큰을 생성할 때 전체 컨텍스트를 다시 읽지 않도록 해 줍니다. 긴 컨텍스트 모델에서는 이 캐시가 빠르게 커지고, 보통 가중치보다 먼저 GPU 메모리를 채웁니다.
Cloudflare는 기본 16비트 BF16 캐시를 FP8(e4m3)로 바꿔 크기를 절반으로 줄였습니다. Kimi K2.6가 메모리에 담을 수 있는 컨텍스트는 약 686,000토큰에서 약 137만 토큰으로 늘었습니다.
커널만 비교하면 조금 느립니다. FP8 attention 커널은 값을 읽을 때 변환 작업을 더 해야 하므로, 같은 동시 요청 수에서는 BF16의 처리량이 조금 더 높습니다. 이득은 메모리에 함께 머물 수 있는 요청 수에서 나옵니다.
분리형 H200 배포에서 Kimi K2.6의 attention 커널을 직접 비교했을 때, BF16은 동시 요청 32개에서 1,558 tok/s를 냈지만 33번째 요청을 받을 공간이 없었습니다. FP8은 64개 요청을 받아 2,192 tok/s에 도달했습니다. BF16의 최대 처리량보다 약 41% 높고, 토큰당 비용은 약 30% 낮은 결과입니다.
prefill에는 BF16 캐시를 유지합니다. 메모리보다 연산 성능의 제약을 받는 단계이므로, 캐시를 줄이기보다 BF16의 조금 더 높은 처리량을 택했습니다. FP8과 BF16 캐시로 생성한 답의 품질도 확인했으며, Cloudflare의 평가 묶음에서는 두 형식을 구별할 수 없었습니다.
수백 개 요청이 함께 쓰는 KV 캐시
가중치와 캐시를 줄인 자리는 더 많은 요청으로 채워집니다. 수백 개 요청이 같은 물리 KV 캐시의 페이지를 읽고 쓰려면, paged attention과 continuous batching, 캐시 재사용을 뒷받침하는 관리 정보가 정확해야 합니다. Cloudflare의 요청 규모라면 10억 번에 한 번 발생하는 실수도 정기적으로 드러납니다.
Cloudflare는 물리 캐시 페이지마다 재할당 시 바뀌는 태그를 붙이고, 서버에 요청별로 사용할 페이지와 예상 태그를 기록했습니다. 지원되는 decode 연산이 캐시를 읽기 전에 이 매핑을 검사합니다. 맞지 않으면 요청을 중단합니다. 잘못된 페이지의 데이터를 반환하지 않도록 하는 방어 장치입니다.
검사를 실제로 적용할지는 비용에 달려 있습니다. 중간 크기의 실제 서비스 모델을 prefill 2개·decode 2개로 구성하고 입력 8,192토큰, 출력 1,000토큰으로 측정했을 때, 처리량 감소와 p95 지연 증가는 모두 1% 미만이었습니다. 95% 신뢰구간의 상한도 1% 근처에 머물렀습니다.
검증은 별도 배치 검사로 실행합니다. attention 커널에 합칠 때 생기는 GPU 스레드 그룹 사이의 경합을 피하고 계산 비용을 낮추기 위한 선택입니다. 기능은 배포별로 켭니다. 기본 경로는 아무 작업도 하지 않는 추적기를 사용하므로 측정 가능한 오버헤드가 없습니다.
Cloudflare는 FP8 KV 캐시의 적용 범위를 넓히고 있으며, NVIDIA GPU 아키텍처인 Blackwell에서 NVFP4 가중치를 검증하고 있습니다. 무결성 검사도 무시할 만한 비용으로 모든 배포에 계속 켜둘 수 있도록 작업 중입니다.
정밀도별 측정 결과와 무결성 검사 조건
| 항목 | 값 |
|---|---|
| KV 캐시 저장 형식 | 기본 BF16 16비트 → FP8 8비트, e4m3 |
| Kimi K2.6 캐시 수용량 | 약 686,000토큰 → 약 137만 토큰 |
| Kimi decode 측정 조건 | prefill·decode 분리형 H200 배포, attention 커널 직접 비교 |
| Kimi decode 처리량, 동시 요청 1 / 8 / 16 / 32 | BF16: 137 / 731 / 1,106 / 1,558 tok/s; FP8: 125 / 689 / 1,028 / 1,489 tok/s |
| Kimi decode 처리량, 동시 요청 64 | BF16: 메모리 부족; FP8: 2,192 tok/s |
| Kimi 요청 수용 한계와 비용 | BF16은 32개까지 수용하고 33번째 요청 수용 불가; FP8은 64개까지 측정, BF16 최대 처리량 대비 약 41% 증가·토큰당 비용 약 30% 감소 |
| KV 캐시 평가, BF16 / FP8 | GSM8K: 94.24 / 94.09; ARC-Easy: 89.06 / 89.14; ARC-Challenge: 66.72 / 67.49 |
| KV 캐시 평가, BF16 / FP8 | MMLU: 89.11 / 89.04; MMLU-Pro: 80.29 / 79.29; 내부 mcxams: 61/63 / 61/63 |
| KV 캐시 도구 호출 유효성, BF16 / FP8 | 92.2% / 92.6% |
| GLM 5.2 체크포인트 크기 | FP8 705 GB → INT4 421 GB |
| GLM 가중치 메모리와 캐시 공간 | 8-way tensor parallel 배포에서 GPU당 약 88 GB → 약 52 GB; 같은 하드웨어에서 KV 캐시 약 118만 토큰 수용 |
| GLM decode, 동시 요청 1 / 8 | FP8: 60 / 425 tok/s; INT4: 92 / 513 tok/s; 원문 표의 개선율: +55% / +21% |
| GLM decode, 동시 요청 16 / 32 / 64 | FP8: 683 / 994 / 1,672 tok/s; INT4: 825 / 1,267 / 1,933 tok/s; 개선율: +21% / +27% / +16% |
| GLM prefill 처리량 | FP8 약 10,160 tok/s; INT4 약 8,660 tok/s |
| GLM GSM8K, FP8 / INT4 | Exact match: 94.39% / 93.56%; Flexible: 94.24% / 93.48% |
| GLM ARC-Easy, FP8 / INT4 | Accuracy: 86.62% / 86.15%; 정규화 정확도: 84.51% / 85.19% |
| GLM ARC-Challenge, FP8 / INT4 | Accuracy: 64.93% / 64.85%; 정규화 정확도: 67.24% / 66.64% |
| GLM 나머지 평가, FP8 / INT4 | MMLU 평균: 86.60% / 86.54%; MMLU-Pro Exact: 80.80% / 80.47%; 내부 mcxams: 62/63 / 62/63 |
| 무결성 검사 측정 조건 | 중간 크기의 실제 서비스 모델, prefill 2개·decode 2개 구성, 입력 8,192토큰·출력 1,000토큰 |
| 무결성 검사, 동시 요청 1 / 2 | 처리량 변화: −0.53% / −0.38%; p95 지연 변화: +0.42% / +0.54% |
| 무결성 검사, 동시 요청 4 / 8 | 처리량 변화: −0.79% / −0.43%; p95 지연 변화: +0.63% / +0.80% |