목차
Kimi K2.5를 3배 빠르게 만든 Workers AI의 추론 기반 (2026-04)
원문 정보
- 원문: Building the foundation for running extra-large language models
- 매체 · 게시일: The Cloudflare Blog · 2026-04-16
- 저자: Michelle Chen, Kevin Flansburg, Vlad Krasnov
- 원문 내용을 바탕으로 재구성한 요약입니다.
대화가 길어질수록 커지는 에이전트 입력
Cloudflare는 Workers AI에서 Moonshot의 Kimi K2.5 같은 대형 오픈 소스 모델을 호스팅하기 시작한 뒤 Kimi K2.5의 속도를 3배 높였습니다. 추가 모델도 준비 중입니다. 비싼 GPU에서 효율을 더 끌어내려면, 먼저 고객이 모델에 무엇을 입력하고 얼마나 긴 출력을 요구하는지 살펴야 했습니다.
팬픽을 쓰는 작업이라면 짧은 프롬프트 몇 개로 여러 페이지 분량의 출력을 요청할 수 있습니다. 요약 작업은 방향이 다릅니다. 수십만 토큰을 입력해도 결과는 수천 토큰짜리 짧은 요약일 수 있습니다. 같은 모델이라도 입력 처리와 출력 생성 중 어디에 성능을 집중할지는 달라집니다.
Workers AI가 예상한 주된 용도는 에이전트였습니다. 처음부터 긴 시스템 프롬프트와 도구, MCP 정보가 들어가고, 사용자가 말을 건넬 때마다 이전 요청과 응답, 생성한 코드까지 다시 모델에 보냅니다. 대화가 길어질수록 입력도 커집니다. Cloudflare가 빠른 입력 토큰 처리와 도구 호출에 집중한 이유입니다.
KV cache 공간까지 확보한 Infire
Kimi K2.5는 파라미터가 1조 개를 넘고 가중치만 약 560GB입니다. 일반적인 H100의 VRAM은 약 80GB이므로, 가중치를 메모리에 올려 실행하는 데만 최소 8개가 필요합니다. 문맥을 담을 KV cache 공간은 아직 계산에 넣지도 않은 수치입니다.
이런 모델을 실행하도록 확장한 엔진이 Infire입니다. Cloudflare가 전 세계에 분산된 네트워크의 추론 요구에 맞춰 Rust로 작성하고 2025년 Birthday Week에 공개한 자체 추론 엔진입니다. 처음 출시한 뒤 여러 GPU에 걸쳐 모델을 실행하도록 pipeline parallelism과 tensor parallelism을 추가했으며, expert parallelism도 지원합니다.
병렬화 방식마다 줄이려는 낭비가 다릅니다. Pipeline parallelism에서는 각 단계의 부하를 고르게 나눠, 다른 단계가 실행되는 동안 일부 GPU가 할 일 없이 기다리는 상황을 줄입니다. Tensor parallelism에서는 GPU 사이의 통신을 줄이는 데 집중합니다. 대부분의 모델에서는 두 방식을 함께 쓸 때 처리량과 지연 사이에서 가장 좋은 균형을 얻습니다.
메모리도 더 확보했습니다. Infire는 이미 vLLM보다 GPU 메모리 오버헤드가 작았지만, activation 같은 내부 상태에 필요한 공간을 한층 줄였습니다. 그 결과 Llama 4 Scout를 H200 2개에서 실행하면서 KV cache용으로 56GiB 넘게 남길 수 있으며, 이 공간에는 120만 토큰 이상을 수용합니다.
Kimi K2.5도 H100 8개에서 실행하면서 KV cache용 공간을 30GiB 넘게 확보합니다. Cloudflare는 이 구성들에서 vLLM은 실행을 시작하기조차 어렵다고 설명합니다. 가중치를 올리는 데 그치지 않고 실제 요청의 문맥을 담을 여유까지 남긴 결과입니다.
다중 GPU 지원을 추가하면서 시작 시간도 줄였습니다. Infire는 Kimi K2.5 같은 대형 모델도 20초 미만에 요청 처리를 시작할 수 있고, 로딩 시간은 드라이브 속도에 의해서만 제한됩니다. 자원 제약이 없는 시스템에서는 초당 토큰 처리량을 최대 20% 높였으며, 이전에는 최신 모델을 실행할 수 없던 더 낮은 사양의 하드웨어도 활용할 수 있게 됐습니다.
Prefill과 decode를 따로 맡는 추론 서버
LLM 요청을 처리하는 동안 GPU에 걸리는 부하는 일정하지 않습니다. 입력 토큰을 처리해 KV cache를 채우는 prefill은 대체로 연산 성능에, 출력 토큰을 생성하는 decode는 메모리 성능에 제약을 받습니다. 사용하는 GPU 자원이 서로 다른데도 한 장비에서 prefill을 마친 뒤 decode를 실행하면, 각 단계가 다른 단계의 실행을 막아 GPU의 성능을 충분히 쓰지 못합니다.
Cloudflare는 prefill과 decode를 별도의 추론 서버에 맡겼습니다. Prefill 서버가 입력을 처리해 KV cache에 저장하면, 같은 요청을 캐시 전송에 필요한 정보와 함께 decode 서버로 보냅니다. 서버를 나누면 조정할 여지가 생깁니다. 역할에 맞게 설정을 바꾸고, 입력과 출력의 비중에 따라 서버 수를 따로 조정하거나 서로 다른 하드웨어를 사용할 수 있습니다.
그만큼 로드 밸런서는 복잡해집니다. 요청을 순서대로 전달하는 데서 끝나지 않고, decode 서버가 보내는 응답에 prefill 서버의 캐시 토큰 정보 등을 반영해야 합니다. 스트리밍 SSE 응답도 수정 대상입니다. KV cache 전송을 시작할 때 요구하는 정보마저 추론 서버마다 달라, 이 차이도 처리해야 했습니다.
Cloudflare는 여기에 토큰 수를 고려하는 부하 분산을 추가했습니다. 로드 밸런서가 각 prefill·decode 엔드포인트에서 처리 중인 토큰 수를 추정하고, 그 부하를 고르게 나누도록 요청을 배분합니다.
모델을 공개한 뒤에는 입력과 출력 패턴이 다시 크게 바뀌었습니다. Cloudflare는 새 사용 양상을 분석해 구성을 조정하고, 분리된 prefill·decode 서버로 트래픽을 옮겼습니다. GPU 수는 그대로였고 요청량은 늘었지만, p90 첫 토큰 도착 시간은 짧아지고 꼬리 지연의 변동성도 줄었습니다. 변동이 심하던 p90 토큰당 시간 역시 약 100ms에서 20~30ms로 내려갔습니다.
노드를 넘어 재사용하는 KV cache
에이전트는 매번 긴 문맥을 보내지만, 그 안에는 앞선 요청에서 이미 계산한 입력이 들어 있습니다. Prompt caching은 이 계산을 반복하지 않도록 합니다. Workers AI는 x-session-affinity 헤더로 요청이 이전 입력 텐서를 계산한 리전으로 향하도록 돕습니다.
Cloudflare는 OpenCode 같은 에이전트 도구에 이 헤더를 추가한 뒤 전체 처리량이 크게 늘어난 것을 확인했습니다. 사용량이 많은 내부 사용자에게도 적용하자 피크 시간의 입력 토큰 캐시 적중률이 60%에서 80%로 높아졌습니다. 더 많은 요청을 처리할 수 있게 됐고, OpenCode나 AI 코드 리뷰처럼 응답 시간이 중요한 세션의 성능도 개선됐습니다.
내부에도 KV cache를 고려한 라우팅이 있습니다. 여기에 더해 클라이언트가 헤더로 캐시 재사용 의도를 명시하도록 권장하며, 캐시된 토큰에는 할인 가격을 제공합니다. 사용자의 캐시 활용 차이는 모델을 운영하는 데 필요한 GPU 수에도 영향을 줍니다.
캐시를 어디에 보관할지도 문제입니다. Prefill에서 계산한 입력 텐서는 처음에 GPU VRAM에 저장되지만, GPU마다 용량이 정해져 있고 큰 모델의 인스턴스는 여러 GPU에 걸쳐 실행됩니다. Cloudflare는 Kimi의 KV cache를 효율적으로 공유하기 위해 Moonshot AI의 Mooncake Transfer Engine과 Mooncake Store를 사용했습니다.
Transfer Engine은 NVLink와 NVMe over Fabric 등을 지원하며, CPU를 거치지 않는 메모리 간 직접 전송으로 여러 GPU 장비 사이의 데이터 이동을 가속합니다. LMCache 또는 SGLang HiCache와 결합하면 캐시를 클러스터 전체에서 공유합니다. 한 prefill 노드가 다른 노드에서 이전에 계산한 캐시를 찾아 재사용할 수 있는 방식입니다.
이렇게 공유하면 클러스터 내부에서는 이전 세션을 처리한 노드로 요청을 맞춰 보낼 필요가 없어 부하를 더 고르게 나눌 수 있습니다. Mooncake Store는 저장 공간도 GPU VRAM에서 NVMe까지 확장합니다. 세션이 캐시에 더 오래 남으므로 적중률이 높아지고, 처리할 수 있는 트래픽과 사용자에게 제공하는 성능도 개선됩니다.
도구 호출의 형식에 잘 맞는 EAGLE-3
입력 계산을 줄인 뒤에는 출력 토큰을 생성하는 속도도 높여야 합니다. 에이전트가 자주 만드는 도구 호출에는 예측하기 쉬운 부분이 많습니다. 이름과 설명이 들어가고 전체를 JSON으로 감싸는 형식이므로, speculative decoding이 특히 잘 맞습니다.
Speculative decoding은 작은 draft 모델이 후보 토큰 몇 개를 먼저 만들고, 큰 target 모델이 한 번의 forward pass에서 여러 후보를 검증하는 방식입니다. 큰 모델이 직접 토큰을 생성할 때보다 검증에 드는 시간과 연산이 적습니다. 최종 수락과 거절은 target 모델이 맡으므로 추론 품질은 유지합니다.
Cloudflare는 Kimi K2.5에 NVIDIA의 EAGLE-3 draft 모델을 사용합니다. 미리 생성할 토큰 수 등을 조정하면서, 품질을 유지하고 초당 토큰 처리량을 높입니다.
성능 측정과 모델별 하드웨어 구성
| 항목 | 값 |
|---|---|
| Kimi K2.5 공개 이후 속도 개선 | 원문 기준 3배 |
| PD 분리 전후 p90 토큰당 시간 | 변동성이 큰 약 100ms에서 20~30ms로 감소, 원문은 토큰 간 지연이 3배 개선됐다고 표현 |
| PD 분리 전후 측정 조건 | GPU 수 유지, 요청량 증가, p90 첫 토큰 도착 시간 및 꼬리 지연 변동성 개선 |
| 세션 친화성 헤더 적용 결과 | 사용량이 많은 내부 사용자의 피크 시간 입력 토큰 캐시 적중률 60% → 80% |
| Kimi K2.5 모델 규모 | 파라미터 1조 개 초과, 가중치 약 560GB |
| H100 메모리와 가중치 적재 조건 | 일반적인 H100의 VRAM 약 80GB, Kimi K2.5 가중치 적재·실행에 최소 8개 필요, KV cache용 추가 공간 제외 |
| Infire의 Llama 4 Scout 실행 구성 | H200 2개, KV cache용 공간 56GiB 초과 확보, 120만 토큰 초과 수용 가능 |
| Infire의 Kimi K2.5 실행 구성 | H100 8개, KV cache용 공간 30GiB 초과 확보 |
| Infire 시작 시간 | Kimi K2.5 같은 대형 모델도 20초 미만에 요청 처리 시작, 드라이브 속도가 로딩 시간 제한 |
| Infire 처리량 개선 | 자원 제약이 없는 시스템에서 초당 토큰 처리량 최대 20% 증가 |