본문으로 건너뛰기
Workers AI에서 에이전트를 움직이는 Kimi K2.5
목차

Workers AI에서 에이전트를 움직이는 Kimi K2.5 (2026-03)

원문 정보

하루 70억 토큰 넘게 쓰는 에이전트의 비용

Cloudflare는 보안 검토 에이전트를 Workers AI의 Kimi K2.5로 전환해 비용을 77% 줄였습니다. 이 에이전트의 처리량은 하루 70억 토큰을 넘습니다. 단일 코드베이스에서 찾아내 확인한 보안 문제도 15건을 넘겼습니다. 같은 코드베이스의 같은 작업을 중간 등급 독점 모델로 실행한다고 가정하면, 연간 비용은 대략 240만 달러로 추산됩니다. 실제 지출액이 아닌 비교를 위한 계산값입니다.

시작은 실험이었습니다. Cloudflare 엔지니어들은 발표 전 몇 주 동안 OpenCode에서 Kimi K2.5를 일상적인 에이전트 코딩 작업에 사용했고, 자동 코드 리뷰 파이프라인에도 통합했습니다. 공개 코드 리뷰 에이전트 Bonk에서도 이 모델을 사용합니다. 실제 운영에서는 품질을 유지하면서 더 큰 독점 모델을 대체하는 빠르고 효율적인 선택지임을 확인했습니다.

이 실험이 필요했던 배경에는 급증하는 추론량이 있습니다. OpenClaw 같은 개인용 에이전트를 상시 실행하는 사람이 늘고, 직원마다 여러 에이전트가 시간당 수십만 토큰을 처리하기 시작하면 독점 모델의 비용을 감당하기 어려워집니다. Cloudflare가 보기에 비용은 이제 부차적인 고려 사항을 넘어 에이전트 확장의 주된 장애물입니다.

Kimi K2.5까지 갖춘 에이전트 실행 기반

실행 기반은 이미 있었습니다. Cloudflare는 Durable Objects로 상태를 보존하고, Workflows로 장시간 작업을 처리하며, Dynamic Workers나 Sandbox 컨테이너에서 코드를 안전하게 실행하도록 지원해 왔습니다. Agents SDK는 이 기반 위에서 에이전트를 만들도록 돕습니다. 여기에 에이전트의 심장 역할을 할 모델이 필요했습니다.

Workers AI에 추가한 Moonshot AI의 Kimi K2.5는 전체 256k 컨텍스트 창을 지원합니다. 여러 턴에 걸친 도구 호출과 이미지 입력, 정형 출력도 지원하므로 에이전트 작업에 활용할 수 있습니다. 실행 환경과 대형 모델 추론을 함께 제공하면서 에이전트의 전체 수명 주기를 Cloudflare Developer Platform 안에서 실행할 수 있게 됐습니다. 제공 범위는 개인용 에이전트의 서버리스 엔드포인트부터 조직 전체의 자율 에이전트를 위한 전용 인스턴스까지입니다.

Agents SDK starter도 Kimi K2.5를 기본 모델로 사용하도록 바뀌었습니다. OpenCode에서도 Workers AI의 Kimi K2.5에 연결할 수 있습니다.

Kimi K2.5에 맞춰 손보는 Infire 추론 엔진

Workers AI는 출시 때부터 LLM을 제공했지만, 그동안 우선순위는 작은 모델에 있었습니다. 한동안 오픈소스 LLM이 선도 모델 연구소의 모델보다 크게 뒤처졌던 점도 그 이유 중 하나입니다. Kimi K2.5 같은 모델이 등장하면서 상황이 달라졌고, 이를 제공하려면 추론 스택도 바꿔야 했습니다.

모델을 기본 설정으로 실행하는 것만으로는 얻지 못하는 성능이 있습니다. Cloudflare는 자체 Infire 추론 엔진을 바탕으로 Kimi K2.5용 맞춤 커널을 개발하고 있습니다. 모델 성능과 GPU 활용률을 높이기 위한 작업입니다.

대형 모델을 서빙할 때 개발자들은 보통 데이터·텐서·전문가 병렬화를 조합합니다. 입력 토큰을 처리하는 prefill과 출력 토큰을 생성하는 단계를 서로 다른 머신에 배치하는 disaggregated prefill도 처리량이나 GPU 활용률을 높이는 전략입니다. 이런 기법을 선택하고 추론 스택에 통합하는 데는 전문적인 경험이 필요합니다.

Workers AI는 서빙 기법을 실험해 Kimi K2.5의 높은 처리량을 확보했습니다. 오픈소스 모델을 직접 호스팅한다고 이런 최적화가 저절로 따라오지는 않습니다. 플랫폼을 이용하면 그 작업은 Workers AI가 맡고, 개발자는 API를 호출하는 방식으로 모델을 사용합니다.

몇 줄만 바뀐 요청의 긴 컨텍스트

여러 턴의 대화에서 클라이언트는 새 프롬프트뿐 아니라 이전 프롬프트와 도구, 컨텍스트를 모두 다시 보냅니다. 직전 요청과 달라진 내용은 대개 몇 줄뿐입니다. 그런데 그 몇 줄과 함께 상세한 시스템 프롬프트, 도구 정의, MCP 서버 도구, 코드베이스 전체가 다시 입력될 수 있습니다. Kimi K2.5에서는 이론상 입력만 거의 256k 토큰에 이르는 요청도 가능합니다.

LLM은 일반적으로 prefill을 모두 마쳐야 출력을 생성합니다. 이 과정에서 GPU가 충분히 활용되지 않는 경우도 있습니다. 이미 처리한 긴 입력을 매번 다시 계산하면 시간과 연산을 반복해서 쓰게 됩니다. Prefix caching은 이전 요청의 입력 텐서를 캐시하고 새 입력 토큰에만 prefill을 수행하는 방식입니다. prefill에 드는 시간을 줄이면 첫 토큰까지의 시간인 TTFT가 짧아지고, 초당 토큰 처리량인 TPS도 높아집니다.

Workers AI는 이전부터 prefix caching을 사용해 왔습니다. 이번에 새로 추가한 것은 캐시된 토큰을 확인할 사용량 지표와 일반 입력 토큰보다 낮은 요금입니다. 캐시 적중률을 높이면 더 많은 토큰에 이 요금이 적용됩니다.

새 x-session-affinity 헤더는 요청을 같은 모델 인스턴스로 보내 캐시를 재사용할 가능성을 높입니다. 세션이나 에이전트마다 고유한 문자열을 지정하는 방식입니다. 적중률이 높아지면 TTFT와 TPS가 개선되고 추론 비용도 줄어듭니다. OpenCode 같은 일부 클라이언트는 이 처리를 자동으로 수행하며, Agents SDK starter에도 관련 설정이 마련되어 있습니다.

pull 방식으로 개편한 Asynchronous API

서버리스 추론에서는 요청을 처리하려고 GPU 전체 비용을 내지 않아도 됩니다. 그 대신 다른 사용자의 트래픽과 한정된 용량을 함께 감당해야 합니다. 자동 확장과 재분배를 수행하더라도 하드웨어에는 한계가 있어 요청 처리를 엄격히 보장할 수는 없습니다.

즉시 응답이 필요하지 않은 작업에는 다른 경로가 있습니다. 개편한 Asynchronous API는 동기 요청의 속도 제한을 넘는 물량을 대기열에 제출하도록 지원하며, 비동기 요청은 Out of Capacity 오류 없이 나중에라도 실행됩니다. 모델 인스턴스에 여유가 생길 때 요청을 처리하므로, 정해진 일괄 처리보다는 flex processing에 가깝습니다. 코드 스캔이나 조사 에이전트가 여기에 맞는 사례입니다.

내부 동작도 바꿨습니다. 기존 push 방식에서 pull 방식으로 전환해 처리할 용량이 생기는 대로 대기열의 요청을 가져옵니다. GPU 활용률을 실시간으로 관찰하고 활용률이 낮을 때 비동기 요청을 가져오도록 처리량 제어도 개선했습니다. 중요한 동기 요청을 우선하면서 비동기 작업도 효율적으로 처리하기 위한 설계입니다.

완료 여부는 요청 ID로 조회하거나 이벤트 알림으로 받을 수 있습니다. 이벤트 알림을 사용하면 완료될 때까지 상태를 반복 조회하지 않아도 됩니다.

내부 테스트에서는 비동기 요청이 보통 5분 이내에 실행됐습니다. 실제 처리 시간은 서비스 트래픽에 따라 달라지며, Cloudflare는 Kimi K2.5 공개 이후 트래픽에 맞춰 확장을 조정할 계획입니다. 실행을 지속해야 하는 워크플로에서 용량 오류를 피하려는 경우에는 비동기 API를 권장합니다.

모델 사양과 내부 사례의 세부 수치
항목값
Kimi K2.5 컨텍스트 창전체 256k 지원
보안 검토 에이전트의 처리량하루 70억 토큰 초과
단일 코드베이스의 확인된 문제15건 초과
비교 모델의 연간 비용 추산같은 보안 검토 사례를 중간 등급 독점 모델로 실행한다고 가정할 때 약 240만 달러
Workers AI 전환 비용 절감해당 보안 검토 에이전트 사례에서 77%
비동기 요청의 내부 테스트 결과보통 5분 이내 실행했으나, 실제 처리 시간은 서비스 트래픽에 따라 달라짐
마지막 수정 일자