본문으로 건너뛰기
에이전트의 모델 호출이 모이는 Cloudflare AI Gateway
목차

에이전트의 모델 호출이 모이는 Cloudflare AI Gateway (2026-04)

원문 정보

한 작업에 이어지는 열 번의 호출

챗봇은 사용자 입력에 추론 한 번으로 답할 수도 있습니다. 에이전트가 한 작업을 끝내려고 추론을 10회 연속 호출한다면, 공급자의 호출당 추가 지연 50ms가 500ms로 누적될 수 있습니다. 요청 하나의 실패도 후속 단계의 연쇄 실패로 번질 수 있습니다.

모델 선택도 한 번으로 끝나지 않습니다. 고객 지원 에이전트라면 빠르고 저렴한 모델로 메시지를 분류하고, 큰 추론 모델로 행동을 계획한 뒤, 가벼운 모델로 개별 작업을 실행할 수 있습니다. 코딩 에이전트에 가장 잘 맞는 모델도 3개월 뒤에는 다른 공급자의 모델로 바뀔 수 있습니다.

Cloudflare는 AI Gateway와 Workers AI에 별도 설정 없는 기본 게이트웨이, 업스트림 실패 시 자동 재시도 등을 추가해 왔습니다. 이번 발표에서는 이를 여러 공급자의 모델을 호출하는 통합 추론 계층으로 확장했습니다. 특정 공급자에 재정적·운영적으로 묶이지 않으면서 비용을 모아 보고, 장애와 사용자 위치에 따른 지연에 대응하려는 설계입니다.

모델을 바꿔도 그대로인 AI.run()

Workers에서는 기존 Workers AI의 AI.run() 바인딩으로 외부 공급자의 모델도 호출합니다. Cloudflare가 호스팅하는 모델에서 OpenAI나 Anthropic 모델로 전환하는 데 필요한 수정은 코드 한 줄입니다.

발표 시점의 카탈로그에는 공급자 12곳 이상의 모델 70개 이상이 포함됐습니다. Workers AI가 호스팅하는 오픈소스 모델과 주요 공급자의 독점 모델을 하나의 API로 호출하고, 공통 크레딧으로 결제하는 방식입니다. 제공 범위도 이미지·영상·음성 모델로 넓히고 있습니다.

호출을 모으면 비용도 함께 볼 수 있습니다. Cloudflare가 제시한 수치로는 기업들이 여러 공급자에 걸쳐 평균 3.5개 모델을 호출하므로, 어느 공급자도 전체 사용 내역을 보여 주지 못합니다. AI Gateway는 이 내역을 한곳에 모읍니다. 요청에 사용자 정의 메타데이터를 넣으면 무료·유료 사용자, 개별 고객, 애플리케이션의 특정 워크플로별로 비용을 나눠 보는 것도 가능합니다.

이 호출 방식은 우선 Workers에서 제공됩니다. Workers를 사용하지 않는 환경을 위한 REST API는 발표 당시 향후 몇 주 안에 공개할 계획이었습니다.

첫 토큰까지 짧아지는 Workers AI의 경로

실시간 에이전트에서는 첫 토큰이 체감 속도를 좌우합니다. Cloudflare가 든 예시에서는 전체 추론이 3초 걸리더라도 첫 토큰이 50ms 빨리 도착하면 빠릿한 에이전트와 굼뜬 에이전트의 차이가 납니다. 응답을 모두 완성하는 시간보다 사용자가 응답의 시작을 얼마나 빨리 보느냐에 초점을 둔 설명입니다.

AI Gateway는 전 세계 330개 도시의 Cloudflare 데이터센터 네트워크를 바탕으로 사용자와 추론 엔드포인트 가까이에 위치합니다. 스트리밍이 시작되기 전 네트워크에서 보내는 시간을 줄이는 배치입니다.

Workers AI가 호스팅하는 모델을 호출하면 공개 인터넷을 지나는 추가 홉도 없습니다. 코드와 추론이 같은 글로벌 네트워크에서 실행되기 때문입니다. 이 경로로 사용할 수 있는 공개 카탈로그에는 에이전트를 위해 설계한 대형 모델 Kimi K2.5와 실시간 음성 모델도 포함됩니다.

연결이 끊긴 뒤에도 AI Gateway에 남는 응답

공급자 장애에는 자동 장애 전환으로 대응합니다. 같은 모델을 여러 공급자가 제공하고 다른 사용 가능한 공급자가 있다면, AI Gateway가 장애가 난 공급자 대신 그쪽으로 요청을 보냅니다. 개발자가 장애 전환 로직을 따로 작성하지 않아도 됩니다.

이미 추론을 시작한 뒤 연결이 끊기는 경우도 있습니다. Agents SDK로 장시간 실행되는 에이전트를 만들 때는 AI Gateway가 생성 중인 스트리밍 응답을 버퍼링해 연결 중단에 대비합니다. 응답을 보관하는 동작은 에이전트의 수명과 별개입니다.

추론 도중 에이전트가 중단돼도 다시 연결해 응답을 가져올 수 있습니다. 추론을 새로 요청하거나 같은 출력 토큰의 비용을 다시 지불하지 않아도 됩니다. Agents SDK의 내장 체크포인팅과 결합하면 최종 사용자는 중단을 알아차리지 않습니다.

Replicate와 Cog로 준비하는 Workers AI 배포

카탈로그 밖의 요구도 있습니다. 자체 데이터로 미세 조정했거나 특정 용도에 최적화한 모델을 Workers AI로 가져오는 기능은 더 많은 고객에게 제공하기 위해 개발 중입니다. 이미 Cloudflare 플랫폼 트래픽의 압도적 다수는 사용자 모델을 실행하는 Enterprise 고객의 전용 인스턴스에서 발생합니다.

모델 패키징에는 Replicate의 Cog를 사용합니다. 사용자가 cog.yaml에 의존성을 적고 Python 파일에 추론 코드를 작성하면, Cog가 CUDA 의존성, Python 버전, 가중치 로딩 등 ML 모델을 패키징할 때 복잡해지는 부분을 처리합니다.

Cloudflare가 설명한 배포 흐름은 cog build로 컨테이너 이미지를 만드는 데서 시작합니다. 이미지를 Workers AI에 푸시하면 Cloudflare가 모델을 배포하고 서빙하며, 사용자는 기존 Workers AI API로 호출합니다. 이 흐름을 더 많은 고객에게 열기 위한 고객용 API와 wrangler 명령은 개발 중입니다.

콜드 스타트를 줄이는 작업도 진행하고 있습니다. GPU snapshotting을 이용한 개선을 준비 중이며, 사용자 모델 호스팅 기능은 Cloudflare 내부 팀과 일부 외부 고객이 테스트하고 있습니다.

Cog를 만든 Replicate 팀은 이미 Cloudflare AI Platform 팀에 합류했습니다. 이제 별도 팀으로 여기지 않을 정도라고 설명합니다. Replicate의 모든 모델을 AI Gateway에 연결하고 호스팅 모델을 Cloudflare 인프라로 이전하는 작업도 진행 중입니다. Replicate에서 쓰던 모델을 AI Gateway로 호출하고, Replicate에 배포했던 모델을 Workers AI에서 호스팅하는 기능은 앞으로 제공할 계획입니다.

제공 범위와 조건부 수치·설정값
항목값
발표 시점의 모델 카탈로그모델 70개 이상, 공급자 12곳 이상
원문이 제시한 기업의 모델 사용 현황여러 공급자에 걸쳐 평균 3.5개 모델 호출
호출 지연 누적 예시에이전트가 10회 연속 호출하면 공급자의 호출당 추가 지연 50ms가 500ms로 누적될 수 있다는 설명
첫 토큰 체감 속도 예시전체 추론이 3초인 경우에도 첫 토큰이 50ms 빠르면 체감 차이가 난다는 설명이며, 벤치마크 결과로 제시한 수치는 아님
Cloudflare 데이터센터 분포전 세계 330개 도시
외부 모델 호출 예시anthropic/claude-opus-4-6, 게이트웨이 ID default
메타데이터 예시teamId: "AI", userId: 12345
Cog 설정 예시Python 3.13, 의존성 파일 requirements.txt, 예측 클래스 predict.py:Predictor
자동 공급자 장애 전환 조건동일 모델을 여러 공급자가 제공하며 다른 사용 가능한 공급자가 있는 경우
REST API 제공 일정발표 시점 기준 향후 몇 주 안에 지원할 계획
마지막 수정 일자