목차
Cloudflare의 AI 코딩을 지탱하는 사내 개발 스택 (2026-04)
원문 정보
- 원문: The AI engineering stack we built internally — on the platform we ship
- 매체 · 게시일: The Cloudflare Blog · 2026-04-20
- 저자: Ayush Thakur, Scott Roe-Meschke, Rajesh Bhatia
- 원문 내용을 바탕으로 재구성한 요약입니다.
그럴듯한 변경에 빠져 있던 저장소의 사정
Cloudflare가 AI 코딩 도구를 도입하던 초기에는 그럴듯하지만 저장소에는 맞지 않는 변경이 반복됐습니다. 대개 로컬 맥락이 문제였습니다. 에이전트가 올바른 테스트 명령이나 팀의 현재 관례, 수정해서는 안 되는 코드 영역을 모르고 작업했던 것입니다.
부서별 엔지니어가 모인 iMARS 전담팀의 출발점은 내부 MCP 서버였습니다. 하지만 에이전트가 실제로 쓸 만해지려면 도구 연결에서 더 나아가야 했습니다. 시스템 지식과 개발 표준을 명시하고, 코드 검토와 온보딩, 수천 저장소에 변경을 전파하는 방식까지 손보기 시작했습니다. 지속적인 개발과 운영은 CI/CD, 빌드 시스템, 자동화를 담당하는 Dev Productivity 팀이 이어받았습니다.
저장소 안팎의 지도를 잇는 Backstage와 AGENTS.md
에이전트는 눈앞의 코드를 읽어도 그 코드를 둘러싼 시스템은 보지 못했습니다. 서비스 소유자는 누구인지, 어떤 서비스에 의존하는지, 문서가 어디에 있고 어떤 데이터베이스에 연결되는지 알려 줄 정보가 필요했습니다. Cloudflare는 서비스 카탈로그인 Backstage에 이 관계를 모았습니다. Backstage는 Cloudflare 제품과 별도로 자체 호스팅하는 시스템입니다.
카탈로그에는 16,000개가 넘는 엔터티가 연결돼 있습니다. 개별 저장소를 조직 전체의 지도로 이어 주는 정보입니다. 에이전트는 MCP Portal에 연결된 Backstage 도구 13개로 소유권과 의존 관계를 조회하고, 관련 API 명세와 Tech Insights 점수도 코딩 세션 안에서 찾습니다.
저장소 안의 작업 방식은 AGENTS.md에 담았습니다. 컨텍스트 윈도우를 차지하는 파일인 만큼 짧고 밀도 있게 작성하는 것이 목표였습니다. 예시 파일에는 pnpm test라는 테스트 명령과 gen/의 생성 파일을 수정하지 말라는 지침이 함께 들어 있습니다. 디렉터리 구성, 팀 관례, 적용할 Engineering Codex 규칙까지 명시하면 에이전트가 저장소를 처음부터 추측할 일이 줄어듭니다.
이 파일도 일일이 작성하지는 않았습니다. 생성 파이프라인이 Backstage의 소유권·의존 관계를 가져오고 저장소의 언어, 빌드 시스템, 테스트 프레임워크, 디렉터리 구성을 분석합니다. 감지한 기술 스택에 맞는 Codex 표준을 연결한 뒤 모델이 문서를 작성하면, 담당 팀이 검토하고 다듬을 merge request(MR)를 엽니다. 약 3,900개 저장소를 처리했으며, 여러 언어가 섞이거나 빌드 구성이 특이한 곳에서는 초안이 완벽하지 않았습니다. 그래도 모든 것을 에이전트의 추측에 맡기는 것보다는 나은 출발점이었습니다.
로그인 한 번으로 설정을 받는 OpenCode
엔지니어가 OpenCode를 설정하는 절차는 로그인 명령 하나로 시작합니다. Worker의 검색 엔드포인트가 인증 방법과 공급자, 모델, MCP 서버, 에이전트, 명령, 기본 권한을 내려줍니다. 사용자는 평소 쓰던 SSO로 Cloudflare Access에 로그인하고, OpenCode는 발급받은 JWT를 이후 공급자 요청에 첨부합니다. 조직 공통 설정보다 로컬 설정이 우선하므로 기본 모델이나 프로젝트 권한을 개인이 조정할 여지도 남습니다.
클라이언트를 AI Gateway에 바로 연결했다면 초기 설정은 더 간단했을 것입니다. Cloudflare는 첫날부터 단일 프록시 Worker를 경유하도록 만들었습니다. 이 선택 덕분에 나중에 사용자별 사용량 집계, 모델 목록 관리, 권한 검사를 추가하면서도 클라이언트 설정은 고칠 필요가 없었습니다. Access가 인증과 Zero Trust 정책을 맡고, AI Gateway가 공급자 키와 비용, 데이터 보존 정책을 관리합니다.
프록시 Worker는 Access JWT를 검증한 뒤 서버 측에서 실제 API 키를 주입합니다. 응답은 버퍼링 없이 전달하며 사용자 기기에는 API 키를 두지 않습니다. 이메일과 익명 UUID의 대응 관계는 D1에 저장하고 KV로 읽기를 캐시하되, AI Gateway에 보내는 사용자 식별자는 UUID뿐입니다. 비용과 사용량을 사용자별로 집계하면서 이메일은 Gateway에 넘기지 않는 방식입니다.
공통 에이전트와 명령은 YAML frontmatter가 있는 Markdown으로 작성합니다. 빌드 과정에서 OpenCode 스키마로 검증한 JSON 설정으로 컴파일하고, 새 세션마다 최신 설정을 가져옵니다. OpenAI 모델 목록은 매시간 갱신하며 각 모델에 store: false를 주입합니다. 새 모델에도 Zero Data Retention 설정이 자동으로 적용되므로 이를 위해 설정을 다시 배포할 필요는 없습니다.
같은 네트워크에서 추론하는 Workers AI
복잡한 에이전트 코딩 작업은 현재 Frontier Labs 모델이 대부분 처리합니다. Workers AI는 보안 에이전트, CI의 문서 검토, AGENTS.md 생성과 가벼운 추론에 쓰입니다. 추론이 Workers, Durable Objects, 스토리지와 같은 네트워크에서 이뤄져 클라우드 간 이동에 따른 지연과 네트워크 관리 부담을 줄입니다.
비용 차이도 컸습니다. Kimi K2.5로 하루 70억 토큰 넘게 처리하는 보안 에이전트를 중간급 독점 모델에서 실행하면 연간 240만 달러가 들 것으로 추정했는데, Workers AI 비용은 이보다 77% 저렴했습니다. Cloudflare는 오픈소스 모델이 발전하면서 Workers AI가 처리하는 내부 작업의 비중도 커질 것으로 예상합니다.
GitLab MCP의 스키마 비용을 줄인 Code Mode
내부 MCP Server Portal은 운영 중인 MCP 서버 13개와 도구 182개 이상을 하나의 엔드포인트와 Access 인증 흐름으로 연결합니다. Backstage, GitLab, Jira, Sentry, Elasticsearch, Prometheus, Google Workspace, 내부 Release Manager가 여기에 포함됩니다. 각 서버는 Agents SDK의 McpAgent, workers-oauth-provider, Cloudflare Access를 공통 기반으로 삼습니다.
공통 인증, Bazel 빌드, CI/CD, Backstage 등록 정보까지 단일 모노레포에서 관리합니다. 새 서버를 추가하는 작업은 대개 기존 서버를 복사하고 감싸는 API를 바꾸는 정도입니다. 이 접근의 보안 설계와 기업용 MCP 참조 아키텍처는 별도 글에서도 설명합니다.
연결할 도구가 늘자 다른 비용이 드러났습니다. GitLab MCP 서버의 도구 34개만으로도 요청마다 스키마를 읽는 데 약 15,000토큰을 썼습니다. 200K 컨텍스트의 7.5%입니다. 모델이 작업을 시작하기도 전에 이만큼의 공간이 사라졌고, 모든 엔지니어의 매 요청에서 같은 비용이 반복됐습니다.
해결 지점은 포털이었습니다. Portal 계층의 Code Mode는 클라이언트에 노출하는 도구를 portal_codemode_search와 portal_codemode_execute로 줄이고, 모델이 코드로 필요한 도구를 찾아 호출하게 합니다. 뒤에 MCP 서버가 더 붙어도 클라이언트가 보는 도구는 둘입니다. 서버마다 개별적으로 대응하지 않고도 도구 스키마가 차지하는 컨텍스트와 토큰 비용을 줄였습니다.
Engineering Codex를 읽는 AI Code Reviewer
Engineering Codex는 공통 엔지니어링 표준을 개발 중에도 참조할 수 있게 만든 체계입니다. 다단계 AI 정제 과정에서 표준을 규칙과 에이전트 스킬로 바꾸고, 스킬은 계층형 Markdown 문서에서 필요한 정보를 점진적으로 제공합니다. Network Firewall 팀은 이를 다중 에이전트 합의 과정에 활용해 rampartd를 감사했습니다. 요구사항별 준수 여부와 구체적인 위반 내용, 수정 절차를 평가하면서 몇 주씩 걸리던 수작업을 반복 가능한 과정으로 바꿨습니다.
같은 표준이 MR 검토에도 쓰입니다. 팀이 자체 호스팅 GitLab의 파이프라인에 CI 컴포넌트 하나를 추가하면 MR을 열거나 갱신할 때마다 OpenCode 기반 조정자가 위험도를 분류합니다. 코드 품질, 보안, Codex 준수, 문서, 성능, 릴리스 영향은 전문 에이전트가 나눠 검토합니다. 각 에이전트는 AI Gateway로 모델에 접근하고 중앙 표준 저장소와 해당 저장소의 AGENTS.md를 읽습니다. 실행 장소는 CI runner이며, 실행마다 상태를 유지하지 않습니다.
결과는 범주와 심각도를 나눈 MR 댓글로 남습니다. 엔지니어가 긴 글을 모두 읽지 않아도 어디에 주의를 기울여야 할지 찾도록 만든 형식입니다. 앞선 검토에서 지적한 문제가 해결됐다면 이를 인정하고 같은 지적을 되풀이하지 않습니다. Codex에 근거한 지적에는 구체적인 규칙 ID가 붙습니다.
AGENTS.md를 최신 상태로 유지하는 일도 검토에 포함됩니다. 오래된 지침은 파일이 아예 없는 것보다 더 나쁠 수 있습니다. AI Code Reviewer는 저장소 변경을 보고 AGENTS.md도 갱신해야 하는지 지적해, 최초 생성 이후의 관리까지 이어 줍니다.
검토 에이전트별 모델은 별도 Workers 설정 서비스에서 선택하므로 CI 템플릿을 바꾸지 않고 교체합니다. Workers AI는 주로 Kimi K2.5를 이용한 문서 검토로 전체 검토 트래픽의 약 15%를 처리합니다. 보안에 민감하거나 아키텍처가 복잡한 검토에는 Opus 4.6과 GPT 5.4 같은 모델을 사용합니다. 모델 라우팅, 다중 에이전트 조정, 비용 최적화를 포함한 AI Code Reviewer 내부 설계는 이 글과 함께 공개하는 별도 기술 글에서 다룹니다.
도입 확산과 함께 늘어난 MR
약 11개월의 작업 뒤, 최근 30일 기준 R&D 조직의 93%가 AI 코딩 도구를 사용했습니다. 회사 전체 활성 사용자는 3,683명으로 전체의 60%이며, 표준 CI 파이프라인을 쓰는 모든 저장소에 AI 코드 검토가 적용됐습니다. 저자들은 Backstage의 시스템 맥락, AGENTS.md의 저장소 지침, Codex 기반 검토를 연결하면서 첫 초안이 대체로 출시 가능한 수준에 가까워졌다고 설명합니다. 6개월 전에는 그렇지 않았다는 평가입니다.
AI 도구 도입이 늘어나는 동안 주간 MR의 4주 이동평균은 약 5,600건에서 8,700건을 넘었습니다. 3월 23일이 포함된 주에는 10,952건으로 Q4 기준선의 거의 2배에 이르렀습니다. 저자들은 이를 개발 속도가 높아진 근거로 제시하지만, AI 도입만의 효과를 분리해 측정한 결과는 아닙니다. 전체 AI 사용량과 AI Gateway, Workers AI의 사용량도 서로 구분해 집계합니다.
클라우드에서 긴 작업을 맡을 백그라운드 에이전트
다음 단계로 계획한 것은 MCP Portal, git, 테스트 도구를 갖추고 필요할 때 클라우드에서 실행하는 백그라운드 에이전트입니다. Durable Objects와 Agents SDK가 작업을 조정하고, 저장소 복제나 의존성 설치, 테스트처럼 완전한 개발 환경이 필요한 작업은 Sandbox 컨테이너에 맡기는 아키텍처입니다.
이 계획을 뒷받침할 기능은 Agents Week에 출시됐습니다. Sandbox SDK가 정식 출시됐고, Agents SDK에는 퇴거 없이 장시간 실행하는 세션 지원이 추가됐습니다. 큰 저장소를 복제하고 전체 테스트를 돌린 뒤 실패를 수정해 MR을 여는 과정까지 한 세션에서 수행할 기반입니다. 내부 백그라운드 에이전트 도입은 이 기반 위에서 추진할 향후 작업으로 남아 있습니다.
도입 현황과 구성별 세부 수치
| 항목 | 값 |
|---|---|
| 전체 도입 작업 기간 | 약 11개월 |
| 도입 현황 표의 집계 기간 | 2026-02-05~2026-04-15 |
| 활성 사용자와 조직 도입률 | 3,683명, 회사 전체 60%, R&D 93%; 전체 직원 약 6,100명 |
| AI 활동 팀과 메시지 | 295개 팀, 4,795만 메시지; OpenCode 2,708만, Windsurf 43만 4,900 |
| 주간 MR의 4주 이동평균 | 약 5,600건에서 8,700건 초과로 증가 |
| 3월 23일이 포함된 주의 MR | 10,952건, Q4 기준선의 거의 2배 |
| AI Gateway 최근 30일 합산 | 요청 2,018만 건, 토큰 2,413억 7,000만 개 |
| 공급자별 월간 요청 표 | Frontier Labs 1,338만 건·91.16%, Workers AI 130만 건·8.84% |
| Workers AI 최근 한 달 토큰 | 입력 514억 7,000만 개, 출력 3억 6,112만 개 |
| Kimi K2.5 제공 시점과 컨텍스트 | Workers AI에서 2026년 3월 출시, 256k 컨텍스트 |
| Kimi 보안 에이전트 비용 비교 | 하루 70억 토큰 초과 처리; 중간급 독점 모델 사용 시 연간 추정 비용 240만 달러, Workers AI 비용은 이보다 77% 저렴 |
| 모델 목록 갱신과 보존 설정 | 매시간 OpenAI 모델 목록 갱신, 각 모델에 store: false 주입 |
| 내부 MCP Portal | production MCP 서버 13개, 도구 182개 이상 |
| GitLab MCP의 기존 스키마 비용 | 도구 34개에 요청당 약 15,000토큰, 200K 컨텍스트의 7.5%; Portal Code Mode에서는 도구 2개 노출 |
| Backstage 카탈로그와 MCP | 엔터티 16,000개 이상, MCP 도구 13개; 서비스 2,055개, 라이브러리 167개, 패키지 122개, API 228개 |
| Backstage의 시스템·자원·소유권 | 시스템 544개, 도메인 45개, DB 1,302개, ClickHouse 테이블 277개, 클러스터 173개, 팀 375개, 사용자 6,389명 |
| AGENTS.md 생성 처리 규모 | 약 3,900개 저장소 |
| AI Code Reviewer 최근 30일 | 표준 CI 저장소 적용률 100%, AI Gateway 요청 547만 건, 토큰 247억 7,000만 개; Workers AI가 검토 트래픽 약 15% 처리 |