목차
추론 비용을 68% 줄인 Cloudflare AI 코드 리뷰어 (2026-10)
원문 정보
- 원문: Cutting our inference bill by 68% by being obsessive about optimization
- 매체 · 게시일: The Cloudflare Blog · 2026-10-19
- 저자: Ryan Skidmore
- 원문 내용을 바탕으로 재구성한 요약입니다.
97% 적중률 뒤에 쌓인 토큰
4월에 AI 코드 리뷰어를 소개할 때만 해도 리뷰당 평균 $1.19는 감당할 만한 비용이었습니다. 8월 말에는 약 $2.46까지 올랐습니다. 코디네이터가 전문 리뷰어에게 일을 나누고 위험 등급에 따라 검토 강도를 정하는 구성에는 큰 변화가 없었습니다.
Cloudflare는 모델의 능력이 좋아지면서 엔지니어가 더 크고 복잡한 변경을 만들고, 그만큼 full 등급 리뷰도 늘었다고 해석했습니다. 하지만 비용 상승의 대부분은 모델 변경에서 왔습니다. 자체 평가에서 해당 작업을 더 잘 수행한 Anthropic 모델로 8월 초 모든 리뷰어를 옮겼고, 내부 표준 리뷰어인 Codex에는 성능과 신뢰성을 고려해 Claude Opus 4.7을 배정했습니다. 그 결과 Codex 하나의 비용이 코디네이터보다 비싸졌습니다.
캐시 적중률은 오히려 좋아졌습니다. 4월 85.7%에서 9월 97%로 올랐지만, 리뷰당 토큰은 91만에서 299만으로 세 배 넘게 늘었습니다. 캐시를 읽는 값이 저렴해도 이렇게 많이 읽으면 지출은 커집니다. Cloudflare는 9월 중순부터 에이전트에게 토큰이 어디로 가는지 추적하고 적극적으로 줄이는 작업을 맡겼습니다. code quality를 high로 설정한다는 전제에서 평균 비용은 최적화 전 가장 비쌌던 2주의 $2.43에서 $0.77로, 68% 낮아졌습니다.
저장소마다 새로 쓰던 첫 요청
돈은 모델이 답을 쓰는 데만 들지 않았습니다. 최적화 직전 비용에서 출력은 23%였고, 캐시 쓰기가 43%, 읽기가 34%였습니다. code quality 리뷰어는 리뷰마다 평균 16.6회 LLM을 호출했는데, 호출할 때마다 전체 대화를 문맥으로 다시 보냈습니다. 호출 횟수와 문맥 크기가 함께 늘어난 결과입니다.
Anthropic의 프롬프트 캐시는 대화 앞부분인 prefix를 재사용합니다. 저장된 내용과 달라지는 지점까지만 재사용할 수 있고, 캐시 경계점에서 끝나는 prefix만 저장됩니다. 9월 14일부터 첫 LLM 호출의 토큰 사용량과 공급자에게 실제로 보낸 첫 시스템 블록의 해시를 기록하자 이상한 수치가 나왔습니다. 모든 저장소가 공유하는 도구 정의와 에이전트 프롬프트가 1.1만~2.1만 토큰인데도, 첫 요청의 캐시 적중률은 14~26%에 그쳤습니다.
원인은 OpenCode v1이 만든 시스템 프롬프트에 있었습니다. 공통 에이전트 프롬프트 뒤에 작업 디렉터리와 날짜를 붙인 뒤, 블록 맨 끝에만 캐시 경계점을 뒀습니다. 공통 부분만 따로 저장한 적이 없으니 다른 저장소의 리뷰가 남긴 캐시를 읽을 수 없었습니다. 9월 16일에는 에이전트 프롬프트 끝에 표식을 넣고 플러그인 훅으로 블록을 나눴습니다. 공통 부분에 경계점을 따로 두고, 그 앞에 저장소별 정보가 끼어들지 않도록 skill 목록을 비활성화했으며 도구 설명도 작업마다 같게 유지했습니다.
매번 같은 파일을 읽는 호출도 줄였습니다. Codex가 처음 3턴에 걸쳐 읽던 내부 표준 참조 색인을 프롬프트로 옮기자 실행당 호출이 15.9회에서 9.6회로 감소했습니다. prefix 수정과 이 변경을 함께 배포한 뒤 리뷰당 비용은 $2.47에서 $2.02로 내려갔습니다. 배포 직후부터 차이가 보였습니다.
저장소 사이의 재사용을 고친 뒤에는 code quality·보안·성능 리뷰어도 하나의 prefix를 공유하게 했습니다. 같은 도구와 공통 규칙 파일, merge request의 모든 패치를 앞에 두고 각 리뷰어의 지시를 뒤에 배치했습니다. 여기에는 기다림이 필요했습니다. 캐시를 쓰는 응답이 스트리밍을 시작해야 다른 요청이 읽을 수 있으므로, 나머지 리뷰어는 첫 리뷰어의 응답 시작을 최대 20초 기다립니다. 출발은 조금 늦어져도 리뷰어당 약 $0.09를 아낄 수 있었습니다.
댓글 게시 뒤에도 이어지던 호출
9월 21일과 23일의 변경은 하나씩 보면 대단하지 않았지만, 합쳐서 리뷰당 약 $0.20를 줄였습니다. 하위 리뷰어에게는 사용할 수 없는 최종 댓글 게시 도구가 보였고, 세션의 57~76%에서 실제로 호출을 시도했습니다. 서버가 거절하면 복구에 또 한 번의 호출을 썼습니다. 도구를 숨기자 이 낭비가 사라졌습니다. 파일 읽기도 바꿨습니다. code quality 턴의 64%가 대개 파일 하나를 읽는 단일 도구 호출이어서, 첫 응답에서 공통 문맥과 맡은 패치를 최대 150KB까지 병렬로 읽도록 했습니다.
이미 끝난 일을 되풀이하는 경우도 있었습니다. 전체 작업의 약 3분의 2는 같은 merge request를 다시 검토하는 작업이므로, 새로 볼 내용이 없는 AGENTS.md·성능·문서 리뷰는 생략했습니다. 최종 리뷰를 게시한 뒤에도 OpenCode는 결과를 모델에 돌려줘 한 턴을 더 실행했습니다. 모델은 전체 대화를 다시 읽고 아무도 보지 않는 요약을 썼습니다. 게시 직후 종료하게 바꾸는 것만으로 작업당 약 $0.07가 줄었습니다.
시간 초과와 취소도 비용을 남겼습니다. 느린 리뷰어를 공급자 장애로 취급해 같은 제한 시간으로 재시작하던 처리를 고치고, 제한 시간을 늘리면서 추론 강도인 effort를 낮추자 보안 리뷰어의 시간 초과가 거의 사라졌습니다. GitLab의 Kubernetes executor는 작업이 취소돼도 스크립트에 신호를 보내지 않았습니다. 취소된 작업 446건 중 358건이 리뷰를 끝낼 때까지 실행된 표본을 확인한 뒤, 작업이 15초마다 자기 상태를 확인하고 취소됐으면 종료하도록 바꿨습니다.
기다림이 짧아진 리뷰
목표는 비용 절감이었지만 호출을 줄이자 기다리는 시간도 짧아졌습니다. 리뷰 시간의 중앙값은 4분 9초에서 1분 32초로 내려갔습니다. 특히 오래 걸리던 리뷰의 변화가 컸습니다. 9월 14일 전 4주 동안에는 리뷰의 37.9%가 5분을 넘겼는데, 현재는 0.7%만 넘깁니다. 모든 등급이 빨라졌고, 판정 없이 끝나는 리뷰와 보안 리뷰어의 재시도도 줄었습니다.
실행 기반인 OpenCode도 v1을 전면 재작성한 v2로 바뀌었습니다. 모든 canary 저장소의 리뷰를 양쪽에서 실행하는 shadow 비교에서 승인 판단이 98% 일치하자, 10월 초 전체를 전환하고 v1 코드를 제거했습니다. 같은 모델을 사용한 이틀을 비교했을 때 v2의 full 등급 리뷰는 약 13% 빨랐습니다. Durable Objects에서만 pi-durable로 실행하는 방식도 실험 중이며, Cloudflare는 이 작업을 조만간 후속 글에서 더 소개할 수 있기를 기대하고 있습니다.
같은 단가로 토큰을 덜 쓰는 Sonnet 5.5
코드 변경과 최적화가 전체 절감액에서 차지한 비중은 약 40%였습니다. 나머지는 모델과 effort를 바꿔 가며 얻었습니다. 이 비중은 릴리스와 설정 변경 전후의 평일 시간대를 비교한 추정으로, 통계적으로 타당한 통제 실험의 결과는 아닙니다.
코디네이터는 같은 모델에서 medium effort를 쓸 때 full 등급 작업을 20% 빨리 끝냈습니다. 이후 무작위 비교에서도 Opus 5.5 medium은 Opus 5와 리뷰 결과나 중대한 지적에 측정 가능한 차이를 보이지 않아 전환을 결정했습니다. Opus 5.5 high는 더 비쌌지만 지적이 유의미하게 늘지는 않았습니다.
Sonnet에서는 토큰 단가가 같아도 실행 비용이 달라졌습니다. 10월 3일부터 모든 Sonnet 리뷰어를 Sonnet 5와 Sonnet 5.5에 50:50으로 배분한 뒤 2.5일간 관측한 결과, 5.5가 code quality에서는 62%, 성능에서는 58%, 보안에서는 47% 저렴했습니다. 전부 토큰을 덜 쓴 효과였습니다. full 등급의 critical·warning 지적 수도 비슷해 10월 5일 전체를 5.5로 옮겼습니다.
호출 수는 예상보다 크게 줄었습니다. Sonnet 5.5의 code quality 리뷰어는 medium에서 평균 1.7회만 호출했고, 절반 이상은 한 번으로 끝났습니다. 이전 평균은 6.2회였습니다. 한 번에 끝난 리뷰는 저장소의 다른 파일을 열지 않았다는 뜻이기도 합니다. Cloudflare는 검토가 얕아진 것은 아닌지 우려했습니다.
비용을 낮춘 뒤에도 찾아야 할 문제
저렴해진 리뷰가 실제 문제를 덜 찾는다면 절감의 가치는 작아집니다. code quality를 Sonnet 5.5 high로 실행해도 critical·warning 지적은 8월 말보다 40% 적었습니다. medium을 유지한 보안과 성능은 각각 56%, 71% 줄었습니다. 지적의 개수만으로는 잡음이 줄었는지, 실제 문제를 놓쳤는지 구분할 수 없었습니다.
Cloudflare는 먼저 리뷰받은 커밋과 작성자의 다음 push를 비교했습니다. 지적한 줄이 바뀌면 작성자가 반응한 것으로 셌고, 30~40줄 떨어진 곳의 변경률 약 15%를 우연한 수정의 기준으로 삼았습니다. code quality의 심각한 지적 뒤 수정이 일어난 비율은 34%에서 59%로 높아졌습니다. 지적은 줄었지만 수정으로 이어지는 비율은 올랐습니다. 리뷰 1,000건당 수정으로 이어진 발견은 이전 145건, 현재 132건으로 오차 범위 안에서 비슷했습니다.
별도의 검사에서는 서로 다른 공급자의 모델이 Sonnet 리뷰어 3종의 지적 657건을 관련 diff와 함께 판정했습니다. 어느 시기의 지적인지는 가렸고, 의견이 다르면 다른 모델이 재판정했습니다. 사라진 항목은 주로 사소한 지적과 일부 중복, diff에서 검증할 수 없는 지적이었습니다. 중요한 발견은 리뷰당 0.28에서 0.30으로 구간이 겹쳤습니다. 더 뚜렷한 변화는 심각도였습니다. 실제보다 심각하게 분류한 critical·warning 지적이 리뷰당 0.46에서 0.14로 70% 줄었습니다.
이 검사에도 한계는 있습니다. 작성자가 해당 줄을 고쳤다고 지적이 옳았다는 뜻은 아니며, 판정자 역시 모델입니다. 집단별 지적은 35~66건이고 현재 관측 구간도 하루뿐입니다. 그래도 두 검사 모두 code quality high가 실제 문제를 이전보다 덜 찾는다는 징후를 보이지 않았습니다.
medium에서는 실제 발견을 잃었습니다. 무작위 비교에서 code quality medium의 지적이 수정으로 이어진 수는 high의 약 4분의 1이었습니다. 10월 5일부터 medium과 high를 50:50으로 나눠 하루 관측했을 때 high는 실행당 61% 비쌌고 critical·warning 지적은 58% 많았습니다. 리뷰당 추가 비용은 약 $0.02였습니다. Cloudflare는 이 차이에 가치가 있다고 보고 code quality를 high로 옮기기로 했습니다.
성능 리뷰어에는 아직 문제가 남았습니다. 모델 판정에서 중요한 성능 문제의 발견이 약 64% 줄었는데, 실제 규모로는 full 등급 리뷰 24건마다 중요한 발견 하나를 덜 하는 정도입니다. 보안도 약 4분의 1 줄었지만 통계적으로 유의하지는 않았습니다. 성능·보안 리뷰어는 여전히 medium을 쓰고 있으며, high로 올렸을 때의 품질을 검증하는 작업이 다음 과제입니다.
비용·설정·비교 조건과 품질 검증 수치
| 항목 | 값 |
|---|---|
| 도입부의 평균 리뷰 비용 | 4월 $1.19 → 8월 말 약 $2.46 |
| 최종 비용 비교 기준 | 최적화 전 가장 비쌌던 2주 평균 $2.43 → code quality high 적용 전제 $0.77, 68% 절감 |
| 월별 비용 추이 | 리뷰 등급 구성을 고정한 차트에서 3월 $1.22 → 6월 $1.44 → 7월 $1.74 → 8월 $2.32 |
| full 등급 비중 | 3월 59% → 8월 65% |
| Anthropic 전환과 Codex 비용 | 8월 초 전체 전환 시 작업당 $1.38 → $2.03; Codex는 Claude Opus 4.7 사용 뒤 리뷰당 약 $0.25 → 8월 $0.88 |
| 캐시 적중률과 리뷰당 토큰 | 적중률 4월 85.7% → 9월 97%; 토큰 91만 → 299만 |
| OpenCode v2 검증 | canary 저장소 shadow 비교에서 승인 판단 98% 일치; 같은 모델을 사용한 이틀 비교에서 full 등급 약 13% 단축 |
| 최적화 직전 비용 구성 | 출력 23%, 캐시 쓰기 43%, 캐시 읽기 34% |
| 최적화 전 code quality 세션 | 평균 16.6회 LLM 호출, 캐시 쓰기 7.2만 토큰, 읽기 108만 토큰 |
| Anthropic 캐시 조건 | 쓰기 일반 입력 가격의 1.25배, 읽기 0.1배; 읽기가 없으면 5분 뒤 만료 |
| 첫 요청 계측과 prefix 수정 | 9월 14일 계측 시작; 공통 도구·프롬프트 1.1만~2.1만 토큰인데 첫 요청 적중률 14~26%; 9월 16일 블록 분리 |
| Codex 참조 색인 이동 효과 | 초기 3턴의 파일 읽기 제거; 실행당 호출 15.9 → 9.6회, 비용 $1.12 → $0.72 |
| 9월 16일 변경의 합산 효과 | 리뷰당 $2.47 → $2.02 |
| 9월 21·23일 변경 효과 | 여러 호출·실행 최적화로 리뷰당 약 $0.20 절감 |
| 도구 노출과 파일 읽기 | 하위 리뷰어 세션의 57~76%가 금지된 게시 도구 호출 시도; 제거 뒤 요청당 도구 정의 약 2,900토큰 감소. code quality 턴의 64%가 단일 도구 호출이었으며, 변경 뒤 첫 응답에서 최대 150KB 읽기 |
| 재리뷰 생략 조건과 비율 | 전체 작업 약 3분의 2가 재리뷰; full 등급 재리뷰에서 AGENTS.md 56%, 성능 23%, 문서 13% 생략 |
| 게시 뒤 추가 턴 제거 | 작업당 약 $0.07 절감 |
| 시간 초과와 작업 취소 | 제한 시간·effort·오류 처리 변경 뒤 보안 시간 초과 1.8% → 거의 없음; 취소 표본 446건 중 358건이 계속 실행되어 15초마다 상태 확인 |
| 리뷰어 간 prefix 공유 | 후속 리뷰어가 스트리밍 시작을 최대 20초 대기; 리뷰어당 약 $0.09 절감 |
| 변경별 절감액 추정 | 전체 $1.67 절감에 코드 변경 $0.65, 모델·effort 변경 $1.06으로 보고; 각 단계 전후 비교이며 통제 실험 아님 |
| 코디네이터 effort 비교 | 같은 모델의 full 등급에서 medium이 20% 빠름; Opus 5.5의 낮은 토큰 단가가 설명하는 절감은 약 $0.20 |
| 9월 초 이후 토큰 감소 | 리뷰당 캐시 읽기 82%, 캐시 쓰기 54%, 출력 67% 감소 |
| Sonnet 모델 비교 | 10월 3일부터 50:50 배분, 2.5일 관측; 5.5가 code quality 62%, 성능 58%, 보안 47% 저렴해 10월 5일 전체 전환 |
| Sonnet 5.5 code quality 호출 | medium 평균 1.7회로 이전 6.2회보다 감소, 절반 이상 단일 호출; high 평균 3.4회 |
| code quality effort 비교 | 10월 5일부터 50:50 배분 후 하루 관측; high가 실행당 61% 비싸고 critical·warning 58% 증가, 리뷰당 추가 비용 약 $0.02 |
| 지연 분포 | 9월 14일 전 4주 대비 5분 초과 리뷰 37.9% → 0.7%; 현재 99백분위는 4월 리뷰의 75%보다 빠름 |
| 등급별 중앙값 | full 5분 16초 → 1분 54초; lite 2분 58초 → 1분 14초; trivial 77초 → 30초 |
| 8월의 지연 악화 | 4월 보고값 대비 중앙값 14%, 99백분위 48% 증가 |
| critical·warning 발견 감소 | 8월 말 대비 code quality high 40%, 보안 medium 56%, 성능 medium 71% 감소 |
| 작성자 수정 기반 검증 | 주변 30~40줄 거리의 우연한 변경률 약 15%; code quality 지적 뒤 수정 34% → 59%, 리뷰 1,000건당 수정으로 이어진 발견 145 → 132로 오차 범위 내 |
| 전체 리뷰어의 수정 유발 발견 | 리뷰어 4종 합계, 리뷰 1,000건당 229 → 321 |
| 모델 판정 표본과 결과 | Sonnet 리뷰어 3종의 발견 657건; 중요한 발견 리뷰당 0.28 → 0.30으로 구간 중첩, 심각도 과장 발견 0.46 → 0.14로 70% 감소 |
| effort·리뷰어별 품질 차이 | code quality medium의 수정 유발 발견은 high의 약 4분의 1; 성능의 중요한 발견 약 64% 감소로 full 리뷰 24건당 약 1건 감소; 보안 약 4분의 1 감소는 통계적 유의성 없음 |
| 품질 검증의 관측 한계 | 집단별 발견 35~66건, 현재 관측 구간 하루 |
| 신뢰성 | 판정 없이 종료 0.79% → 0.27%; 보안 리뷰어 재시도 3.5% → 0.04% |