목차
AI의 헛일과 반복 비용을 줄인 Uber 소프트웨어 팩토리 (2026-08)
원문 정보
- 원문: Running a Software Factory Efficiently at Uber Scale
- 매체 · 게시일: Uber Engineering Blog · 2026-08-27
- 저자: Uday Kiran Medisetty(Distinguished Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
20분의 탐색을 줄인 AI Context Graph
에이전트가 20분 동안 서비스 코드를 뒤졌습니다. 서브에이전트도 2개 띄우고 에러를 3번 만난 끝에, 찾던 데이터셋은 조회할 수 없다고 답했습니다. 틀린 답이었습니다.
우버가 같은 모델에 같은 프롬프트를 주되 사전 근거를 제공한 경우에는 결과가 달랐습니다. 에이전트는 과거 사용 이력을 조회해 분석가 50명 넘게가 쓰는 테이블을 찾았고, 38초 만에 답했습니다. 이때 근거를 제공한 시스템이 AI Context Graph입니다.
우버에는 수억 줄의 코드와 수천 개 테이블이 있습니다. 에이전트는 코드를 작성하기보다 무언가를 찾는 데 대부분의 턴을 썼습니다. AI Context Graph는 서비스, 팀, 인시던트 로그, PR, 설계 문서, 배포, 데이터셋, 과거 테이블 사용 쿼리를 연결해 이 탐색을 돕습니다. 30개 넘는 내부 시스템에서 모은 정보가 노드 2400만 개와 엣지 8000만 개를 이루며, 노드 유형은 86개, 엣지 유형은 117개입니다. 에이전트는 이 그래프에 자연어로 질의합니다.
근거가 부족한 에이전트는 실패하는 데도 오래 걸립니다. 한 군데만 더 찾아보는 동안 컨텍스트가 커지고, 그 컨텍스트를 요청마다 다시 보냅니다. 우버가 처음부터 풍부한 정보를 주는 일을 강력한 비용 절감 수단으로 본 이유입니다. 38초와 20분의 차이에는 응답 속도뿐 아니라 불필요한 탐색, 도구 호출, 반복 전송 비용이 함께 들어 있습니다.
사용자가 7배 늘어난 개발 현장
우버는 AI 사용을 계속 늘리면서 이런 낭비를 줄이려 했습니다. 2026년 2월부터 8월 중순까지 에이전트 제품의 주간 활성 사용자는 7배, 주간 요청은 9.4배 늘었습니다. 엔지니어와 비엔지니어를 모두 포함하고 도구 사이의 중복 사용자는 뺀 수치입니다. 그동안 전체 AI 지출은 4월 이후 비교적 안정적으로 유지됐습니다.
이미 PR의 70% 넘게가 로컬 또는 클라우드 에이전트의 기여로 집계됩니다. 엔지니어들이 개발 수명주기(SDLC) 전반에 걸쳐 만든 스킬은 3600개가 넘고, 하루 실행 횟수는 3만 번 이상입니다. 사람이 직접 시작하지 않는 세션도 늘고 있습니다. 관리형 에이전트가 코드 리뷰, CI 실패 자가 복구, 시각 검증을 포함한 E2E PR 완성, 온콜 알림 분류, 버그 디버깅과 코드 유지보수를 맡고, 사람은 리뷰하거나 에스컬레이션을 받습니다. 우버가 AI Engineer 2026 콘퍼런스에서 소개한 소프트웨어 팩토리는 이런 작업을 개발 수명주기 전반으로 넓히려는 비전입니다.
사용량과 모델이 계속 바뀌면 비용 감소의 원인도 섞입니다. 우버는 자체 최적화의 효과를 보려고 모델 하나를 고정했습니다. 모델을 업그레이드할 때마다 동작이 달라지기 때문입니다. 2월부터 7월까지 비교한 결과, 요청 1000건당 비용은 정점 대비 거의 34% 줄었습니다. 5월 말부터 집계한 세션당 비용은 6월 정점보다 52% 낮아졌습니다.
이 절감은 표준 티어 가격 안에서 우버의 작업을 더 효율적으로 라우팅한 결과입니다. 가격과 벤더 지표는 공개된 정보를 사용했습니다. 절감폭 자체는 우버 환경의 수치이며, 다른 코드베이스와 워크플로에서도 같은 비율이 나온다는 뜻은 아닙니다. 다른 환경으로 가져갈 수 있는 것은 실제 작업을 벤치마크하고 정확도와 비용을 함께 평가하는 접근입니다.
줄일 비용을 가려낸 여섯 항의 방정식
우버는 총지출을 여섯 항의 곱으로 나눴습니다. 사용자 수와 참여를 나타내는 앞의 두 항은 계속 키우려는 대상입니다. 최적화 노력은 가운데 세 항, 곧 엔지니어의 요청을 처리하면서 에이전트가 자체적으로 수행하는 작업에 집중했습니다. 계획을 더 빨리 세우고, 불필요한 턴과 에러를 줄이며, 요청마다 보내는 입력 토큰을 줄이는 일입니다.
청구서 총액만으로는 이 변화가 보이지 않습니다. 우버는 주간·월간 지표에서 총 귀속 비용과 고유 사용자 수를 확인하고, 도구별 비용·사용자·지출 비중을 나눠 봅니다. 어느 도구에 돈이 쓰였는지 확인한 뒤에는 그 도구가 실제로 저렴해졌는지, 사용 패턴이 다른 곳으로 옮겨 갔는지를 구분합니다.
이를 위해 도구별로 사용자당 비용과 요청 수, 요청 1000건당 비용, 요청당 입력·출력·전체 토큰, 100만 토큰당 비용을 추적합니다. 세션 1000건당 비용과 활성 세션 시간당 비용, 프롬프트 캐시 적중률도 함께 봅니다. 모델별로는 비용과 요청의 비중, 요청 1000건당 비용, 100만 토큰당 비용을 확인해 어떤 모델 출시가 청구서를 바꿨는지 살핍니다. 토큰 단가가 그대로여도 모델의 동작이 바뀌면 작업 비용은 달라질 수 있기 때문입니다.
비용 변화는 사용자 수, 사용자당 요청 수, 요청당 입력 토큰, 요청당 출력 토큰의 변화로 순차 분해합니다. 설명되지 않는 잔여분을 남기지 않고, 도입이 늘어난 영향과 작업량이 달라진 영향을 수치로 구분하려는 방식입니다.
관리형 에이전트에는 완료한 일의 단위가 더 직접적인 기준입니다. 머지된 PR당, 리뷰당, 알림당, 정리 작업당 비용을 재고, 되돌림 비율·F1·MTTR로 품질을 확인합니다. 반영한 diff, 게시한 리뷰, 분류한 알림의 양도 함께 기록합니다. 모델을 바꾼 뒤 토큰 비용이 내려갔더라도, 실제 성과 한 건의 비용과 품질이 유지됐는지까지 확인하는 것입니다.
사용자 입력 전에 쌓인 MCP 스키마
에이전트는 매 턴 전체 대화 이력과 프로젝트 컨텍스트, 도구 결과를 다시 보냅니다. 처음부터 불필요한 정보가 들어 있으면 한 번의 낭비로 끝나지 않습니다. 세션이 이어질수록 같은 입력 비용을 거듭 냅니다.
MCP 도구 스키마가 그런 입력이었습니다. 우버의 MCP 통신은 내부 서버와 서드파티 SaaS를 합쳐 1000개 넘는 MCP 서버를 연결하는 통합 게이트웨이를 거칩니다. 인증과 정책은 중앙에서 처리하지만, 표준 MCP 방식은 세션에서 쓸지와 관계없이 모든 도구 스키마를 불러왔습니다. 도구가 100개 넘게 설치된 환경에서는 스키마만 약 5만~7만 토큰이었습니다. 이 토큰도 매 턴 다시 보냈습니다.
SaaS는 부담이 더 컸습니다. 벤더는 고객이 어떤 기능을 쓸지 알 수 없어 제품 기능 전체를 MCP로 노출합니다. 한 워크스페이스 스위트는 도구 49개를 묶었고, 스키마만 약 2만 2000토큰이었습니다. 메시징과 프로젝트 추적 벤더도 각각 34개, 46개 도구를 제공했습니다. 이런 서버 두세 개를 연결하면 사용자가 첫 프롬프트를 쓰기도 전에, 에이전트가 편집할 파일보다 많은 스키마를 짊어집니다.
우버는 도구를 해석하는 시점을 호출할 때로 옮겼습니다. 모델이 셸 명령을 실행하면 CLI가 게이트웨이에서 해당 도구를 찾아 호출합니다. 게이트웨이의 1000개 넘는 MCP 도구를 CLI 명령으로 노출하면서 우버 MCP 스키마를 세션 컨텍스트에서 뺐습니다. 별도로 도구 검색도 제공합니다. 모델이 카탈로그를 검색해 필요한 정의만 불러오므로, 도구가 수천 개로 늘어도 선택 정확도를 유지하면서 컨텍스트 소비를 줄입니다.
SaaS MCP도 같은 게이트웨이로 라우팅하고 CLI로 노출했습니다. 이렇게 하면 어떤 에이전트 실행 환경에서든 같은 도구를 호출할 수 있습니다. 서버마다 자주 쓰는 작업 흐름은 코드 모드 플러그인의 전용 스킬에 담았습니다.
모델의 턴을 대신한 Python 루프
도구를 셸 명령으로 호출하면 여러 동작을 스크립트 하나로 묶을 수 있습니다. 우버의 코드 모드는 이 점을 이용합니다. 특히 중간 응답이 많은 도구에서 효과가 컸습니다.
SQL 쿼리 하나를 실행하는 과정에도 제출, 상태 폴링 2~5회, 결과 조회가 들어갑니다. 표준 MCP에서는 각 동작에 모델 턴이 필요하고, 모델이 중간 응답을 읽으며 다음 호출을 결정합니다. 응답은 계속 컨텍스트에 쌓입니다. 코드 모드에서는 이 과정을 Python 루프로 작성해 서브프로세스에서 실행하고 요약만 모델에 돌려줍니다. 폴링에 모델이 매번 참여하지 않아도 됩니다.
같은 Claude Code 세션에서 동일한 SQL 쿼리 다섯 개를 두 경로로 실행해 비교했습니다. 결과가 단 1행인 SELECT 1도 일반 도구 사용에서는 903토큰, 코드 모드에서는 402토큰으로 55% 줄었습니다. 작은 결과에서도 절감폭이 50%를 넘었다는 점이 눈에 들어옵니다. 큰 데이터 응답을 피한 효과만으로 설명되지 않습니다. 스키마 초기화, 여러 턴에 걸친 폴링, 단계마다 되풀이하던 추론이 사라진 결과입니다.
넓은 테이블에서 50행을 가져온 쿼리는 1,431,594토큰에서 900토큰으로 줄었습니다. 대량 작업에서는 여러 모델 턴에 걸친 루프를 스크립트 하나가 대신하면서 절감폭이 90%를 넘습니다. 우버는 많이 쓰는 MCP 서버를 대상으로 25개 넘는 코드 모드 스킬을 미리 제공해, 일반적인 작업부터 이 경로를 이용하도록 했습니다.
긴 세션의 비용을 줄이는 기본값
도구 응답을 줄여도 대화 이력은 계속 자랍니다. 우버는 대화형 하네스의 설치·설정·인증·비용 표시를 담당하는 통합 래퍼에서 기본 설정을 관리합니다. 모델이 1M 컨텍스트를 지원하더라도 자동 압축은 400k 토큰에서 시작합니다. 모델 성능, 캐시 비용 급증, 반복되는 입력 비용을 함께 고려한 임계값이며, 실제로 전체 에이전트 환경에서 요청당 입력 토큰이 줄었습니다.
추론 강도의 기본값은 Medium입니다. 주 모델에서 출력 토큰은 입력 토큰보다 몇 배 비싸고, 내부 추론 토큰도 출력에 포함됩니다. 우버는 많은 작업에서 Medium이 품질과 비용 사이의 균형을 유지한다고 판단했습니다. 이 설정은 비싼 출력 토큰의 소비를 직접 줄입니다.
캐시는 턴 사이의 간격을 보고 정했습니다. 캐시 유효시간인 TTL은 Anthropic에서 5분과 1시간, OpenAI에서 30분을 제공합니다. 원문에서 비교한 5분·1시간 캐시의 읽기 요율은 표준 입력 토큰의 0.1배입니다. 쓰기는 더 비쌉니다. 5분 캐시는 1.25배, 1시간 캐시는 2배의 요율을 냅니다.
우버 엔지니어들은 대화형 세션을 5분 넘게 놓아두는 일이 잦았습니다. 돌아왔을 때는 접두어 캐시가 만료돼, 같은 컨텍스트를 전체 입력 요율로 다시 쌓아야 했습니다. 우버가 대화형 세션의 TTL을 5분에서 1시간으로 늘린 이유입니다. 캐시를 쓸 때의 할증보다 실제 작업 간격에서 얼마나 재사용하는지가 판단 기준이었습니다.
서브에이전트에는 5분 TTL을 유지했습니다. 짧은 단일 작업을 수행하는 서브에이전트와 사람이 중간에 자리를 비우는 대화형 세션에 같은 유효시간을 적용하지 않은 것입니다.
실제 PR로 고른 uReview 모델
토큰 가격표는 벤더가 정합니다. 우버가 고를 수 있는 것은 각 작업을 처리할 모델입니다. 이때 기준은 토큰 단가 하나가 아니라 완료한 작업당 비용, 출력 품질, 신뢰성을 함께 평가한 파레토 효율입니다.
모든 PR의 AI 코드 리뷰를 맡는 uReview에서는 알려진 버그가 있는 실제 PR로 벤치마크를 만들었습니다. 버그 난이도를 쉬움·중간·어려움으로 나누고, 정밀도·재현율·F1과 리뷰당 비용을 측정했습니다. 지연, 타임아웃, 노이즈도 평가에 포함했습니다. 모델을 교체한 결과 F1은 높아지고 PR당 비용은 크게 내려갔습니다.
한 번 고른 모델을 계속 쓰지는 않습니다. 우버는 각 관리형 에이전트의 실제 작업으로 벤치마크를 만들고, 프런티어 모델과 오픈 웨이트 모델을 같은 인터페이스의 하네스에서 실행합니다. 시험한 구성들을 비용과 품질로 비교해 파레토 최적인 모델로 옮깁니다. 더 유리한 선택지가 몇 주마다 바뀌므로 평가와 이동도 계속됩니다.
이 선택을 더 넓게 뒷받침하는 것이 Uber SWE Benchmark입니다. 대규모 모노레포의 실제 PR 수천 건을 여러 작업 유형으로 나누고 프런티어·오픈 웨이트 모델을 실행해, SDLC 전반의 관리형 에이전트에 쓸 모델을 판단합니다. 관리형 에이전트에서 모은 결과를 바탕으로 모델 라우팅 전략도 시험하고 있습니다.
대화형 세션에서는 기본값이 모델별 토큰 사용 비중을 바꿉니다. 세션을 시작할 모델과 서브에이전트가 사용할 모델이 여기에 해당하며, 가장 영향이 큰 설정은 서브에이전트 모델이었습니다. 다중 에이전트 오케스트레이션이 나아지면서 서브에이전트를 실행하는 세션도 늘고 있습니다.
주 모델은 작업을 나누고 결과를 평가합니다. 서브에이전트는 범위가 분명한 작업을 맡아 프런티어급 추론이 필요하지 않은 경우가 많습니다. 그래서 우버는 서브에이전트에 더 저렴하고 성능이 낮은 모델을 기본으로 지정하되, 사용자가 직접 바꿀 수 있게 했습니다. 모든 작업에 같은 수준의 모델을 배정하지 않고, 맡은 일에 필요한 능력을 기준으로 비용을 조절한 것입니다.
지출의 원인까지 보여 주는 세션 대시보드
엔지니어에게는 현재 얼마를 쓰고 있는지도 보여 줍니다. 하네스 상태 줄에 실시간 비용 카운터를 넣어 해당 하네스의 비용과 사용자의 모든 하네스를 합친 지출을 표시합니다. 대화형 하네스에는 도구별 예산을 따로 주지 않고 하나의 공유 지출 풀과 티어를 적용합니다. 관리형 에이전트의 티어는 별도로 관리합니다.
운영 방식은 엄격한 상한보다 피드백에 가깝습니다. 예상 지출의 50/80/100%에 도달하면 Slack으로 알리고, 티어 상향은 관리자 승인으로 빠르게 반영합니다. 비용 점검 스킬과 효율 안내도 제공합니다. 엔지니어가 작업의 효과와 비용을 따질 시간을 주면서 지출을 관리하려는 장치입니다.
카운터만으로는 비용이 커진 이유까지 알 수 없습니다. 일반적인 효율 지침도 개별 세션에서 무슨 일이 있었는지는 설명하지 못합니다. 우버는 런타임에 세션 분석 대시보드를 내장해 별도 설정이나 옵트인 없이 사용할 수 있게 했습니다. 비용 대시보드 스킬을 실행하면 사용자가 이용하는 모든 하네스의 로컬·원격 클라우드 샌드박스 세션 트레이스를 분석합니다.
분석 대상은 총액보다 구체적입니다. 대시보드는 세션에서 16가지 안티패턴을 찾고, 각 패턴의 금전적 영향과 개선 방법을 함께 보여 줍니다.
- 모델 배정: Sonnet으로 처리할 단순 다중 턴 세션을 Opus로 실행
- 컨텍스트 팽창: 40KB급 MCP 응답이 남아 이후 턴마다 반복 과금
- 캐시 만료: 긴 휴식 뒤 세션을 재개하면서 접두어를 전체 가격으로 재구축
- 초기화 비용: 사용자 입력 전에 시스템 지침과 도구 정의만 10만 토큰 적재
같은 지출이라도 원인에 따라 바꿀 설정이 다릅니다. 세션 트레이스에서 비용이 발생한 동작을 찾아야 모델을 바꿀지, 남겨 둔 응답을 줄일지, 캐시를 조정할지 판단할 근거가 생깁니다.
더 많은 개발 단계를 맡을 관리형 에이전트
우버는 에이전트 사용 환경을 가장 특화된 곳에서 가장 일반적인 곳까지 네 계층으로 나눕니다. 특화된 상위 계층일수록 비용, 품질, 모델 선택을 더 많이 통제할 수 있습니다. 관리형 환경에서는 모델 라우팅과 실행 하네스, 지출을 직접 제어합니다. 우버가 수천 명의 터미널 세션을 하나씩 최적화하는 일보다, 전용 벤치마크와 적합한 모델을 갖춘 관리형 에이전트를 늘리는 방향에 무게를 두는 이유입니다.
새 관리형 에이전트에도 같은 절차를 적용할 계획입니다. 먼저 목표 성과 지표를 정하고, 실제 작업을 평가할 벤치마크를 만든 뒤, 파레토 최적 모델을 찾습니다. 이 과정을 거쳐 SDLC의 각 단계를 소프트웨어 팩토리 성숙도 모델의 더 높은 단계로 옮기려 합니다.
동적 모델 라우팅을 위해서는 벤치마크가 다루는 프로그래밍 언어, 저장소, 에이전트 형태를 넓힐 예정입니다. AI Context Graph도 더 많은 자율 에이전트에 깊이 연결하려 합니다. 모델 선택의 근거와 작업을 시작할 때 주는 근거를 함께 보강하는 계획입니다.
세션 분석은 현재의 주기적인 배치 탐지에서 연속 트레이스 모니터링으로 발전시키려 합니다. 작업 중인 엔지니어에게 개인화된 개선안을 실시간으로 주려는 것입니다. 스킬 실행 중 생기는 불편도 자동으로 기록하고, 축적한 트레이스에서 스킬 업데이트를 자동 생성하는 방법을 연구하고 있습니다.
원문의 주요 수치와 측정 결과
| 항목 | 값 |
|---|---|
| 에이전트가 기여한 PR 비중 | 70% 이상 |
| 에이전트 스킬 수 / 일일 실행 | 3600개 이상 / 3만 회 이상 |
| 주간 활성 사용자 (2월~8월) | 7배 |
| 주간 에이전트 요청 (2월~8월) | 9.4배 |
| 모델 고정 시 요청 1000건당 비용 (2월~7월) | 정점 대비 약 34% 감소 |
| 모델 고정 시 세션당 비용 | 6월 정점 대비 52% 감소 |
| 자동 압축 임계값 | 400k 토큰 (1M 컨텍스트 모델 포함) |
| 기본 추론 강도 | Medium |
| 캐시 읽기 요율 | 표준 입력 토큰의 0.1배 |
| 캐시 쓰기 요율 | 5분 1.25배, 1시간 2배 |
| 대화형 세션 캐시 TTL | 5분에서 1시간으로 (서브에이전트는 5분 유지) |
| 통합 게이트웨이의 MCP 서버 | 1000개 이상 |
| 도구 100개 이상 시 스키마 오버헤드 | 약 5만~7만 토큰 |
| 사전 제작 코드 모드 스킬 | 25개 이상 |
| SaaS MCP 스키마 예 | 도구 49개 약 2만 2000토큰 (다른 벤더는 34개, 46개) |
| AI Context Graph | 노드 2400만, 엣지 8000만, 노드 유형 86, 엣지 유형 117, 내부 시스템 30개 이상 |
| 그래프 근거 유무 비교 | 38초 정답 대 20분 후 오답 |
| Slack 지출 알림 | 예상 지출의 50/80/100% |
| 세션 분석이 찾는 안티패턴 | 16가지 |
| 쿼리 (코드 모드 비교) | LLM 도구 사용 토큰 | 코드 모드 토큰 | 절감 |
|---|---|---|---|
| SELECT 1 (1행) | 903 | 402 | 55% |
| COUNT(*) (1행) | 954 | 403 | 58% |
| GROUP BY LIMIT 20 (20행) | 1,600 | 457 | 71% |
| SHOW COLUMNS (175행) | 2,200 | 900 | 59% |
| SELECT * 넓은 테이블 (50행) | 1,431,594 | 900 | 약 100% |