본문으로 건너뛰기
끝까지 돌릴 빌드를 다시 고른 Uber의 SubmitQueue
목차

끝까지 돌릴 빌드를 다시 고른 Uber의 SubmitQueue (2025-06)

원문 정보

  • 원문: Slashing CI Costs at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2025-06-24
  • 저자: Zhongpeng Lin(Staff Software Engineer, Developer Platform), Dhruva Juloori(Senior Software Engineer), Matthew Williams(Staff Software Engineer, Developer Platform)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

빌드가 끝나도 기다려야 했던 대기열

빌드는 끝났는데 커밋은 기다려야 했습니다. Uber의 SubmitQueue는 변경을 제출 순서대로 처리했기에, 작고 빠른 변경도 앞선 큰 변경의 커밋이나 거절이 결정될 때까지 기다렸습니다.

SubmitQueue는 메인라인을 초록으로 지키며 변경을 계속 반영하는 시스템입니다. 저장소 기록의 어느 커밋에서든 컴파일, 단위 테스트, UI 테스트를 비롯한 모든 빌드 단계가 성공해야 한다는 뜻입니다. 매일 쓰는 엔지니어만 4,500명이 넘습니다. 일곱 가지 언어로 작성한 수억 줄의 코드가 여섯 모노레포에 있고, 매달 수만 건의 변경이 들어옵니다.

이 시스템은 대기 중인 변경의 성공과 실패를 미리 가정해 가능한 빌드를 투기 트리로 만들고, 확률 모델과 머신러닝 모델로 우선순위를 매겨 병렬 실행합니다. 그런데 새로 도착한 변경의 빌드가 더 성공할 것 같으면 진행 중인 빌드를 중단했습니다. 주요 모노레포에서 이렇게 중단된 빌드는 전체의 40~65%로 추정됐으며, 중단이 잦아 추가 빌드가 필요했습니다.

원문이 인용한 연구는 대규모 CI의 연간 비용을 수백만 달러로 추정합니다. Uber는 빌드를 고르는 확률 모델과 투기 임계값을 바꿔, CI 자원 사용량을 53%, 대기 시간을 37% 줄였습니다.

작은 변경부터 판정하는 BLRD

기다림을 줄이는 기능은 이미 있었습니다. 큰 변경은 많은 빌드 타깃을 건드려 뒤따르는 거의 모든 변경과 충돌할 수 있는데, BLRD(Bypassing Large Diffs)는 여기에 막힌 작은 변경을 먼저 커밋하거나 거절할 수 있게 해 줍니다.

저장소의 현재 HEAD를 H라고 두고, 크고 느린 C1 뒤에 작고 빠른 C2가 들어왔다고 가정하겠습니다. 두 변경은 서로 충돌합니다. C2만 H에 적용한 빌드가 B2, H에 C1을 적용한 뒤 C2를 더한 빌드가 B1.2입니다.

B2와 B1.2의 결과가 같다면 C2의 판정은 C1의 결과에 달려 있지 않습니다. 둘 다 성공하면 C1의 빌드가 진행 중이어도 C2부터 커밋할 수 있습니다. C1 다음에 C2를 적용해도, 순서를 뒤집어도 같은 결과를 얻는 교환법칙을 이용한 것입니다.

이렇게 건너뛰려면 작은 변경의 투기 빌드를 모두 평가해 결과가 일치하는지 확인해야 합니다. 기존 확률 모델은 변경 하나를 판정할 빌드도 하나뿐이며 변경은 도착 순서대로 반영된다고 가정했고, 작은 변경과 큰 변경을 구분하지도 못했습니다. 대부분의 경우 작은 변경에 필요한 투기 빌드를 전부 평가하지 못해, BLRD로 건너뛸 수 있는 변경도 계속 기다렸습니다.

먼저 끝날 가능성을 반영한 빌드 우선순위

새 모델은 건너뛸 가능성이 있는 변경의 투기 빌드에 모두 같은 우선순위를 줍니다. 앞선 충돌 변경이 커밋되거나 거절된 뒤에야 빌드가 끝날 변경에는 가장 필요할 가능성이 높은 빌드만 고릅니다. 이때는 빌드 하나면 충분합니다. 투기 트리가 깊어질수록 가능한 빌드 수가 지수적으로 늘어나므로, 모든 변경의 빌드를 빠짐없이 실행하는 비용을 피하려는 선택입니다.

우선순위의 기준은 빌드 결과가 해당 변경의 커밋·거절 판정에 쓰일 확률입니다. 계산할 때는 앞선 충돌 변경을 건너뛸 수 있는 집합과 건너뛰지 못하는 집합으로 나눕니다. 건너뛸 후보마다 현재 변경이 그 후보보다 먼저 끝날 확률을 곱해, 빌드가 판정에 필요할 확률에 반영합니다.

먼저 끝날 확률은 빌드 시간 예측에서 구합니다. NGBoost가 과거 빌드에서 실행 시간의 평균과 분산을 학습하며, 변경별 평균과 분산은 그 변경에 속한 개별 빌드의 값을 각각 평균 내 얻습니다. 빌드 시간을 정규분포로 모델링하므로 두 빌드 시간의 차이도 정규분포로 다룹니다. 이 차이의 평균과 표준편차에 두 변경의 도착 시각 차이를 함께 반영해 Z-score를 계산하고, 표준정규분포의 누적분포 값으로 나중에 온 변경이 먼저 끝날 확률을 얻습니다.

투기 트리가 지나치게 깊어지면 기존 모델로 돌아갑니다. 앞선 모든 변경을 고려해 가장 필요할 법한 빌드만 우선하는 방식입니다.

낮은 확률의 빌드를 거르는 투기 임계값

우선순위만 정하지는 않았습니다. 빌드가 판정에 필요할 확률에 최소 임계값을 두고, 과거 데이터를 바탕으로 모노레포마다 조정합니다. 임계값을 너무 높이면 부하가 클 때 작은 변경도 앞선 큰 변경을 기다려야 하므로 반영 시간이 길어집니다.

임계값만 적용하면 작은 변경에 필요한 투기 빌드까지 점수가 낮다는 이유로 빠질 수 있습니다. 새 모델은 건너뛸 가능성이 높은 작은 변경의 점수를 높입니다. 이렇게 조정한 확률에 임계값을 적용해 자원 사용과 변경 반영 시간의 균형을 잡습니다.

우선순위에 맞춰 빌드를 고르는 Selector

변경이 API 서비스를 거쳐 분산 큐에 들어오면 Enumerator가 투기 트리를 만듭니다. 타깃 분석기로 충돌을 찾아 불필요한 가지를 잘라 내고, 서로 독립적인 변경을 가려 병렬로 빌드할 수 있게 합니다. Profiler는 빌드 시간 분석기의 예측을 받아 각 변경이 건너뛸 수 있는 후보를 찾고, 트리별 프로필에 기록합니다.

Prioritizer는 이 프로필과 머신러닝 성공 예측기의 점수로 노드별 필요 확률을 계산해 순위를 정합니다. 그 순서에 따라 확률이 높은 빌드를 CI에 예약하는 구성 요소가 Selector입니다. 최신 우선순위 목록에서 빠진 진행 중 빌드는 여기서 중단하며, 조건을 만족한 변경은 안전하게 모노레포에 커밋합니다.

11주차에 전환한 세 모노레포

2024년 Uber는 가장 큰 세 모노레포인 Go, iOS, Android에 새 전략을 적용했습니다. 적용 전후 21주 동안 주간 CPU 시간, 변경당 빌드 수, P95 대기 시간을 추적했으며, 전환 시점은 11주차입니다. 평가 대상은 이 세 저장소지만, 기법 자체는 언어나 플랫폼에 종속되지 않습니다.

변경당 빌드 수는 적용 전 10주 동안 3에서 6 사이를 오갔습니다. 적용 뒤에는 세 저장소 모두 줄었고, Android의 감소 폭이 가장 컸습니다. 평균 5.43에서 1.96으로 내려가 64.02% 감소했습니다. 주간 CPU 시간도 모든 저장소에서 줄었습니다.

빌드를 덜 돌린 대가로 기다림이 늘지는 않았는지도 확인했습니다. 임계값을 높이는 것만으로도 자원은 아낄 수 있지만, 작은 변경에 필요한 투기 빌드까지 제외하면 BLRD가 작동하지 않아 대기가 길어질 수 있기 때문입니다. P95 대기 시간은 세 저장소 모두 줄었습니다. iOS와 Android는 적용 직후 안정됐고, Go는 15주차 이후 변동이 줄었습니다.

저장소별 적용 전후 측정값
지표GoiOSAndroid
변경당 빌드 수(적용 전 평균 → 후)3.39 → 1.85 (-45.45%)4.93 → 2.57 (-47.86%)5.43 → 1.96 (-64.02%)
주간 CPU 시간(적용 전 평균 → 후)1,485 → 821 (-44.70%)472 → 307 (-34.86%)729 → 348 (-52.23%)
P95 대기 시간, 분(적용 전 평균 → 후)33.69 → 18.64 (-44.67%)14.86 → 9.91 (-33.32%)25.36 → 17.33 (-31.66%)
적용 전 CPU 시간 범위최대 약 2,000시간(8주차)400~600시간500~800시간

미국 업무 시간에 더 깊어지는 투기 트리

팀이 커지고 AI 코딩 도구로 생산성이 오르면 커밋은 더 자주 들어옵니다. 특히 미국 업무 시간에는 커밋 유입량이 정점에 이릅니다. 빌드와 테스트 시간이 그대로여도 큐가 앞선 변경을 처리하기 전에 새로운 충돌 변경이 들어오면, 투기 트리는 깊어지고 BLRD 비용은 더 커집니다.

Uber가 다음 과제로 남긴 것은 자원을 더 쓰지 않고 처리량을 높일 새 스케줄링 알고리즘입니다.

마지막 수정 일자