목차
큰 변경에 막힌 Go 모노레포 대기열을 줄인 Uber CI (2022-06)
원문 정보
- 원문: How We Halved Go Monorepo CI Build Time
- 매체 · 게시일: Uber Engineering Blog · 2022-06-23
- 저자: Tyler French(Developer Platform 팀 Software Engineer II), Mindaugas Rukas(Developer Platform 팀 Sr. Software Engineer), Xiaoyang Tan(Developer Platform 팀 Sr. Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
초록불을 받고도 멈춘 SubmitQueue 대기열
Uber의 Go 모노레포에서는 라이브러리 몇 줄을 고친 뒤 검증만 몇 시간씩 기다리는 일이 있었습니다. 코드의 길이로는 짐작하기 어려운 시간입니다. 널리 쓰이는 기반 라이브러리를 바꾸면 그에 의존하는 모든 패키지를 다시 빌드하고 테스트해야 했습니다. Uber가 ‘큰 변경’이라고 부르던 작업입니다.
2021년 전까지 코드 변경은 꽤 고된 여정을 거쳤습니다. 엔지니어가 로컬 브랜치에서 코드를 고쳐 사내 리뷰 시스템 Phabricator에 리비전을 올리면, CI가 Bazel로 빌드와 테스트를 실행하고 커버리지 등을 확인했습니다. 돌아오는 신호는 빨간불 또는 초록불입니다. 초록불을 보고 코드 리뷰까지 받으면 main에 변경을 반영하는 land 요청을 SubmitQueue에 냈습니다. 큐는 변경을 main의 최신 HEAD에 적용한 뒤 관련 빌드와 테스트를 다시 실행하고, 문제가 없으면 푸시하고 리비전을 닫았습니다.
큰 변경의 긴 검증은 작성자만의 문제가 아니었습니다. SubmitQueue는 Conflict Analyzer로 앞선 변경과의 충돌을 확인하고, 충돌하지 않는 변경은 병렬로 검증하고 반영합니다. 그런데 저장소의 넓은 부분에 영향을 주는 변경은 대부분의 다른 변경과 충돌합니다. 그 뒤에 들어온 변경들도 기다려야 했습니다.
미리 검증해 두어도 대기는 남았습니다. SubmitQueue는 앞선 변경들의 결과를 추측해 여러 경로에서 후속 변경을 검증하지만, 실제로 어느 경로를 택할지는 앞선 충돌 변경들의 결과가 나와야 결정할 수 있습니다. 뒤의 변경들이 여러 경로에서 검증을 마치고도 큰 변경 하나를 기다리는 모습이 자주 나타났습니다.
당시 근무 시간에는 Go 모노레포에 시간당 약 50건의 변경이 들어왔습니다. 큐 맨 앞의 변경이 나머지 변경들과 충돌하고 테스트에 한 시간이 걸린다면, 뒤의 49건은 그 변경이 반영될 때까지 진행하지 못합니다. 엔지니어 50명이 각자 한 시간 넘게 기다리는 상황입니다.
큰 변경을 피크 시간 밖으로 미룬 SubmitQueue
급한 대기열을 줄일 처방은 큰 변경을 근무 시간에 받지 않는 것이었습니다. 필요한 인프라 기능이 부족한 상황에서 빠르게 내놓을 수 있는 방법이었고, 구현에는 며칠이 걸렸습니다. 큰 변경으로 분류되면 랜딩 큐 진입을 막는 ‘가드’를 두자 대기 시간은 곧바로 줄었습니다.
불만도 바로 나왔습니다. 크고 중요한 변경을 준비한 엔지니어는 퇴근 이후까지 기다리고 싶지 않았습니다. 전 세계에 사무실이 있는 Uber에서는 어느 시간이든 누군가의 근무 시간이기도 했습니다. 부하가 고르게 분포하지는 않았으므로, 차단 기준을 ‘근무 시간’에서 주로 미국 시간대에 해당하는 ‘피크 시간’으로 바꿨습니다.
큰 변경을 한가한 시간으로 미루는 데에는 다른 어려움도 있었습니다. 큰 변경은 장애로 이어지기 쉬운데, 근무 시간 밖에는 대응 인력이 제한됩니다. 결국 Go 컴파일러 업그레이드 같은 변경을 배포하려고 엔지니어에게 일찍 일어나 달라고 요청하게 됐습니다. 피크 시간이 끝나면 자동으로 변경을 반영하는 ‘지연 land’ 기능도 추가했지만, 그것만으로는 충분하지 않았습니다.
큐 자체의 처리 시간을 줄이는 작업도 진행했습니다. Conflict Analyzer의 충돌 그래프를 단순화하자 잡 부하가 줄면서 비용과 지연이 낮아졌습니다. main에 푸시하는 과정도 바꿨습니다. CI 전에 변경을 현재 HEAD에 cherry-pick해 충돌하면 거부하고, 성공한 브랜치는 원격에 푸시해 다른 작업에서 공유하도록 했습니다. 검증이 끝나면 cherry-pick한 커밋을 푸시하므로, 비싼 fetch와 패치에 드는 작업을 줄일 수 있었습니다.
이 최적화로 푸시 시간은 약 65% 짧아졌습니다. 큐 안에서 보내는 전체 시간은 더 큰 폭으로 줄었으며, 여기에 들어간 연구와 실험은 후속 글에서 더 다루겠다고 밝혔습니다. 이제 큰 변경을 더 빨리 검증하는 작업이 남았습니다. 피크 시간에 들어오지 못하게 막는 가드도 없애야 했습니다.
병렬 빌드의 출발점이 된 CTC
빌드를 여러 머신에 나눠 맡길 기준은 이미 있었습니다. CI의 Changed Targets Calculation(CTC), 즉 변경 타깃 계산이 내놓는 목록입니다. CTC는 Go 패키지마다 모든 소스 파일과 입력을 반영한 노드를 만들고 이를 머클 트리 형태로 구성합니다. 변경 전후의 트리를 비교하면 직접 고친 패키지뿐 아니라 간접적으로 영향을 받은 패키지까지 찾을 수 있습니다. 이 Go 패키지들이 다시 빌드하고 테스트할 Bazel 타깃입니다.
범위를 찾는 일에도 시간이 들었습니다. 당시 CTC는 실행에 약 5분이 걸렸고, 모든 변경마다 실행해야 했습니다. 영향받는 타깃이 정해 둔 수를 넘으면 큰 변경으로 분류했는데, 원문이 든 기준 예시는 1만 개 초과입니다.
기존 CI는 준비부터 결과 보고까지 순서대로 진행됐습니다. 빌드 환경을 준비하고, 문제를 일찍 찾기 위해 의존성 검사나 린트 같은 사전 검사를 실행했습니다. 그 뒤 CTC로 검증할 타깃을 찾고 Bazel 빌드와 테스트를 마친 다음, 결과를 분석해 엔지니어와 관련 시스템에 알렸습니다. 랜딩 검증 시간의 P95와 P99를 나눠 보니 Bazel 빌드·테스트, CTC, 의존성 해결 검사가 시간을 많이 쓰는 구간이었습니다.
의존성 해결 검사는 쉽게 분리할 수 있었습니다. CTC나 Bazel 빌드에 의존하지 않으므로 별도로 병렬 실행하면 됐습니다. Bazel 빌드는 사정이 달랐습니다. CTC가 내놓는 타깃 목록을 기다려야 하므로 CTC와 나란히 시작할 수는 없지만, 목록을 받은 뒤에는 타깃들을 샤드로 나눠 여러 머신에서 빌드하고 테스트할 수 있었습니다.
루트 타깃으로 다시 나눈 Jenkins 샤드
당시 Uber CI는 Jenkins의 MultiJob 플러그인으로 잡의 순차·병렬 실행을 정의했습니다. 걸림돌은 정적 계층만 지원한다는 점이었습니다. Uber는 샤드 50개를 미리 정의한 뒤 메타데이터에 따라 필요한 샤드만 실행해, 동적으로 샤드를 만드는 것처럼 동작하게 했습니다. 타깃 1만 개를 검증하는 데 걸리던 한 시간이 약 10분으로 줄었습니다.
샤드가 50개라고 시간이 50분의 1이 되지는 않았습니다. 타깃 수를 고르게 나눠도 의존성은 샤드 경계를 넘습니다. 서로 다른 샤드에 배정된 타깃들이 같은 패키지에 의존한다면, 그 패키지는 필요한 샤드마다 다시 빌드해야 했습니다.
예를 들어 //a가 //b에, //c가 //d에 의존하는 그래프가 있습니다. 개발자가 //b와 //d를 바꾸면 CTC는 영향받는 //a, //b, //c, //d를 모두 반환합니다. 이 목록을 단순히 나누다가 //a와 //c를 한 샤드에, //b와 //d를 다른 샤드에 넣을 수 있습니다. 그러면 앞의 샤드도 의존성 때문에 //b와 //d를 빌드해야 하므로, 뒤의 샤드와 작업이 겹칩니다.
Uber는 CTC가 ‘루트 타깃’을 계산하도록 바꿨습니다. 빌드 그래프에서 다른 타깃이 의존하지 않는 타깃으로, 이 예에서는 //a와 //c입니다. //a를 빌드하면 //b도 빌드해야 하고, //c를 빌드하면 //d도 빌드해야 합니다. 따라서 //b와 //d를 별도 빌드 대상으로 지정할 이유가 없습니다. 루트 타깃을 기준으로 샤드를 나누면 //a와 //b, //c와 //d가 각각 같은 샤드에서 처리되어 중복이 줄어듭니다.
이 개선 뒤에는 큰 변경을 막던 가드를 없앨 수 있었습니다. 큰 변경이라는 이유로 피크 시간이 끝나기를 기다리지 않아도 됐습니다. 엔지니어들이 반길 만한 변화였습니다.
작은 변경에서 더 느려진 Buildkite
Jenkins에서 더 나아가려면 빌드마다 실행 구성을 바꿀 수 있어야 했습니다. Uber가 Buildkite를 살펴본 것도 이 때문입니다. CTC 결과에 변경 타깃이 없으면 빌드·테스트를 곧바로 건너뛰고, 타깃 하나만 바뀌었다면 샤드 하나로 실행하며, 변경 범위가 커지면 그에 맞춰 샤드 수와 배치를 정하려 했습니다.
Buildkite는 각 단계의 샤드를 별도 컨테이너에서 실행합니다. 저장소 체크아웃도 따로 합니다. 환경 변수 등이 다른 빌드에 섞이는 부작용은 줄었지만, 파일 50만 개와 복잡한 이력을 가진 저장소를 매번 체크아웃하는 일은 느렸습니다. 빌드들은 공통 캐시 없이 같은 작업을 반복했습니다. 병목이 실제 검증에서 잡 준비로 옮겨 갔습니다.
처음 나온 수치는 기대와 엇갈렸습니다. 컨테이너를 쓰지 않는 Jenkins 잡보다 Buildkite 빌드의 P95와 P99는 훨씬 낮아졌지만, P50과 평균은 오히려 높아졌습니다. 타깃이 1,000만 개가 넘는 저장소에서도 대부분의 변경은 작았습니다. 작은 변경에서는 새 환경을 준비하는 비용이 더 크게 드러났습니다.
체크아웃 부담을 줄인 Git 스냅샷
수천 개의 병렬 빌드가 저마다 모노레포를 클론하자 저장소 호스팅 백엔드도 이 사용량을 따라가야 했습니다. Uber는 Buildkite의 기본 체크아웃 방식을 대체할 자체 플러그인을 만들었습니다. 매번 저장소를 처음부터 준비하는 대신, 주기적으로 갱신한 Git 스냅샷을 체크아웃 전에 머신으로 빠르고 원자적으로 내려받게 했습니다.
각 빌드는 이 스냅샷으로 인덱스를 갱신합니다. 체크아웃할 때 가져올 커밋도 줄어듭니다. 마지막으로 캐시한 상태 이후의 커밋만 fetch하면 되기 때문입니다.
다음 잡까지 남겨 둔 컨테이너
처음에는 테스트 샤드마다 새 docker 컨테이너를 띄우고, 샤드가 끝나면 없앴습니다. 매번 같은 시작 비용이 들었습니다. 컨테이너와 Bazel 서버를 새로 시작해야 했고, 메모리에 남아 있던 상태도 사라졌습니다.
Uber는 컨테이너를 계속 유지하면서 명령만 보내는 방식으로 바꿨습니다. 재사용할 컨테이너는 Bazel 버전, 이미지 해시, 잡 이름 등으로 식별합니다. 이 값들로 명령을 올바른 컨테이너에 보내고, Bazel 업그레이드나 이미지 갱신 때에는 새 컨테이너를 만들도록 했습니다. 메모리 상태를 유지하는 이 방식으로 CTC 실행 시간이 거의 60% 개선됐습니다.
호스트에 미리 준비한 의존성 캐시
호스트의 첫 잡에도 준비 비용이 몰렸습니다. Uber는 의존성 그래프의 무결성을 확인하려고 모든 CI 잡에서 go mod tidy를 실행하는데, 이 작업은 저장소 전체의 의존성 모듈 캐시를 내려받습니다. 사내 모듈 프록시에 부담을 주고 CI 머신에서도 오래 걸렸으며, 특히 해당 호스트에서 처음 실행하는 잡이 느렸습니다.
여기에도 스냅샷을 썼습니다. 의존성 캐시 스냅샷을 주기적으로 준비해 두면 머신의 첫 잡이 내려받아 컨테이너에 마운트하고, 뒤의 잡들도 함께 사용합니다. Bazel output base 역시 비슷한 방식으로 공유했습니다. CTC를 실행하기 전에는 Bazel 빌드 그래프도 미리 데워 뒀습니다.
이미 끝낸 검증을 재사용하는 Bazel 원격 캐시
샤드를 아무리 늘려도 남는 병목이 있었습니다. 나눌 수 없으면서 빌드와 테스트가 매번 유난히 느린 타깃입니다. 루트 타깃 기준으로 배정해도 중복 빌드를 완전히 피할 수는 없었습니다. 여러 루트 타깃이 같은 패키지에 의존하고 서로 다른 샤드로 배정되면, 그 패키지는 여전히 여러 곳에서 빌드됩니다.
이 문제는 주로 공유 원격 Bazel 캐시로 해결했습니다. Bazel은 아티팩트 기반 빌드 시스템이므로, 모든 빌드가 결정적이라는 전제에서는 이미 만든 아티팩트를 저장해 두고 재사용할 수 있습니다. 한 샤드가 패키지를 빌드해 아티팩트를 원격 캐시에 올리면, 다른 샤드는 같은 패키지를 빌드하기 전에 캐시를 확인합니다. 결과가 이미 있으면 내려받아 쓰면 됩니다.
재사용할 대상은 빌드 아티팩트만이 아니었습니다. CI에서 테스트를 통과한 변경을 land할 때 다시 테스트하는 일도 중복일까요? 검증 이후 아무것도 바뀌지 않았다면 그렇습니다. 그러나 다른 변경이 먼저 반영돼 의존성이 바뀌었다면 새 상태에서 다시 검증해야 합니다.
//A:bin과 //B:bin이 공통 라이브러리 //C:lib에 의존한다고 가정하겠습니다. diff1은 A와 C를 고치고, 별개의 diff2는 B를 고칩니다. 처음 CI 검증에서는 diff1 때문에 A, B, C를 검증하고, diff2에서는 따로 B를 테스트합니다.
이후 아무것도 바뀌지 않은 채 diff1이 랜딩 큐에 들어왔다면 A, B, C의 검증 결과는 여전히 유효합니다. 다시 실행하면 중복입니다. 하지만 diff1이 반영된 뒤 diff2가 큐에 들어오면 조건이 달라집니다. B가 의존하는 C를 diff1이 바꿨으므로, diff2의 B는 새 C와 함께 테스트해야 main의 최신 HEAD에서도 유효한지 확인할 수 있습니다.
이를 구분하려면 무엇을 이미 테스트했는지 모두 아는 ‘더 높은 존재’가 필요합니다. Uber에서는 공유 원격 캐시가 그 역할을 맡았습니다. Bazel은 빌드 아티팩트와 테스트 결과를 모두 캐시에 저장합니다. diff1을 만들 때 며칠 전 다른 머신과 다른 Buildkite 파이프라인에서 테스트했더라도, Bazel은 그 뒤 테스트의 의존성이 바뀌었는지 확인합니다. 바뀌지 않았다면 land할 때 캐시의 결과를 가져와 //A:bin, //B:bin, //C:lib 테스트를 다시 실행하지 않습니다.
원격 캐시 자체도 바꿔 갔습니다. 처음에는 HTTP 기반의 자체 구현을 쓰다가 Google Cloud Services(GCS)에서 호스팅하는 gRPC 기반 캐시로 옮겼습니다. 이때 P95가 40분에서 100분 넘게 출렁이던 상태에서 꾸준히 40분 미만으로 안정됐습니다. 2021년에는 GCS에서 Buildfarm으로 다시 이전했고, 이 이전으로 빌드 시간이 약 절반으로 줄었습니다.
이런 개선을 거친 뒤에는 시간당 50건의 변경이 들어와도 저장소 전체에 영향을 주는 변경을 15분 안에 반영할 수 있게 됐습니다. 짧아진 대기는 높은 엔지니어링 생산성을 유지하고, 변경이 오래 대기하면서 생기는 머지 충돌을 줄이며, 사기를 높이는 데 도움이 됐습니다. 팀도 변경 검증 과정에 더 복잡한 기능을 추가하는 데 집중할 여유를 얻었습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 큰 변경 기준 예시 | 영향 타깃 1만 개 초과 |
| CTC 실행 시간 (당시) | 약 5분, 모든 변경마다 실행 |
| 근무 시간 변경 유입 | 시간당 약 50건 |
| 푸시 시간 개선 | 약 65% 감소 |
| Jenkins 샤딩 | 정적 샤드 50개, 1만 타깃 한 시간에서 약 10분으로 |
| 모노레포 규모 | 파일 50만 개 이상, 타깃 1,000만 개 이상 |
| 지속 컨테이너 효과 | CTC 실행 시간 약 60% 개선 |
| GCS gRPC 원격 캐시 이전 | P95가 40~100분 이상 변동에서 40분 미만으로 안정 |
| Buildfarm 이전 (2021) | 빌드 시간 약 절반 |
| 최종 결과 | 시간당 50건에서도 전체 영향 변경을 15분 이내 land |