목차
커지는 우버 Go 모노레포에 맞춰 고친 빌드 공장 Bazel (2020-05)
원문 정보
- 원문: Building Uber’s Go Monorepo with Bazel
- 매체 · 게시일: Uber Engineering Blog · 2020-05-14
- 저자: Zhongpeng Lin(Staff Software Engineer, Developer Platform)
- 원문 내용을 바탕으로 재구성한 요약입니다.
작은 저장소들을 모은 Go 모노레포
우버의 Go 모노레포는 초기에 도입한 프로젝트부터 빌드 효율을 높였습니다. 하지만 저장소가 커지면서 빌드 도구도 다시 골라야 했습니다. Go 백엔드 서비스를 개발하기 시작할 때 쓰던 Make와 Go의 기본 빌드 명령인 go build로는 부족해졌고, Go Developer Experience 팀은 Bazel을 선택했습니다.
이전에는 작고 독립적인 저장소 여러 개에서 Go 서비스와 라이브러리를 개발했으며, 일부는 오픈소스로 공개했습니다. Android와 iOS 프로젝트가 더 효율적인 모노레포 방식으로 옮겨 간 뒤 Go 팀도 같은 결정을 내렸습니다. 그렇게 2018년 초에 Go 모노레포가 출발했고, 저장소가 자리를 잡자 더 많은 프로젝트가 들어왔습니다.
성장은 커밋과 사람 수에 드러났습니다. 월간 Go 커밋은 100건 미만에서 1만 건 가까이로, 월간 활성 개발자는 10명 미만에서 900명 가까이로 늘었습니다. 글을 쓰던 시점에는 Go 파일이 7만 개를 넘었습니다. 생성된 코드는 대체로 커밋하지 않으므로, 대부분 사람이 직접 작성한 파일입니다. 백엔드 서비스와 라이브러리 대부분을 Go로 만드는 우버는 이 저장소가 Bazel을 쓰는 가장 큰 Go 저장소 중 하나일 것으로 봤습니다.
Make와 go build 다음의 빌드 공장 Bazel
자동차나 항공기 산업에서는 엔지니어가 설계하고 공장이 제품을 만듭니다. 소프트웨어에서 그 공장은 빌드 시스템입니다. 소스 코드를 서비스와 도구, 애플리케이션으로 바꾸며, 컴파일과 링크 외에도 코드 생성, 외부 패키지 다운로드, 설치 패키지 제작을 맡습니다. 컴파일러와 링커, 코드 생성기까지 관리해 산출물이 로컬 환경에 덜 의존하게 하는 빌드 시스템도 있습니다.
우버가 이 공장으로 Bazel을 고른 이유는 Go 지원과 활발한 오픈소스 커뮤니티였습니다. 규모를 감당할 기능도 갖췄습니다. Bazel은 분산 인프라에서 변경된 부분을 다시 빌드하는 증분 빌드와, 로컬 환경에 기대지 않는 hermetic 빌드를 지원합니다. 공식 Go 규칙 모음이 Go 툴체인과 외부 라이브러리를 관리하므로 로컬에 설치된 것을 가져다 쓸 필요가 없습니다.
빌드 서버끼리는 원격 캐시로 산출물을 공유합니다. 패키지나 그 의존성이 바뀐 경우에만 빌드하고 테스트하는 방식입니다. 규칙을 작성하는 수고는 공식 프로젝트인 Gazelle이 줄여 줍니다. Go와 Protocol Buffers의 Bazel 규칙을 사람 손을 거의 빌리지 않고 생성하며, Go 모듈의 버전 정보를 규칙으로 가져와 외부 라이브러리를 효율적으로 빌드하도록 돕습니다.
그렇다고 이 규모의 코드베이스에 Bazel과 Gazelle을 그대로 가져다 쓰면 끝나는 일은 아니었습니다. 우버는 새 규칙과 도구를 만들고, Go와 Bazel 프로젝트의 버그를 고쳤습니다. 특히 커밋을 검사하는 SubmitQueue와의 연결, 수많은 외부 모듈의 규칙 생성에서 기존 도구가 예상하지 못한 문제를 만났습니다.
Bazel 밖에서 찾은 SubmitQueue의 검사 대상
우버는 master를 늘 초록색으로 유지하려고 합니다. 언제든 컴파일되고 테스트를 통과하는 상태라는 뜻입니다. 이를 지키려면 커밋을 반영하기 전에 바뀐 패키지뿐 아니라 그 패키지에 직접 또는 간접으로 의존하는 모든 패키지를 빌드하고 테스트해야 합니다. 영향 범위에 따라 검사에만 몇 분에서 몇 시간이 걸립니다.
검사가 길어지면 뒤의 커밋도 기다립니다. 커밋을 하나씩 순서대로 검사하고 반영하는 동안 새 커밋은 계속 들어오고, 모노레포가 커질수록 대기열도 길어집니다. 결국 순차 검사로는 커밋이 들어오는 속도를 따라갈 수 없게 됩니다. 우버의 SubmitQueue는 코드 충돌을 막으면서 커밋을 병렬로 검사하고 반영하는 시스템입니다.
SubmitQueue를 쓰려면 먼저 각 커밋이 영향을 주는 빌드 타깃 목록을 알아야 합니다. Buck을 사용하는 저장소에서는 커밋 전후에 buck targets --show-target-hash를 실행하고, 해시가 달라진 타깃을 찾아 넘기면 됩니다. Bazel에도 무엇을 다시 빌드해야 하는지 판단하는 정보는 있었습니다. 하지만 타깃이나 액션의 해시 키를 커맨드라인으로 꺼내 주지 않았습니다.
우버는 Google의 Bazel 팀과 GitHub 및 오프라인에서 논의한 뒤, 이 계산을 Bazel 밖에서 수행하는 도구를 만들었습니다. 도구는 Bazel 빌드 그래프를 순회하면서 타깃별로 규칙 정의, 속성, 입력 파일, 의존하는 타깃의 해시를 함께 반영해 해시를 계산합니다. 자기 입력뿐 아니라 의존하는 타깃의 변경도 계산에 들어가는 방식입니다. 커밋 전후의 해시를 비교해 영향받는 타깃을 찾고 SubmitQueue에 넘기며, 이 도구는 앞으로 오픈소스로 공개할 계획이었습니다.
커맨드라인을 넘친 Bazel 타깃 목록
검사할 타깃을 알아낸 뒤에도 문제가 남았습니다. SubmitQueue는 그 목록을 Bazel에 넘겨 빌드와 테스트를 실행한 다음 커밋을 master에 반영합니다. 그런데 Go 규칙 모음의 버전을 올리는 것처럼 널리 쓰이는 의존성을 바꾸면, 검사 대상이 매우 많아집니다. 모노레포가 커지자 목록 자체가 Bazel 커맨드라인에 담기에는 너무 길어졌습니다.
처음에는 전달 경로를 바꿨습니다. GitHub에서 논의한 뒤 타깃 목록을 커맨드라인 대신 빌드 설정으로 넘겼지만, 저장소의 성장이 이어지자 이 우회책도 실패했습니다.
마지막 해법은 목록을 파일에서 읽는 기능이었습니다. 우버가 기여한 이 기능은 Bazel에 반영됐고, Bazel 3.1부터 사용할 수 있습니다. 변경의 영향을 받는 타깃을 계산하는 작업에 이어, 그렇게 구한 긴 목록을 빌드 도구에 전달하는 방식까지 손본 것입니다.
WORKSPACE 밖으로 옮긴 Gazelle 규칙
SubmitQueue가 검사할 타깃을 찾기 전에, Bazel에는 그 타깃이 정의돼 있어야 합니다. Bazel은 모든 빌드 타깃을 명시하도록 요구합니다. Go 패키지 하나에도 다른 패키지가 import할 라이브러리 타깃과 단위 테스트 타깃이 최소 2개 필요합니다. 우버 규모에서 이를 손으로 작성하고 유지하는 일은 번거롭고 실수하기 쉬웠습니다.
Go와 Protocol Buffers는 빌드 설정 대부분을 소스에서 추론할 수 있습니다. Gazelle이 규칙 생성을 자동화할 수 있는 이유입니다. 외부 Go 모듈도 Gazelle이 Go 툴체인에서 관리하는 go.mod와 go.sum을 읽어 모듈마다 go_repository 규칙을 만들면, Bazel이 그 규칙에 따라 내려받습니다. 이 모노레포의 외부 모듈은 1,000개가 넘었습니다.
규칙을 자동으로 만드는 것만으로는 부족했습니다. 당시 Gazelle은 생성한 go_repository 규칙을 모두 WORKSPACE 파일 끝에 덧붙였습니다. 같은 파일에는 사람이 작성한 워크스페이스 규칙과 매크로도 있었고, 일부는 생성 규칙 앞에, 일부는 뒤에 놓여야 했습니다. 맨 끝에만 추가하는 방식으로는 이 순서를 맞출 수 없었습니다. 우버는 생성 규칙을 별도 매크로 파일에 쓰고 WORKSPACE에서 불러오는 기능을 추가했습니다(#480, #493). 생성 규칙을 밖으로 옮기면서 WORKSPACE도 작아져 관리하기 쉬워졌습니다.
모듈을 지웠을 때도 손볼 일이 있었습니다. Go 툴체인은 go.mod와 go.sum을 갱신했지만, Gazelle은 더 이상 필요하지 않은 go_repository 규칙을 지우지 못했습니다. 우버가 추가한 가지치기 옵션은 이렇게 남은 규칙을 정리하는 기능입니다(#514).
외부 모듈 안에서 규칙을 만드는 과정도 조정했습니다. go_repository는 모듈을 내려받은 뒤 Gazelle을 호출해 해당 모듈의 빌드 규칙을 생성합니다. 우버는 이때 Gazelle이 어떻게 동작할지 지정하는 매개변수를 추가했습니다(#603, #649). 이런 개선과 여러 작은 기능 추가, 버그 수정이 쌓여 2020년 4월 기준 우버 엔지니어 2명이 Gazelle 기여자 목록의 2위와 3위에 올랐습니다.
규칙 생성의 범위는 Go와 Protocol Buffers를 넘어섰습니다. Gazelle은 확장으로 여러 언어를 지원하도록 설계됐지만, 공식 확장이 다루는 언어는 Go와 Protocol Buffers입니다. 우버는 Apache Thrift, ThriftRW, Apache Avro, GoMock의 빌드 규칙도 사용했습니다. 일부는 커뮤니티에서 가져왔고 일부는 내부에서 만들었으며, 이를 위한 Gazelle 확장도 여럿 개발했습니다. 이 규칙과 확장 역시 오픈소스로 공개할 계획이었습니다.
빌드 때 생긴 패키지를 찾지 못하는 Go IDE
빌드는 Bazel로 옮겼지만 IDE에는 빈틈이 남았습니다. 당시 Go IDE는 Bazel을 충분히 지원하지 못해, 빌드할 때 생성하거나 내려받는 Go 패키지와 모듈을 찾지 못했습니다. 우버는 이 간극을 오픈소스 커뮤니티와 함께 메울 계획이었습니다.
다른 팀의 이전을 돕는 작업도 남아 있었습니다. Go 모노레포는 우버에서 Bazel을 가장 먼저 도입한 저장소 중 하나였고, 팀은 여기서 얻은 경험과 기술을 사내 다른 팀과 나눌 예정이었습니다. 이를 위해 만든 도구와 기능 상당수는 Go 모노레포나 우버 밖에서도 재사용할 수 있도록 범용성과 확장성을 갖춰 설계했습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 모노레포 시작 | 2018년 초 |
| 월간 Go 커밋 | 100건 미만에서 1만 건 가까이 |
| 월간 활성 개발자 | 10명 미만에서 900명 가까이 |
| Go 파일 수 | 7만 개 이상 |
| 외부 Go 모듈 | 1,000개 이상 |
| 패키지당 최소 빌드 타깃 | 2개(라이브러리, 단위 테스트) |
| 커밋 검사 시간 | 영향 범위에 따라 몇 분에서 몇 시간 |
| Gazelle 기여 순위(2020년 4월) | 우버 엔지니어 2명이 2위, 3위 |
| 타깃 목록 파일 읽기 기능 | Bazel 3.1부터 |
| 관련 Gazelle PR | #480, #493, #514, #603, #649 |