본문으로 건너뛰기
수천 마이크로서비스의 빌드를 떠받치는 Uber의 uBuild
목차

수천 마이크로서비스의 빌드를 떠받치는 Uber의 uBuild (2022-10)

원문 정보

  • 원문: uBuild: Fast and Safe Building of Thousands of Container Images
  • 매체 · 게시일: Uber Engineering Blog · 2022-10-06
  • 저자: Rasmus Vestergaard(전 Senior Software Engineer, 스테이트리스 배포 플랫폼 Up 팀), Andreas Lykke(Senior Software Engineer, 스테이트리스 클라우드 플랫폼)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

커밋 하나에서 시작되는 수천 건의 빌드

우버에서는 공통 의존성을 고친 커밋 하나가 Docker 이미지 빌드 수천 건을 일으킬 수 있습니다. 수천 개의 마이크로서비스가 몇 개의 큰 모노레포에 모여 있고, 대부분 커밋마다 자동으로 빌드하고 배포하기 때문입니다. 주당 빌드 수는 약 10만 건입니다. 바쁜 날에는 하루 2만 5천 건을 넘습니다.

이 규모에서 빌드 시간은 개발자의 기다림으로 돌아옵니다. 스테이징에 배포하거나 컨테이너 통합 테스트를 돌리며 코드를 고칠 때마다 빌드를 기다려야 합니다. 장애를 완화할 긴급 수정도 빌드가 끝나야 배포할 수 있습니다.

우버가 2015년에 만든 uBuild는 이 모든 컨테이너 이미지 빌드를 맡는 공용 플랫폼입니다. 서비스 개발자는 통일된 인터페이스로 빌드를 요청하고, 우버 인프라의 규정과 설정에 맞는 이미지를 받습니다. 의존성과 베이스 이미지를 관리하고 빌드 시간을 줄이는 일은 한 팀이 맡습니다. 다른 엔지니어들이 각자의 서비스에 집중할 수 있게 한 구성입니다.

2022년 초에는 uBuild의 대규모 개편을 마쳤습니다. 서비스 소유자가 작성한 코드를 안전하게 실행하면서, 매번 새로 준비하느라 낭비하던 시간을 줄이는 작업이었습니다.

임의의 스크립트에 허용할 권한의 경계

빌드에는 비밀 정보가 필요합니다. 레지스트리에 이미지를 푸시하는 키도 있어야 하고, 빌드 대상 서비스의 비밀에도 접근해야 합니다. 그런데 uBuild는 서비스 소유자가 제공하는 임의의 빌드 스크립트도 실행합니다. 별다른 보호가 없다면 스크립트를 고쳐 비밀을 읽고 외부에 공개할 수 있습니다.

공격자가 키를 얻었을 때의 문제는 유출 자체에서 끝나지 않습니다. 악성 서비스 버전을 만들고, uBuild가 만든 것처럼 서명해 사내 레지스트리에 푸시할 수 있습니다. 정상 빌드의 결과처럼 보이므로 탐지도 어렵습니다. 운영 중인 코드의 출처를 추적할 수 없게 되어 보안 사고와 규정 위반으로 이어질 수 있습니다.

uBuild는 빌드 잡을 여러 격리 컨테이너로 나누고, 각 컨테이너에는 맡은 작업에 필요한 권한만 줍니다. 사용자 스크립트를 실행하는 컨테이너가 받는 자격 증명은 제한됩니다. 빌드 과정의 다른 곳에서 사용하는 내부 비밀에는 접근하지 못합니다. 빌드 과정을 자유롭게 구성하도록 허용하되, 그 스크립트가 사용할 권한은 작업 범위 안으로 제한한 것입니다.

Buildkite가 띄우는 빌드 로직 컨테이너

빌드 요청을 받는 입구는 컨트롤 플레인입니다. 외부 시스템에 빌드를 시작할 API를 제공하고, 빌드 상태와 관련 Git 정보 등 전체 빌드의 메타데이터를 기록하는 마이크로서비스입니다. 만들어진 빌드 잡은 준비 과정을 거쳐 범용 잡 실행기에 배정됩니다. 실행기는 이미지 빌드뿐 아니라 여러 종류의 잡을 실행하며, uBuild는 여기에 Buildkite를 사용합니다.

Buildkite를 선택한 이점은 실행 환경과 관리형 서비스를 함께 쓸 수 있다는 데 있었습니다. 잡 실행기는 우버 데이터센터의 전용 호스트에 두고, 스케줄링과 빌드 로그 열람은 관리형 서비스에 맡겼습니다. 각 실행기 노드에는 잡을 시작하는 Buildkite 에이전트와 캐시를 준비하는 캐시 매니저가 함께 있습니다.

파이프라인 자체는 단순합니다. 실행기가 uBuild CI 잡의 환경을 준비하고 빌드 로직 컨테이너를 띄우면, 이 컨테이너가 언어와 빌드 도구, 아티팩트 설정에 맞춰 실행 계획을 만듭니다. 어떤 명령을 어느 컨테이너에서 실행할지, 성능을 위해 어떤 캐시를 제공할지도 여기서 정합니다.

대부분의 서비스 소유자는 사내 YAML 템플릿에 의존성과 맞춤 빌드 단계만 적습니다. uBuild는 이 작은 설정 파일을 우버 인프라 규정에 맞는 최적화된 Dockerfile로 바꿉니다. Bazel 규칙이나 일반 Dockerfile을 직접 제공하는 방식도 지원합니다. 이 경우에는 서비스 소유자가 이미지 최적화까지 맡아야 해서 보통 빌드가 더 느립니다.

실제 이미지 빌드는 새로 만든 격리 컨테이너에서 실행합니다. Dockerfile을 빌드할 때는 Makisu를 사용하고, 완성한 이미지는 P2P 이미지 레지스트리인 Kraken에 푸시합니다.

호스트에 남겨 두는 빌드 캐시

컨테이너의 수명이 짧아도 빌드에 쓴 자료까지 매번 새로 준비할 이유는 없습니다. 캐시 매니저는 호스트에 빌드 캐시와 Git 체크아웃을 유지해, 짧게 실행되는 컨테이너 때문에 반복되는 준비 비용을 없앱니다. 작업을 격리하면서도 앞선 빌드에서 만든 아티팩트를 재사용할 수 있게 한 것입니다.

캐시는 호스트의 로컬 디스크를 중심으로 설계했습니다. 우버는 원격 캐시도 시험했지만, 각 호스트의 로컬 캐시보다 나은 점을 찾지 못했습니다. 원격 캐시가 더 느린 경우도 많았습니다. 이 실험 결과에 따라 로컬 캐시를 관리하는 쪽으로 방향을 잡았습니다.

빌드 로직은 필요한 캐시를 동적으로 마운트합니다. Node 모듈, Go 모듈, Bazel 액션, Gradle 아티팩트 등 여러 종류를 준비해 두고, 빌드마다 적합한 캐시를 선택합니다.

캐시마다 다른 공유 조건

같은 호스트에 있다고 모든 캐시를 함께 쓸 수는 없습니다. 여러 빌드가 병렬로 접근해도 되는 캐시가 있고, 접근을 조율해야 하는 캐시도 있습니다. 빌드 대상 소프트웨어에 따라 내용을 나눠야 하는 경우까지 캐시 매니저가 관리합니다.

캐시를 나누는 샤딩 기준도 종류마다 다릅니다. Node 모듈 캐시는 빌드에 쓰는 Node 버전별로 샤딩합니다. Bazel 캐시는 베이스 이미지 배포판별로 샤딩해 캐시 오염을 막습니다. 단순히 캐시를 오래 보관하는 것만으로는 충분하지 않고, 어느 빌드에 어떤 캐시를 줄 것인지도 정해야 했습니다.

계속 쌓이는 캐시는 가비지 컬렉션(GC)으로 정리합니다. 크기가 한도를 넘으면 캐시를 로테이션하거나, 사용한 지 가장 오래된 항목부터 지우는 LRU 방식으로 주기적으로 정리합니다. 이 정책 역시 캐시 종류별로 다릅니다. 새 캐시 유형을 추가할 때도 샤딩, GC, 병렬 접근 정책을 함께 정의할 수 있어 빌드 최적화를 빠르게 실험할 수 있습니다.

빌드보다 먼저 준비하는 Git 클론 풀

우버는 주요 언어인 Go, Java, JavaScript마다 큰 모노레포를 하나씩 사용합니다. 수 GB에 이르는 저장소는 파일과 참조가 늘수록 클론에 더 오래 걸립니다. 당시 Go 모노레포는 클론만 약 10분이 걸렸습니다. 빌드할 때마다 이 시간을 기다리면 전체 빌드 시간에서 차지하는 비중도 크고, 원격 Git 서버에 가하는 부하도 상당합니다.

캐시 매니저는 빌드 요청보다 먼저 클론을 준비해 둡니다. 모노레포마다 바로 사용할 수 있는 Git 클론 풀을 유지하고, 빌드가 시작되면 그중 하나를 건넵니다. 빌드는 로컬 클론을 요청한 Git ref로 리셋하면 됩니다. 몇 분 걸리던 준비를 몇 초 안에 마칠 수 있으며, 풀에서 꺼낸 클론은 자동으로 보충해 풀이 비지 않게 합니다.

풀을 채우는 작업도 원격 서버에 몰려서는 안 됩니다. 여러 클론을 한꺼번에 만들 때 원격 Git 서버에 부하를 주지 않도록, 클론의 원본으로 로컬 디스크의 bare Git 저장소 복사본을 사용합니다. 캐시 매니저는 저장소에 푸시가 일어날 때마다 Kafka 토픽으로 알림을 받고, 최신 변경을 fetch해 이 복사본을 동기화합니다. 가져온 변경은 풀의 모든 클론에도 전파합니다.

Git 저장소 자체를 정리하는 일도 남습니다. 모노레포에는 dangling Git 참조가 많이 쌓이고, 이 때문에 Git 작업이 느려져 주기적인 GC가 필요합니다. 문제는 GC에도 몇 시간이 걸린다는 점입니다. uBuild는 bare 저장소 사본을 하나 더 두고 백그라운드에서 GC를 실행합니다. 정리가 끝나면 두 사본의 역할을 교체해, 방금 GC를 마친 저장소를 활성 사본으로 사용합니다.

3.5분까지 짧아진 Go P95 빌드 시간

캐시 매니저와 다른 설계 변경을 적용한 뒤, Go 모노레포의 P95 빌드 시간은 상세 표 기준으로 29.0분에서 3.5분으로 줄었습니다. 88% 감소입니다. 원문 본문에서는 이 결과를 29분에서 4분으로 요약했습니다. Java와 JavaScript에서도 P50과 P95가 모두 줄어, 모노레포 서비스의 개발자들이 코드를 고치고 결과를 확인하는 간격을 단축했습니다.

호스트 하나에서 함께 도는 Buildkite 잡

실행기 호스트 수도 줄일 수 있었습니다. 캐시를 잘 관리한 상태에서는 같은 호스트에 여러 빌드를 함께 실행해도 성능 저하가 거의 없었습니다. 각 빌드에서 네트워크, IO, CPU를 많이 쓰는 단계가 서로 섞여 실행돼 자원을 나눠 쓰기 좋았기 때문입니다.

우버는 이 관찰을 바탕으로 호스트당 최대 10개의 빌드를 병렬로 실행하도록 설정했습니다. 빌드 지연 증가는 미미한 수준으로 유지하면서, 전체 빌드 호스트 규모를 줄였습니다.

모노레포별 빌드 시간과 운영 수치
모노레포P50(분)P95(분)
Go8.5에서 2 (76% 감소)29.0에서 3.5 (88% 감소)
Java13.0에서 3 (77% 감소)23.0에서 6 (74% 감소)
JavaScript21.0에서 5 (76% 감소)30.0에서 12 (60% 감소)
항목값
주당 빌드 수약 100,000건, 바쁜 날 25,000건 이상
uBuild 시작 / 현대화 완료2015년 / 2022년 초
호스트당 동시 빌드최대 10개
Go 모노레포 클론 시간약 10분
Git 가비지 컬렉션몇 시간, 사본 bare 저장소를 GC한 뒤 맞바꿈
원문 본문의 Go P95 요약29분에서 4분

uBuild 장애에 대비한 우회 경로

uBuild는 자기 자신도 빌드합니다. 모든 마이크로서비스의 빌드를 한곳에 맡긴 만큼, 장애가 났을 때는 시스템 일부를 우회해서라도 빌드를 실행할 수 있어야 했습니다. 컨트롤 플레인을 건너뛰고 실행기에서 빌드를 직접 시작하는 절차가 그 예입니다. 치명적인 장애 뒤에는 개발자 노트북에서 시스템을 부트스트랩할 수도 있습니다.

우회 경로로 만든 이미지에도 기록은 남깁니다. 리컨실러라는 마이크로서비스가 사내 이미지 레지스트리를 계속 감시하면서, 정상 경로 밖에서 빌드된 이미지의 메타데이터를 빌드 메타데이터 DB에 수집합니다. 빌드 경로를 우회하더라도 운영 중인 코드가 어디에서 왔는지 추적할 수 있게 한 장치입니다.

마지막 수정 일자