목차
첫 arm64 호스트를 준비한 우버의 Zig 툴체인 (2023-05)
원문 정보
- 원문: Bootstrapping Uber’s Infrastructure on arm64 with Zig
- 매체 · 게시일: Uber Engineering Blog · 2023-05-03
- 저자: Motiejus Jakštys(Staff Engineer), Laurynas Lubys(Senior Engineer), Neringa Lukoševičiūtė(Software Engineer, Uber Infrastructure)
- 원문 내용을 바탕으로 재구성한 요약입니다.
첫 arm64 빌드 호스트 앞의 닭과 달걀
2021년 11월, 우버가 arm64 도입을 검토하기 시작했을 때 빌드 시스템은 x86_64 바이너리만 만들고 있었습니다. 서비스 대부분이 Go나 Java로 작성되어 있어도 첫 arm64 서버를 준비하는 일부터 막혔습니다.
설정이 간단한 방법은 클라우드에 arm64 VM을 띄워 그 안에서 빌드하는 것입니다. 컴파일하는 호스트와 바이너리를 실행할 타깃이 같은 네이티브 빌드입니다. 문제는 베이스 이미지였습니다. 우버의 서버는 빌드 서버까지 모두 같은 베이스 이미지를 쓰는데, 여기에 Go 모노레포에서 컴파일한 사내 도구가 여럿 들어 있었습니다.
arm64 빌드 서버를 만들려면 그 서버에 넣을 도구부터 arm64용으로 컴파일해야 합니다. 그런데 그 도구를 빌드할 arm64 서버는 아직 없습니다. 닭과 달걀 문제입니다. 기존 x86_64 호스트에서 arm64용 바이너리를 만드는 크로스 컴파일이 필요했던 이유입니다.
실험용 존을 벗어난 arm64 계획
처음부터 인프라 전체를 바꿀 생각은 없었습니다. 주요 클라우드 사업자들이 arm64에 투자하고 있었고, x86_64보다 전력·가격·연산 성능에서 유리하다는 이야기도 들려왔습니다. 우버는 코어를 많이 쓰는 대형 애플리케이션을 arm64에서 실행해 비용을 얼마나 줄일 수 있을지 직접 재려 했습니다. 그때의 우선순위는 적은 투자로 실행과 벤치마크까지 해보는 것이었습니다.
이 목표라면 품질 요구를 낮춘 별도 존이나 격리된 클러스터에 임시로 arm64 지원을 넣는 방법이 적합해 보였습니다. 그런데 용량 확보라는 이유가 더해졌습니다. arm64에서도 워크로드를 돌릴 수 있으면 컴퓨팅 용량을 확보할 선택지가 늘어납니다. 우버는 arm64 호스트도 다른 SKU처럼 생성할 수 있도록 핵심 인프라 전체를 고치기로 했습니다. 비용 절감 실험이 용량 다양화와 플랫폼 현대화를 위한 작업으로 커진 것입니다.
팀의 표현으로는 방향을 π만큼 튼 결정이었습니다. 원칙도 “No hacks, all in main”으로 잡았습니다. 편법 없이 모두 main에 넣고, 장기 브랜치나 out-of-tree 패치를 남기지 않겠다는 뜻입니다.
이제 arm64 바이너리를 만드는 것만으로는 일이 끝나지 않습니다. 거의 모든 인프라 코드가 있는 Go 모노레포를 고치는 데 더해, 코드를 빌드하고 저장하고 내려받고 실행하는 빌드 호스트·아티팩트 저장소·스케줄러도 두 아키텍처를 구별해야 했습니다.
빌드 전에 필요한 8개의 LLVM 아카이브
우버는 호스트 환경과 무관하게 같은 입력에서 같은 출력을 내는 hermetic 툴체인을 찾고 있었습니다. 호스트 시스템의 파일에 의존하지 않고, 빌드에 필요한 것을 자체적으로 갖춰야 한다는 뜻입니다.
컴파일러만 준비해서는 부족합니다. clang의 동작을 strace로 따라가 보면 컴파일러와 링커 같은 호스트용 도구 외에도 타깃용 헤더, 동적 링커, C 라이브러리, 프로그램 로더를 사용합니다. LLVM에서는 호스트별 툴체인과 타깃별 sysroot를 따로 준비해야 합니다. sysroot는 타깃의 헤더와 라이브러리를 담은 파일시스템 묶음입니다.
우버가 지원할 호스트는 Linux x86_64, macOS x86_64, Apple Silicon을 쓰는 macOS aarch64로 3종이었습니다. 타깃은 Linux x86_64의 glibc 2.28·glibc 2.31·musl과 Linux arm64의 glibc 2.31·musl, 총 5종입니다. LLVM으로는 툴체인 3개와 sysroot 5개를 관리해야 했습니다. 컴파일을 시작하기 전에 약 1.5GB를 내려받아야 하는 구성입니다. 다른 필수 다운로드 중 가장 컸던 Linux x86_64용 Go 1.20 툴체인이 압축 상태로 95MB였으니, 준비할 파일의 규모부터 달랐습니다.
GCC를 택하면 수가 더 늘어납니다. 호스트와 타깃 조합마다 툴체인이 필요해 3×5 = 15개입니다. Linux aarch64 호스트와 x86_64·aarch64용 glibc 2.36 타깃을 추가하면 4×7 = 28개가 됩니다. 호스트와 타깃이 함께 늘어날 때 LLVM의 아카이브 수는 선형으로, GCC는 이차로 증가합니다. 우버가 hermetic Bazel 툴체인을 고르며 LLVM에 조금 더 마음이 기울었던 이유입니다.
호스트마다 압축 파일 하나인 Zig
Zig에서는 같은 호스트 3종과 타깃 5종을 압축 파일 3개로 지원합니다. 호스트당 하나면 됩니다. strace로 확인해도 Zig SDK 파일과 캐시·임시 디렉터리만 사용했습니다. 필요한 빌드 입력을 호스트 시스템에서 찾아올 이유가 없었습니다.
Zig도 Clang과 같은 구성요소가 필요하지만, 이를 직접 제공합니다. Clang과 lld는 Zig 바이너리에 정적으로 링크되어 있고, 여러 버전의 glibc와 musl, 리눅스 커널의 헤더는 SDK에 들어 있습니다. 타깃별 동적 링커와 glibc, 프로그램 로더는 필요할 때 컴파일합니다. libgcc와 libc_nonshared의 기능도 Zig가 다시 구현했습니다. 타깃마다 미리 준비한 sysroot 아카이브를 따로 배포하지 않아도 되는 방식입니다.
macOS도 선택에 영향을 줬습니다. GCC와 LLVM으로는 실제로 macOS 크로스 컴파일을 쓸 수 없어 우버는 macOS 전용 빌드 플릿을 유지하고 있었습니다. Clang과 lld에 지원 자체는 있었지만 버그와 필요한 파일의 부재가 걸림돌이었습니다. Zig는 자체 macOS 링커를 갖췄고, 리눅스에서 macOS 실행 파일을 크로스 컴파일하고 링크할 수 있었습니다.
2021년 말의 Zig는 새롭고 검증되지 않은 기술이었습니다. 그래도 호스트당 압축 파일 하나로 모든 타깃을 지원한다는 점과 macOS 크로스 컴파일이 팀을 설득했습니다. 우버는 Zig 쪽과 협업하며 Go 모노레포에 zig cc를 연결하기 시작했습니다.
빌드조차 안 되던 Bazel 테스트
Bazel에는 Zig SDK 외에 툴체인 설정 코드도 필요합니다. 그 연결 코드는 Adam Bouhenguel이 만든 bazel-zig-cc에서 출발했습니다. 우버가 이를 복제한 뒤 Motiejus Jakštys의 개인 포크를 거쳐 발전시켰고, 나중에는 github.com/uber/hermetic_cc_toolchain으로 옮겼습니다.
2022년 2월, bazel build --config=hermetic-cc로 켜는 방식으로 첫 zig cc 지원이 들어갔습니다. 시작은 험난했습니다. Go 코드 안의 C 의존성이 hermetic하지 않아 대부분의 테스트가 빌드조차 되지 않았습니다. 테스트를 모두 통과하기까지는 긴 오르막이 남아 있었습니다.
Zig가 만든 바이너리는 2022년 4월부터 운영에서 돌기 시작했습니다. 전체 테스트가 통과한 때는 그해 9월입니다. 2023년 1월부터는 Go 모노레포의 리눅스 타깃 C·C++ 코드를 모두 Zig 툴체인이 컴파일합니다. 1월 16일 기준으로 이 모노레포에서 빌드하는 운영 서비스의 C·C++ 코드에도 전부 hermetic_cc_toolchain의 Zig c++를 씁니다.
이 과정에서 Zig Software Foundation과 함께 Go와 Zig 양쪽의 문제를 찾고 고쳤습니다. 우버는 재단과의 협업을 2024년 말까지 연장했고, hermetic_cc_toolchain 유지보수에 재정 지원과 직원의 작업 시간을 투입합니다. 재단이 하는 작업은 모두 오픈소스로 공개됩니다.
Go 서비스 안에 들어간 Zig 코드
Go 서비스 안에도 Zig 코드는 이미 조금씩 들어 있습니다. hermetic_cc_toolchain의 런처를 우버가 Zig로 작성했고, 거의 모든 실행 파일에 들어가는 런타임 라이브러리 compiler-rt 역시 Zig로 쓰였기 때문입니다. 서비스를 컴파일하는 툴체인도 Zig로 작성되어 있습니다.
애플리케이션 언어로서의 도입은 아직입니다. 사내에서 Zig를 아는 사람이 적어, Zig로 작성한 운영 애플리케이션은 없습니다.
고객 트래픽을 앞둔 arm64 인프라
arm64 지원이 새 코드에서 빠지지 않도록 CI도 바꿨습니다. 모노레포에서 rules_docker로 정의한 Docker 이미지가 있으면 CI는 그 이미지의 의존 코드를 x86_64와 arm64 양쪽으로 컴파일합니다. 어느 한쪽이라도 실패하면 머지할 수 없습니다.
모노레포의 Debian 패키지도 arm64용을 전부 컴파일해 배포합니다. 대부분은 아직 arm64용이 필요하지 않지만, 새 패키지를 선언하려면 arm64에서도 컴파일되어야 합니다. 당장 쓰는 패키지에만 지원을 한정하지 않은 것입니다.
바이너리를 저장하고 내려받고 실행하는 시스템에도 arm64 지원을 늘려 가고 있습니다. 개발 존의 arm64 호스트는 x86_64 호스트와 같은 방식으로 부트스트랩합니다. 사내 컨테이너 스케줄러와 dominator 같은 핵심 인프라 서비스 몇 개도 arm64 호스트에서 실행되고 있습니다.
고객 트래픽을 받는 애플리케이션은 아직 준비되지 않았습니다. 2023년 계획은 Kubernetes의 arm64 지원을 갖추고, 그 위에서 고객 대면 운영 서비스 하나를 arm64 호스트에서 실행하는 것입니다. 이후의 방향은 고객 대면 애플리케이션을 arm64에서 실험해 성능을 잰 뒤 정할 예정입니다.
지원 호스트와 타깃, 아카이브 수 비교
| 항목 | 값 |
|---|---|
| 지원 타깃 | Linux x86_64(glibc 2.28, glibc 2.31, musl), Linux arm64(glibc 2.31, musl) |
| 지원 호스트 | Linux x86_64, macOS x86_64, macOS aarch64 |
| LLVM 방식 아카이브 | 툴체인 3개 + sysroot 5개 = 8개, 약 1.5GB |
| LLVM 툴체인 / sysroot 크기 | 압축 상태 각각 500~700MB / 100~150MB |
| GCC 방식 아카이브 | 3×5 = 15개, 호스트 1종과 타깃 2종을 더하면 4×7 = 28개 |
| Zig 방식 아카이브 | 호스트당 1개, 총 3개 |
| 비교 기준 Go 1.20 툴체인 | Linux x86_64 압축 95MB |
| 주요 일정 | 2021-11 검토 시작, 2022-02 zig cc 초기 지원, 2022-04 Zig 바이너리 운영 투입, 2022-09 전체 테스트 통과, 2023-01 리눅스 C/C++ 전부 Zig로 컴파일 |