목차
중요한 서비스를 기다리게 하는 Uber의 모노레포 배포 (2025-08)
원문 정보
- 원문: Controlling the Rollout of Large-Scale Monorepo Changes
- 매체 · 게시일: Uber Engineering Blog · 2025-08-28
- 저자: Aron Lorincz(Senior Software Engineer, Up), Goncalo Alvarez(Engineering Manager II, Deploy Experience), Rasmus Vestergaard(전 Senior Software Engineer, Up)
- 원문 내용을 바탕으로 재구성한 요약입니다.
거의 모든 Go 서비스가 함께 쓰는 RPC 라이브러리
거의 모든 Go 서비스가 쓰는 RPC 라이브러리를 업그레이드하면 커밋 하나로 수천 개 서비스가 바뀔 수 있습니다. 배포는 사람의 감시 없이 진행됩니다. 우버의 마이크로서비스 대부분이 완전 자동화된 지속적 배포(CD)를 사용해, 변경이 들어오면 거의 곧바로 프로덕션 배포를 시작하기 때문입니다.
이런 환경에서는 다른 서비스가 먼저 발견한 문제가 유용한 신호입니다. 어떤 서비스가 이미 이상을 감지해 롤백했는데도, 같은 커밋을 받은 다른 서비스는 문제를 알아채지 못할 수 있습니다. 우버가 추가한 서비스 간 배포 오케스트레이션은 이 간극을 메웁니다. 덜 중요한 서비스의 배포 결과를 먼저 확인하고, 그 결과에 따라 더 중요한 서비스의 배포를 허용하거나 막는 방식입니다.
기존에도 안전장치는 있었습니다. 병합 전에는 단위·통합 테스트로 변경을 검사하고, 배포 중에는 각 서비스가 자기 상태를 확인했습니다. 특히 중요한 서비스를 비롯해 많은 서비스가 나쁜 변경을 자동으로 감지하고 롤백합니다. 하지만 테스트를 빠져나간 문제를 영향받는 모든 서비스가 잡아낸다는 보장은 없습니다. 개별 서비스의 배포만 살펴서는 다른 서비스가 이미 보내고 있는 경고를 활용하지 못합니다.
변경이 퍼지는 출발점은 main입니다. 우버는 핵심 언어마다 큰 모노레포를 하나씩 두고, 각 저장소에서 수백~수천 개 마이크로서비스를 개발합니다. 트렁크 기반으로 개발하며 프로덕션 릴리스는 모두 main에서 빌드합니다. 앞선 CD 소개 글에서 설명한 흐름대로, main에 커밋이 들어오면 영향을 받는 서비스를 찾고 서비스마다 컨테이너 이미지를 빌드한 뒤 여러 배포 단계를 진행합니다.
수천 개 서비스를 바꾸는 커밋도 가끔 상상해 보는 극단적인 사례에 그치지 않았습니다. Go 모노레포의 커밋 50만 건을 분석하니 1.4%가 100개를 넘는 서비스에, 0.3%가 1,000개를 넘는 서비스에 영향을 줬습니다. 매주 우버의 상당 부분을 건드리는 커밋이 여러 건 나온다는 뜻입니다. 영향을 받는 서비스가 많다고 변경 자체가 더 위험한 것은 아닙니다. 문제는 잘못됐을 때의 피해 범위입니다.
중요한 서비스 앞에 놓인 티어별 대기 시간
배포 순서는 우버가 이미 쓰던 서비스 티어를 따릅니다. 티어는 0~5이며, 0이 가장 중요하고 5가 가장 덜 중요합니다. 이 분류로 배포를 함께 조율할 서비스 묶음인 코호트를 나눴습니다. 예를 들어 티어 5 서비스의 X%가 성공적으로 배포돼야 티어 4의 자동 배포를 허용하고, 이후에도 같은 방식으로 진행합니다. 가장 중요한 서비스에 도달하기 전에 다른 서비스의 성공과 실패를 확인하는 순서입니다.
여기서 X%를 얼마로 정하느냐가 기다리는 시간을 좌우합니다. 많은 서비스의 배포 결과를 모을수록 변경이 정상이라는 확신을 더 얻지만, 뒤쪽 코호트의 배포 허용도 늦어집니다. 개별 서비스 담당자에게는 자기 서비스에 문제가 없어도 자동 배포가 간헐적으로 막히는 경험입니다. 덜 중요한 티어에서 공용 변경을 검증하는 동안 기다려야 합니다.
처음 정한 파라미터는 신호를 충분히 모으는 쪽에 너무 치우쳤습니다. 진행이 느렸습니다. 중요한 서비스들이 main HEAD에서 너무 뒤처졌고, 기능을 내보내는 시점까지 늦어졌습니다. 안전성을 높이려고 추가한 기다림이 개발 속도를 떨어뜨린 것입니다.
팀은 기다림에 한도를 정했습니다. 모든 서비스의 배포 차단을 해제하기까지 최대 24시간, 그 안에서 가능한 한 많은 신호를 수집한다는 목표였습니다. 이제 파라미터를 고르는 기준도 단순한 직관에서 실제 배포 데이터로 바뀌었습니다.
월요일 밤에 닫히던 롤아웃 시작 창
배포 순서만으로는 소요 시간을 예측하기 어려웠습니다. 각 서비스에는 담당 팀이 정한 배포 시간대가 있었고, 대개 그 팀의 업무 시간이었습니다. 앞선 티어에서 충분한 성공 신호를 얻으려 해도 해당 서비스의 배포 시간이 먼저 열려 있어야 합니다. 커밋이 main에 들어온 뒤 프로덕션에 도달하기까지 걸리는 시간은 이런 사용자 설정이 대체로 좌우하는 편이었습니다.
팀은 오케스트레이션의 시간을 빠르게 돌려 보는 시뮬레이터를 만들었습니다. 과거 배포 기록, 모든 서비스의 사용자 지정 CD 설정, 오케스트레이션 파라미터를 입력해 각 코호트의 배포 차단이 언제 풀릴지 예측했습니다. 현실을 단순화하는 가정도 필요했습니다. 처음부터 복잡한 모델을 만들기보다 단순하게 시작하고, 필요한 곳에서 복잡도를 높이는 접근을 택했습니다.
먼저 바꿔 본 것은 커밋이 main에 들어오는 시각입니다. 원래 파라미터를 유지한 채 시작 시각을 한 주에 걸쳐 옮겨 보니, 결과가 크게 달라졌습니다. 시작한 주 안에 오케스트레이션을 끝내려면 월요일 22:00 UTC(14:00 PST) 전에 커밋이 들어와야 했습니다. 허용되는 시작 시간대가 지나치게 좁았습니다. 가장 유리한 시각에 시작해도 티어 1 서비스는 약 40시간 동안 막힐 것으로 예측됐습니다. 목표인 24시간을 훌쩍 넘겼습니다.
조정할 수 있는 것은 진행 임계값만이 아니었습니다. 코호트를 묶는 크기와 서비스별 CD 설정에 적용하는 정책도 바꿔 볼 수 있었습니다. 팀은 시뮬레이터에서 이 조건들을 조합하며, 충분한 배포 신호를 모으면서도 뒤쪽 서비스가 오래 기다리지 않는 설정을 찾았습니다.
조정한 파라미터로 얻은 예측은 시작 시각에 따른 편차가 줄고 훨씬 일정해졌습니다. 모든 코호트의 차단이 24시간 안에 풀릴 것으로 예측됐고, 월요일부터 수요일 사이에 시작해도 같은 주에 오케스트레이션을 마칠 수 있을 것으로 나왔습니다. 월요일 밤 이전으로 좁혀졌던 시작 가능 시간이 넓어진 것입니다.
팀은 이 결과에 맞춰 프로덕션 파라미터를 바꿨습니다. 얼마 지나지 않아 중요한 대규모 변경 여러 건이 새 오케스트레이션을 거쳤고, 실제 진행도 시뮬레이터의 예측과 잘 맞았습니다. 24시간은 파라미터를 정하기 위한 목표였으며, 조정 결과는 시뮬레이션과 이후 실제 변경의 진행을 대조하며 확인했습니다.
수천 게이트가 함께 조회하는 커밋 상태
티어별 진행 조건을 실제 배포에 적용하는 지점은 기존 CD의 게이트입니다. CD 흐름에는 빌드 단계 뒤로 여러 배포 단계가 이어지며, 각 단계의 워크플로가 주기적으로 실행돼 커밋을 다음 단계로 보낼 조건을 확인합니다.
- 이전 단계를 성공적으로 마친 커밋의 존재
- 이전 배포 후 정해진 관찰 시간의 경과
- 담당 팀이 지정한 배포 시간대 안에 있는지 여부
- 배포를 막는 경보의 발생 여부
조건을 모두 만족하면 커밋이 다음 단계로 넘어가고 배포 엔진이 서비스를 업그레이드합니다. 게이트가 모듈식이어서 서비스 간 오케스트레이션도 새 조건 하나로 추가했습니다. 다만 판단에 필요한 정보의 범위는 달랐습니다. 한 서비스의 상태만 보면 되는 기존 조건과 달리, 새 조건은 같은 커밋의 영향을 받는 모든 서비스의 배포 결과를 공유해야 했습니다.
조회 비용도 작아야 했습니다. 수천 개 서비스의 게이트가 저마다 다른 서비스의 상태를 전부 확인하는 방식은 이 규모에 맞지 않았습니다. 그래서 배포 결과를 모으는 작업과 게이트의 판단을 분리했습니다. 게이트가 읽는 것은 오케스트레이션 대상 커밋마다 유지하는 단순한 상태 기계의 현재 상태입니다.
비동기 프로세스의 주기 작업이 영향을 받는 서비스들의 배포 상태를 모읍니다. 충분한 서비스가 배포에 성공하면 상태 기계를 다음 상태로 진행시키고, 실패가 너무 많으면 커밋에 문제가 있다고 표시합니다. 각 게이트는 자기 서비스가 속한 코호트와 커밋의 현재 상태를 확인해 배포가 허용됐는지만 판단합니다. 서비스 수가 늘어도 모든 게이트가 전체 배포 현황을 다시 조사하지는 않습니다.
실패에는 배포 중 발생하는 오류 전반이 들어갑니다. 컨테이너 리소스 사용량이 늘어 성능 회귀를 의심하게 하는 경보나 서비스 SLA 위반 경보가 대표적입니다. 병합 전 테스트가 다루지 못한 예외 상황이나 특정 코호트에서 컨테이너가 아예 시작하지 못하는 경우도 포함합니다. 이런 실패가 나면 해당 서비스는 롤백되고, 실패는 현재 롤아웃 중인 코호트의 오류율에 반영됩니다.
문제 표시를 배포 차단으로 연결하기 위해 CD에 ‘커밋 이슈’도 도입했습니다. 커밋에 어떤 문제가 있으며 해결됐는지를 기록해, 수정이 포함되지 않은 문제 커밋의 배포를 막는 장치입니다. 오케스트레이션이 이슈를 표시하면 변경 작성자에게 즉시 알림을 보내 조사와 대응을 요청합니다. 변경을 되돌리는 것도 대응 방법입니다.
덜 중요한 코호트의 성공을 기다리는 ML 서비스
서비스 사이의 배포 순서를 조율하는 기능은 설정만 다른 동일한 서비스에도 쓰였습니다. 우버에는 여러 애플리케이션에 ML 모델을 서빙하는 수백 개의 스테이트리스 서비스가 있습니다. 이 서비스들의 모든 변경에 같은 오케스트레이션을 적용합니다.
여기서도 기다리는 순서는 요청의 중요도에 따라 정해집니다. 덜 중요한 요청을 처리하는 코호트가 먼저 성공적으로 릴리스돼야, 더 중요한 요청을 맡은 코호트의 릴리스를 허용합니다. 공용 코드의 대규모 변경을 점진적으로 내보내려고 만든 기능이, 설정으로 구분되는 서비스들의 배포 순서도 맡게 됐습니다.
서비스의 탐지 능력에 따른 신호 가중치
성공한 서비스 수만 조정하는 것 외에 신호 자체를 개선할 여지도 있습니다. 팀이 검토하는 방안은 문제를 잘 잡아내는 서비스의 신호에 더 큰 가중치를 주고, 자주 놓치는 서비스의 신호에는 작은 가중치를 주는 것입니다. 아직 구현 결과로 제시한 내용은 아닙니다.
속도와 확신 사이의 조정도 계속됩니다. 팀은 진행 상황을 주기적으로 살피고 파라미터를 다시 검토합니다. 바꾸려는 설정이 배포 시간에 어떤 영향을 줄지는 시뮬레이터로 먼저 평가합니다. 더 빨리 진행하면서도 신호를 충분히 확보할 방법을 찾는 데 같은 도구를 쓰는 것입니다.
대규모 코드 변경으로 인한 장애는 이전에도 드물었습니다. 하지만 한 번 발생하면 피해가 매우 심각할 수 있었습니다. 우버는 서비스 간 배포 오케스트레이션으로 앞으로 이런 장애가 줄고, 문제가 생기더라도 피해 범위가 작아지기를 기대하고 있습니다.
분석 수치와 조정 목표
| 항목 | 값 |
|---|---|
| 분석한 Go 모노레포 커밋 | 500,000건 |
| 100개 초과 서비스에 영향을 주는 커밋 | 1.4% |
| 1,000개 초과 서비스에 영향을 주는 커밋 | 0.3% |
| 서비스 티어 | 0~5(0이 가장 중요) |
| 모든 서비스가 풀리기까지의 목표 | 최대 24시간 |
| 원래 파라미터에서 같은 주 안에 끝나는 조건 | 월요일 22:00 UTC(14:00 PST) 전 착륙 |
| 원래 파라미터에서 최선의 경우 티어 1 차단 시간 예측 | 40시간 |
| 조정 후 시작 가능 요일 | 월요일~수요일(같은 주에 완료) |