목차
모노레포의 수천 마이크로서비스를 자동 배포로 옮긴 Up CD (2024-08)
원문 정보
- 원문: Continuous deployment for large monorepos
- 매체 · 게시일: Uber Engineering Blog · 2024-08-27
- 저자: Rasmus Vestergaard(전 Senior Software Engineer, 무상태 배포 플랫폼 Up 팀), Kasper Munck(Engineering Manager, Up 팀 및 Deployment Safety 책임)
- 원문 내용을 바탕으로 재구성한 요약입니다.
파이프라인마다 달랐던 배포 기준
Up CD 프로젝트를 시작한 2022년, 우버의 프로덕션 배포는 주당 7,000건에 달했습니다. 그런데 프로덕션까지 완전히 자동으로 배포하는 서비스는 7%뿐이었고, 배포의 34%는 지속적 배포(CD) 없이 사람이 직접 시작했습니다. Go, Java, Web 모노레포 3개에 약 4,500개 마이크로서비스가 있던 때입니다. 매주 들어오는 커밋 5,600건 가운데 여러 서비스를 바꾸는 변경도 많았습니다.
배포를 서두르기만 할 수도 없었습니다. 우버에서 발생한 인시던트의 50% 넘게 코드 변경이 직접 원인이었습니다. 신기능과 라이브러리 업데이트, 보안 패치를 제때 내보내면서도 변경이 일으키는 사고를 줄여야 했습니다.
CD가 위험을 줄이는 이유 가운데 하나는 기계에 배포를 맡기기 전에 갖춰야 할 관행에 있습니다. 코드 리뷰와 CI의 단위·통합·부하 테스트를 믿을 수 있어야 하고, 문제가 생겼을 때는 모니터링과 알림, 자동 롤백이 작동해야 합니다. 우버에도 Ballast와 SLATE 같은 개발 도구는 있었습니다. 부족했던 것은 배포 절차의 공통 기준입니다.
당시 CD는 배포 플랫폼과 분리된 별도 시스템이었으며, 쓸지는 팀이 선택했습니다. YAML 기반 DSL로 원하는 파이프라인을 만들 수 있었고, 그렇게 생긴 템플릿만 100개가 넘었습니다. 하지만 파이프라인은 작업의 순서를 정했을 뿐, 테스트나 모니터링을 반드시 거치도록 하지 않았습니다. 공통 기준이 없으니 전사 차원에서 안전성과 신뢰성을 개선하기 어려웠고, 배포 시스템이 둘이라는 사실도 사용자에게 혼란을 줬습니다.
모든 마이크로서비스를 내부 클라우드 플랫폼 Up으로 옮긴 뒤, 우버는 기존 CD를 종료하고 Up에 통합된 Up CD로 바꾸기로 했습니다. 새 시스템에서는 표준 배포 흐름에 기존 관측·테스트 도구를 연결하고 CD를 기본으로 켭니다. 코드를 프로덕션까지 보내는 부담을 엔지니어에게서 자동화로 옮기되, 인시던트율은 높이지 않는다는 조건이 붙었습니다.
수동 배포까지 따라가는 Up
Up CD는 엔지니어가 직접 실행한 배포도 자기 상태에 반영합니다. Up과 긴밀히 결합한 이유는 자동화가 다른 작업을 모르고 사용자를 놀라게 하는 일을 막기 위해서였습니다. 배포 시스템과 별개로 동작하는 CD 조율 계층을 하나 더 만드는 것으로는 부족했습니다.
가령 엔지니어가 CD 밖에서 프로덕션에 수동 배포하면, 그 배포가 서비스의 커밋 이력에 나타납니다. 내부 상태도 함께 갱신합니다. 배포한 커밋과 Git 이력상 그 앞의 커밋들은 해당 환경에 이미 배포한 것으로 처리합니다.
서비스와 직접 관련 없는 커밋도 빠뜨리지 않습니다. 예를 들어 main의 HEAD에서 빌드한 코드를 배포하면, 그 커밋을 내부 상태와 이력에 반영해 화면을 실제 상태에 맞춥니다.
이 연동 덕분에 팀은 수동 배포를 쓰면서 CD로 조금씩 옮겨 갈 수 있었습니다. 사고 대응 중 사람이 개입할 때도 자동화가 그 상황을 따릅니다. 이때 올바른 동작은 흔히 아무것도 하지 않거나 일시 중지하는 것입니다.
서비스마다 범위를 좁힌 커밋 이력
배포 대상은 main의 관련 변경을 모두 담은 빌드입니다. Up CD는 각 서비스의 프로덕션 환경을 이 빌드로 안전하게 갱신하되, 모노레포에 커밋이 들어올 때마다 모든 서비스를 빌드하고 배포하지는 않습니다.
2024년 기준 Go 모노레포에는 하루 1,000건 넘는 커밋이 들어왔고, 3,000개 가까운 마이크로서비스의 소스가 있었습니다. 커밋 하나가 이 서비스 모두에 영향을 줄 수는 있지만, 실제로 대부분의 커밋은 일부 서비스만 바꿉니다. 매번 전체를 빌드하는 것은 낭비였습니다.
빌드할 대상부터 줄였습니다. 커밋이 바이너리를 바꾸는 서비스 집합은 저장소의 Bazel 그래프로 계산할 수 있고, Up CD는 각 서비스를 그 바이너리를 실제로 바꾼 커밋 이력에 연결합니다. 저장소 전체의 Git 이력은 올바른 배포 순서를 판단하는 데 쓰되, 서비스별로 다룰 커밋의 범위는 좁힌 것입니다. 서비스 소유자도 모노레포 전체 로그를 뒤지지 않고 이번 배포에 들어갈 변경을 확인할 수 있습니다.
다음 배포의 조건을 확인하는 Cadence
Git 저장소에 푸시가 일어나면 Kafka 토픽에 이벤트가 생기고, Up CD는 Kafka Consumer Proxy로 이를 받습니다. 분석 단계에서 커밋을 정리하고 영향을 받는 서비스를 찾으면, 각 서비스의 배포 가능한 컨테이너 이미지를 빌드합니다. 그 뒤에는 서비스에 맞게 구성한 배포 단계가 이어집니다.
예전처럼 파이프라인을 마음대로 만드는 자유는 줄였습니다. 단계를 단순하게 두고, 설정 가능한 부분은 주로 다음 배포를 시작할 게이트 조건에 집중했습니다. 엔지니어는 미리 정의된 선택지에서 조건을 고릅니다.
- 이전 단계에서 정해진 시간만큼 숙성된 상태
- 팀 업무 시간 등 사용자가 지정한 배포 시간대
- 수동 배포나 자동 수평 확장 같은 다른 작업이 없는 상태
- 롤백을 일으킬 서비스 경보가 없는 상태
각 단계는 독립적으로 움직입니다. 이전 단계를 성공적으로 마치고 게이트 조건도 만족한 커밋 중 가장 최신 것을 골라 즉시 진행하므로, 모든 중간 커밋을 차례대로 배포하지 않습니다.
이 흐름은 우버의 오픈소스 워크플로 엔진 Cadence로 구현했습니다. 빌드와 배포 워크플로는 필요할 때 시작하며, 게이트 역시 워크플로입니다. 배포 단계마다 주기적으로 실행되는 게이트 워크플로가 이전 단계를 마친 커밋을 찾고, 조건을 평가해 지금 배포를 시작할지 판단합니다.
두 배포 사이의 변경을 펼치는 화면
사용자 조사에서 출발한 화면도 서비스별 커밋 이력을 중심에 둡니다. 서비스에 영향을 주는 커밋 전체와 현재 상태를 한곳에서 보여 주면서, 엔지니어가 배포에 포함된 변경을 쉽게 찾도록 했습니다.
모든 커밋을 펼쳐 놓지는 않습니다. 모노레포의 커밋량을 고려하면 서비스의 바이너리를 바꾼 커밋이라도 모두 프로덕션까지 갈 수는 없고, 그럴 이유도 없습니다. 화면은 프로덕션에 배포된 커밋 등 눈여겨볼 항목을 남기고 그 사이 커밋을 접어 둡니다. 문제가 생긴 배포에서 직전 배포까지 펼치면, 해당 배포가 포함한 변경 집합을 정확히 확인할 수 있습니다.
커밋 이력 왼쪽에는 환경별 레인인 ‘swimlane’이 있습니다. 어느 코드가 지금 배포되어 있고 이전에는 무엇을 배포했는지 보여 주며, 마우스를 올리면 해당 환경의 배포 상태가 더 자세히 나타납니다.
각 커밋에는 이벤트도 연결합니다. 가장 관련 있는 이벤트를 먼저 보여 주고, 펼쳤을 때 이미 실행한 작업뿐 아니라 서비스에 구성된 배포 단계와 게이트에 따라 앞으로 예정된 작업까지 확인하게 했습니다. 현재 상태와 지난 배포, 다음 작업을 같은 이력에서 읽는 방식입니다.
자동화가 늘어난 뒤의 배포 기록
출시 후 12개월 동안 자동 배포하는 서비스 비율은 10% 미만에서 70% 가까이로 늘었습니다. 배포가 잦아지면서 한 번에 나가는 커밋은 줄었고, 문제가 생겼을 때 원인 커밋을 찾기도 쉬워졌습니다.
인시던트율은 오히려 내려갔습니다. 같은 12개월 동안 코드 변경 1,000건당 보고된 인시던트가 50% 넘게 줄었습니다. 그렇다고 이를 Up CD의 효과로 단정하지는 않았습니다. 같은 시기에 다른 개선도 진행됐기 때문입니다. 우버는 그 작업을 후속 글에서 소개하겠다고 밝혔습니다.
2022년 초와 2024년 3월을 비교하면 주간 커밋은 5,600건에서 11,000건으로 늘었고, 주간 프로덕션 배포는 7,000건에서 50,000건으로 증가했습니다. 변경이 늘어나는 동안 배포 자동화의 범위도 넓어졌습니다.
Up CD 도입 전후의 주요 지표
| 지표 | Up CD 이전 (2022년 초) | Up CD 이후 (2024년 3월) |
|---|---|---|
| 서비스 수 | 4,500 | 5,000 |
| 모노레포 주간 커밋 | 5,600 | 11,000 |
| 주간 프로덕션 배포 | 7,000 | 50,000 |
| CD가 (부분적으로 또는 완전히) 프로덕션까지 조율한 배포 비율 | 66% | 95% |
| 프로덕션까지 완전 자동화된 서비스 비율 | 7% | 65% |
| 기타 항목 | 값 |
|---|---|
| 기존 CD 파이프라인 템플릿 | 100개 이상 |
| 시작 시점 수동 트리거 배포 비율 | 34% |
| 자동 배포 서비스 증가 | 12개월 동안 10% 미만에서 약 70% |
| 코드 변경 1,000건당 인시던트 | 같은 기간 50% 넘게 감소 |
| Go 모노레포 | 하루 1,000건 넘는 커밋, 서비스 약 3,000개 |
공통 RPC 라이브러리에서 커진 배포 위험
빨라진 배포에는 새 위험도 있었습니다. 공통 RPC 라이브러리처럼 많은 서비스가 공유하는 코드를 바꾸면, 같은 변경이 여러 서비스에 빠르게 병렬로 배포됩니다. CI에서 놓친 심각한 버그 하나가 짧은 시간 안에 많은 서비스를 깨뜨릴 수 있었습니다. 일부 서비스는 자동 롤백하지만, 모든 서비스가 문제를 감지하고 자동으로 되돌릴 것이라 기대하기는 어렵습니다.
우버는 여러 서비스의 배포 결과를 모아 같은 커밋을 평가하기 시작했습니다. 해당 커밋을 받은 서비스 가운데 상당한 비율이 배포에 실패하면, 그 커밋에 문제가 있다고 판단합니다. 개별 서비스의 실패가 다른 서비스의 배포를 멈추는 신호가 된 것입니다.
위험한 공통 변경은 한꺼번에 내보내지 않습니다. 서비스 티어에 따라 배포 시점을 나눠, 중요도가 가장 낮은 서비스 집단부터 배포하고 충분한 비율이 성공해야 다음 티어로 넘어갑니다. 상당수 서비스에서 문제가 생기면 배포를 멈추고 커밋 작성자에게 잠재 문제를 알립니다.
우버는 이 추가 안전장치로 고객이 영향을 받을 위험을 허용 가능한 수준으로 낮췄고, 자동 프로덕션 배포에 대한 신뢰도 높였습니다.