목차
쿠팡 모바일 CI/CD 2.0 — AWS EC2로 옮긴 빌드 (2022-07)
원문 정보
- 원문: Improving the CI/CD pipeline for mobile app development
- 한국어판: 모바일 앱 CI/CD 파이프라인 개선하기
- 매체 · 게시일: Coupang Engineering Blog · 2022-07-15
- 저자: Johnson Li
- 원문 내용을 바탕으로 재구성한 요약입니다.
하루 3,000건 넘게 빌드하던 Mac mini
쿠팡 모바일 앱은 매주 새 버전을 내놓고, CI/CD 파이프라인은 하루 3,000건이 넘는 빌드를 처리했습니다. 빌드 서버는 Mac mini였습니다. 수백 명의 엔지니어가 방대한 Android·iOS 코드를 매일 내려받는 데 시간이 들었고, 물리 머신 수는 고정돼 있어 수요에 맞춰 자원을 자동으로 늘릴 수 없었습니다.
처음 파이프라인을 설계한 시점은 2020년입니다. 이커머스 앱을 만드는 여러 지역의 풀스택 팀이 기능별 브랜치에서 개발을 병행하도록 공통 워크플로를 갖췄습니다. 엔지니어는 릴리스 후보인 RC(release candidate) 브랜치에서 포크한 개인 저장소의 기능 브랜치에서 작업하고, QA 테스트를 수동으로 돌린 뒤 풀 리퀘스트를 열었습니다. 통합 테스트와 코드 리뷰도 수동으로 거쳐 프로덕션 저장소의 RC 브랜치에 병합하고 배포하는 흐름이었습니다.
절차는 통일됐지만 수작업은 많았습니다. 체크아웃과 컴파일, 정적 분석, 단위 테스트뿐 아니라 자동화 테스트조차 사람이 시작해야 했습니다. 이 흐름으로는 이커머스 앱 밖의 서비스까지 확장하기 어려웠습니다. 디바이스 팜과 모니터링 시스템, A/B 테스트 플랫폼과의 연동도 더 개선해야 하는 상태였습니다.
Mac mini를 대신한 AWS EC2
쿠팡은 2021년 초 CI/CD 2.0을 만들기로 했습니다. 물리 머신의 유지 비용이 컸고, 원격 근무로 전환한 뒤에는 정기·긴급 점검을 위해 현장에 가는 일도 부담이 됐습니다. 강화된 보안 정책은 사무실 네트워크와 프로덕션 환경을 엄격히 분리하도록 요구했습니다.
새 파이프라인을 둘 곳은 AWS의 프로덕션(prod) 영역이었습니다. AWS가 2020년에 macOS EC2를 발표한 덕분에 Android와 iOS 파이프라인을 모두 이전할 수 있었습니다. 쿠팡은 2021년에 물리 머신 사용을 중단했습니다.
EC2 이전으로 빠른 확장과 장애 조치가 가능해졌습니다. Mac mini 서버 팜을 유지하는 비용도 줄었고, 파이프라인을 prod 영역에 배치하면서 사무실에서 프로덕션 환경으로 접근하던 보안 위험도 사라졌습니다.
풀 리퀘스트 전에 받는 정적 분석 결과
실행 환경과 함께 검사 시점도 바꿨습니다. 기존 GitFlow에서는 개인 저장소에서 개발한 코드로 풀 리퀘스트를 열 때 정적 분석을 실행했습니다. 릴리스 간격은 짧고 코드 프리즈도 있으니, 그제야 이슈가 쏟아지거나 진행을 막는 문제가 발견되면 제때 고치기 어려웠습니다.
해법은 풀 리퀘스트보다 먼저 결과를 받는 것이었습니다. 개인 저장소를 대신할 서버 측 기능 개발 브랜치를 만들고, Git 커밋으로 실행되는 멀티 브랜치 CI 파이프라인을 구성했습니다. 이제 브랜치에 변경이 생기면 정적 분석이 자동으로 실행되고, 엔지니어는 풀 리퀘스트를 열기 전에 결과를 받습니다.
코드를 내려받는 단계에서도 반복 작업을 줄였습니다. 기존 파이프라인은 첫 단계에서 특정 버전의 코드를 개인 저장소로 받아야 했고, 코드 양은 앞으로 더 늘어날 전망이었습니다. 각 물리 빌드 머신에 로컬 미러 Git 저장소를 두고 Git reference 저장소로 사용해, 전체를 다시 받는 대신 증분만 가져오도록 바꿨습니다.
순차 실행하던 무거운 작업도 재배치했습니다. 서로 의존하지 않는 작업을 병렬로 실행하자 CI 처리량과 빌드 정확도가 높아졌고, 엔지니어에게 분석 보고서를 전달하는 시간도 짧아졌습니다.
처리량과 유휴 시간으로 정하는 확장 시점
EC2로 옮긴 뒤에는 모든 빌드 에이전트에 헬스 체크를 적용하고 모니터링 시스템을 만들었습니다. 머신의 상태뿐 아니라 작업이 얼마나 쌓이고 실패하는지도 관찰 대상이었습니다.
- 하드웨어: CPU 사용률, IOPS, 남은 디스크 공간, 네트워크 지연, 부하
- 빌드 실행 상태: 온라인·오프라인 노드 수, 비어 있거나 사용 중인 executor 수, 작업 소요 시간과 큐, 현재 큐 크기, 실패한 작업 비율
- HTTP 응답: 2xx·4xx·5xx 비율
지표는 모니터링 도구에 모았습니다. 시각화와 알림 규칙은 별도 도구에서 구성하고, 지정한 채널로 알림을 보내도록 했습니다.
자동 확장에는 EC2 Auto Scaling을 사용합니다. 컨테이너 라이프사이클 훅이 빌드 에이전트를 배포하고 빌드 마스터에 등록하거나 등록을 해제합니다. 확장 시점을 정할 때는 빌드 에이전트의 유휴 시간과 여러 지표를 살핍니다.
그중 CI 처리량은 단위 시간당 처리한 작업 수입니다. 이 값이 임계값보다 낮아지면 CI 시스템이 병목에 도달해 스케일 아웃이 필요한 상태로 판단합니다. 세계 여러 지역의 엔지니어가 많이 일하는 시간대도 확장 전략에 반영했습니다. 다만 macOS 빌드 에이전트는 기술적 어려움 때문에 여전히 수동으로 확장했습니다.
1시간에서 15분 미만으로 줄어든 최대 대기
CI/CD 2.0 출시 한 달 뒤, 분석 대시보드에서 개선 결과를 확인했습니다. CI 작업의 최대 대기 시간은 1시간에서 15분 미만으로 줄었습니다. 빌드 시간은 45%, 정적 분석 시간은 77% 감소했습니다.
풀스택 팀 18곳은 협업 시간의 5%를 절약했고, 빌드 에이전트 추가 시간은 2시간 단축됐습니다. 오토스케일링으로 AWS 비용도 16% 줄었습니다. 새 파이프라인이 감당할 수 있는 트래픽은 9배로 늘었습니다.
다른 서비스에도 열린 모바일 CI/CD
쿠팡의 서비스는 이커머스에서 음식 배달과 스트리밍 등으로 넓어지고 있었습니다. 모바일 CI/CD도 다른 서비스가 자원을 함께 쓰도록 개방했습니다. 이때 공유한 것은 빌드 자원만이 아닙니다. 브랜치 관리와 코드 동기화, 커밋 메시지에 공통 기준을 적용하고 설정 템플릿과 유틸리티도 함께 사용했습니다.
서비스마다 이용 범위는 달랐습니다. 파이프라인에는 개발 환경과 프로덕션 환경이 있으며, 패밀리 서비스는 둘 다 쓰거나 개발 환경만 선택할 수 있습니다.
배포 환경은 공유하되 각 서비스를 별도 테넌트로 취급했습니다. 서비스 사이의 영향을 줄이기 위해 Auto Scaling 그룹도 서비스별로 나눴습니다. CI/CD 2.0 도입 후에는 새 제품을 2 man-day 이내에 지원할 수 있게 됐습니다.
자동 확장이 남은 iOS 빌드 에이전트
Android와 iOS의 AWS 이전은 마쳤지만, iOS 오토스케일링은 개념 증명(PoC)을 테스트하는 단계였습니다. 남은 수작업을 자동화하고 병목을 줄이는 일도 후속 과제였습니다.
개발을 돕는 도구 역시 구현을 마친 기능과 개발 중인 기능이 나뉩니다. 자동 코드 리뷰, 정적 분석, 증분 정적 분석, A/B 테스트 변경 확인은 이미 구현했습니다. 종료된 A/B 테스트의 자동 정리, 기능 사이 코드 충돌의 자동 감지, 크래시 발생 시 A/B 테스트 강제 종료는 개발 중이었습니다.
원문의 수치와 지표
| 항목 | 값 |
|---|---|
| 최초 설계 | 2020년, 2.0 착수는 2021년 초 |
| 일일 빌드 | 3,000건 이상, 매주 릴리스 |
| 빌드 시간 | 45% 감소 |
| 정적 분석 시간 | 77% 감소 |
| CI 작업 최대 대기 | 1시간에서 15분 미만 |
| 빌드 에이전트 추가 시간 | 2시간 단축 |
| AWS 비용 | 오토스케일링으로 16% 감소 |
| 감당 가능 트래픽 | 9배 |
| 신규 제품 지원 | 2 man-day 이내 |
| 협업 시간 절감 | 풀스택 팀 18곳, 5% |