목차
40GB를 넘긴 모노레포에서 5분 배포를 지킨 파이프라인 (2024-06)
원문 정보
- 원문: 200여개 서비스 모노레포의 파이프라인 최적화
- 매체 · 게시일: 토스 기술 블로그 · 2024-06-14
- 저자: 정석호
- 원문 내용을 바탕으로 재구성한 요약입니다.
클론부터 막힌 프론트엔드 모노레포
토스 프론트엔드 챕터에서는 기여자 50~60명이 200여 개가 넘는 서비스를 하나의 모노레포에서 관리하고, 하루 평균 60개가 넘는 PR을 머지하고 있었습니다. 코드와 의존성, CI/CD 설정을 함께 관리하기 편한 환경이었습니다.
문제는 계속 커지는 저장소였습니다. 결국 그냥 클론하는 것조차 불가능해져, 필요하기 전까지 blob을 내려받지 않는 filter=blob:none을 자주 썼습니다. 그런데도 git push부터 배포까지는 5분을 유지했습니다.
매일 오전 7시에 구워 둔 Docker 이미지
러너에서는 checkout부터 문제였습니다. 40GB를 훌쩍 넘긴 저장소를 빌드할 때마다 내려받다 보니 시간이 오래 걸렸고, 타임아웃 오류가 나기도 했습니다. 토스는 모노레포를 미리 복제한 Docker 이미지로 빌드를 시작하도록 바꿨습니다. 2022년 SLASH 발표에서도 소개한 방법입니다.
이미지에는 코드 변경 계산에 쓸 커밋 이력도 준비해 둡니다. Dockerfile에서 git clone --depth 50으로 가볍게 받은 뒤, git fetch --depth 1000으로 1,000개 커밋까지 이어 받고 main 브랜치로 checkout합니다. yarn으로 의존성도 미리 설치하지만, 이 단계는 생략할 수 있습니다.
이미지 빌드는 매일 오전 7시에 실행하며, 36분이 걸렸습니다. 만든 이미지는 AWS ECR에서 관리하고 CircleCI executor에 지정해 Job을 실행합니다. 미리 받아 둔 콘텐츠 이후의 변경분만 내려받는 시간은 22초였습니다. 토스는 이를 git checkout이 필요한 Job당 36분 이상 개선으로 소개했습니다.
자원을 따로 배정한 CircleCI 파이프라인
서비스 하나를 바꿔도 빌드는 한 번으로 끝나지 않았습니다. 토스는 개발, 스테이징, 라이브 환경을 따로 빌드하므로 쇼핑, 송금, 만보기처럼 서비스 3개가 바뀌면 총 9번의 빌드를 실행해야 했습니다. 빌드 하나가 5분이라고 가정하면 순차 실행에는 45분이 걸립니다. 기다리거나 다른 일을 하는 동안 개발자는 컨텍스트 스위칭 비용을 치릅니다.
병렬 실행 자체는 yarn의 yarn workspace since run --jobs 옵션으로도 가능합니다. 문제는 한정된 CPU와 메모리입니다. 하나의 컴퓨팅 환경에서 자원을 나눠 쓰면 병렬 수를 늘릴수록 오히려 느려지고, 빌드 대상이 많아지면 순차 실행과 비슷한 시간이 걸립니다.
토스는 CircleCI의 Dynamic Configuration으로 파이프라인을 동적으로 만들고, 각 빌드를 독립된 자원이 할당된 가상 머신에서 실행하도록 바꿨습니다. Jenkins로도 이런 동적 파이프라인을 구성할 수 있습니다.
2개 서비스의 6개 배포를 기준으로 계산하면 차이가 분명해집니다. 순차 빌드는 6번에 각각 5분씩, 총 30분이지만 독립된 환경에서 병렬로 실행하면 트리거 파이프라인 1분에 병렬 빌드 5분을 더해 6분입니다. 기다리는 시간이 약 5배 줄었습니다.
이상적인 경우라면 서비스가 2개든 200개든 약 6분에 모든 빌드를 끝낼 수 있습니다. 여기에는 비용이라는 조건이 붙습니다. 러너를 무한히 늘릴 수는 없으므로, 실제 파이프라인에서는 최대 러너 수를 조절해야 합니다.
Yarn PnP에 맞춘 SSR standalone 이미지
SSR 배포에서는 실행에 필요한 파일만 남겼습니다. Node File Trace로 런타임 의존성만 추려 최소한의 JavaScript 파일로 빌드 환경을 만들면 Docker 빌드와 Kubernetes 배포가 빨라집니다. 이 방법도 2022년 SLASH에서 소개한 내용입니다.
Next.js는 next.config.js의 output: 'standalone'으로 이 아이디어를 제공합니다. 토스는 이 기능을 그대로 쓰지 못했습니다. Next.js의 기능은 node_modules에 의존하는데, 토스가 쓰는 Yarn PnP는 .yarn/cache에 의존성을 저장했기 때문입니다.
토스는 PnP API로 standalone과 비슷한 역할을 하는 함수를 만들어 bundle.zip을 생성했습니다. SSR Dockerfile은 이 파일을 풀고 node -r ./.pnp.cjs --experimental-loader ./pnp.loader.mjs ./server.js로 서버를 띄웁니다. bundle.zip만 있으면 git과 yarn이 없는 곳에서도 SSR 서버를 실행할 수 있습니다.
SSR Docker 이미지 크기는 4GB에서 약 200MB로, 20배가량 줄었습니다. 이미지가 작아지면 Kubernetes에서 Pod를 띄울 때 Docker 이미지를 pull하는 PodInitializing 시간도 줄어듭니다. 토스가 제시한 Pod 기동 시간의 개선 폭은 20배입니다.
수치와 설정에 붙는 조건
| 항목 | 값 |
|---|---|
| 모노레포 규모 | 서비스 200여 개, 기여자 50~60명, 일평균 머지 PR 60개 이상, 저장소 40GB 이상 |
| 빌드 횟수 | 변경된 서비스 수 x 환경 수(개발, 스테이징, 라이브) |
| 순차 빌드 예시 | 3개 서비스 x 3개 환경 x 5분 = 45분 |
| 병렬 빌드 이상값 | 트리거 파이프라인 1분 + 병렬 파이프라인 5분 |
| 2개 서비스 변경(6개 배포) | AS-IS 6 x 5 = 30분, TO-BE 1 + 5 = 6분 |
| 베이스 이미지 빌드 | 매일 오전 7시, 36분 소요 |
| clone 깊이 | --depth 50 이후 --depth 1000 |
| 변경분 내려받기 | 36분에서 22초 |
| SSR 이미지 크기 | 4GB에서 약 200MB |