목차
수백 개 자동화 시스템의 모노레포 관리를 맡은 GitFarm (2026-07)
원문 정보
- 원문: GitFarm: Git® as a Service for Large-Scale Monorepos
- 매체 · 게시일: Uber Engineering Blog · 2026-07-09
- 저자: Preetam Dwivedi(Staff Engineer), Akshay Hacholli(Senior Software Engineer), Adam Bettigole(Senior Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Git 명령 앞에서 길어진 준비 시간
merge-base를 구해 ref 하나를 push하려는데 워커를 띄우고, 워크스페이스를 초기화하고, 저장소까지 동기화해야 했습니다. CI에 맡기면 git log 한 번에도 빌드 작업이 필요했습니다. 우버가 줄이려던 비용은 Git 명령 자체뿐 아니라, 그 명령을 실행하려고 서비스마다 반복하는 준비와 관리 작업에 있었습니다.
호출 규모부터 컸습니다. 우버의 자동화 시스템과 개발자 서비스는 Go, Java, Python, Web, Android, iOS 모노레포를 상대로 하루 수백만 번 Git을 호출합니다. 파일을 읽거나 머지를 검증하는 가벼운 작업에도 각 시스템이 저장소 전체를 따로 체크아웃해 두었습니다. 수백 개 시스템이 같은 저장소를 복제하고 동기화하면서 컴퓨트와 디스크를 중복으로 사용했습니다.
Go 모노레포 하나를 클론하는 데만 약 15분이 걸렸습니다. CPU 약 6코어, 메모리 32GB, 디스크 40GB 이상이 드는 작업입니다. 주요 모노레포를 모두 다루는 서비스라면 저장소 상태를 유지하는 데 CPU 16코어, 메모리 64GB, 저장소 96GB가 필요할 수 있었습니다. 서비스가 실제로 수행할 작업을 시작하기 전부터 이만큼의 자원을 준비해야 했습니다.
클론 범위를 줄여도 문제가 남았습니다. shallow, partial, single-branch 클론은 처음 전송하는 데이터를 줄이지만, 요청을 받은 업스트림 Git 서버는 여전히 객체를 열거하고 팩파일을 만들어 데이터를 보내야 합니다. 독립적인 클론과 fetch가 수천 번 반복되면 모든 클라이언트가 의존하는 서버가 병목이 됩니다. shallow 클론에서는 merge-base나 bisect가 실패할 수 있다는 기능 제약도 있었습니다.
Jenkins나 Buildkite의 캐시도 충분한 해법은 아니었습니다. 캐시로 클론 시간을 줄여도 인프라 운영과 수작업 유지보수가 따라붙었고, 큰 모노레포에서는 콜드 스타트에 몇 분씩 걸렸습니다. 여러 에이전트가 같은 커밋을 각자 fetch하는 중복도 남았습니다. 오래 유지한 에이전트에는 낡은 ref와 팩파일이 쌓였습니다.
Git 작업이 빌드의 수명주기에 묶인다는 점도 걸림돌이었습니다. 실행 중인 작업 밖에서 저장소를 미리 준비하거나 비동기로 관리할 수 없고, 서비스가 직접 호출할 독립된 Git API도 없었습니다. 간단한 Git 연산을 수행하려는 서비스까지 빌드 작업의 준비 절차를 거쳐야 했습니다.
요청보다 먼저 준비한 GitFarm 체크아웃
GitFarm은 다른 서비스를 대신해 표준 Git 명령을 실행하는 중앙 집중식 클라우드 Git 클라이언트입니다. 고성능 gRPC API로 명령을 받아 처리합니다. 저장소를 저장·복제·서빙하는 Git SCM을 새로 만든 것은 아닙니다. 개별 서비스가 맡던 클론과 체크아웃 관리, 실행 환경 준비를 GitFarm으로 옮긴 설계입니다.
요청이 온 뒤 준비를 시작해서는 충분히 빨라지지 않습니다. 샌드박스 컨테이너를 띄우는 데 보통 1~2초가 걸리고, 로컬 bare 클론에서 체크아웃을 만드는 데도 최대 3분이 걸릴 수 있습니다. 업스트림에서 클론하는 시간을 줄였더라도 요청마다 이 과정을 반복한다면 대량의 Git 작업을 처리하기 어렵습니다.
그래서 저장소와 컨테이너를 모두 미리 준비합니다. GitFarm Backend의 각 노드는 저장소마다 디스크에 bare 클론 하나를 유지하고, 이 로컬 클론에서 동기화한 체크아웃을 고정 크기 풀에 보관합니다. 별도로 미리 생성한 샌드박스 컨테이너 풀도 둡니다. 각 컨테이너에는 격리된 실행 환경과 체크아웃을 연결할 전용 마운트 지점이 있습니다.
요청이 들어오면 풀에서 가용 샌드박스를 확보하고, 저장소 풀의 체크아웃을 마운트합니다. 그 자리에서 컨테이너나 체크아웃을 새로 만들지 않습니다. 하나의 클러스터가 여러 저장소를 처리하면서도 요청마다 자기 샌드박스와 체크아웃을 사용합니다. 샌드박스 안에서 행사하는 권한도 호출자의 신원 범위로 제한됩니다.
풀링 이후 준비된 체크아웃과 샌드박스를 확보하는 오버헤드는 1초 미만으로 줄었습니다. 클라이언트는 로컬 클론 없이 전체 체크아웃을 500밀리초 안에 사용할 수 있고, 호스트마다 최초 클론에 쓰던 10~15분의 콜드 스타트도 없어졌습니다. Git 명령의 동작 의미는 유지하면서, 그 명령을 실행하기 위한 반복 초기화 비용을 줄인 것입니다.
필요한 최신성을 직접 고르는 Exec 세션
미리 준비한 저장소에는 최신성 문제가 따라옵니다. 백엔드 노드는 푸시 이벤트를 받아 bare 클론을 동기화하고, 이벤트가 누락되거나 늦게 도착하는 경우에 대비해 5분마다 git fetch도 실행합니다. 업스트림과 최종적 일관성을 유지하는 방식이며, 모든 요청에 동일한 최신성을 보장하지는 않습니다.
필요한 최신성은 클라이언트가 요청별로 선택합니다. 최신 커밋이 필요한 작업이라면 세션의 첫 명령으로 git fetch를 실행하고, 가져온 상태에서 후속 연산을 진행합니다. 어느 정도의 지연을 허용하는 작업은 백엔드 동기화에 맡깁니다. 모든 요청이 각자 fetch하지 않아도 되므로 중복 작업과 지연을 줄일 수 있습니다.
한 번의 요청으로 끝나지 않는 작업도 있습니다. 두 브랜치의 merge-base를 구하고 그 결과를 새 ref로 push하려면 앞 명령의 출력을 뒤 명령에 넘겨야 합니다. 명령마다 새 체크아웃을 받는 방식으로는 이런 흐름을 그대로 이어가기 어렵습니다. GitFarm은 양방향 gRPC 스트리밍 API로 하나의 세션 안에서 명령을 연이어 실행하도록 했습니다.
Exec를 호출하면 하나의 논리적 체크아웃에 연결된 지속 세션이 열립니다. 클라이언트는 stdin과 stdout을 사용하면서 명령을 보내고, GitFarm은 제출된 순서대로 실행합니다. 각 결과는 CommandResult로 돌아오며, alias 필드가 명령 호출과 출력을 연결합니다. 여러 명령이 같은 체크아웃에서 이어지므로 저장소 상태의 일관성을 지키고, 명령마다 연결과 실행 환경을 다시 준비하는 비용도 줄입니다.
보장 범위는 세션 단위입니다. 다른 요청과는 샌드박스로 격리하고, 세션 안에서는 같은 체크아웃과 명령 제출 순서를 유지합니다. 명령이 실패하면 0이 아닌 종료 코드와 stderr로 알립니다. 치명적인 오류가 발생한 경우에는 세션을 종료합니다.
가용 체크아웃을 찾아가는 GitFarm Gateway
요청을 받아 실행할 곳을 정하는 역할은 GitFarm Gateway가 맡습니다. 먼저 클라이언트를 인증하고 해당 저장소의 접근 권한을 확인합니다. 권한이 없는 요청은 여기서 거부합니다. 권한을 확인한 요청은 백엔드로 전달해, 선택한 노드의 샌드박스에서 실행합니다.
게이트웨이는 백엔드가 보내는 주기적인 하트비트와 상태 갱신으로 가용성을 추적합니다. 상태에는 노드별·저장소별로 남은 샌드박스 수가 포함되며, 이 정보는 Redis에 보관합니다. 요청을 배정할 때는 해당 저장소의 가용 체크아웃이 가장 많은 노드를 고릅니다. 선택한 체크아웃을 사용 중으로 표시하고, 작업이 끝나면 Redis 상태를 갱신해 자원을 반환합니다.
쓸 수 있는 노드가 없으면 요청을 거부합니다. 자원이 부족한 상태에서 들어오는 부하를 게이트웨이가 제한하는 방식입니다. 준비된 풀을 사용하는 덕분에 초기화 지연은 줄지만, 요청을 받을 때 가용 자원이 있어야 한다는 조건은 그대로 남습니다.
워크로드 간 간섭은 클러스터 경계에서 다룹니다. GitFarm은 백엔드 노드를 논리적 클러스터로 묶고, 각 클러스터에 성격이 비슷한 용도를 배치합니다. 서로 다른 워크로드가 같은 노드의 자원을 놓고 경쟁하는 ‘시끄러운 이웃’ 문제를 피하고 성능을 예측하기 위한 설계입니다. 게이트웨이는 중앙에서 관리하는 배치 정책에 따라 각 클라이언트를 지정된 클러스터로 보냅니다.
우버는 접근 패턴이 분명한 고처리량 작업이나 지연에 민감한 작업을 위한 특화 클러스터를 운영합니다. 가벼운 용도가 빠르게 붙을 수 있는 범용 공유 클러스터도 있습니다. 클러스터별로 자원을 나누어 격리하므로, 이런 배치의 복잡성을 클라이언트가 직접 다룰 필요는 없습니다.
새 용도를 받기 전에는 기존 클러스터가 수용할 수 있는지, 전용 클러스터가 필요한지 검토합니다. 별도 격리가 필요하면 용량을 산정하고 자원 한도, 샌드박스 풀 크기, 동기화 정책을 정한 뒤 연결합니다. 모든 클라이언트를 하나의 실행 풀에 넣기보다는, 사용할 자원과 접근 패턴에 맞춰 배치하는 운영 방식입니다.
준비 비용이 빠진 프로덕션 서비스
GitFarm은 2025년 초부터 우버 프로덕션에서 사용됐습니다. 클라이언트 쪽 자원 사용량은 80% 넘게 줄었습니다. 실제 워크로드를 보면 절감한 비용의 성격이 더 분명해집니다. Git 명령 자체에 걸리는 시간은 거의 그대로인 작업도 있었고, 저장소를 유지하느라 쓰던 자원이나 실행 전 대기 시간이 크게 줄어든 서비스도 있었습니다.
직접 실행과 지연이 비슷했던 쓰기 작업
짧게 끝나는 쓰기 워크플로는 GitFarm이 추가하는 오버헤드를 보여 줍니다. 브랜치를 fetch하고, main과의 merge base를 계산한 뒤, 결과를 새로운 원격 ref로 push하는 작업입니다. 전체 과정이 미리 준비한 저장소를 사용하는 하나의 샌드박스와 실행 세션에서 진행되며, 클라이언트에는 로컬 저장소 상태가 남지 않습니다.
엔드투엔드 p50 지연은 약 25초였습니다. 이 중 git fetch에 약 5초, git push에 약 12초가 걸려 대부분의 시간을 Git 연산 자체가 차지했습니다. Git 서버에 직접 연결해 실행한 경우와 지연이 거의 같았습니다. GitFarm이 추가하는 오버헤드는 작았고, 요청 시점에 저장소를 클론하거나 동기화했다면 붙었을 몇 분의 준비 시간을 피했습니다.
로컬 저장소를 비운 CODEOWNERS 스캔 서비스
코드 소유권을 판단하는 서비스는 수십만 디렉터리의 CODEOWNERS 파일을 훑습니다. 이전에는 호스트 6대가 각각 모든 모노레포의 전체 체크아웃을 갖고 있었고, 15분마다 cron으로 동기화했습니다. 읽기 작업을 수행하는 서비스가 저장소 전체의 보관과 갱신까지 맡았던 것입니다.
GitFarm API로 전환하면서 로컬 체크아웃을 없앴습니다. 70코어를 넘던 CPU 사용량은 16코어로 줄어 77% 감소했고, 메모리는 400~600GB에서 32GB로 90% 넘게 줄었습니다. 시작 시간도 달라졌습니다. 이전에는 15~20분이 걸렸지만 전환 후에는 1분 미만이었습니다.
운영 작업도 줄었습니다. 인스턴스별 디스크 관리, 저장소 복구, 최초 기동 시 동기화가 더 이상 필요하지 않았습니다. 이제 서비스는 모노레포 크기와 무관하게 확장할 수 있습니다.
Buildkite에서 옮겨 온 커밋 감사
리뷰 검사를 우회한 커밋을 감사하는 서비스는 시간당 1만~2만 건의 이벤트를 처리합니다. 대상은 주요 모노레포 6개와 수천 개의 작은 저장소를 합친 9000개 저장소입니다. 감사 대상으로 표시된 커밋마다 관련 ref를 fetch하고 감사 PR을 생성합니다.
이전 실행 환경은 Buildkite였습니다. 호출마다 워커를 띄우고 워크스페이스를 준비하고 저장소를 동기화한 뒤에야 필요한 Git 명령을 실행했습니다. p50 지연은 110~160초였고, 그 대부분이 실행 환경을 준비하는 데 쓰였습니다.
GitFarm으로 옮긴 뒤 p50 지연은 20~30초로 80% 넘게 줄었습니다. Buildkite 에이전트 스케줄링과 워크스페이스 초기화, 호출마다 반복하던 저장소 동기화가 빠진 결과입니다. 이 워크플로에서는 Git 연산을 시작하기까지 걸리던 시간을 줄인 효과가 컸습니다.
다음 워크플로를 위한 GitFarm의 확장 계획
명령을 주고받는 API는 양방향 스트리밍이지만, 현재 Git 명령의 stdout과 stderr는 문자열 결과로 반환됩니다. 우버는 출력도 스트리밍해 오래 걸리는 연산의 진행 상황을 실시간으로 전달하려고 합니다. 대화형 용도에서 응답성을 높이기 위한 계획입니다.
작업 공간에도 제약이 있습니다. 현재 요청의 Git 명령은 전체 체크아웃에서만 실행됩니다. 앞으로는 bare 클론과 sparse checkout도 작업 공간으로 지원해, 전체 작업 트리가 필요 없는 연산의 시간과 자원 사용량을 줄이려 합니다.
세션 길이는 현재 30분으로 제한됩니다. 자원 독점을 막기 위한 타임아웃입니다. 다만 지속적으로 한 용도만 처리하는 전용 클러스터에는 몇 시간이나 며칠 동안 이어지는 세션이 도움이 될 것으로 보고, 장기 세션 지원을 계획하고 있습니다.
새로 연결하려는 용도에는 업스트림 간 변경 미러링이 있습니다. 백업·복제 서비스가 푸시 이벤트를 감시하고 주 업스트림의 새 커밋을 보조 업스트림으로 보내는 흐름입니다. GitFarm이 저장소 상태를 관리하면 이 서비스는 로컬 체크아웃 없이 수천 개 저장소의 변경을 미러링할 수 있습니다.
우버의 머지 큐인 SubmitQueue도 확장 대상입니다. 계획한 흐름에서는 들어온 변경을 샌드박스 안에서 최신 main에 적용하고, 검증한 커밋을 임시 ref로 push해 최종 머지를 미룹니다. CI 검증을 마치면 SubmitQueue가 다시 GitFarm을 호출해 그 ref의 커밋을 cherry-pick하고, 최종 머지 후 trunk에 push합니다. 이 과정에서도 SubmitQueue가 로컬 저장소 상태를 유지하지 않도록 하려는 구상입니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| Go 모노레포 로컬 클론 | 약 15분, CPU 약 6코어, 메모리 32GB, 디스크 40GB 이상 |
| 주요 모노레포 전부 클론하는 서비스 | CPU 16코어, 메모리 64GB, 저장소 96GB |
| 클라이언트 쪽 체크아웃 접근 | 500밀리초 이내 |
| 콜드 스타트 (호스트별 최초 클론) | 10~15분 |
| 클라이언트 자원 사용량 절감 | 80% 이상 |
| 샌드박스 컨테이너 기동 | 보통 1~2초 |
| 로컬 bare 클론에서 체크아웃 구체화 | 최대 3분 |
| 풀링 후 샌드박스 확보 오버헤드 | 1초 미만 |
| 주기 동기화 | 5분마다 git fetch (이벤트 기반 동기화 병행) |
| 세션 타임아웃 | 30분 |
| 운영 시작 | 2025년 초 |
| 사례 | 이전 | GitFarm 이후 |
|---|---|---|
| CODEOWNERS 스캔 서비스 CPU | 70코어 넘게 | 16코어 (77% 감소) |
| CODEOWNERS 스캔 서비스 메모리 | 400~600GB | 32GB (90% 넘게 감소) |
| CODEOWNERS 스캔 서비스 시작 시간 | 15~20분 | 1분 미만 |
| 브랜치 fetch, merge base, push 워크플로 | 해당 없음 | p50 약 25초 (fetch 약 5초, push 약 12초) |
| 컴플라이언스 감사 p50 지연 | 110~160초 (Buildkite) | 20~30초 (80% 넘게 감소) |
| 컴플라이언스 감사 워크로드 규모 | 시간당 1만~2만 이벤트, 9000개 저장소 | (원문에 전후 비교 없음) |