본문으로 건너뛰기
모노레포 개발을 노트북 밖으로 옮긴 Uber의 Devpod
목차

모노레포 개발을 노트북 밖으로 옮긴 Uber의 Devpod (2022-12)

원문 정보

  • 원문: Devpod: Improving Developer Productivity at Uber with Remote Development
  • 매체 · 게시일: Uber Engineering Blog · 2022-12-13
  • 저자: Matas Antanas Strukčinskas(Developer Platform 엔지니어), Serdar Badem(Developer Platform Product Manager Lead), Aistis Jokubauskas(Devpod 기술 팀 리드), Ali-Reza Adl-Tabatabai(Developer Platform 총괄)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

커진 모노레포 앞에서 느려진 노트북

우버가 모노레포로 옮긴 뒤 개발자의 노트북에서는 빌드가 더 커지고 느려졌습니다. 빠른 사내 네트워크를 벗어나면 저장소를 클론하고 개발 환경을 준비하는 데 몇 시간이 걸리기도 했습니다.

모노레포를 택한 데는 이유가 있었습니다. 2017년 우버의 코드는 수천 개 저장소에 흩어져 있었고, 마이크로서비스와 앱마다 저장소가 따로였습니다. 언어는 10개가 넘고 서비스는 4,000개 이상, 웹 앱은 500개 이상이었습니다. 빌드 도구도 9종 이상, 설정 도구도 6종 이상이었으니 의존성을 관리하고 여러 도구와 프레임워크를 지원하는 일이 쉽지 않았습니다. 운영 환경에서는 같은 라이브러리의 버전이 제각각이었고, 개발자끼리 코드를 공유하고 협업할 때도 마찰이 생겼습니다.

여러 조직이 참여한 워킹 그룹은 모든 코드를 모노레포에 두고 트렁크 기반으로 개발하며, 서드파티 라이브러리마다 버전을 하나로 통일하자고 제안했습니다. 빌드 플랫폼은 Bazel로 모았습니다. 의존성과 라이브러리 버전을 관리하기 쉬워졌고, 도구와 작업 절차를 표준화하면서 다른 팀의 코드를 살펴보고 공유하기도 좋아졌습니다.

그 변화가 노트북에는 부담이었습니다. 자주 바뀌는 수 GB의 아티팩트를 내려받거나 직접 빌드해야 했고, 도구를 일관된 최신 상태로 유지하는 일도 계속됐습니다. 업데이트는 원자적으로 이뤄지지 않았으며 어떤 단계를 거치는지도 불투명했습니다. 코드 관리가 나아진 뒤에도 매일 반복하는 편집-빌드-실행에는 기다림과 환경 관리가 남아 있었습니다.

도구와 저장소를 미리 갖춘 Devpod

우버는 이 개발 루프를 클라우드로 옮겼습니다. 더 빠른 머신에서 빌드하고, 개발에 필요한 준비를 미리 끝내 두며, 코드와 도구를 통제된 환경 안에 두자는 구상이었습니다. 그렇게 만든 Devpod은 Kubernetes에서 컨테이너로 실행되는 원격 개발 환경입니다. JetBrains IDE와 VS Code를 연결해 우버의 대규모 모노레포를 다룹니다.

환경 하나에 최대 48코어와 RAM 96GB를 제공합니다. 컴퓨트만 늘린 것은 아닙니다. Git 설정을 조정하고 노트북보다 빠른 Linux 파일 시스템을 사용했으며, 빌드에 필요한 개발 아티팩트도 미리 받아 두었습니다. 원격 빌드 캐시를 가까이 배치한 덕에 빌드 속도를 더 높였습니다. 노트북이 빌드 때문에 멈추거나 과열되는 일이 없어지고 배터리도 오래 갔습니다. 개발자는 노트북의 다른 프로세스와 무관하게 작업하면서 원격 환경을 여럿 사용할 수도 있었습니다.

시작은 클라이언트 명령 하나나 웹 앱에서 클릭 몇 번이면 됩니다. 저장소는 이미 클론돼 있고, 모노레포에 맞는 도구 세트는 설치와 테스트를 마친 상태입니다. 중앙에서 지원하는 최신 IDE 버전과 설정, 캐시된 인덱스까지 준비해 몇 분 안에 일관된 환경을 쓸 수 있게 했습니다. Go, Java, Android, Web, ML, Base로 나눈 flavor는 각 개발자 집단에 맞춰 기본 도구와 설정을 담은 이미지입니다.

작업은 접속이 끝나도 남습니다. Devpod은 영속 환경이어서 개인 설정과 파일, 코드 변경을 보존하고, 다른 기기에서 이어서 작업하거나 여러 사람이 한 환경에서 협업할 수 있습니다. 처음 사용하는 개발자를 안내하고 문제 해결을 돕는 웹 포털 Devpod Central도 마련했습니다. 이 포털에는 자원 사용량을 보여 주는 기능을 추가할 계획이었습니다.

개발자가 체감한 빌드 속도

7,000만 줄이 넘는 가장 큰 모노레포에서 Devpod의 p95 git status 시간은 꾸준히 4초 미만이었습니다. 노트북에서는 저장소가 커질수록 시간이 늘어났고, 파일 시스템 모니터와 sparse checkout을 적용한 뒤에야 성능이 나아졌습니다.

Go 빌드에서도 차이가 났습니다. 오래 걸리는 복잡한 빌드(p95)는 Devpod에서 노트북보다 평균 2.5배, 일반 빌드(p75)는 평균 1.8배 빨랐습니다. 2022년 11월에는 우버 소프트웨어 엔지니어의 60% 넘게 Devpod을 사용했습니다. NPS 설문에서도 Devpod은 생산성을 크게 높이는 요소로 꼽혔으며, 개발자들이 주로 든 이유는 빌드 속도였습니다.

작은 컨트롤러로 시작한 Devpod Operator

도구와 설정은 모두 Docker 이미지에 담았습니다. 배포하기 쉽고 개발자에게 익숙한 형식이어서 기여하기도 수월했습니다. 베이스 OS는 운영 환경과 같은 Debian을 골랐습니다. 덕분에 사내 패키지를 빌드하고 배포하던 인프라와 주요 소프트웨어 설정을 재사용할 수 있었습니다. 개발 환경의 OS와 스토리지, 라이브러리도 운영 환경과 비슷하게 맞췄습니다.

Kubernetes는 컨테이너를 실행할 하드웨어, 네트워킹, 재시작 뒤에도 작업을 보존할 영구 볼륨을 제공했습니다. 노트북을 벗어나자 코어 90개 이상과 수백 GB RAM을 갖춘 머신도 실험할 수 있었습니다. 팀은 이런 기반을 직접 만드는 대신 개발 환경을 빠르고 쉽게 쓰도록 하는 데 집중했습니다.

Devpod 메타데이터는 CRD(Custom Resource Definition)로 컨트롤 플레인에 저장했습니다. 별도 내부 데이터베이스가 필요 없어졌습니다. 커스텀 컨트롤러는 Devpod의 상위 수준 명세를 표준 Kubernetes 리소스로 바꾸고, 이후 처리는 표준 컨트롤러에 맡겼습니다. 개발자는 kubectl로 Devpod을 만들고 조회할 수 있었습니다. 처음에는 컨트롤러가 워낙 작아서 Bash 스크립트로도 만들 수 있겠다는 농담까지 나왔습니다. 나중에 유휴 환경의 비용을 줄이면서 VolumeSnapshotContents와 PersistentVolumeClaim의 변화에도 반응하도록 확장했습니다.

클러스터는 운영 데이터센터 밖에 배치했습니다. 개발자가 셸을 사용하는 서비스를 운영 시스템과 강하게 격리하고, 늘어나는 APAC와 EMEA 개발 거점 가까이에서 제공하려는 선택이었습니다. 타이핑할 때 느끼는 지연을 줄이기 위해 오리건, 버지니아, 네덜란드, 뭄바이, 상파울루에 배포했습니다.

컴퓨트만큼 신경 쓴 부분은 스토리지입니다. 빌드가 파일 시스템에 의존하므로 클러스터의 스토리지가 빨라야 했습니다. 객체 스토리지에 기반한 임시 파일 시스템은 구현이 어려워 향후 탐색할 대상으로 남겼습니다.

초기 시행착오가 집중된 IDE

원격 머신을 준비한 뒤에도 IDE 경험을 맞추는 일은 큰 숙제였습니다. 초기 웹 IDE는 지연과 안정성 문제로 개발자 경험을 개선하는 데 걸림돌이 됐습니다. 인덱스를 미리 불러오고 설정과 도구, 확장, 애드온을 준비하면서 경험을 다듬어야 했습니다.

접속 방식도 여럿 제공했습니다. VS Code는 remote와 웹 버전을, JetBrains IDE는 Projector를 이용한 웹 방식과 Gateway를 이용한 ssh 방식을 지원했습니다. Projector 방식은 글이 나온 시점에 이미 deprecated 상태였습니다. 터미널에서 Vim이나 Emacs를 쓰는 개발자도 있었습니다.

VS Code remote와 웹은 원격 환경에서 성능이 좋았지만, 언어 이해 같은 지능형 기능에는 아쉬움이 남았습니다. Language Server Protocol이 도움이 됐어도 구현은 충분히 따라오지 못했습니다. 예를 들어 인덱스를 디스크에 저장했다가 다시 불러올 수 있는 언어 서버가 드물었습니다. 언어 서버 대부분이 오픈소스인 만큼, 팀은 직접 기여해 개선할 여지도 보고 있었습니다.

장기적으로는 로컬 IDE가 조용히 원격 환경에 연결하고, 원격 환경이나 네트워크에 문제가 생기면 로컬 작업으로 이어지는 경험을 구상했습니다. Android에는 더 구체적인 빈틈이 있었습니다. 빌드는 빨라졌지만 Devpod에서 에뮬레이터를 쓰거나 ADB로 실기기를 연결할 수 없어 원격 IDE의 테스트와 디버깅 경험이 좋지 않았습니다. Devpod 지원 IDE에 플러그인을 내장해 이 과정을 매끄럽게 만드는 것도 계획에 포함됐습니다.

점검 시간에도 울리던 야간 경보

개발 환경의 도구와 보안 업데이트는 업무 시간 밖에 자동으로 적용했습니다. 이미지를 stable 채널로 승격하기 전에는 보안 스캔을 거쳤습니다. 통제되고 강화된 도구 체인을 사용하고 환경 전반을 모니터링하면 악성 행동을 탐지하기도 이론상 수월하다고 봤습니다. 노트북처럼 배터리를 걱정하지 않아도 되므로 업무가 끝난 뒤 디스크를 검사할 수도 있었습니다.

업데이트를 받는 방식은 개발자가 선택했습니다.

  • stable: 기본 채널이자 최신 안정 버전
  • rc: 다음 stable의 후보
  • dev: 매일 밤 가장 최근에 성공한 빌드로 갱신
  • none: 자동 업데이트 없음

자동 테스트와 릴리스 후보 검증, 도그푸딩을 거쳐도 버그가 빠져나올 수 있었습니다. 팀은 나중에 점진적 롤아웃을 추가해 문제가 생겼을 때 영향을 받는 범위를 줄였습니다. 업무 외 시간이라고 모든 작업이 끝나는 것도 아니었습니다. 늦게 일하는 개발자와 오래 실행되는 작업을 보호하려고, 활성 연결을 확인한 뒤 점검을 미루는 방식을 향후 개선안으로 잡았습니다.

우버의 개발자 플랫폼은 핵심 엔지니어 5,000명을 지원했습니다. 운영 상태는 시스템 가용성, Devpod 준비 상태, 연결 상태로 추적했습니다. 시스템 가용성은 클라우드 제공자의 가용성에 제한돼 상한이 99.5%였습니다. 준비 상태는 실행돼야 하는 Devpod과 실제 사용 가능한 Devpod을 비교하고, 시작이 예상보다 늦어지면 알리는 지표입니다. 연결 상태는 여러 엔드포인트를 계속 확인해 사내 서비스에 접속할 수 있는지 점검했습니다.

이 경보가 점검 시간에도 울렸습니다. 예정된 유지보수 때문에 심각한 알림이 발생해 운영팀이 밤에 깨는 일이 생겼습니다. 팀은 점검 구간을 추적해 경보 로직에서 제외하고, Grafana 대시보드에서 점검 시간과 실제 가동 시간을 함께 비교하도록 바꿨습니다.

쓰지 않는 Devpod에 남은 비용

Devpod은 사용자가 떠난 뒤에도 설정과 파일을 보존합니다. 그만큼 사용하지 않는 동안의 컴퓨트와 스토리지를 관리해야 했습니다. 자체 구축의 가격 대비 성능이 기성 솔루션보다 좋아야 한다는 기준 아래, 팀은 환경당 비용을 계속 추적했습니다.

주기적으로 실행하는 작업은 최근 사용 여부를 확인해 비활성 환경의 컨테이너를 지웠습니다. 컨테이너를 줄인 뒤에는 VM도 재배치했습니다. 절반씩만 쓰는 VM 둘이 있다면 한쪽으로 환경을 모으고 다른 VM을 끄는 방식입니다. 디스크는 별도로 처리해야 했습니다. 컨테이너를 종료한 환경의 디스크를 스냅샷으로 만들어 저비용 스토리지에 보관하고, 환경이 다시 시작될 때까지 유지했습니다.

이런 조치로 기성 솔루션보다 가격을 훨씬 낮게 유지하면서 더 높은 성능을 제공했다고 합니다. 이후에는 스케줄링과 전원 차단 정책을 더 세밀하게 조정해, 개발 흐름을 방해하지 않으면서 유휴 Devpod을 줄이는 오토파일럿을 구상했습니다.

빌드 자원을 모으는 계획도 있었습니다. CI, Devpod, 노트북이 원격 캐시와 원격 실행을 갖춘 하나의 BuildFarm 클러스터를 사용하도록 하는 구상입니다. 회사 데이터센터의 여유 컴퓨트를 선점형(preemptible) 인스턴스로 활용하고, 지리적으로 분산된 원격 캐시로 지연을 줄이려 했습니다.

3초 미만을 목표로 한 Devpod-On-Demand

Devpod이 개발 환경 설정을 크게 줄였어도 생성 시간까지 사라진 것은 아닙니다. 당시 새 환경을 만드는 데는 2~3분이 걸렸습니다. Devpod-On-Demand는 이를 3초 미만으로 줄이려는 계획입니다. flavor별로 파드를 미리 띄워 두고, 사용자에게 배정할 때 마지막 설정만 적용하는 방식이었습니다. 아직 달성한 수치는 아닙니다.

빠르게 만들 수 있다면 짧게 쓰는 환경도 활용하기 좋아집니다. 팀은 기능 하나를 개발하거나 실패한 CI를 디버깅할 때, 코드 리뷰를 하거나 모바일 크래시를 분석할 때 쓰는 임시 Devpod을 구상했습니다. 기존의 영속 개발 환경에 더해 작업 수명에 맞춘 환경을 제공하려는 방향입니다.

팀별 Devpod 설정도 계획에 있었습니다. 팀이 필요한 구성을 정해 두면 새 팀원이 클릭 한 번으로 같은 환경을 얻도록 하려 했습니다. 노트북과 원격 환경 사이에서 파일을 옮기는 수고는 Devpod 드라이브를 노트북에 자동 마운트하는 방식으로 줄일 예정이었습니다.

Devpod 사양과 성능 수치
항목값
2017년 코드베이스언어 10개 이상, 서비스 4,000개 이상, 웹 앱 500개 이상, 빌드 도구 9종 이상, 설정 도구 6종 이상
환경당 자원최대 48코어, RAM 96GB (Kubernetes 실험은 90코어 이상, 수백 GB)
배포 리전오리건, 버지니아, 네덜란드, 뭄바이, 상파울루
flavorGo, Java, Android, Web, ML, Base
릴리스 채널stable(기본), rc, dev, none
가용성 상한클라우드 제공자 99.5%
p95 git status7,000만 줄 이상 모노레포에서 꾸준히 4초 미만
Go 빌드노트북 대비 p95 평균 2.5배, p75 평균 1.8배 빠름
도입률2022년 11월 기준 엔지니어의 60% 이상
지원 엔지니어 수핵심 소프트웨어 엔지니어 5,000명
신규 Devpod 생성 시간현재 2~3분, 목표 3초 미만
마지막 수정 일자