목차
모델 개발의 길을 다시 설계한 Michelangelo의 8년 (2024-05)
원문 정보
- 원문: From Predictive to Generative – How Michelangelo Accelerates Uber’s AI Journey
- 매체 · 게시일: Uber Engineering Blog · 2024-05-02
- 저자: Kai Wang(Lead Product Manager, AI Platform 팀), Joseph Wang(Principal Software Engineer, AI Platform 팀), Eric Chen(Sr. Engineering Manager, AI Platform 팀, Michelangelo 창립 멤버), Min Cai(Distinguished Engineer, AI/ML 플랫폼)
- 원문 내용을 바탕으로 재구성한 요약입니다.
로그인부터 이동을 마칠 때까지 따라오는 ML
우버 앱에서 ML이 일하는 순간은 ETA를 계산할 때만이 아닙니다. 로그인할 때는 계정 탈취를 탐지하고, 목적지를 입력하면 자동완성과 검색 결과 순위를 정합니다. 요금 계산과 안전을 고려한 라이더-드라이버 매칭, 이동 중 경로 안내에도 ML이 쓰입니다. 이동을 마친 뒤에도 결제 사기 탐지, 지불 거절 방지, 고객 서비스 챗봇으로 이어집니다. Eats 앱에서도 사정은 비슷합니다.
이 흐름을 받치는 중앙 ML 플랫폼이 Michelangelo입니다. 2024년 5월 원문 시점에 활성 ML 프로젝트는 약 400개, 월간 모델 학습 잡은 2만 건 이상, 운영 중인 모델은 5천 개가 넘었습니다. 피크 시간에는 초당 1천만 건의 실시간 예측을 처리합니다. 당시 우버는 70개국 이상, 1만 개가 넘는 도시에서 하루 2,500만 건의 여행을 처리했고, 월간 활성 사용자는 1억 3,700만 명이었습니다.
우버 엔지니어들은 ML 개발자 경험을 사업 효과를 키우는 ‘승수’로 봅니다. 모델을 만드는 사람이 실험하고 협업하고 운영에 반영하는 과정이 그만큼 큰 영향을 준다는 뜻입니다. 2016~2019년의 정형 데이터 예측에서 2019~2023년의 딥러닝, 2023년부터의 생성형 AI로 넘어가는 동안 Michelangelo가 바꿔 온 것도 이 개발 경험이었습니다.
노트북 밖의 배포를 맡은 Michelangelo 1.0
2015년에는 모델 하나를 서비스에 넣는 일부터 쉽지 않았습니다. 응용 과학자가 Jupyter Notebook에서 모델을 만들면 엔지니어가 맞춤 배포 파이프라인을 작성했습니다. 학습과 예측을 신뢰할 만하게 재현하는 공통 절차도, 실험 결과를 저장하고 비교하는 간편한 방법도 없었습니다. 운영에 올리려면 서빙 컨테이너부터 따로 만들어야 했습니다.
2016년 초 출범한 Michelangelo는 학습부터 배포까지의 흐름을 표준화했습니다. 확장 가능한 모델 학습과 서빙 컨테이너 배포가 출발점이었습니다. 이어 피처 스토어 Palette를 만들어 팀들이 피처 파이프라인을 관리하고 공유하도록 했습니다. 배치와 준실시간 피처 계산을 지원하는 Palette에는 원문 시점에 2만 개가 넘는 피처가 마련돼 있었습니다.
실험과 운영을 돕는 도구도 갖춰 갔습니다. Gallery는 모델과 ML 메타데이터를 저장하고 검색 API를 제공하는 레지스트리입니다. Manifold는 모델 종류에 구애받지 않는 시각 디버깅을 맡았고, PyML은 Python 모델의 프로토타입을 운영에 반영하기까지 걸리는 시간을 줄였습니다. 이 시기 ETA, 위험 평가, 가격 책정에는 XGBoost 같은 트리 모델을 주로 썼습니다. 3D 지도와 자율주행 인지에서는 딥러닝을 시작하면서 GPU 스케줄링과 Horovod를 이용한 분산 학습에도 투자했습니다.
팀마다 배포 기반을 만드는 방식에서 공통 플랫폼을 쓰는 방식으로 옮겨 간 것입니다. 저자들이 바람직한 조직으로 꼽은 구성도 이 경험과 이어집니다. 중앙 ML 플랫폼 팀이 공통 기반을 맡고, 데이터 과학자와 ML 엔지니어는 각 제품 팀에 속해 일하는 조합입니다.
ML을 보급한 뒤 드러난 Michelangelo 2.0의 과제
2019년 말에는 대부분의 사업 부문이 제품에 ML을 쓰고 있었습니다. 이제 목표는 ML을 더 많은 곳에 도입하는 데서 영향이 큰 프로젝트를 더 잘 지원하는 쪽으로 옮겨 갔습니다. 이런 프로젝트에는 딥러닝과 여러 역할의 협업이 필요했지만, 1.0은 한 사람이 모델을 만들어 운영까지 맡던 시기의 개발 방식에 머물러 있었습니다.
UI와 Notebook에는 버전 관리나 브랜치가 없었습니다. 여러 사람이 작업하려면 내용을 수동으로 복사하고 합쳐야 했고, 모델 설정이나 노트북 변경을 코드 리뷰로 검토하는 절차도 없었습니다. ML 코드와 설정을 모아 놓은 중앙 저장소마저 없어 작업 결과가 여러 곳에 흩어졌습니다.
도구도 팀마다 늘어났습니다. Data 팀에는 관리형 노트북인 Data Science Workbench, Marketplace 팀에는 워크플로우를 조율하는 ML Explorer, Risk 팀에는 uFlow/uScorer가 있었습니다. 모델 종류에 따라서도 개발 경로가 달랐습니다. SparkML과 XGBoost는 Michelangelo UI에서, 딥러닝은 Jupyter Notebook에서, 맞춤 Python 모델은 PyML에서 다뤘습니다. 프로젝트 하나를 진행하면서도 서로 다른 UI와 도구를 오가야 했습니다.
딥러닝을 쓰려는 팀에는 플랫폼 지원 부족이 더 직접적인 문제였습니다. Maps ETA와 Rider 인센티브 팀은 첫 딥러닝 모델을 학습하기까지 수개월을 들여 자체 도구를 만들어야 했습니다. 모델 품질을 판단하는 기준과 사업 영향에 따른 지원 체계도 충분하지 않았습니다. 2019~2023년의 Michelangelo 2.0은 이렇게 흩어진 개발과 운영을 통합 UI와 API를 갖춘 하나의 제품으로 다시 설계하는 작업이었습니다.
오프라인 정확도 밖의 품질을 재는 MES
모델이 좋은지 판단하는 기준부터 넓혀야 했습니다. 많은 팀이 AUC나 RMSE 같은 오프라인 지표를 측정했지만, 실제 서비스에서의 성능과 학습 데이터 신선도, 재현성은 놓쳤습니다. 그 결과 오래된 모델이 운영에 남거나 데이터셋이 필요한 범위를 충분히 다루지 못했습니다. 학습 결과가 좋다는 사실만으로 운영 중인 모델의 품질까지 알 수는 없었습니다.
Model Excellence Score(MES)는 모델 수명주기의 각 단계에서 품질을 측정하고 추적하기 위한 프레임워크입니다. 학습 모델의 정확도, 예측 정확도, 모델 신선도, 예측에 쓰이는 피처의 품질을 함께 봅니다. SRE가 서비스 신뢰성을 관리할 때 쓰는 SLA 개념을 가져와 기존 SLA 도구와 통합했습니다. 모델이 기준을 지키는지 추적하고 시각화하는 방식입니다.
품질 기준과 별도로 프로젝트의 사업 영향도 구분했습니다. 이전에는 티어 체계가 없어 영향이 큰 프로젝트도 다른 프로젝트와 같은 자원 배분과 장애 대응을 받았습니다. 새 체계는 4단계입니다. tier 1에는 ETA, 안전, 사기 탐지처럼 핵심 여행·Eats 흐름에 직접 영향을 주는 모델만 들어갑니다. tier 4는 사업에 직접 미치는 영향이 작은 실험·탐색용 프로젝트입니다.
이 구분은 장애 대응과 자원 투자, 모범 사례 적용, 규정 준수 수준을 정하는 기준이 됐습니다. 영향이 큰 프로젝트에 지원을 집중하고, 나머지 다양한 사례에는 셀프서비스를 제공하는 설계도 여기서 나왔습니다.
UI의 수정까지 코드로 남기는 Canvas와 MA Studio
협업 문제에는 소프트웨어 개발의 관행을 적용했습니다. 2020년에 시작한 Project Canvas는 모델을 바꾸는 과정을 코드로 관리하고, 버전 관리와 Docker, CI/CD를 ML 개발에 도입한 프로젝트입니다. UI에서 만든 모델도 이 원칙을 따릅니다. 화면에서 수정했는지 코드로 수정했는지에 따라 변경 관리 방식이 달라지지 않도록 했습니다.
ML Monorepo에는 ML 개발 소스를 한곳에 모았습니다. ML Application Framework(MAF)는 딥러닝처럼 복잡한 작업을 위한 워크플로우 템플릿을 제공합니다. 사용자는 미리 정의된 흐름에서 시작하되 코드와 설정을 고쳐 자신에게 맞는 워크플로우를 만들 수 있습니다.
실행 환경도 코드와 함께 관리합니다. ML Dependency Management는 Bazel과 Docker 빌드로 의존성을 관리하고, 프로젝트별 Docker 이미지에 학습·서빙 코드를 불변 상태로 패키징합니다. 운영 재학습과 서빙에는 이 이미지를 씁니다. ML Development Environment는 로컬 개발 환경과 원격 운영 실행 환경의 일관성을 유지해, 로컬에서 테스트하고 디버깅한 코드를 원격에서도 실행하도록 돕습니다.
ML CI/CD는 모노레포의 master 브랜치에 CI를 적용하고, 반영된 모델이 테스트와 검증을 거쳐 운영에 자동 배포되도록 합니다. 코드 외에 남는 결과물도 관리 대상입니다. ML Artifact Management는 모델, 데이터셋, 평가 보고서의 계보를 추적하며, 객체는 분산 스토리지에 저장하고 메타데이터는 검색할 수 있도록 색인합니다. MA Assistant(MAA)는 모델 아키텍처 탐색과 피처 탐색·가지치기를 맡는 AutoML 도구입니다.
코드 없이 시작하는 MA Studio
코드로 관리한다고 모든 사용자가 코드를 작성해야 하는 것은 아닙니다. XGBoost 학습이나 표준 재학습은 MA Studio의 웹 UI에서 코드 없이 진행합니다. 딥러닝 학습이나 맞춤 재학습처럼 복잡한 흐름은 Canvas로 작성합니다. 어느 쪽에서 만들었든 파이프라인 실행과 관리, 모델 배포, 성능 모니터링과 디버깅은 MA Studio에서 이어집니다.
MA Studio는 피처·데이터 준비부터 학습, 배포, 운영 모니터링, 모델 CI/CD까지 하나의 화면 흐름으로 모았습니다. UI로 만든 모델의 코드와 설정도 버전 관리와 코드 리뷰를 거칩니다. 모델, 파이프라인, 데이터셋, 보고서의 수명주기를 같은 UI에서 관리하고, 파이프라인이 실패했을 때 원인을 찾고 복구하는 과정도 개선했습니다.
배포에는 존 단위의 점진적 롤아웃, 자동 롤백 트리거, 운영 런타임 검증을 갖췄습니다. 배포 이후에는 모델 성능과 피처를 모니터링하고 온라인·오프라인 피처의 일관성을 검사하며 MES를 확인합니다. 사용자가 선택하는 개발 방식은 UI와 코드로 나뉘지만, 변경을 검토하고 운영 상태를 살피는 경험은 한곳으로 모인 것입니다.
UI와 Git의 변경을 받는 Kubernetes 컨트롤 플레인
이 개발 경험을 지원하는 컨트롤 플레인은 Kubernetes 오퍼레이터 패턴을 따릅니다. 사용자용 API를 제공하고 ML 엔티티의 수명주기를 관리하는 계층입니다. Project, Pipeline, PipelineRun, Model, Revision, InferenceServer, Deployment를 Kubernetes API 관례에 맞춰 정의했고, API 서버와 etcd, 컨트롤러 매니저를 사용합니다. API가 선언형이므로 UI와 Git 저장소의 코드 양쪽에서 엔티티를 변경할 수 있습니다.
실제 작업은 오프라인과 온라인 데이터 플레인이 나눠 맡습니다. 오프라인 데이터 플레인은 피처 계산, 모델 학습, 평가, 배치 추론을 DAG 파이프라인으로 실행합니다. 각 단계는 Ray나 Spark에서 동작합니다. 중간 체크포인트를 남기고 단계 사이에서 실행을 재개할 수 있어, 앞서 끝난 단계를 다시 돌리지 않아도 됩니다.
온라인 데이터 플레인은 온라인 예측과 피처 제공, 준실시간 피처 계산을 담당합니다. RPC 서비스와 스트림 처리 잡이 이곳에서 동작합니다. 컨트롤 플레인이 엔티티의 상태와 수명주기를 관리하고, 각 데이터 플레인이 해당 작업을 실행하는 구분입니다.
관리형 지원의 범위를 정한 구성 요소
Michelangelo 2.0의 구성 요소는 교체할 수 있도록 설계했습니다. 자체 개발한 부품과 오픈소스, 서드파티 제품을 조합하되, 관리형 솔루션에서 지원하는 범위는 그중 일부로 제한했습니다. 부품을 바꿀 수 있다는 이유로 가능한 모든 조합을 관리형 서비스로 제공하지는 않았습니다. 고급 사용 사례에는 사용자가 자체 구성 요소를 가져오는 방식을 허용했습니다.
대부분의 사용자는 미리 정의한 워크플로우와 템플릿, 설정으로 작업합니다. 더 복잡한 요구가 있는 사용자는 하위 인프라 구성 요소에 직접 접근해 파이프라인과 템플릿을 작성합니다. 이 구분 덕분에 표준 흐름을 간단하게 유지하면서도 맞춤 개발을 지원할 수 있었습니다. 안전한 배포, 재학습, 피처 모니터링 같은 운영 관행은 플랫폼 기능에 포함했습니다.
구성 요소를 직접 만들지 외부 제품을 쓸지도 같은 맥락에서 판단했습니다. 오픈소스와 우수한 외부 제품을 우선 검토하고, 독점 솔루션보다 오픈소스를 우선할 수 있도록 했습니다. 클라우드 용량 비용도 고려 대상이었습니다. 교체 가능한 설계는 이렇게 고른 기술을 플랫폼에 도입하기 위한 기반입니다.
GPU까지 이어진 Michelangelo의 딥러닝 지원
딥러닝은 커스텀 손실 함수와 증분 학습, 임베딩을 활용하기에 유연하고, 데이터가 늘어날수록 더 복잡한 표현을 학습하는 데 강점이 있습니다. 하지만 2019년 이전 우버에서는 자율주행, 드라이버 얼굴 인식 같은 컴퓨터 비전, 고객 지원용 자연어 처리에 주로 쓰였습니다. 핵심 사업의 정형 데이터에 적용한 사례는 거의 없었습니다.
플랫폼이 학습부터 서빙까지 지원하지 못한 것이 중요한 이유 중 하나였습니다. 2.0에서 딥러닝을 일급 시민으로 다루려면 피처 변환, 분산 학습, 추론 엔진, GPU 자원 관리까지 바꿔야 했습니다.
추론 그래프와 함께 GPU로 옮긴 피처 변환
1.0에는 정규화와 버킷화 같은 피처 변환을 정의하는 DSL이 있었습니다. 변환을 모델과 함께 Spark PipelineModel로 묶어 학습·서빙 skew를 없앴습니다. 학습과 서빙에서 같은 변환을 쓰도록 한 것입니다. 문제는 이 변환이 Spark 변환기로 실행돼, 지연이 낮아야 하는 딥러닝 서빙에서 GPU를 활용하지 못한다는 점이었습니다.
2.0에서는 Keras나 PyTorch 연산자로 피처 변환을 정의하도록 했습니다. 맞춤 처리가 필요한 사용자는 Python 코드로 변환을 작성합니다. TensorFlow Transform처럼 변환 그래프를 TensorFlow나 TorchScript의 추론 그래프와 합쳐, 피처 변환부터 추론까지 GPU에서 실행하는 방식입니다.
분산 GPU 학습을 맡은 Ray 트레이너
학습에서는 Spark의 지원 범위가 문제가 됐습니다. 당시 Spark에는 GPU 실행기, 미니배치 셔플, all-reduce 지원이 없었습니다. Horovod를 Spark에서 실행하면 별도 클러스터 잡과 수명주기, 장애 시나리오까지 관리해야 했습니다. 분산 학습을 지원하는 데 따르는 운영 부담이 컸습니다.
우버는 Spark 기반 XGBoost·딥러닝 트레이너를 Ray 기반 트레이너로 교체하고, 자체 하이퍼파라미터 튜닝도 RayTune으로 바꿨습니다. TensorFlow와 PyTorch의 분산 학습에는 Horovod를 사용합니다. Elastic Horovod는 학습 도중 워커 수를 동적으로 조정하고 워커 장애에도 대응합니다.
새 데이터가 생길 때마다 처음부터 다시 학습하지 않도록 증분 학습도 지원했습니다. Canvas에서는 학습 파이프라인을 선언형으로 작성하면서 estimator, optimizer, loss 같은 모델 코드를 직접 넣을 수 있습니다. 플랫폼이 공통 실행 과정을 맡고 사용자는 필요한 학습 동작을 바꾸는 방식입니다.
지연에 민감한 서비스에 들어간 Triton
Maps ETA와 Eats 홈피드 랭킹 같은 tier-1 프로젝트는 응답 지연에 민감합니다. 서빙 계층은 TensorFlow와 PyTorch를 모두 지원하면서 사용자에게 프레임워크별 세부 사항을 감춰야 했습니다. 기존 기본 엔진인 Neuropod는 커뮤니티 지원이 부족해 폐기 수순에 들어갔습니다.
새로 선택한 엔진은 Nvidia의 오픈소스 추론 서버 Triton입니다. TensorFlow, PyTorch, Python, XGBoost를 지원하고 GPU 실행에 최적화돼 있습니다. Michelangelo는 Triton을 Online Prediction Service(OPS)의 새 Spark 변환기로 통합했습니다.
여러 클러스터의 GPU를 관리하는 잡 CRD 컨트롤러
원문 시점에 우버는 온프레미스 데이터센터와 OCI, GCP 등 여러 클라우드에 걸쳐 5천 개가 넘는 GPU를 운영했습니다. GPU가 여러 리전과 존, 클러스터에 흩어져 있었고, 컴퓨트 기반은 Peloton/Mesos에서 Kubernetes로 이전 중이었습니다.
자원 활용도를 높이기 위해 팀 사이에서 CPU와 GPU를 탄력적으로 공유했습니다. 다른 팀의 유휴 자원도 사용할 수 있도록 한 것입니다. 여러 Kubernetes 클러스터 위에는 잡 연합 계층을 두어 사용자가 리전·존·클러스터를 직접 다루지 않아도 되게 했습니다. 이 계층은 Michelangelo의 통합 API 프레임워크 안에 잡 CRD 컨트롤러로 구현했으며, Spark와 Ray 잡을 지원합니다.
이런 전 과정의 지원을 갖춘 뒤 tier-1 프로젝트의 딥러닝 채택률은 몇 년 사이 거의 0에서 60% 넘게 늘었습니다. DeepETA는 파라미터가 1억 개 넘는 모델을 10억 건 이상의 여행 데이터로 학습한 사례입니다.
채택률이 높아졌다고 모든 모델을 딥러닝으로 바꾼 것은 아닙니다. 대규모 딥러닝 인프라를 지원하고 성능을 유지하는 일은 여전히 어렵습니다. 우버에서도 여러 사용 사례에서는 XGBoost가 성능과 비용 모두 딥러닝보다 나았습니다. 딥러닝의 장점이 해당 문제에 맞는지를 보고 선택해야 한다는 것이 이 경험에서 얻은 교훈입니다.
외부와 사내 LLM에 접근하는 Gen AI Gateway
2023년부터는 생성형 AI가 새로운 요구를 만들었습니다. 우버 팀들은 내부 직원의 생산성을 높이는 어시스턴트, 업무 운영 자동화, 최종 사용자 경험 개선에 LLM을 적용하는 방안을 살피기 시작했습니다. 이때 외부 API 모델과 사내에서 호스팅하는 오픈소스 모델이 모두 필요했습니다.
외부 LLM은 일반 지식과 복잡한 추론에 강점이 있습니다. 오픈소스 LLM은 우버의 독자 데이터로 미세조정했을 때 우버의 과제에서 더 적은 비용과 낮은 지연으로 높은 정확도를 낼 수 있습니다. Gen AI Gateway는 양쪽 모델에 접근하는 인터페이스를 통합한 서비스입니다.
이 게이트웨이는 요청을 기록하고 감사하며, 비용을 어느 사용처에 귀속할지 관리하고 과다 사용 시 알림을 보냅니다. 안전·정책 가드레일도 적용합니다. 입력이 외부 LLM으로 나가기 전에는 개인 식별 정보(PII)를 식별·분류해 가리는 리댁션을 수행합니다.
프롬프트와 미세조정을 비교하는 LLMOps
Michelangelo의 지원 범위도 LLMOps로 넓어졌습니다. 미세조정용 데이터 준비, 프롬프트 작성, 미세조정과 평가, 배포와 서빙, 운영 모니터링까지 기존 플랫폼에서 이어 가는 방향입니다.
모델 선택은 Model Catalog에서 시작합니다. GPT4와 Google PaLM 같은 서드파티 API 모델, Michelangelo가 호스팅하는 Llama2 같은 오픈소스 LLM을 한곳에서 살펴봅니다. 사용자는 MA Studio에서 미세조정을 시작하거나 모델을 온라인 서빙에 배포합니다.
선택한 접근이 얼마나 나은지는 LLM Evaluation Framework로 비교합니다. 사내 모델을 쓸 때, 서드파티 모델에 프롬프트를 적용할 때, 모델을 미세조정할 때의 결과를 평가하는 도구입니다. Prompt Engineering Toolkit은 프롬프트 작성과 테스트, 출력 검증을 지원합니다. 프롬프트 템플릿에도 중앙 저장소의 버전 관리와 코드 리뷰를 적용했습니다.
모델 병렬로 범위를 넓힌 LLM 학습
학습 스택에는 Hugging Face를 통합했습니다. Ray 기반 LLM 트레이너가 Hugging Face Hub의 모델과 PEFT 같은 라이브러리를 사용하고, 미세조정한 모델과 메타데이터는 우버 모델 저장소에 남깁니다. 추론 인프라도 이 저장소의 결과물에 접근합니다.
기존 딥러닝 학습에는 모델 병렬이 없어 GPU 메모리가 모델 크기를 제한했습니다. 16GB GPU라면 이론상 최대 약 40억 파라미터가 한계였습니다. DeepSpeed의 모델 병렬을 도입하면서 이 제약을 넘어 더 큰 모델을 학습할 기반을 갖췄습니다.
GPU 할당에는 Michelangelo 잡 컨트롤러를 활용합니다. 컨트롤러가 GPU 자원에 Ray 클러스터를 프로비저닝해 LLM 학습을 실행합니다. 원문 시점에는 온프레미스의 가장 강력한 GPU를 사용했고, 클라우드 GPU 활용은 이후 확장 대상으로 남아 있었습니다. 실제 운영 환경의 LLM 작업은 후속 글에서 더 다룰 예정이라고 밝혔습니다.
원문의 규모와 티어 정의
| 항목 | 값 |
|---|---|
| 활성 ML 프로젝트 | 약 400개 |
| 월간 모델 학습 잡 | 2만 건 이상 |
| 운영 모델 | 5천 개 이상 |
| 피크 실시간 예측 | 초당 1천만 건 |
| Palette 피처 수 | 2만 개 이상 |
| 우버 규모 | 70개국 1만 개 이상 도시, 하루 2,500만 여행, 월간 활성 사용자 1억 3,700만 |
| 관리 GPU | 5천 개 이상(온프레미스, OCI, GCP) |
| tier-1 딥러닝 채택 | 거의 0에서 60% 이상 |
| DeepETA | 파라미터 1억 개 이상, 10억 건 여행으로 학습 |
| 프로젝트 티어 | 4단계(tier 1 최상위, 핵심 여행·Eats 흐름의 모델 / tier 4 실험·탐색 사례) |
| 모델 병렬 도입 전 한계 | 16GB GPU에서 이론상 최대 40억 파라미터 |