본문으로 건너뛰기
수천 개 모델의 배포를 지키는 Michelangelo 안전장치
목차

수천 개 모델의 배포를 지키는 Michelangelo 안전장치 (2025-10)

원문 정보

  • 원문: Raising the Bar on ML Model Deployment Safety
  • 매체 · 게시일: Uber Engineering Blog · 2025-10-30
  • 저자: Joseph Wang(Principal Software Engineer, AI Platform), Sophie Wang(Senior Software Engineer, Michelangelo ML Analytics), Jia Li(Staff Engineer, Michelangelo)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

작은 회귀가 몇 분 만에 번지는 규모

오프라인 평가에서 좋은 성적을 거둔 모델도 실제 환경에서는 실패합니다. 데이터 분포가 달라지거나 다른 시스템과 연결되는 경계에서 예상하지 못한 예외가 드러날 수 있기 때문입니다. 모델은 확률적으로 동작하고 데이터와 밀접하게 얽혀 있어 정적 테스트만으로 검증을 끝내기 어렵습니다. 우버에서는 작은 회귀도 몇 분 안에 널리 번집니다.

이를 다루는 중앙 ML 플랫폼이 Michelangelo입니다. 2016년부터 ML 전 주기를 지원해 왔으며, 활성 유스케이스는 400개를 넘고 월간 학습 작업은 2만 건 이상입니다. 피크에는 초당 1,500만 건이 넘는 실시간 예측을 처리합니다. 우버는 이 규모에서 문제를 더 일찍 발견하고 검증의 신뢰도를 높이려고 2025년 상반기에 배포 안전장치를 도입했습니다. 배포 속도를 늦추지 않으면서 프로덕션 위험을 줄이는 것이 목표였습니다.

배포마다 자동으로 작동하는 기본 보호

수천 개 모델 가운데 매일 또는 매주 재학습하는 모델도 있습니다. 각 팀이 안전장치를 처음부터 설정하게 하는 대신, 우버는 공통으로 필요한 보호를 Michelangelo 워크플로에 넣었습니다. 플랫폼이 기본 검사를 강제하고 팀은 도메인에 맞는 검증을 더하는 방식입니다. 설정 부담을 줄이면서도 복잡한 비즈니스 규칙을 검증할 여지를 남겼습니다.

기본 보호는 모든 배포에 적용합니다. 예측 로그의 데이터 품질을 실시간으로 검사하고, 시스템의 가용성·지연·자원 사용량을 감시하며 경보를 연결합니다. 롤아웃도 작은 트래픽 비중에서 시작합니다. 시스템 상태와 예측 품질을 지켜보다가 오류율, 지연, CPU/GPU 사용률이 임계값을 넘으면 마지막으로 정상이던 버전으로 자동 롤백합니다. 폴백 계획 역시 미리 마련해 둡니다.

팀은 여기에 단위 테스트, 더 깊은 오프라인 평가, 고급 섀도 검증, 세밀한 성능 모니터링을 추가합니다. 플랫폼은 이런 작업을 위한 도구와 파이프라인을 제공합니다. 공통 안전 기준을 지키는 일과 각 모델의 특성을 검증하는 일을 함께 지원하는 설계입니다.

결측값부터 확인하는 첫 방어선

모델을 만드는 산출물은 데이터와 코드입니다. 어느 쪽이든 실패가 곧바로 드러난다는 보장은 없습니다. 우버는 MLOps·ModelOps의 모범 사례와 사내 ML 전문가의 의견을 바탕으로, 두 산출물의 상태를 계속 측정하고 그 결과로 경보를 울리거나 롤아웃을 막고 되돌리는 방식을 택했습니다.

첫 방어선은 데이터와 피처를 만드는 단계입니다. 많은 장애가 여기서 시작됩니다. 결측값을 임의의 상수 뒤에 숨기지 않고 null로 일관되게 표현하며, 결측값을 대체하는 로직도 학습과 서빙에서 같게 유지합니다. Michelangelo의 데이터 수집 파이프라인은 스키마를 자동 검증하면서 타입 불일치, 분포 변화, 카디널리티 변화도 찾아냅니다.

학습할 때 남기는 통계는 이후 검사의 기준선이 됩니다. 숫자형 피처의 백분위수, 평균, null 비율을 계산해 기록하고, 모델 아키텍처가 엄격한 지연 예산을 만족하는지도 확인합니다. 학습이 끝날 때마다 데이터 품질 지표와 피처 중요도 순위, 오프라인 성능을 담은 표준 모델 리포트가 나옵니다. 배포 준비를 검토할 때는 이 리포트를 공통 근거로 삼습니다.

사용자에게 닿기 전의 실시간 검증

배포 전 검증은 필수입니다. 과거 프로덕션 데이터로 백테스트하고, 온라인 모델에는 섀도 테스트를 적용합니다. 섀도 테스트에서는 후보 모델이 운영 중인 모델과 나란히 같은 실시간 입력을 처리하되, 결과는 기록만 하고 사용자에게 제공하는 예측에는 영향을 주지 않습니다. 오프라인 평가를 마친 모델을 실제 입력으로 다시 검증하는 단계입니다.

Michelangelo는 팀이 필요한 검증 범위와 설정 부담에 따라 섀도 배포 방식을 선택하도록 했습니다.

방식검증 범위와 적용 조건
엔드포인트 섀도잉트래픽 분할, 사용자 정의 검증 로직, 자체 지표 추적을 팀이 설정. 설정 부담은 더 크지만 복잡한 비즈니스 규칙에 적합
배포 섀도지원되는 유스케이스에서 기본으로 자동 실행. 현재는 예측 드리프트 감지에 집중하며 더 풍부한 검증은 계획 단계

팀이 자체적으로 수행한 검증도 인정합니다. 전환율 같은 비즈니스 지표를 확인하려고 운영한 실험은 유효한 외부 섀도 배포로 받아들이고, 배포 안전 점수에도 온전히 반영합니다.

섀도 테스트는 재학습 파이프라인의 기본 안전장치입니다. 글에서 보고한 핵심 온라인 유스케이스의 적용률은 75% 이상이며, 2025년 하반기 목표는 100%였습니다. 목표치와 실제 적용률은 구분해서 읽어야 합니다.

달라진 입력을 몇 분 안에 찾아내는 Hue

심각한 장애의 출발점은 모델보다 앞에 있을 때가 많습니다. 상류 데이터에서 갑자기 null이 늘거나, 분포가 바뀌거나, 스키마가 달라지는 경우입니다. Michelangelo의 관측성 스택 Hue는 데이터 프로파일링과 모니터링을 분리하고, 실시간 피처 분포를 학습·평가·과거 프로덕션 데이터의 기준선과 비교합니다. 지역이나 호출자, 팀이 정한 차원으로 나눠 살펴보는 기능도 제공합니다.

Hue는 Flink-as-a-Service에서 실행하는 Apache Flink 잡과 Pinot을 바탕으로 동작합니다. 가용성, 지연, 처리량 같은 운영 지표에 더해 예측 점수의 분포, 보정, 엔트로피도 관찰합니다. 피처에서는 null 비율, 통계 검정으로 확인한 드리프트, 온라인과 오프라인의 일치 여부를 확인합니다. 시스템이 요청을 처리하는 상태와 모델이 내놓는 예측의 상태를 함께 보는 것입니다.

이상은 몇 분 안에 드러납니다. Hue가 예측 드리프트나 피처 불일치를 찾아내면 자동 경보와 CI/CD 게이트에 반영하며, 위험이 큰 경우에는 문제가 해결될 때까지 모델 승격을 막습니다.

지속적 검증에는 별도의 파이프라인도 제공합니다. 성능 점검, 백테스트, 피처 일관성 검사를 Michelangelo 안에서 바로 실행하도록 만든 파이프라인입니다. 이 검증을 도입하면서 며칠씩 남아 있던 회귀를 몇 시간 안에 발견하게 됐습니다.

정확도와 별도로 확인하는 배포 준비도

우버에는 이미 MES(Model Excellence Scores)가 있었습니다. 정확도와 드리프트처럼 데이터 평면의 품질을 평가하는 점수입니다. 여기에 추가한 배포 안전 점수는 제어 평면을 봅니다. 모델을 검증하고 이상을 감지할 안전장치가 실제로 갖춰져 있는지를 확인합니다.

점수에 들어가는 항목은 다음 범위를 측정합니다.

  • 오프라인 평가 커버리지: 최근 30일 안에 평가한 프로덕션 모델의 비율
  • 섀도 배포 커버리지: 실시간 섀도 트래픽으로 검증한 프로덕션 배포의 비율
  • 단위 테스트 커버리지: ML 모노레포의 전체 코드와 신규 라인에 대한 테스트 커버리지
  • 성능 모니터링 커버리지: 모니터링 파이프라인과 경보가 활성화된 프로덕션 모델의 비율

이 값을 모델 패밀리별 점수 하나로 합칩니다. 팀이 배포 준비도를 비교하고 어느 검증을 보강할지 판단하는 근거입니다.

도입을 지원하는 일도 전사 프로그램으로 진행했습니다. 고객 인터뷰, 실무 엔지니어링 지원, 전담 TPM을 묶고, Michelangelo 엔지니어가 각 팀의 테스트 작성과 평가 파이프라인 구성, 모니터링 연결을 도왔습니다. 2025년 중반까지 최소 Intermediate 수준에 온보딩한 핵심 모델은 75%를 넘었습니다. 앞서 나온 섀도 테스트 적용률과는 별개의 지표입니다.

코드 검증에 활용할 GenAI

지금까지의 작업은 주로 데이터에 집중했습니다. 피처 드리프트, null 비율 급증, 온라인과 오프라인의 불일치를 찾는 일입니다. 다음으로 검증을 넓힐 대상은 코드이며, 우버는 생성형 AI인 GenAI를 활용하려 합니다.

하나는 모델별로 필요한 검증 파이프라인을 만드는 작업입니다. 모니터링, 백테스트, 피처 일관성 검사용 코드를 자동 생성해 구현 비용을 낮추고, 안전에 필요한 로직을 여러 프로젝트에서 표준화하려는 구상입니다.

코드 리뷰에도 GenAI를 활용할 수 있다고 봅니다. 학습과 서빙에서 피처를 다르게 변환하거나, 보호 장치 없이 데이터에 접근하는 코드처럼 배포 전에 찾아야 할 결함을 겨냥합니다. 이 방향의 코드 리뷰 도구로 제시한 것이 uReview입니다.

더 큰 모델 앞에 남은 안전 과제

검증 대상도 달라지고 있습니다. GenAI 애플리케이션과 에이전트는 여러 단계에 걸쳐 결정하고 외부 API를 호출하며, 사용자에게 보일 콘텐츠를 실시간으로 만듭니다. 지연, 처리량, 오류율에 더해 정책 준수, 출력의 관련성, 환각 비율 같은 행동 신호까지 살펴야 하는 이유입니다. 우버는 평가 데이터셋과 사용자 피드백 루프, 자동 채점을 결합해 안전하지 않은 행동이 사용자에게 닿기 전에 찾으려 합니다.

임베딩 기반 모델에서는 통계적 드리프트 감지만으로 부족합니다. 입력이 담고 있는 개념적 의미의 변화, 곧 의미 드리프트를 찾는 도구가 필요합니다. 모델 크기도 부담입니다. 멀티 기가바이트 모델의 메모리 사용량과 추론 시간을 다루려면 자원 관리와 샤딩, 롤백 방식도 큰 모델에 맞춰야 합니다.

이런 모델의 가장 큰 위험은 AUC 하락이나 지연 급증이 아닐 수 있습니다. 환각, 사실 오류, 의도치 않은 편향도 배포 안전의 범위에 들어옵니다. 우버가 앞으로 추가하려는 검증에는 진실성 검사와 편향 감지, 설명 가능성 요건도 포함돼 있습니다.

본문에 나온 규모와 적용률
항목값
Michelangelo 운영 기간2016년부터
활성 유스케이스400개 이상
월간 학습 작업2만 건 이상
피크 실시간 예측초당 1,500만 건 이상
핵심 온라인 유스케이스의 섀도 테스트 적용75% 이상(2025년 하반기 100% 목표)
Intermediate 이상 온보딩한 핵심 모델75% 이상(2025년 중반)
오프라인 평가 커버리지 집계 기간최근 30일
마지막 수정 일자