본문으로 건너뛰기
운영 모델의 품질을 지키는 Model Excellence Scores
목차

운영 모델의 품질을 지키는 Model Excellence Scores (2024-03)

원문 정보

  • 원문: Model Excellence Scores: A Framework for Enhancing the Quality of Machine Learning Systems at Scale
  • 매체 · 게시일: Uber Engineering Blog · 2024-03-21
  • 저자: Min Cai(Distinguished Engineer, AI/ML 플랫폼 Michelangelo), Anupriya Mouleesha(Mobility·Product Platforms 기술 프로그램 관리 리드), Sally Mihyoung Lee(Senior Staff Tech Lead Manager, ML Quality·ML Ops), Joseph Wang(Principal Software Engineer, AI Platform)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

오프라인 평가 뒤에 남은 운영 품질

모델이 프로덕션에 들어가 자동으로 돌기 시작하면, 품질을 계속 살피는 일은 오히려 빠지기 쉽습니다. 우버에서는 승객 수요 예측부터 사기 탐지, Uber Eats의 음식 탐색과 추천, 도착 예정 시간(ETA) 예측까지 ML이 사업상 중요한 결정을 뒷받침합니다. 그런데 많은 팀의 관심은 오프라인 평가에 집중돼 있었고, 온라인 분석도 짧게 하는 정도에 그쳤습니다.

정확도 밖에도 살필 대상은 많습니다. AUC나 RMSE에 집중하다 보면 학습 데이터의 최신성, 재현성, 자동 재학습처럼 모델을 계속 운영하는 데 필요한 요소를 놓치기 쉽습니다. ML 엔지니어와 데이터 과학자는 수명주기 전반의 품질을 파악하기 어려웠고, 조직의 리더에게도 프로젝트의 품질과 영향을 판단할 정보가 부족했습니다.

우버가 도입한 Model Excellence Scores(MES)는 프로토타이핑, 학습, 배포, 예측을 모두 품질 관리의 대상으로 삼습니다. 단계마다 품질 차원을 정하고 SLA 개념으로 측정 기준을 세우는 프레임워크입니다. 기준 준수 여부를 한곳에서 추적하고 시각화하는 통합 시스템은 원문 시점에 개발 중이었습니다. 다루는 범위는 우버의 ML 거버넌스 가운데 기술적인 일부입니다.

고칠 방법까지 갖춘 품질 지표

프로덕션의 ML 시스템에는 피처 엔지니어링, 학습, 평가, 서빙을 받치는 인프라가 있습니다. 데이터 파이프라인과 피처 스토어, 모델 레지스트리, 분산 학습 프레임워크, 배포·예측 서비스까지 MES가 품질을 측정하고 관리하는 대상입니다.

지표에는 개선 조치가 따라붙습니다. Data Quality에서 학습 데이터의 누락 파티션을 백필하거나 리전·인스턴스 사이의 파티션을 동기화하는 조치가 가능합니다. Feature and Concept Drift가 나타났을 때는 가중 학습이나 최신 데이터로 재학습하는 방법 외에 상류 피처 ETL 파이프라인을 검증하는 조치도 있습니다.

데이터가 오래됐는지, 운영 중 분포가 달라졌는지도 구분해서 봅니다. Dataset Freshness는 학습 입력 데이터의 최신성을 재고, Feature and Concept Drift는 운영 중인 모델에서 타깃과 공변량의 분포, 둘 사이의 관계가 시간에 따라 어떻게 변하는지 다룹니다. 예측마다 피처 설명이 있는지와 그 신뢰도, 운영 트래픽에서의 예측 정확도도 별도의 지표입니다.

이 지표들은 정량화하고 자동으로 측정할 수 있어야 합니다. 이를 뒷받침할 계측 인프라와 함께, 사용자나 플랫폼이 목표를 향해 실행할 구체적인 조치가 있어야 한다는 것이 MES의 설계 원칙입니다. 공정성과 프라이버시는 이 글에서 다루지 않습니다.

MES 지표별 개선 조치와 정규화 방식
지표설명가능한 조치정규화
Data Quality학습 입력 데이터셋의 품질. 피처 null, 리전 간 일관성, 누락 파티션, 중복을 합친 복합 점수누락 파티션 백필, 리전·인스턴스 간 파티션 동기화, 중복 행 제거복합 점수의 각 요소를 백분율로 정규화
Dataset Freshness학습 입력 데이터셋의 최신성최신 데이터로 재학습, 갱신된 데이터가 있으면 백필척도 일관 유지
Feature and Concept Drift운영 중 모델에서 타깃과 공변량 분포, 둘 사이 관계의 시간에 따른 변화가중 학습 또는 최신 데이터로 재학습, 상류 피처 ETL 파이프라인 검증정규화 거리와 중요도 가중치로 [0,1]
Model Interpretability모델이 낸 예측마다 견고한 피처 설명이 있는지, 그 신뢰도설명 기능 활성화[0,1]
Prediction Accuracy운영 트래픽에서의 예측 정확도(AUC, 정규화한 RMSE 등)train-serve skew를 반영해 학습 데이터 갱신, 피처·컨셉 드리프트 확인정확도 지표를 정규화해 [0,1]

사용 사례에 맞춰 정하는 MES의 목표

어디까지를 허용할지도 정해야 합니다. 우버는 마이크로서비스의 신뢰성을 관리하는 SRE와 DevOps의 원칙과 용어를 가져와, SLA 개념을 모델 품질에 적용했습니다. 품질을 수치로 표현하는 데서 더 나아가 목표 범위와 준수 여부까지 관리하려는 선택입니다.

MES는 SLO 방식의 지표, 목표, 합의를 사용합니다. 데이터 최신성 같은 품질 요소를 정량화한 값이 지표(indicator)이고, 그 값이 들어와야 할 범위가 목표(objective)입니다. 한 ML 사용 사례의 지표를 모두 묶어 전체 PASS/FAIL을 판정하는 단위는 합의(agreement)입니다.

각 지표에는 정의와 목표 범위뿐 아니라 값을 갱신하는 주기도 정해져 있습니다. 정해진 시간 안에 목표를 충족하지 못하면 해당 지표를 실패로 표시합니다. 이렇게 사용 사례와 모델의 품질을 서비스의 약속 수준으로 다룹니다.

여러 사용 사례를 조직 차원에서 집계하려면 척도도 맞아야 합니다. MES는 지표를 [0,1]로 정규화하거나 백분율로 표현하고, 지표의 특성에 따라 일관된 척도를 유지합니다. 그래야 조직의 OKR과 KPI에 맞춰 품질을 보고하고 추적할 수 있습니다. 재현성도 조건입니다. 지표는 멱등이어야 하며, 백필하더라도 측정값이 같아야 합니다.

표준화가 모든 모델에 같은 지표를 요구하는 것은 아닙니다. 우버의 ETA 예측 모델은 RMSE보다 맥락에 맞는 평균 절대 오차를 사용했습니다. 사용 사례에 맞춰 지표를 바꾸되 보고 방식은 표준으로 유지한 것입니다. MES는 새로운 사용 사례와 모범 사례에 맞춰 품질 차원을 추가할 수 있도록 설계됐습니다.

모델 경계를 넘어 이어지는 품질 책임

목표를 정했으면 달성할 책임도 분명해야 합니다. 모델을 만드는 일과 운영하는 일을 한 팀이 맡을 수도, 여러 팀이 나눠 맡을 수도 있지만 우버에서는 모델마다 주 담당 팀을 지정합니다. 합의의 소유자는 목표를 정하고 달성할 책임을 지며, 합의에 어긋나는 문제가 생기면 담당 팀이 알림을 받습니다.

모든 위반에 같은 속도로 대응하지는 않습니다. 해결에 필요한 시간과 대응 방식이 지표마다 다를 수 있고, 즉시 높은 우선순위로 처리해야 하는 문제도 있을 수 있습니다. 팀은 사용 사례의 중요도와 긴급도에 맞춰 알림을 조정합니다.

알림은 해당 모델의 담당 팀에서 끝나지 않습니다. 한 모델의 출력이 다른 모델의 입력이 되면 품질 문제도 이어질 수 있기 때문입니다. 우버는 관련 모델에서 품질 위반이 발생했을 때 서비스 소유자와 모델 소유자 양쪽에 알리는 체계를 갖췄습니다.

품질 보고서는 조직의 여러 수준에서 만들어 정기적으로 검토합니다. 목표를 누가 책임지고 있는지 확인하고, 앞으로의 작업을 계획하는 데 쓰는 자료입니다. ML 품질을 관련 소프트웨어 시스템의 서비스 품질 안에 포함하면서 응용 과학자, ML 엔지니어, 시스템 엔지니어가 함께 책임지게 됐고, 직군 사이의 간극도 줄었습니다.

개선 작업의 우선순위를 바꾼 경영진의 지원

측정 체계를 도입하는 것만으로 품질 작업에 시간을 쓸 수 있게 되지는 않았습니다. 일상 업무에 자리 잡지 못한 품질 측정은 추가 부담으로 느껴지기 쉽습니다. 추적을 시작하자 기존의 빈틈이 드러났고, 이를 메우려면 교육과 인식 개선도 필요했습니다. 경영진과 방향을 맞춘 덕에 팀은 품질 개선 작업에 우선순위를 둘 수 있었습니다.

실무자의 노력이 보이기 시작한 것도 변화입니다. 표준화된 투명한 보고 체계는 품질 개선에 들인 노력을 조직 안에 드러냈습니다. 그 노력을 인정받는다는 경험이 다시 개선의 동기가 됐고, 조직은 점차 문제를 미리 살피고 품질을 우선하는 문화로 옮겨 갔습니다.

모든 사용 사례를 한꺼번에 개선하지는 않았습니다. 소수의 모델이 영향의 대부분을 만든다는 점을 바탕으로, 우버는 간단한 우선순위 매트릭스를 만들어 영향이 큰 사용 사례부터 품질을 끌어올렸습니다. 다양한 모델을 관리하면서도 먼저 손댈 영역을 정하는 방법이었습니다.

자동 재학습으로 줄어든 모델 연령

품질을 유지하는 데는 자원이 많이 듭니다. 프로덕션 모델을 수작업으로 관리하는 부담을 줄이기 위해 우버는 새 데이터로 재학습하고, 재검증하고, 재배포하는 수명주기를 자동화했습니다. 그 결과 모델의 평균 연령이 줄어 최신성이 좋아졌고, 팀은 유지보수에 쓰던 힘을 혁신에 더 쓸 수 있게 됐습니다.

MES는 플랫폼에 부족한 기능을 찾는 데도 쓰였습니다. 지표에서 얻은 통찰을 바탕으로 하이퍼파라미터 튜닝 도구를 개선해, 모든 모델을 주기적으로 자동 재튜닝할 수 있게 했습니다. 품질을 추적하는 일이 모델별 조치를 넘어 플랫폼 도구의 개선으로 이어진 사례입니다.

MES 도입 이후 여러 차원에서 SLA 준수가 꾸준히 나아졌습니다. 우버가 보고한 전체 모델 예측 성능의 개선 폭은 60%입니다. ML 품질이 더 잘 보이게 되면서 품질을 우선하는 문화가 사업 결정과 엔지니어링 전략에도 영향을 미쳤습니다.

원문의 주요 수치
항목값
모델 수명주기 단계프로토타이핑, 학습, 배포, 예측
전체 모델 예측 성능 개선60%
ETA 예측 모델의 맞춤 지표RMSE 대신 평균 절대 오차
마지막 수정 일자