목차
모델 배포와 서비스 릴리스를 분리한 Uber의 ML 서빙 (2021-06)
원문 정보
- 원문: Continuous Integration and Deployment for Machine Learning Online Serving and Models
- 매체 · 게시일: Uber Engineering Blog · 2021-06-30
- 저자: Joseph Wang(AI Platform 팀 Principal Software Engineer), Yunfeng Bai(전 Machine Learning Platform 팀 TLM), Jia Li(Michelangelo 팀 Staff Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Docker 이미지에서 꺼낸 모델
새 모델을 내보내려면 예측 서비스도 다시 배포해야 했습니다. 과거 우버는 실시간 예측 서비스(Real-time Prediction Service)의 Docker 이미지에 모델 아티팩트를 함께 넣었기 때문입니다. 고객 경험 개선부터 안전 사고 예방, 마켓플레이스 효율 개선까지 실시간 ML 활용이 늘자 이 배포 방식이 병목이 됐습니다. 매일 대량의 모델을 배포하면서 서비스 가용성을 지켜야 했지만, 모델 개발자와 서비스 개발자는 서로의 작업을 방해받았습니다.
우버는 모델을 이미지에서 분리하고 동적으로 로드하도록 바꿨습니다. Model Artifact & Config 저장소에는 프로덕션에서 서빙할 모델의 목표 상태를 기록합니다. 예측 서비스가 이 저장소를 주기적으로 조회해 로컬 상태와 비교하고, 새 모델은 로드하며 퇴역한 모델은 제거하는 방식입니다. 모델과 서버의 개발 주기를 나누면서 프로덕션 모델을 개선해 배포하는 속도가 빨라졌습니다.
한 모델의 실패에 노출된 컨테이너
배포 주기를 분리해도 모델 검증은 엄격해야 했습니다. 여러 모델이 컨테이너 하나를 공유하기 때문입니다. 잘못된 모델 하나가 예측 요청을 실패시키고 같은 컨테이너의 다른 모델까지 방해할 수 있습니다.
모델 배포 API로 시작하는 워크플로는 서빙과 모니터링에 필요한 아티팩트가 모두 있는지 확인합니다. 검사를 마치면 아티팩트와 메타데이터를 모델 jar로 컴파일합니다. 예측 서비스가 로드하는 데 필요한 내용을 갖춘 패키지입니다. 이 jar를 로컬에 로드한 뒤 학습 데이터의 예시로 예측을 실행해, 모델이 정상적으로 실행되고 예측 서비스와 호환되는지 검증합니다.
배포 이후도 추적합니다. 워크플로가 중앙 메타데이터 저장소에 진행 상황을 남기고, 배포를 마친 모델은 주기적인 헬스 체크 대상으로 등록됩니다. 헬스 체크가 수집한 상태와 사용 정보도 같은 저장소에 쌓이며, 엔지니어는 API에서 배포 진행 상황과 모델 상태를 확인합니다.
새 바이너리에서도 같아야 할 모델의 동작
모델 배포 검증만으로 서비스 릴리스의 안전성까지 보장되지는 않습니다. 모델 배포 서비스는 샘플 데이터로 후보 모델을 실행하지만, 예측 서비스에 이미 배포된 모델과의 호환까지 확인하지는 않습니다. 서비스 릴리스 사이에 코드나 인터페이스가 바뀌면 검증을 통과한 모델도 프로덕션에서 로드나 예측에 실패할 수 있습니다.
실행에 성공해도 문제는 남습니다. 피처 변환이나 모델 평가 동작이 달라지는 오류는 찾아내기 어려우면서 모델 정확성에 치명적입니다. 의존성 변경 때문에 서비스가 기동하지 않거나, 빌드 스크립트 변경 때문에 릴리스 자체를 빌드하지 못하는 경우도 막아야 합니다.
여러 예측 서비스를 수동으로 배포하는 것은 선택지가 아니었습니다. 우버는 자동 배포를 신뢰할 수 있도록 스테이징 통합 테스트, 카나리 통합 테스트, 프로덕션 롤아웃을 차례로 거치게 했습니다. 스테이징에서는 기본 기능을 확인하고, 이를 통과하면 카나리에서 모든 프로덕션 모델의 서빙 성능을 검사합니다. 두 테스트 모두 비프로덕션 환경에서 실행합니다. 프로덕션 모델의 동작이 변하지 않았음을 확인한 뒤에야 모든 프로덕션 예측 서비스 인스턴스에 새 릴리스를 롤링 배포하는 순서입니다.
트래픽이 끊겨도 메모리에 남은 모델
새 모델이 배포된 뒤 트래픽을 받지 않는 이전 모델이 많았습니다. 호출은 없어도 메모리는 차지합니다. 모델을 퇴역시키는 API는 있었지만, 사용자가 호출을 잊거나 워크플로에 정리 절차를 넣지 않으면 쓰지 않는 모델이 계속 남았습니다.
그 비용은 저장 공간에 그치지 않았습니다. 모델이 쌓일수록 인스턴스의 메모리 사용량이 커지고, 인스턴스를 시작하거나 재시작할 때 모델을 다운로드하고 로드하는 시간도 길어집니다. 큰 메모리 사용량은 Java 가비지 컬렉션에 따른 실행 중단과 OOM 오류로 이어져 서비스 품질을 떨어뜨립니다.
우버는 정리를 자동화했습니다. 모델 소유자가 만료 기간을 지정하면, 자동 퇴역 워크플로가 그 기간보다 오래 사용되지 않은 모델을 찾아 관련 사용자에게 경고를 보낸 뒤 퇴역시킵니다. 도입 후 리소스 사용량이 적지 않게 줄었다고 밝혔지만, 감소 폭을 수치로 제시하지는 않았습니다.
실제 요청으로 새 모델을 살피는 자동 섀도
새 모델을 배포할 때는 트래픽을 나누는 작업도 반복됐습니다. 클라이언트가 모델 사이의 트래픽 비중을 서서히 옮기는 점진적 롤아웃, 주 모델의 요청을 복제해 다른 모델에도 보내는 섀도가 대표적입니다. 원문의 예시에서는 모델 A, B, C가 점진적 롤아웃에 참여하는 동안 모델 D가 B를 섀도합니다. 섀도 예측에는 프로덕션 데이터를 쓰지만, 그 결과는 프로덕션에 사용하지 않고 분석용으로만 수집합니다.
우버는 팀마다 트래픽 분배를 구현하지 않도록 이 기능을 예측 서비스에 내장했습니다. 자동 섀도 설정도 모델 배포 설정의 일부입니다. 사용자가 API로 어떤 모델을 얼마나 오래 섀도할지와 트래픽 선택 기준을 지정하면, 서비스가 설정을 읽어 요청을 분배합니다. 섀도는 며칠에서 몇 주 동안 이어지며, 주 모델 하나에 여러 섀도를 연결하거나 섀도 하나로 여러 주 모델을 따르는 관계도 지원합니다. 주 모델 트래픽의 100%를 복제할 수도 있고, 정한 기준에 맞는 요청만 고를 수도 있습니다.
서비스가 직접 처리하면서 중복 작업도 줄였습니다. 주 모델과 섀도 모델은 대부분의 피처를 공유하므로, 온라인 피처 스토어에서는 섀도 모델에만 필요한 피처를 추가로 가져옵니다. 사용자는 섀도 모델이 요구하지만 주 모델에는 없는 피처를 설정에 추가합니다.
비교에는 같은 요청의 예측 쌍이 필요합니다. 주 모델과 섀도 모델의 결과를 함께 수집하되, 주 모델이 수백만 건의 예측을 처리하면 로그를 샘플링하기도 합니다. 서비스는 예측 로깅과 섀도 샘플링을 함께 처리해 실제로 로그에 남길 요청만 섀도 모델에 보내도록 트래픽을 줄입니다.
부하가 몰리면 섀도 모델은 이등 시민으로 취급합니다. 서비스의 부담을 덜기 위해 섀도 실행을 잠시 멈췄다가 재개할 수 있습니다.
배포 자동화 다음에 남은 Michelangelo의 과제
배포 체계를 갖춘 뒤에도 MLOps 과제는 계속 나왔습니다. 당시 Michelangelo 팀은 추론 정확도, 피처 품질, 비즈니스 지표를 준실시간으로 모니터링하는 작업과 멀티태스크·하이브리드 모델의 배포·서빙을 진행 중이었습니다. 피처 검증, 더 나은 모델 폴백 방식, 모델 추적성과 디버깅 지원도 아직 작업 중인 영역입니다.