본문으로 건너뛰기
배민 AI 서비스의 반복 작업을 줄인 MLOps 플랫폼
목차

배민 AI 서비스의 반복 작업을 줄인 MLOps 플랫폼 (2023-05)

원문 정보

한 번의 배포로 끝나지 않는 AI 서비스

음식 도착 시간을 예측하는 서비스를 만든다고 가정해 보겠습니다. 배달 데이터를 받아 모델을 개발·테스트하고, 배포한 모델을 서비스팀과 협의해 적용한 뒤 모니터링까지 시작합니다. 서비스는 완성됐습니다. 하지만 모델을 만드는 일은 여기서 끝나지 않습니다.

시간이 지나면 모델이 최신 데이터를 예측하는 능력이 떨어집니다. 품질을 유지하려면 새 데이터로 주기적으로 재학습해야 하므로, 데이터 준비부터 서비스 적용까지의 작업을 되풀이해야 합니다. 전처리와 학습, 평가 같은 작업을 순서대로 연결해 자동화한 파이프라인과 이를 관리할 워크플로 플랫폼이 필요한 이유입니다.

예측이 갑자기 기대와 달라질 때도 있습니다. 원인을 찾으려면 소스 코드와 데이터, 파라미터를 확인해야 합니다. 같은 데이터와 환경에서 모델을 다시 만드는 재현성, 모델이 생성된 뒤에도 모든 버전과 메타데이터를 확인하는 추적성이 여기서 필요해집니다. 모델을 만들 때 사용한 데이터, 아키텍처, 하이퍼파라미터 등을 남기는 실험 추적이 이를 뒷받침합니다.

배민 앱에는 음식 도착 시간이나 허위 리뷰 작성자 예측처럼 수십 개의 AI 서비스가 적용되어 있습니다. 개발 과정은 크게 데이터 준비, 모델 생성, 서비스 적용으로 나뉘지만, 내부에서 정의한 세부 작업은 50단계 이상입니다. 모델·데이터 드리프트나 프레임워크, 배포 방식에 따른 문제까지 서비스마다 따로 해결하면 중복 작업이 늘어납니다. 우아한형제들이 MLOps 플랫폼으로 공통 업무를 처리하려 한 배경입니다.

MLOps(Machine Learning Operations)는 머신러닝 시스템의 개발과 운영을 통합해 모델 배포와 유지 관리를 개선하려는 문화이자 방식으로, Machine Learning, DevOps, Data Engineering의 교차점에 놓입니다. 2015년 NIPS 논문인 「Hidden Technical Debt in Machine Learning Systems」가 그린 시스템에서도 ML 코드는 작은 부분이고, 주변 인프라는 복잡합니다. 기술 부채 역시 대부분 코드보다 시스템 수준에 존재합니다. 2023년 IEEE 논문 「Machine Learning Operations (MLOps): Overview, Definition and Architecture」는 수동 워크플로의 문제와 운영 환경에서의 ML PoC 실패를 다룹니다.

도입의 우선순위를 바꾼 개발자 미팅

도입을 맡은 엔지니어는 처음에 개발자들에게 다양한 플랫폼이 필요하리라 예상했습니다. 과거 데이터 과학자로 일했던 경험에서 나온 판단이었습니다. 막상 개발자들의 이야기를 들어 보니, 플랫폼 지원보다 엔지니어링에 어려움을 느끼고 있었습니다.

프로젝트 초기라 방향을 바꿀 수 있었습니다. 요구사항을 다시 듣고 우선순위를 조정했으며, 이후에도 미팅을 이어 가며 목표를 맞췄습니다. 이 과정이 없었다면 아무도 쓰지 않는 플랫폼을 만들 뻔했다는 회고입니다. 필요한 플랫폼을 고르기 전에, 개발 환경과 같은 조건으로 모델을 배포하는 일이나 파이프라인 테스트를 자동화하는 일처럼 해결할 문제부터 구체화해야 했습니다.

도입 기준을 잡을 때는 「MLOps: Continuous delivery and automation pipelines in machine learning」와 앞의 IEEE 논문을 참고했습니다. 레벨 0은 모델을 만들고 배포하는 수동 프로세스입니다. 레벨 1은 ML 파이프라인을 자동화해 지속적으로 학습하고 모델을 서비스에 제공하는 단계이며, 레벨 2는 파이프라인 구성 요소의 빌드·테스트·배포까지 CI/CD로 자동화하는 단계입니다. 레벨 2에서는 데이터 과학자가 특성 추출이나 모델 아키텍처, 하이퍼파라미터에 관한 아이디어를 빠르게 검증하도록 지원합니다.

팀의 목표는 레벨 2였습니다. 레벨별 필요 기능을 나열한 뒤, 현재 환경에서 해결할 문제와 작업 우선순위를 정했습니다.

  • 개발 환경과 운영 환경의 차이에서 생길 수 있는 문제
  • 구성이 복잡해 관리하기 어려운 파이프라인
  • 모델링 외 코드 작성에 드는 비용
  • 부족한 운영 정책과 가이드라인

이 가운데 개발부터 서비스 적용까지 시간을 가장 많이 차지하는 문제부터 풀었습니다. 이미 구축된 데이터 플랫폼은 관련 팀의 도움을 받고, AI 서비스를 만드는 과학자와 엔지니어의 어려움을 함께 듣는 방식으로 접근했습니다.

학습부터 운영까지 함께 쓰는 코드와 환경

개발 환경에서 잘 실행된 모델도 운영 환경의 파이썬 버전이나 의존성 패키지가 다르면 배포 전에 환경부터 맞춰야 합니다. 한 번 배포할 때는 감당할 만한 작업입니다. 그러나 여러 프로젝트를 반복해서 배포한다면 실제 개발보다 배포에 더 많은 시간이 듭니다. 우아한형제들은 코드와 실행 환경을 함께 관리해 이 과정을 줄였습니다.

전처리 코드를 함께 쓰는 ML Projects

ML Projects는 데이터 전처리, 모델 학습·예측, 결과 내보내기, 실험, 데모, 서빙 코드를 모은 저장소입니다. 이상 탐지, 클릭 예측, 시간 예측 등의 프로젝트를 하나의 모노리포에서 관리합니다. 각 프로젝트에는 MLproject, config, notebook, demo, serving, src를 두고 코드와 환경을 한 묶음으로 관리했습니다.

코드를 모은 데에는 재사용이라는 목적이 있습니다. 학습에 쓴 전처리 코드는 서빙이나 데모에서도 필요합니다. 학습과 서빙에서 서로 다른 전처리 코드를 사용하면 학습-서빙 편향(skew)이 생겨 품질이 떨어질 수 있고, 원인을 찾기도 어렵습니다. Rules of Machine Learning의 규칙 # 32도 가능한 한 학습과 서빙 파이프라인의 코드를 재사용하도록 권합니다. 팀은 이를 위해 관련 코드를 한 저장소에 모으기로 했습니다.

모노리포에서는 통합 CI/CD도 구성할 수 있었습니다. 공통 테스트와 빌드, 배포를 자동화하고 각 단계의 성공·실패를 빠르게 확인하면서 전체 프로세스의 생산성을 높였습니다. 개발자들은 프로젝트별 코드를 커밋하고 머지하며 공유합니다. 협업과 지식 공유에 더해 코드 품질과 재사용성도 개선하는 효과를 얻었습니다.

프로젝트별 환경을 실행하는 클라이언트 Docker 이미지

클라이언트 Docker 이미지는 프로젝트 실행, Jupyter Notebook, 데이터 조회 기능을 제공합니다. 코드는 개발할 때부터 컨테이너 안에서 실행합니다. 개발 컨테이너와 운영 컨테이너의 환경을 같게 만들면서, 운영 배포 전에 환경을 다시 맞추던 추가 작업이 없어졌습니다.

프로젝트마다 필요한 파이썬 버전과 의존성은 다릅니다. 각 프로젝트에 파이썬 버전, 빌드 의존성, 패키지 의존성을 명시하고 코드 실행 시 사용하도록 구성했습니다. 이 방식으로 하나의 클라이언트 Docker 이미지에서 프로젝트별 환경을 실행하고, 개발에 사용한 환경을 운영에서도 그대로 쓸 수 있게 됐습니다.

학습 리소스는 데이터플랫폼팀이 구성한 EKS-A에서 할당받습니다. 데이터 수요에 맞는 리소스를 미리 추정하기 어려워 확장성 있는 학습 인프라가 필요했고, 팀은 EKS-A가 이 점에서 장점이 있다고 판단했습니다. 컨테이너에서 학습할 때 CPU나 GPU를 유연하게 할당받으며, 소스 코드를 바꾸지 않고 컨테이너를 여러 개 띄워 하이퍼파라미터를 튜닝하는 것도 가능해졌습니다.

YAML에서 생성하는 Pipeline Builder의 파이프라인

환경을 맞춘 뒤에는 여러 작업을 연결하는 파이프라인 구성이 남습니다. 우아한형제들에서 파이프라인은 배포 단위입니다. 배포한 파이프라인은 정해진 스케줄에 따라 계속 실행되므로, 이를 만들고 관리하는 과정도 효율적이어야 했습니다.

자체 개발한 Pipeline Builder(PB)는 DagFactory와 Kustomize 방법론을 참고한 패키지입니다. YAML로 작성한 정의를 받아 환경에 맞는 파이프라인을 동적으로 생성합니다. 시간 예측 서비스의 YAML 예시에서는 매일 6시에 데이터셋 생성, 전처리, 학습, 평가, 배포가 의존성 순서에 따라 실행됩니다. 데이터셋 생성에는 Spark를 사용합니다.

생성 코드를 한곳에서 관리하면 같은 작업을 반복해서 작성하는 부담이 줄어듭니다. 비슷한 파이프라인이 많을 때는 생성 코드를 함수로 만들고 인자를 조정해 재사용할 수 있습니다. 생성 코드를 수정해 모든 파이프라인에 변경을 적용하거나, 변수와 조건을 바꿔 동작을 조정하는 것도 가능합니다. 이벤트나 조건에 따라 파이프라인을 추가·제거하고 새 파이프라인 생성을 자동화할 수 있다는 점도 PB가 제공하는 이점입니다.

반복 실험의 공통 작업을 맡은 SDK

모델을 만드는 코드에는 알고리즘만 들어 있지 않습니다. 데이터를 읽고, 모델을 빌드하고 학습한 뒤, 결과를 저장하는 작업도 필요합니다. 우아한형제들은 이런 공통 기능을 SDK로 제공해 데이터 과학자가 모델의 알고리즘에 집중하도록 했습니다.

설문에서 번거로운 과정 중 하나로 꼽힌 것은 데이터 업로드와 다운로드였습니다. 과학자가 직접 구현하지 않아도 학습 데이터를 내려받고 결과를 올릴 수 있도록 SDK에 기능을 마련했습니다. 이 밖에도 전처리, 대규모 데이터 입력 파이프라인, 피처 스토어 연동, 환경별 설정값 관리를 공통 기능으로 제공합니다.

실험 기록도 SDK가 담당합니다. 데이터 과학자는 SDK로 실험을 생성하고, 실험 이력은 DB에 저장합니다. 반복 실험을 마친 뒤에는 웹 페이지에서 정보와 결과를 확인하며 최종 모델을 선택합니다. 실험 설정과 로깅은 재현성과 추적성을 확보하는 데 쓰이고, 실험에서 나온 모델과 환경 정보 같은 아티팩트도 함께 관리합니다.

SDK를 만드는 사람도 달라졌습니다. 초기에는 소수의 MLOps 개발자가 구현했지만, 이후에는 데이터 과학자와 엔지니어가 함께 기능을 개발하고 있습니다. 외부 플랫폼을 도입할 때도 SDK에서 쉽게 사용할 수 있도록 지원합니다. 주기적으로 필요한 기능과 번거로운 작업을 물어보며 공통 기능을 추가하는 방식입니다.

플랫폼의 부족한 점을 드러내는 가이드 문서

가이드를 쓰는 일은 플랫폼의 사용성을 확인하는 과정이기도 합니다. 쉽고 간결하게 설명하려다 보면 부족한 부분이 드러나고, 그 고민이 다시 개선 과제로 이어집니다. 우아한형제들이 지향한 것도 간단히 설명할 수 있는 플랫폼입니다.

운영 정책은 AI 서비스 개발자가 개발을 진행하고, 어려운 부분을 엔지니어가 지원하는 방향입니다. 개발자들이 스스로 작업하려면 개발 환경과 교육, 가이드와 API 문서가 뒷받침되어야 합니다. 운영 정책, 컴포넌트 설명, 예제, FAQ를 제공하고 개선하는 이유도 여기에 있습니다. 지원에 드는 운영 리소스를 줄여 엔지니어가 MLOps 컴포넌트 개발에 집중하려는 목적입니다.

더 넓은 목표는 데이터 과학자뿐 아니라 우아한형제들 구성원 누구나 AI 서비스를 쉽고 빠르게 개발하고 제공하는 환경입니다. 이를 위해 플랫폼 성능과 사용자 경험·생산성을 개선하고, 새로운 기능과 서비스를 개발·확장하는 데 집중하고 있습니다.

MLOps 목표 레벨과 파이프라인 예시
항목값
AI 서비스 개발 세부 단계50단계 이상
MLOps 레벨 0수동 프로세스
MLOps 레벨 1ML 파이프라인 자동화, 지속 학습
MLOps 레벨 2CI/CD 파이프라인 자동화 (팀의 목표 레벨)
PB 예시 파이프라인스케줄 0 6 * * *, 태스크 generate_dataset(Spark), preprocess, train_model(learning_rate 0.001, epoch 3), eval_model(metric accuracy), deploy_model
예시 ML Projectsanomaly_detection, click_prediction, time_estimation
마지막 수정 일자