목차
LINE VOOM의 추천 모델 운영을 바꾼 MLU 파이프라인 (2023-03)
원문 정보
- 원문: LINE의 엔드 투 엔드 MLOps 플랫폼, MLU
- 매체 · 게시일: LINE Engineering 블로그 · 2023-03-31
- 저자: 홍선형 (MLU 프로덕트 매니저)
- Tech-Verse 2022 세션 내용을 옮긴 글입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
매일 같은 시각에 갱신해야 하는 LINE VOOM 추천 모델
LINE VOOM의 ‘For you’는 사용자가 관심 있게 본 콘텐츠를 바탕으로 좋아할 만한 포스트를 계속 탐색하게 만드는 공간입니다. 추천은 한 번으로 끝나지 않습니다. 추천 후보군을 만들고 사용자 피드백과 품질을 기준으로 데이터를 검증·필터링한 뒤, 여러 임베딩 과정을 거쳐 모델을 학습하고 배포합니다. 그렇게 추천한 포스트에서 다시 피드백을 받아 다음 추천에 반영하는 흐름입니다.
새 후보군과 피드백을 자주 반영하려면 모델을 매일 일정한 시각에 갱신해야 했습니다. For you에서 가장 중요한 요구였습니다. 여러 모델의 결과를 합쳐 앙상블로 추천하기 때문에 수십 개의 모델 파이프라인을 정해진 시각에 실행해야 했고, 여러 모델이 하나의 결과에 영향을 주거나 한 모델이 여러 결과에 쓰이는 종속 관계도 한눈에 파악해야 했습니다. 데이터와 모델의 버전 이력을 관리하는 일도 빠질 수 없었습니다.
간단한 예측 모델에도 필요한 인프라
미래 우주에서 오페라를 하는 장면을 그린 ‘Théâtre D’opéra Spatial’은 콜로라도 주립 박물관 미술 대회에서 1위를 차지했습니다. Midjourney로 만든 작품입니다. 이처럼 화려한 그림 대신 비 오는 날 쇼핑과 커피숍 중 어디로 갈지 예측하는 모델이라면 운영도 간단해질까요? 작은 모델 하나에도 인프라 구축과 데이터 처리, 학습, 배포가 모두 뒤따릅니다.
ML을 처음 도입하는 많은 팀은 데이터 수집부터 전처리, 학습, 검증까지 하나의 Jupyter Notebook에 담아 로컬에서 실행한 뒤, 완성한 모델을 서비스 엔지니어에게 전달합니다. 문제는 반복할 때 드러납니다. 이 방식은 과정을 되풀이하기 어렵고 과정과 결과를 문서화하고 이력으로 관리할 수 없어 수동적이고 임시적인 작업에 머뭅니다. 반복 주기가 빨라지면 장애가 생길 수도 있습니다. 불필요한 커뮤니케이션까지 더해지면 모델 성능을 높일 시간은 줄어듭니다.
LINE이 자동화하려던 단위는 데이터 수집과 전처리부터 학습, 배포, 예측까지 이어지는 ML 파이프라인이었습니다. 데이터와 모델을 중앙에서 관리하고 이력을 남기며, 클라우드에서 모델을 만들고 배포하는 과정을 자동화·스케줄링하는 방식입니다. 개발자 사이의 협업도 모델을 건네는 일에서 파이프라인을 공유하는 일로 바꾸려 했습니다.
팀원이 함께 쓰는 MLU 개발 환경
For you 팀은 MLU의 클라우드 서버에서 데이터 전처리부터 모델 학습과 검증까지 진행하기 시작했습니다. 개발 도구는 선택할 수 있습니다. JupyterLab과 코드 서버를 제공하며, SSH로 로컬 IDE를 연결해 로컬과 같은 환경에서 개발하면서 MLU 자원과 공유 리포지터리를 이용하는 것도 가능합니다.
팀원마다 환경이 달라 생기는 오류와 소통 비용은 이미지 공유로 줄였습니다. MLU의 Docker 베이스 이미지에서 개발하고 커스텀 이미지를 만들어 프로젝트에 공유하면 모든 팀원이 같은 환경을 사용합니다. 학습 과정의 로깅과 트래킹은 MLflow에 저장합니다. 어떤 데이터셋과 파라미터를 사용했는지, 학습 척도와 성능이 어땠는지도 함께 관리할 수 있습니다.
이 환경을 만드는 출발점은 MLU 포털입니다. 몇 번의 클릭으로 프로젝트와 인스턴스를 만들고 팀원들과 개발 과정을 공유합니다. Airflow나 BentoML을 각자 설치하지 않아도 중앙 환경에서 인스턴스를 생성해 함께 사용할 수 있습니다.
수십 번의 테스트를 거치는 모델 배포
기존 For you에서는 모델 하나의 문제가 전체 모델로 번지는 일이 빈번했습니다. 각 모델을 마이크로서비스 형태로 나눠 독립적으로 운영할 환경이 필요했습니다. 그러나 엔지니어링 지식이 많지 않은 모델 개발자에게 API와 컨테이너를 직접 만드는 일은 부담이 컸습니다. MLU는 BentoML로 모델의 API화와 도커라이징을 자동화하고 서버 자원의 스케일 인아웃도 관리합니다.
GPU 역시 운영 부담이었습니다. 학습과 서빙에 많은 GPU 자원이 필요했는데, MLU에서는 모델 개발자가 엔지니어링 지식 없이도 이를 효율적으로 사용할 수 있습니다. 배포할 때는 개발자 개입 없이 모델이 수십 번의 테스트를 거쳐 최적화된 서버 환경을 찾습니다. 이 환경에 자동 스케일링과 로드 밸런싱을 적용하고, 서빙 이후에는 시각화한 모니터링을 제공합니다.
전체 워크플로의 자동화와 스케줄링은 Apache Airflow가 담당합니다. Python 코드로 Airflow를 다루기 어려운 개발자를 위한 경로도 마련했습니다. MLU의 커스텀 오퍼레이터와 GUI 도구를 이용하면 로우 코드로 파이프라인을 만들 수 있습니다.
운영 부담을 줄인 LINE VOOM의 MLU 도입
For you 추천 모델을 운영하던 서버 10대는 MLU의 클라우드 서버 1대로 대체됐습니다. 모든 프로세스를 자동화하면서 운영 인력 비용과 운영 중 장애도 크게 줄었습니다. 모델 개발자는 쿠버네티스나 GPU 사용 방법을 직접 고민하는 대신 데이터 분석과 모델 성능 향상에 집중하게 됐습니다.
적용 범위는 For you에 그치지 않았습니다. 2023년 3월 원문에서 소개한 MLU는 LINE 그룹 내 대부분의 ML 모델 팀이 파이프라인을 구축하도록 지원하고 있었습니다. 지원하는 클러스터 자원은 A사 클라우드 비용 산정 기준 약 500억 규모였습니다. 일본·태국·대만 등 글로벌 오피스에서 쇼핑·광고·게임을 비롯한 여러 분야의 모델 개발 팀 300개 이상이 이용했고, 자동화 파이프라인 300개가 실행되고 있었습니다. 프로덕션에서 서빙하던 모델은 총 107개입니다.
원문에 제시된 수치와 구성 요소
| 항목 | 값 |
|---|---|
| For you 추천 모델 운영 서버 | 10대에서 MLU 클라우드 서버 1대로 |
| MLU가 지원하는 클러스터 자원 | A사 클라우드 비용 산정 기준 약 500억 |
| MLU 사용 모델 개발 팀 | 300개 이상 |
| 운영 중인 자동화 파이프라인 | 300개 |
| 프로덕션 서빙 모델 | 107개 |
| 실험 관리 | MLflow |
| 패키징·서빙 | BentoML |
| 워크플로 | Apache Airflow |
| Showroom 데모 라이브러리 | Gradio |
모델을 직접 실행해 보는 MLU MARKET PLACE
MLU는 모델 엔지니어를 위한 플랫폼으로 출발했지만, 서비스 엔지니어와 디자이너, 기획자도 자신의 서비스에 ML을 도입해 볼 수 있는 환경을 만들며 기능을 추가하고 있습니다. 목표는 LINE 안에 ML 생태계를 조성하고 확산하는 일입니다. 모델과 데이터셋을 누구나 쉽게 공유하고 사용할 퍼블릭 리포지터리인 MLU MARKET PLACE도 그 방향에서 만들고 있는 공간입니다.
공유할 데이터를 관리하고 양질의 데이터를 계속 만들어 갈 파이프라인은 계획 중입니다. 모델과 데이터를 놓고 토론하며 지식을 나누는 커뮤니티를 활성화하는 데도 힘쓰고 있습니다.
MARKET PLACE 데모에서 모델을 공유하는 절차는 짧습니다. Create 버튼으로 모델 이름과 공개 범위를 정하면 저장소가 생깁니다. 주소를 복사해 MLU Jupyter Notebook 서버에서 클론한 뒤 해당 폴더에서 모델을 학습합니다. 학습한 모델과 관련 파일, 소개를 담은 README를 올리면 MARKET PLACE 화면에 모델 설명이 나타납니다.
공유한 모델을 직접 실행해 보는 공간은 Showroom입니다. 제목과 대표 이미지를 등록하고 모델을 빌드할 SDK를 고르면 리포지터리가 생성됩니다. 이를 MLU Jupyter Notebook 서버에서 클론하고 사용할 모델과 데모 실행 코드를 작성합니다. 원문에서는 Gradio로 사진을 스케치로 바꾸는 데모 페이지를 만들었습니다.
코드를 푸시하는 순간 빌드용 서버가 자동으로 생성되고 애플리케이션이 실행됩니다. 빌드를 잠시 기다리면 웹에서 데모를 볼 수 있습니다. 데모에 넣은 저자의 사진은 한순간에 스케치로 바뀝니다. 자신이 만든 모델뿐 아니라 다른 팀의 모델도 웹에서 간단히 실행해 볼 수 있는 공간입니다.