목차
수백 개 ML 프로젝트를 프로덕션으로 잇는 Metaflow (2024-03)
원문 정보
- 원문: Supporting Diverse ML Systems at Netflix
- 매체 · 게시일: Netflix TechBlog · 2024-03-07
- 저자: David J. Berg, Romain Cledat, Kayla Seeley, Shashank Srikanth, Chaoying Wang, Darin Yu
- 원문 내용을 바탕으로 재구성한 요약입니다.
프로덕션과 연결될 때 생기는 Metaflow의 초능력
쓰기 편한 API만으로 ML 시스템의 운영까지 해결되지는 않습니다. 프로덕션 인프라와 연결되지 않은 프로젝트는 프로토타입에서 멈추거나, 엔지니어링 팀이 관리하는 시스템 밖의 예외로 남습니다. 그렇게 떠안은 운영 부담을 계속 감당하기는 어렵습니다. Metaflow의 진짜 “초능력”이 프로덕션 시스템과의 통합에서 나온다는 말은 이 문제를 가리킵니다.
Netflix가 시작한 오픈소스 ML 인프라 프레임워크 Metaflow는 처음부터 데이터·ML 애플리케이션을 쉽게 만들고 프로덕션에 배포할 수 있는 API를 지향했습니다. 지금은 AI 애플리케이션도 그 대상입니다. Machine Learning Platform(MLP) 팀은 이 프레임워크를 중심으로 데이터 과학자와 ML 실무자가 시스템을 구축하고 관리할 도구 생태계를 제공합니다.
적용 범위는 넓습니다. 사내 인프라, 콘텐츠 수요 모델링, 미디어 이해에 이르기까지 이미 수백 개의 Metaflow 프로젝트가 배포돼 있습니다. 이 모두가 프로토타입에서 프로덕션까지 같은 길을 따르리라고 기대하지는 않습니다. MLP 팀은 회사 공통의 데이터·컴퓨트·오케스트레이션 플랫폼을 연결하고 여러 배포 경로를 마련했습니다. 각 팀은 그 기반에서 자기 분야에 맞는 라이브러리와 시스템을 직접 만듭니다.
실제 프로젝트는 여러 통합 기능을 함께 사용합니다. 콘텐츠 의사결정에는 데이터 처리와 이벤트 연동이 모두 필요하고, 미디어 피처 계산에는 컴퓨트와 호스팅이 함께 쓰입니다. 이런 연결은 Metaflow의 공개 확장 메커니즘으로 구현했습니다. 이 메커니즘은 아직 안정 API에 포함되지 않으며 변경될 수 있습니다.
작은 팀의 콘텐츠 의사결정을 잇는 Maestro
Netflix가 어떤 콘텐츠를 들여올지 판단하도록 돕는 시스템은 Metaflow로 운영하는 가장 중요한 비즈니스 시스템 중 하나입니다. 대상은 190개국이 넘는 나라의 2억 6천만 명 넘는 구독자입니다. 서로 다른 취향을 다루는 의사결정의 바탕에 여러 데이터 파이프라인과 모델이 있습니다.
원문 도식에서 회색 상자는 상·하류 파트너 팀과의 연결, 초록색 상자는 ETL 파이프라인, 파란색 상자는 Metaflow flow를 나타냅니다. 그 상자들 뒤에는 수백 개의 고급 모델과 복잡한 비즈니스 로직이 숨어 있고, 매일 막대한 양의 데이터를 처리합니다. 이를 자율적으로 운영하는 조직은 비교적 작은 엔지니어·데이터 과학자 팀입니다.
이 규모의 작업을 이어 주는 것이 Maestro입니다. 데이터가 연료이고 컴퓨트가 근육이라면, 오케스트레이션은 신경에 해당합니다. Netflix의 프로덕션 워크플로 오케스트레이터인 Maestro는 확장성, 고가용성, 사용성을 갖춰 사내 Metaflow 프로젝트의 운영 기반을 이룹니다.
여기서 쉽게 놓치는 기능이 이벤트 트리거입니다. 개별 flow를 실행하는 데서 그치지 않고, 앞서 데이터를 만드는 ETL 워크플로와 뒤에서 결과를 사용하는 다른 팀의 flow까지 조직 전체가 공유하는 프로토콜로 연결합니다. 콘텐츠 의사결정 도식의 모든 상자도 Maestro가 조율하는 이벤트를 받아 실행됩니다. Metaflow flow 사이의 의존성에는 @trigger_on_finish를, 외부 시스템과의 의존성에는 @trigger를 사용합니다.
개발 중인 변경과 프로덕션을 분리하는 장치도 있습니다. Metaflow 네임스페이스 덕분에 개발자는 프로덕션 배포를 건드리지 않고 작업할 수 있습니다. @project는 브랜치별 개발과 배포를 지원하며, 브랜치 사이에서 이벤트도 격리합니다. 팀은 여기에 도메인 특화 라이브러리와 구성 관리 도구를 직접 만들어 시스템을 개선하고 운영했습니다.
오케스트레이터 선택은 Netflix 내부에만 한정되지 않습니다. 오픈소스 Metaflow는 몇 해 전 AWS Step Functions 지원을 시작했고, 이후 Kubernetes 네이티브인 Argo Workflows와 데이터 엔지니어링 팀이 널리 사용하는 Airflow도 지원하게 됐습니다. Netflix에서는 회사의 공통 오케스트레이터인 Maestro가 그 역할을 담당합니다.
10억 쌍의 작품 정보를 처리하는 Fast Data
같은 작품을 가리키는 정보라도 표현은 조금씩 다르거나 서로 충돌할 수 있습니다. 작품과 배우, 여러 속성 사이의 관계를 담는 콘텐츠 지식 그래프에서는 이런 표현을 같은 대상으로 정리해야 합니다. 이를 엔터티 해소(entity resolution)라고 부릅니다. 보통 정보를 쌍으로 비교해 일치 여부를 판단하는데, 규모가 커지면 이 매칭 작업이 어려워집니다.
Netflix의 콘텐츠 지식 그래프 프로젝트는 웨어하우스에서 약 10억 쌍의 작품 정보를 읽어 매칭합니다. Fast Data와 Metaflow의 foreach를 함께 사용해 여러 태스크로 작업을 나눴습니다. 태스크들이 처리하는 데이터는 합쳐서 테라바이트 규모입니다.
Fast Data가 필요한 배경에는 Python에서 수행하는 마지막 단계의 데이터 처리가 있습니다. Netflix의 주 데이터 레이크는 S3에 저장한 Apache Iceberg 테이블로 구성되며, ETL과 무거운 처리는 Apache Spark가 맡습니다. 그 뒤에도 피처 변환, 배치 추론, 학습을 Python으로 수행하려는 수요가 남습니다. 이 단계에서 다루는 데이터도 때로 테라바이트에 이르므로 읽기 성능을 소홀히 할 수 없습니다.
Fast Data는 Python 생태계의 고성능 구성 요소를 활용해 웨어하우스에 빠르고 안정적으로 접근하도록 만든 Metaflow용 라이브러리입니다. 읽을 파일을 찾는 일과 실제 데이터를 가져오는 일을 서로 다른 인터페이스가 담당합니다.
Table 객체는 Iceberg 또는 레거시 Hive 테이블의 메타데이터를 해석해 파티션과 Parquet 파일을 찾습니다. 글이 나온 시점에는 테이블을 갱신하는 쓰기 경로도 추가된 상태였습니다. 파일이 정해지면 MetaflowDataFrame이 Metaflow의 고처리량 S3 클라이언트로 데이터를 프로세스 메모리에 직접 내려받습니다. 로컬 파일을 읽을 때보다 빠른 경우가 많습니다.
지식 그래프의 매칭 작업도 이 순서로 진행합니다. metaflow.Table이 입력 샤드를 모두 찾으면 이를 여러 태스크에 나눠 줍니다. 각 태스크는 metaflow.MetaflowDataFrame으로 데이터를 읽고 Pandas로 매칭한 뒤, 출력 Table에서 자신이 맡은 샤드를 채웁니다. 모든 매칭이 끝나면 새 테이블을 커밋합니다. 그때부터 다른 잡이 결과를 읽을 수 있습니다.
Arrow 버전에 묶이지 않는 C++ 확장
데이터를 메모리에 가져온 뒤에도 도구 선택의 여지를 남겼습니다. Apache Arrow가 Parquet 디코딩과 메모리 표현을 담당하므로, 사용자는 Pandas나 Polars의 데이터프레임 API를 고르거나 고성능 연산을 위한 사내 C++ 라이브러리를 사용할 수 있습니다. Arrow 덕분에 데이터를 복사하지 않는 zero-copy 접근도 가능합니다.
이때 C++ 확장을 특정 Arrow 버전에 묶지 않는 것이 설계 조건이었습니다. (Py)Arrow는 이미 여러 라이브러리의 의존성이어서, 자체 확장까지 특정 버전을 요구하면 서로 양립할 수 없는 의존성 조합이 생길 수 있습니다. Netflix는 nanoarrow의 방식을 따라 안정적인 Arrow C 데이터 인터페이스에만 의존하도록 만들었습니다. 그 결과 C++ 확장 라이브러리를 외부 의존성 없이 구성했습니다.
Titus에서 다시 구성하는 모델의 실행 환경
태스크를 원격 파드에서 실행하려면 프로젝트의 실행 환경 전체를 패키징하고 그곳에서 복원해야 합니다. 같은 환경을 재현할 수 있어야 하고, 복원도 빨라야 합니다. Netflix는 이 작업을 위해 개발자에게 Docker 이미지를 직접 관리하도록 요구하지 않습니다. Metaflow에 내장한 의존성 관리가 실행 환경을 구성합니다.
오픈소스 Metaflow 사용자는 AWS Batch나 Kubernetes를 컴퓨트 백엔드로 사용하지만, Netflix는 중앙 컴퓨트 플랫폼 Titus를 씁니다. Titus도 내부적으로 Kubernetes로 구동됩니다. 여기에 관측성, 보안, 확장성, 비용 효율을 위한 기능을 더했습니다. ML 엔지니어나 데이터 과학자는 @titus를 지정해 이러한 기능을 활용하며, 각각의 기반 기술을 깊이 이해할 필요는 없습니다.
Metaflow의 의존성 관리는 처음에 @conda만 지원했습니다. 이후 Portable Execution Environments 작업으로 실행 환경을 옮겨 쓸 수 있게 됐고, 원문이 나오기 몇 달 전에는 오픈소스 Metaflow에 @pypi도 추가됐습니다. 실행 환경을 다루는 기능은 다른 모델의 환경을 입력으로 받아야 하는 작업에서 특히 유용합니다.
다른 모델의 환경을 입력받는 Explainer flow
모델을 사용하는 이해관계자는 결과뿐 아니라 이유도 알고 싶어 합니다. 왜 이런 출력을 냈는지, 시간이 지나면서 동작은 왜 달라졌는지가 관심사입니다. 이를 설명하는 방법 중 하나는 학습된 모델마다 별도의 설명기(explainer) 모델을 학습하는 것입니다. Netflix는 많은 모델을 학습하므로 설명기도 많이 필요합니다.
문제는 원본 모델마다 환경이 다르다는 점입니다. 각 애플리케이션은 용도에 맞는 모델링 방식과 의존성을 선택합니다. 설명기를 학습하려면 원본 모델과 그 학습 환경에 접근하면서, 설명기 자체가 요구하는 의존성도 갖춰야 합니다. 다른 학습 시스템의 실행 환경 전체를 입력으로 받는 상위 학습 시스템인 “Explainer flow”를 만든 이유입니다.
모델 A, B, C의 상류 flow가 이벤트를 보내면 Explainer flow가 실행됩니다. build_environment 스텝은 metaflow environment 명령으로 원본 모델의 요구 사항과 설명기의 요구 사항을 함께 담은 환경을 만듭니다. 실행 식별자와 모델 유형을 바탕으로 환경에 고유한 이름을 붙이고, 다음 train_explainer 스텝은 그 이름을 참조합니다. 이 스텝은 원본 모델에 접근할 수 있는 환경에서 설명기를 학습합니다.
환경을 결정하는 시점도 달라집니다. 보통의 @conda·@pypi flow와 달리 휴대용 실행 환경은 배포 시점에 고정하지 않고 실행 중에 가져올 수 있습니다. Explainer flow에서는 다음 스텝이 환경을 사용하기 직전에 필요한 구성을 결정합니다. 어떤 모델의 설명기를 만들지에 따라 실행 환경도 따라가는 방식입니다.
실시간 API를 받치는 Cache와 Metaflow Hosting
Metaflow 프로젝트의 결과는 다른 프로덕션 시스템이 사용할 수 있어야 합니다. 웨어하우스의 공유 테이블로 전달하는 경우도 있고, 지연이 짧은 API가 적합한 경우도 있습니다. API를 선택했다고 해서 모든 예측을 요청 시점에 계산해야 하는 것은 아닙니다.
예측의 일부나 전부를 미리 계산할 수 있는 비즈니스 크리티컬 애플리케이션도 있습니다. 이런 경우에는 사전 계산으로 가장 낮은 지연을 얻고, 글로벌 규모에서도 고가용성을 단순하게 운영할 수 있습니다. Netflix는 사내 캐싱 인프라를 이용하는 이 배포 패턴을 공식 지원합니다. 같은 패턴을 Amazon ElastiCache나 DynamoDB로 구현하는 것도 가능합니다.
요청보다 먼저 준비하는 콘텐츠 성과
콘텐츠 의사결정자는 과거 작품의 성과를 살펴 카탈로그를 이해하고 개선합니다. 성과 지표는 복잡합니다. 관심 있는 변수를 바꿔 가며 보는 대화형 시각화가 이를 이해하는 데 적합합니다. Netflix는 의사결정자가 직접 사용할 수 있도록 metaflow.Cache와 metaflow.Hosting을 연결한 실시간 웹 애플리케이션을 만들었습니다.
화면에서 쓰는 집계값은 매일 예약 실행되는 Metaflow 잡이 미리 준비합니다. 잡은 계산을 병렬로 수행한 뒤 대량의 결과를 metaflow.Cache로 온라인 키-값 저장소에 기록합니다. Streamlit 앱에는 시각화와 집계 로직을 두고, metaflow.Hosting이 API를 제공합니다.
사용자가 시각화 파라미터를 바꾸면 메시지가 실시간으로 Metaflow 호스팅 서비스에 전달됩니다. 서비스는 캐시에서 값을 찾아 필요한 계산을 수행하고 JSON으로 결과를 반환합니다. Streamlit은 그 결과를 받습니다. 사용자는 실시간으로 화면을 조작하지만, 그 화면을 받치는 데이터 집계는 앞서 끝내 둔 상태입니다.
유휴 시 0으로 줄어드는 Metaflow Hosting
요청을 받은 뒤 모델을 평가해야 하는 경우에는 Metaflow Hosting이 계산을 담당합니다. Metaflow에서 만든 아티팩트와 모델을 호스팅하기 위한 서비스로, Netflix의 기존 마이크로서비스 인프라에 사용하기 쉬운 인터페이스를 제공합니다. 데이터 과학자는 실험 결과를 HTTP REST API로 제공하는 프로덕션 웹 서비스로 옮길 수 있습니다.
호스팅 서비스에는 운영에 필요한 기능도 포함됩니다.
- 간단한 데코레이터 문법으로 정의하는 RESTful 엔드포인트
- 트래픽에 따른 백엔드 인스턴스 수 자동 조정
- 정해진 시간 동안 요청이 없으면 인스턴스 수를 0으로 축소
- Netflix 인프라와 연결된 요청 로깅, 알림, 모니터링, 트레이싱 훅
유휴 시 0으로 축소하는 기능은 특히 GPU를 사용하는 서비스의 비용을 줄이는 데 도움이 됩니다. AWS SageMaker Model Hosting 같은 관리형 모델 호스팅과 비슷한 역할을 하면서, Netflix의 마이크로서비스 인프라와 긴밀하게 연결된 서비스입니다. 동기 요청과 비동기 요청을 모두 지원합니다.
필요한 피처만 계산하는 Amber
미디어에서는 모든 결과를 미리 계산하는 방식을 택할 수 없었습니다. Netflix는 작품 아트워크를 개인화하거나 제작진의 홍보 콘텐츠 제작을 돕는 데 오랫동안 ML을 사용해 왔습니다. 미디어 자산 처리는 기술적으로 까다롭고 계산 비용도 커서 전용 인프라를 구축했습니다.
미디어 피처 스토어 Amber가 그 사례입니다. 모든 미디어 피처를 미리 계산해 저장하기는 불가능하므로, Amber는 필요한 피처를 요청받았을 때 계산하고 캐시합니다. 이 계산을 맡기는 곳이 Metaflow Hosting입니다.
서비스가 Amber에 피처를 요청하면 Amber는 피처 의존성 그래프를 계산하고, Metaflow Hosting에 비동기 요청을 하나 이상 보냅니다. Hosting은 요청을 큐에 넣어 두었다가 컴퓨트 자원을 사용할 수 있을 때 피처 계산을 시작합니다. 응답도 캐시하므로 Amber가 나중에 결과를 가져갈 수 있습니다.
이 작업만을 위한 마이크로서비스를 따로 만드는 선택지도 있었습니다. Netflix는 동기·비동기 요청을 모두 처리하는 Hosting의 유연성을 활용해 운영 부담을 늘리지 않고 기능을 더 빨리 출시했습니다. 미리 계산한 값을 조회하는 콘텐츠 성과 화면과, 요청 뒤에 피처를 계산하는 Amber가 같은 호스팅 기반을 서로 다르게 사용하는 사례입니다.
모델 관리와 Python 밖으로 넓힐 Metaflow 통합
Netflix는 다른 팀이 만든 시스템과의 연결을 더 늘릴 계획입니다. 이 글에서 자세히 다루지 않은 버전 관리 계층도 개선 대상입니다. 아티팩트와 모델을 관리하는 선택지를 더 마련하려고 합니다.
Metaflow Hosting 모델과 모델 로깅 시설의 연결도 남은 과제입니다. 현재는 둘이 잘 통합되어 있지 않습니다. Netflix는 새 모델을 학습하는 피드백 루프를 완성하도록 연동을 개선할 계획이며, 다른 사용자가 자신의 로깅 시스템을 연결할 수 있도록 플러그인 방식으로 만들려 합니다.
Python 밖의 환경도 대상입니다. Metaflow 아티팩트와 모델을 JVM 기반 엣지 서비스처럼 Metaflow를 사용하지 않는 애플리케이션에 통합하는 방법을 더 마련하려고 합니다. Python으로 작업하는 데이터 과학자가 비 Python 시스템에 기여할 수 있게 하려는 계획입니다. 빠르게 반복하는 Python 개발과 회원을 상대하는 인프라의 요구·제약 사이를 연결하는 작업이 여기에 남아 있습니다.
원문의 주요 수치와 구성 요소
| 항목 | 값 |
|---|---|
| 사내 Metaflow 프로젝트 | 수백 개 |
| 데이터 레이크 | S3, Apache Iceberg 테이블 |
| 지식 그래프 매칭 규모 | 약 10억 쌍 |
| 컴퓨트 | Titus(Kubernetes 기반), @titus |
| 의존성 관리 | @conda, @pypi(휴대용 실행 환경) |
| 콘텐츠 의사결정 규모 | 구독자 2억 6천만 명 이상, 190개국 이상 |
| 트리거 데코레이터 | @trigger_on_finish, @trigger, @project |
| 캐시·호스팅 | metaflow.Cache, metaflow.Hosting |
| Hosting 기능 | 자동 확장, 유휴 시 0으로 축소, REST 엔드포인트 |