본문으로 건너뛰기
모델과 실험 사이를 잇는 Model Lifecycle Graph
목차

모델과 실험 사이를 잇는 Model Lifecycle Graph (2026-05)

원문 정보

도구마다 흩어진 모델의 사용처

모델 레지스트리에서 모델을 찾았다고 그 모델의 사용처까지 알 수 있는 것은 아니었습니다. 어떤 A/B 테스트가 모델을 쓰는지 알아내려면, 모델을 만든 파이프라인을 찾고 오케스트레이터에서 A/B 테스트 태그를 확인한 뒤 실험 플랫폼에서 테스트 정보를 조회해야 했습니다. 모델 하나를 이해하는 데 여러 도구가 필요했습니다.

Netflix의 ML이 처음부터 이렇게 넓은 영역에 걸쳐 있던 것은 아닙니다. 10년도 더 전 투자를 시작할 당시에는 Scala가 업계 표준이었고, 작은 ML 팀이 개인화와 회원 참여 최적화에 집중했습니다. 지금은 콘텐츠 발견뿐 아니라 스튜디오의 제작 전후 워크플로, 결제의 사기 탐지·라우팅·정기 결제 최적화에도 ML을 씁니다. 가장 새로운 영역인 광고에는 실시간 의사결정과 타기팅이 필요합니다. ML이 사업 전반으로 퍼지면서 기술 스택과 지표, 조직도 도메인마다 달라졌습니다.

서로의 작업을 재사용할 여지도 커졌습니다. 스튜디오 팀은 장면 경계를 찾고 시각적 전환을 감지하며 콘텐츠 구조를 이해하는 임베딩을 제작 워크플로용으로 만들었습니다. 광고 팀이라면 이 임베딩을 재생 중인 콘텐츠의 톤과 어울리는 광고를 고르는 데 쓸 수 있습니다. 개인화 팀은 에피소드의 주제나 분위기를 회원의 시청 취향과 연결해, 에피소드 단위 머천다이징과 추천에 활용할 수도 있습니다. 하지만 이런 도메인 간 공유는 실제로 매우 어려웠습니다.

각 ML 도구가 자기 백엔드와 UI 안에 머물러 있었기 때문입니다. 모델 레지스트리는 어떤 A/B 테스트가 모델을 쓰는지 모르고, 파이프라인 오케스트레이터는 하류 모델의 의존성을 모릅니다. 투자는 늘었지만 모델은 대체로 블랙박스가 됐습니다. 쓸 만한 피처가 어디에 있는지, 그 피처를 만드는 데이터는 어디서 오는지, 피처를 바꾸면 어떤 모델이 깨지고 누구에게 알려야 하는지 파악하기 어려웠습니다.

통합 화면만으로 풀 수 있는 문제는 아니었습니다. 파이프라인의 실행 정보와 단계 의존성, 모델의 버전·아티팩트·배포 이력, A/B 테스트 설정, 피처 정의와 사용 현황은 서로 다른 시스템에 있었습니다. AI 데이터셋 플랫폼에는 데이터셋의 생성·관리·탐색·로딩 정보가, 신원 플랫폼에는 사용자·팀·조직 정보가 있습니다. 수십 곳에서 나오는 메타데이터는 형식도 식별자도 서로 달랐습니다. 화면을 합치기 전에 이 자산들을 같은 방식으로 표현하고 서로 연결해야 했습니다.

파이프라인을 따라 찾은 A/B 테스트

Netflix가 만든 Metadata Service(MDS)는 이 연결을 담당합니다. 여러 소스에서 모델, 피처, 파이프라인, 실험, 데이터셋의 메타데이터를 실시간으로 받아 색인하고, 엔티티 사이의 관계를 더해 Model Lifecycle Graph를 만듭니다. 목표는 팀이나 도메인에 관계없이 모든 실무자가 ML 자산을 찾고 이해하고 재사용하게 하는 것입니다.

모델과 A/B 테스트를 잇는 예를 보면 MDS가 하는 일이 드러납니다. 모델 인스턴스에는 자신을 만든 파이프라인 실행을 가리키는 pipeline_run_id가 있습니다. MDS의 보강 작업이 이 실행을 조회하면 파이프라인 이름과 함께 A/B 테스트 셀 정보가 나옵니다. 예시의 테스트 ID는 12345, 셀 번호는 2, 셀 이름은 treatment_ranking_v5입니다.

아직 테스트의 전체 맥락은 없습니다. 보강 작업은 파이프라인이 셀 2를 위해 실행됐다는 사실을 바탕으로 실험 플랫폼에 테스트 12345를 조회합니다. 그러면 테스트 이름인 “Ranking Model v5 vs v4”, ACTIVE 상태, control_ranking_v4를 포함한 셀 목록을 얻습니다. 모델 인스턴스를 만든 실행은 셀 2를 위해 돌았고, 셀 2는 테스트 12345에 속합니다. 이 관계를 따라가면 모델 인스턴스와 해당 A/B 테스트가 연결됩니다.

MDS는 이렇게 알아낸 관계를 Datomic에 간선으로 저장하고 Elasticsearch에도 다시 색인합니다. 어느 한 소스가 완성된 연결 정보를 보내 준 것은 아닙니다. 각 시스템에 따로 있던 사실을 백그라운드에서 따라가며, 모델 레지스트리만 봐서는 알 수 없던 관계를 도출한 것입니다.

이제 조회도 달라집니다. 모델의 AIP URI로 GraphQL 형태의 질의 하나를 보내면 이름과 소유자, 현재 인스턴스의 버전, 파이프라인과 그 소유자, 피처와 데이터 소스, 연결된 A/B 테스트와 셀까지 함께 가져올 수 있습니다. 반대 방향도 열립니다. 실험 12345에서 테스트하는 모델을 찾을 때도 같은 그래프를 조회합니다.

여러 플랫폼의 자산을 가리키는 AIP URI

서로 다른 시스템의 정보를 연결하려면 먼저 같은 자산을 같은 이름으로 가리킬 수 있어야 합니다. MDS는 AI Platform(AIP) URI를 공통 주소로 씁니다. 형식은 aip://<componentType>/<platformId>/<resourceId>이며, 이 주소는 전역에서 유일합니다. 모델은 aip://model/registry/ranking-v5, 사용자는 aip://user/identity/alice, 파이프라인은 aip://pipeline/orchestrator/weekly-training처럼 표현합니다.

이 URI로 유일하게 가리킬 수 있는 객체가 컴포넌트입니다. 여기에 이름, 설명, 생성일, 소유자 같은 속성을 갖춘 것이 엔티티이며, 모델·피처·파이프라인 같은 ML 자산을 나타냅니다. 어떤 서비스든 URI 문자열 하나로 자산을 참조하면 MDS가 그 자산의 속성과 연결된 메타데이터를 찾아줍니다.

주소를 통일해도 자산의 형태까지 같아지지는 않습니다. 모델과 파이프라인은 필요한 속성과 관계가 다릅니다. 엔티티 타입은 같은 데이터 형태를 공유하는 엔티티를 묶고, 반드시 가져야 할 속성과 관계의 제약을 정의합니다. 도메인은 관련 엔티티 타입을 기능별로 묶어 한 범주의 ML 자산이 따를 추상 인터페이스를 정합니다. Models 도메인에는 Model과 Model Instance가, Pipelines 도메인에는 Schedule, Request, Execution이 있습니다.

도메인을 실제 소스 시스템과 연결하는 구현은 프로바이더입니다. 현재 Models 도메인의 프로바이더는 사내 모델 레지스트리입니다. MDS는 한 도메인에 여러 프로바이더를 지원하므로, 새 레지스트리가 들어와도 도메인 인터페이스를 바꾸지 않고 프로바이더를 추가할 수 있습니다. 자산의 공통 형태와 그것을 제공하는 시스템을 구분한 설계입니다.

알림을 받고 최신 상태를 읽는 MDS

MDS가 받는 이벤트는 작습니다. Kafka와 AWS SNS/SQS로 들어오는 이벤트에는 식별자와 이벤트 유형만 담깁니다. 모델 인스턴스가 생겼다면 소스 시스템은 model_instance_created와 인스턴스 ID를 보내면 됩니다. 완전한 메타데이터를 이벤트에 넣거나, 하류 소비자가 어떤 정보를 요구할지 미리 알 필요가 없습니다.

소스별 전용 핸들러는 각 시스템의 알림을 받습니다. 파이프라인 쪽에서는 실행, 노드 정의, 스케줄, 요청, 작업 시도를 다루고, 모델 레지스트리 쪽에서는 배포, 설정, 버전 갱신을 다룹니다. 피처와 데이터셋의 정의·버전, A/B 테스트의 설정·할당, 소유권과 팀 구성원 정보도 각 소스의 핸들러가 수집합니다.

작은 이벤트의 나머지 정보는 MDS가 채웁니다. 이벤트 유형마다 정해 둔 하이드레이션 계약에 따라 스키마를 검증하고, 정보의 기준이 되는 소스 시스템의 API에서 완전한 최신 상태를 읽습니다. 이처럼 식별자를 바탕으로 상세 정보를 가져와 채우는 과정이 하이드레이션입니다. 예를 들어 model_instance_created를 받으면 모델 레지스트리의 인스턴스 API를 호출해 ID, pipeline_run_id, owner_emails, team=personalization 같은 레이블이 담긴 디스크립터를 얻습니다.

이벤트는 변경 알림입니다. 변경 이력을 순서대로 재생하는 로그로 쓰지 않습니다. MDS는 알림을 받을 때마다 소스의 최신 상태를 읽으므로 이벤트 순서가 뒤바뀌어도 그 순서에 맞춰 과거 상태를 복원할 필요가 없습니다. 메시지가 빠졌더라도 해당 자산의 다음 이벤트가 오면 최신 상태로 바로잡습니다. 소스를 다시 읽어 현재 상태에 맞출 수 있다는 점이 이 방식의 장점입니다.

비용은 소스 시스템의 읽기 부하로 돌아갑니다. 이벤트 생산자는 단순해지지만, MDS의 보강 워커가 API를 반복해서 호출하므로 속도 제한과 캐싱, 백오프를 신중하게 다뤄야 합니다. 이벤트 순서와 누락에 강한 수집 방식을 택한 대신, 최신 상태를 조회하는 비용을 관리하는 설계입니다.

가져온 응답은 공통 엔티티 모델로 바꿉니다. 플랫폼별 ID는 전역 AIP URI가 되고, owner_emails는 사용자 URI로 해석한 owners가 됩니다. labels는 tags로, pipeline_run_id 같은 외래 키는 다른 엔티티를 가리키는 참조로 변환합니다. 모델 인스턴스의 entity_type은 ModelInstance입니다. 이 정규화가 있어야 소비자가 모든 소스의 스키마를 따로 이해하지 않아도 됩니다.

여기까지 왔다고 모든 관계가 채워진 것은 아닙니다. 모델 레지스트리의 응답에는 여전히 A/B 테스트 연결이 없습니다. 실험 플랫폼도 어떤 파이프라인이 모델을 만들었는지 추적하지 않습니다. 앞서 본 모델과 실험의 연결은 정규화 이후에 별도로 찾아야 합니다.

관계와 보강 상태를 함께 남기는 Datomic

정규화된 엔티티는 Datomic에 저장한 뒤 곧바로 Elasticsearch에 색인합니다. 두 작업은 이벤트 처리 흐름 안에서 동기적으로 수행합니다. 이후 관계를 찾아 그래프를 확장하는 작업은 백그라운드로 넘깁니다. 그래프 형성에 드는 비용이 실시간 이벤트 수집을 막지 않게 하기 위해서입니다.

Datomic은 MDS의 기록 시스템이자 그래프 DB이며, 로컬 캐시와 보강 작업용 데이터셋 역할도 합니다. 엔티티의 속성을 사실로 저장하고, 보강 작업이 발견한 관계는 간선으로 남깁니다. 불변 사실 모델을 사용하므로 원래 엔티티 상태를 잃지 않고 관계를 계속 추가할 수 있습니다.

참조만 있는 엔티티도 저장합니다. 파이프라인 실행 ID를 받았지만 그 실행의 상세 정보를 아직 읽지 않은 상태도 표현할 수 있다는 뜻입니다. Datomic에는 이런 엔티티 참조와 함께, 하이드레이션을 기다리는지 보강을 마쳤는지 나타내는 상태가 남습니다. 백그라운드 작업은 이 정보를 보고 추가 처리가 필요한 엔티티를 고릅니다.

관계가 많은 질의에 맞춘 저장소이기도 합니다. 모델에서 피처를 거쳐 데이터 소스까지 한 질의로 따라가거나, 한 모델 인스턴스의 상류 데이터셋과 하류 실험을 함께 조회합니다. 피처를 사용하는 모델과 각 모델의 소유 팀을 찾을 때도 같은 그래프를 씁니다. 도메인을 넘는 조인에 N+1 질의가 필요하지 않고, 카탈로그가 커질 때 스키마를 확장하거나 필요한 엔티티만 점진적으로 보강하기에도 적합합니다.

예약된 보강 작업은 아직 캐시되지 않았거나 참조 일부만 해석된 엔티티를 훑습니다. 소스 시스템에서 관련 엔티티의 상세 정보를 가져오고, 발견한 관계를 Datomic에 기록한 뒤 Elasticsearch를 다시 색인합니다. 처리를 마치면 보강 완료로 표시해 불필요한 반복을 피합니다. 이 과정은 비동기이므로 재시도하면서 그래프를 점진적으로 채울 수 있습니다.

관계의 최신성에는 별도의 지연이 있습니다. 새 관계는 보통 몇 초보다 몇 분 안팎의 시간이 지난 뒤 나타납니다. MDS는 엔티티마다 마지막 보강 시각을 추적하고 AIP Portal에도 표시합니다. 엔지니어가 디버깅이나 영향 분석을 할 때, 지금 보고 있는 연결 정보가 얼마나 오래됐는지 판단할 수 있게 한 것입니다.

검색창에서 관계 탐색으로 이어지는 AIP Portal

사용자가 처음부터 그래프 질의를 작성할 필요는 없습니다. AIP Portal의 검색창이 입구입니다. 모델 이름이나 팀 이름, 도메인 용어를 입력해 자산을 찾고, 엔티티 페이지에 도착하면 관계를 따라 이동합니다. Elasticsearch는 이 첫 탐색에 필요한 빠른 전문 검색을 담당합니다.

검색에는 자산 자체의 이름만 쓰지 않습니다. 이름, 설명, 엔티티 타입, 소유자 이름과 함께, 모델에 연결된 피처·파이프라인·A/B 테스트의 이름도 related 필드에 색인합니다. 태그는 키-값 형태로 저장하며 team::personalization, env::production, model.state::released가 그 예입니다. 연결된 자산의 이름도 검색에 활용하도록 만든 구성입니다.

모든 엔티티 타입은 하나의 엔티티 인덱스에 넣고 entityType 필드로 구분합니다. 사용자와 그룹은 소유자 검색을 위한 별도 인덱스에 둡니다. 여러 필드에 걸친 검색과 관련도 순위, 타입·소유자·태그·도메인 속성 필터를 지원합니다. 이름이 정확히 일치하면 더 높은 가중치를 주고, 오타나 부분 질의에는 퍼지 매칭을 적용합니다. 색인은 거의 실시간으로 갱신되며, 변경 사항이 포털에 보이기까지의 짧은 지연은 대화형 탐색에서 받아들일 만한 수준입니다.

검색 결과 뒤에는 맥락이 있습니다. 엔티티 페이지에서 설명, 소유자, 도메인, 태그와 관계 패널을 보고 상류 데이터셋이나 하류 실험, 같은 모델의 다른 버전으로 이동합니다. 팀과 개인을 위한 맞춤 뷰도 제공합니다. MDS에 새 엔티티 타입이 추가되면 기본 검색과 엔티티 페이지, 관계 탐색은 포털에 자동으로 생깁니다. 모델 배포 이력이나 데이터셋 버전 타임라인 같은 전용 시각화는 그 위에 추가할 수 있습니다.

개인화 모델의 참여 지표가 나빠진 상황을 예로 들 수 있습니다. 조사는 문제가 생긴 추천을 만드는 모델 인스턴스에서 시작합니다. 엔지니어는 피처를 살펴보다가 의심스러운 피처의 상류 데이터셋으로 이동하고, 그 데이터셋을 만드는 파이프라인의 최근 실행 실패와 소유 팀을 확인합니다. 이어서 현재 모델 인스턴스를 쓰는 A/B 테스트를 찾아 어떤 회원과 화면이 영향을 받는지 파악합니다. 레지스트리와 오케스트레이터, 실험 플랫폼을 오가던 조사가 한 인터페이스 안에서 이어집니다.

같은 관계는 변경과 폐기 판단에도 쓰입니다. 피처를 바꿀 때 영향을 받는 모델을 찾고, 파이프라인이 여러 단계를 거쳐 의존하는 데이터 소스를 확인하며, 더 이상 사용하지 않는 엔티티를 골라낼 수 있습니다. 학습 데이터에서 프로덕션 실험까지 계보를 따라가는 일도 가능합니다. 엔티티마다 생성 시각과 소유자, 갱신 이력이 있고, 그 자산이 다른 자산과 어떻게 연결되는지가 함께 남기 때문입니다.

Model Lifecycle Graph에 남은 과제

그래프에 연결해야 할 ML 도구는 계속 늘어납니다. 새 소스를 추가하는 플러그인 구조처럼 연동을 확장할 방법이 필요합니다. 통합 속도가 도구의 증가를 따라가지 못하면 실무자는 다시 여러 도구의 단편적인 화면으로 돌아가고, 그래프가 다루는 범위와 그에 대한 신뢰도 줄어듭니다. 연결을 한 번 만드는 것으로 끝나는 일이 아닙니다.

포털도 기본 엔티티 페이지에서 더 나아가야 합니다. 모델을 보는 사람에게는 배포 이력과 A/B 테스트 연결, 성능 지표가 필요하고, 피처를 보는 사람에게는 데이터 계보와 그 피처를 쓰는 모델이 필요합니다. 파이프라인에는 실행 이력·의존성·스케줄이, 데이터셋에는 버전 타임라인과 하류 소비자가 어울립니다. 탐색 방식은 일관되게 유지하면서 자산별로 다른 정보를 보여 줄 유연한 UI 틀이 과제로 남았습니다. 이를 갖추지 못하면 포털은 범용 카탈로그에 그칠 수 있습니다.

메타데이터의 품질도 해결된 문제는 아닙니다. 현재 MDS는 소스의 최신 상태를 읽고 수집 시점에 스키마를 검증해 일관성을 확보하며, 백그라운드 보강으로 관계를 추론합니다. 그러나 소스가 이벤트를 내지 못하거나 소유자 정보가 낡거나 엔티티에 설명이 없으면 정보의 완전성과 적시성이 떨어집니다. 수백만 엔티티에 걸쳐 이런 이상을 탐지하고 빠진 관계를 제안하며 품질 기준을 유지할 자동 검증과 보강이 필요합니다. 메타데이터를 믿을 수 없으면 팀은 다시 각자 알고 있는 정보에 의존하게 됩니다.

명시된 관계 너머의 연결도 탐색 중입니다. 같은 피처를 쓰는 모델들에서 목적의 유사성을 찾아내거나, 비슷한 파이프라인의 사용 패턴을 보고 피처를 추천하는 방식입니다. 아직 초기 단계입니다. 실현된다면 MDS는 자산을 찾아 보여 주는 카탈로그에서, 사용할 만한 ML 자산을 먼저 제안하는 추천 엔진으로 발전할 수 있습니다.

원문에 제시된 저장소와 처리 방식
항목값
이벤트 수집 경로Kafka, AWS SNS/SQS
이벤트 형태식별자와 이벤트 유형만 담은 얇은 이벤트
그래프 저장소Datomic (기록 시스템, 로컬 캐시, 관계 간선 저장)
검색 저장소Elasticsearch (엔티티 단일 인덱스 + 소유자 별도 인덱스)
정규화 식별자aip://<componentType>/<platformId>/<resourceId>
관계 보강 방식주기적 백그라운드 작업, 지연은 보통 몇 분 안팎
포털AIP Portal (검색, 엔티티 페이지, 관계 탐색)
마지막 수정 일자