본문으로 건너뛰기
과거 팩트로 ML 실험을 앞당긴 Netflix의 Axion
목차

과거 팩트로 ML 실험을 앞당긴 Netflix의 Axion (2022-04)

원문 정보

  • 원문: Evolution of ML Fact Store
  • 매체 · 게시일: Netflix TechBlog · 2022-04-26
  • 저자: Vivek Kaushal
  • 원문 내용을 바탕으로 재구성한 요약입니다.

새 인코더로 다시 읽는 과거 팩트

새 피처 인코더를 시험하려면 코드만 바꿔서는 부족합니다. Netflix의 ML 모델은 몇 주 치 데이터로 학습하므로, 바뀐 인코더로 만든 피처도 그만큼 있어야 합니다. 추천 애플리케이션에 인코더를 배포하고 피처 값을 기록하는 방법으로는 데이터가 쌓일 때까지 몇 주를 기다려야 했습니다.

Netflix는 과거 데이터에서 피처를 다시 만드는 방법을 택했습니다. 이미 저장한 데이터에 새 인코더를 적용하면 몇 시간이면 됩니다. 이 실험을 뒷받침하는 팩트 스토어가 Axion입니다. Netflix가 5년 전 팩트 스토어의 필요성을 설명했을 때부터 목적은 같았습니다. 오프라인 실험을 앞당기고 학습과 서빙 사이의 편차(training-serving skew)를 없애려는 목적은 그대로였지만, 이를 위한 설계는 달라졌습니다.

여기서 팩트는 특정 시점의 멤버나 영상에 관한 데이터입니다. 무엇을 봤는지, My List에 무엇을 담았는지, 영상 길이가 얼마인지 등이 해당합니다. 시청 이력이나 영상 메타데이터 서비스처럼 Axion 밖의 서비스가 관리하는 데이터입니다. Axion에서는 그 값만큼이나 시점이 중요합니다. 나중에 피처를 다시 만들 때도 추천 당시의 데이터를 써야 하기 때문입니다.

추천을 만드는 컴퓨트 애플리케이션은 여러 gRPC 서비스에서 시청 이력, 좋아요, My List 등의 팩트를 가져옵니다. 피처 인코더로 피처를 생성하고 ML 모델로 추천을 만든 뒤, 사용한 팩트를 Axion에 기록합니다. Spark 애플리케이션인 오프라인 피처 생성기는 이 팩트로 피처를 다시 만듭니다. 기존 인코더뿐 아니라 새로 만들거나 수정한 인코더도 필요에 따라 적용합니다.

컴퓨트 애플리케이션과 오프라인 피처 생성기는 인코더를 공유합니다. 같은 데이터와 같은 코드로 온라인과 오프라인 피처를 만들기 때문에 학습·서빙 편차가 생기지 않습니다. 추천 시점에 생성한 피처 집합을 정확히 재현하는 시간적 정확성이 Axion의 출발점입니다.

수억 행을 읽고 대부분 버리던 Iceberg 쿼리

팩트를 저장했다고 조회까지 빨라지는 것은 아니었습니다. Axion은 여러 개인화 ML 모델에 필요한 데이터를 모으는데, 모델마다 데이터셋과 피처, 층화 방식, 학습 목표가 다릅니다. 모든 모델을 지원하려면 충분히 많은 팩트를 저장해야 하지만, 개별 모델이 읽으려는 데이터는 그중 일부에 불과했습니다.

저장 형식부터 손봐야 했습니다. 로깅된 팩트는 실시간 스트림 처리 플랫폼 Keystone을 거쳐 Iceberg 테이블에 들어갑니다. 이 테이블에는 구조화되지 않은 큰 blob이 담겨 있어 그대로 조회하기에는 비효율적이었습니다. ETL에서 어떤 형식으로 바꾸느냐가 쿼리 성능을 좌우했습니다.

처음에는 데이터를 정규화해 여러 테이블로 나눴습니다. 저장 공간은 줄었습니다. 그러나 Netflix가 다루는 규모에서는 조회할 때 큰 테이블 여러 개를 조인하는 과정에서 Spark 셔플 문제가 발생했습니다. 공간을 아낀 설계로는 쿼리를 효율적으로 실행하기 어려웠습니다.

다음 시도는 모든 팩트와 메타데이터를 중첩 Parquet 형식으로 만들어 Iceberg 테이블 하나에 담는 것이었습니다. 정규화했을 때만큼 공간 효율이 좋지는 않았지만, Parquet 자체로도 상당한 저장 공간을 절약했습니다. 무엇보다 Spark 쿼리가 성공하기 시작했습니다. 이제 남은 문제는 실행 시간이었습니다.

블룸 필터와 조건을 읽기 단계로 내려보내는 predicate pushdown도 적용했지만 목표에는 한참 못 미쳤습니다. 극단적인 쿼리에서는 수억 행을 필터링하고 나면 100만 행도 남지 않았습니다. 블룸 필터를 써도 S3에서 데이터를 전부 내려받은 뒤 대부분 버리는 작업은 계속됐습니다.

미리 정렬해 두는 방법도 도움이 되지 않았습니다. 레이블 데이터셋이 무작위였기 때문입니다. 수억 행 가운데 필요한 100만 행을 찾으면서도 조회 범위를 줄일 추가 정보가 없다면, Iceberg 안에서 더 개선할 여지가 크지 않았습니다. 팀은 Iceberg 조인을 더 최적화하는 대신 쿼리 패턴을 다시 들여다봤습니다.

필요한 팩트만 찾는 EVCache

쿼리 패턴을 분석하자 필요한 데이터에만 접근할 방법이 보였습니다. 키-값 저장소 EVCache에 팩트와 인덱스를 저장하되, 실제 조회 패턴에 맞춰 구성하는 방식입니다. 대량의 데이터를 읽고 걸러 내던 작업을 필요한 팩트의 키를 찾아 읽는 작업으로 바꿨습니다.

멤버 ID로 조회하는 경우가 한 예입니다. 먼저 멤버 ID로 인덱스를 읽어 해당 멤버의 팩트 키를 얻습니다. 그다음 그 키에 해당하는 팩트를 EVCache에서 병렬로 가져옵니다. 학습 데이터의 행마다 저장소를 여러 번 호출해야 하지만, Iceberg에서 수백 배 많은 데이터를 스캔하는 것보다는 빨랐습니다. 용도에 따라 EVCache 쿼리는 Iceberg보다 3배에서 50배 빠른 성능을 보였습니다.

속도에는 비용이 따랐습니다. EVCache는 Iceberg 저장소보다 비싸기 때문에 저장량을 제한해야 했습니다. EVCache에 없는 데이터를 요청하면 Iceberg로 돌아가 조회합니다. 모든 팩트를 EVCache에 두겠다는 목표는 저장 방식을 더 최적화한 뒤에야 가능한 과제로 남았습니다.

쿼리 최적화 앞에서 단순해진 로깅 클라이언트

조회 방식을 바꾸는 동안 데이터를 기록하는 쪽의 설계도 다시 판단해야 했습니다. Axion의 팩트 로깅 클라이언트는 처음부터 단순하지 않았습니다. 첫 버전은 팩트 중복을 제거해 저장 공간을 줄였고, 팩트마다 다른 압축 방식을 적용해 네트워크 I/O도 아꼈습니다.

문제는 뒤늦게 드러났습니다. 로깅 단계에서 이미 최적화한 탓에 쿼리 성능을 개선할 때 활용할 데이터와 메타데이터가 부족했습니다. 팀은 로거를 단순하게 바꿨습니다. 모든 팩트와 메타데이터를 비동기로 protobuf 하나에 모으고, 압축해서 Keystone 메시징 서비스로 보내도록 했습니다. 쿼리 성능과 데이터 품질, 저장 공간을 조정하는 실험은 ETL에서 진행했습니다.

Keystone을 고른 이유에도 운영상의 판단이 들어 있습니다. 사용하기 쉽고 안정적이며 확장할 수 있을 뿐 아니라, 여러 클라우드 리전의 팩트를 한 AWS 리전으로 모아 줍니다. 한 리전에 모으면 단일 장애점이 생깁니다. 그래도 ETL 파이프라인의 운영 부담을 크게 줄일 수 있어 감수할 만하다고 판단했습니다.

모든 팩트는 Keystone 스트림 하나를 거쳐 Iceberg 테이블 하나로 들어가도록 구성했습니다. 수평 확장을 위해 스트림을 여러 개로 나누는 것은 이후 계획이었습니다. 로깅 클라이언트, ETL, 쿼리 클라이언트, 데이터 품질 인프라로 이뤄진 Axion에서 각 부분을 얼마나 복잡하게 만들지 정하는 일도 저장 형식을 고르는 일만큼 오래 이어졌습니다.

읽지 않는 팩트까지 살피는 품질 점검

쿼리가 빨라도 데이터가 틀리면 연구자는 Axion을 믿을 수 없습니다. 손상이 Axion 안에서 시작됐는지, 외부 컴포넌트에서 발생했는지는 연구자에게 중요하지 않습니다. Axion에서 읽은 데이터가 잘못됐다면 신뢰를 잃는 대상도 Axion입니다. 데이터 손상은 프로덕션 모델 성능과 A/B 테스트 결과에도 큰 영향을 줄 수 있었습니다.

그래서 품질 점검은 Axion 안팎을 모두 대상으로 삼았습니다. 값이 빠졌는지, 의도하지 않은 새 값이 생겼는지, 다른 값으로 바뀌었는지를 살폈습니다. 영향이 행 단위인지 열 단위인지, 한 파이프라인에 그치는지 여러 ML 파이프라인으로 퍼지는지도 구분했습니다. 발생 지점 역시 외부 컴포넌트, Axion 내부 컴포넌트, 저장된 상태의 데이터로 나눴습니다. 어느 한 방식만으로 이 범위를 모두 검사할 수는 없었습니다.

매일의 추세와 어긋난 기록량

Axion에 들어오는 데이터량에는 예측할 수 있는 추세가 있습니다. 어떤 컴퓨트 애플리케이션은 매시간 기록하고, 어떤 애플리케이션은 하루 중 몇 시간만 기록합니다. 전체 레코드 수나 애플리케이션별 기록량, 팩트 수를 집계하면 평소와 다른 흐름을 찾을 수 있습니다.

검사는 규칙을 따릅니다. 집계 결과가 과거 추세를 기준으로 정한 임계값을 벗어나면 경보를 보냅니다. 데이터 누락이나 의도하지 않은 새 데이터, 행과 파이프라인 수준의 영향을 찾는 데 유용했습니다. 열 수준의 손상까지 잡아내는 경우는 드물었습니다.

같은 표본으로 비교하는 카나리

새 코드를 배포할 때는 데이터가 의도치 않게 바뀌었는지도 확인해야 합니다. 이를 위해 멤버 ID 해시로 예측 가능하게 고른 소량의 데이터를 별도 테이블에 저장했습니다. 여러 저장소와 파이프라인에서 같은 기준으로 표본을 고르면 작은 데이터셋으로 카나리를 실행하고 결과를 빨리 받아 볼 수 있습니다.

카나리 출력을 프로덕션 출력과 비교하면 속성값의 추가·누락·대체, 열 단위의 변화, 단일 파이프라인의 문제를 발견하는 데 도움이 됩니다. 표본의 한계는 남습니다. 손상 비율이 샘플링 비율보다 훨씬 낮으면 드문 문제를 놓칠 수 있습니다.

가끔 당첨되는 무작위 점검

집계와 일관된 샘플링으로 대부분의 손상을 찾았지만, 가끔은 둘 다 놓쳤습니다. 그 빈틈에는 무작위 조회를 사용했습니다. 매시간 여러 번 데이터 일부를 골라 읽되, 최근 데이터와 오래된 데이터를 모두 대상으로 삼았습니다. 정상적으로 통과해야 할 쿼리가 실패하면 데이터 손상이나 인프라 문제를 의심할 수 있습니다.

팀이 붙인 이름은 “I’m feeling lucky” 전략입니다. 운에 기대는 듯한 이름이지만, 손상 비율에 비해 충분히 많은 데이터를 읽는 한 효과가 있었습니다.

이 점검은 아직 쓰이지 않는 팩트에도 의미가 있습니다. 사용자가 실제로 읽는 것은 Axion에 기록된 팩트 중 작은 일부입니다. 지금 읽지 않는 팩트도 나중에는 필요할 수 있으므로, 사용자가 조회하지 않는 동안에도 품질을 지켜야 했습니다. 무작위로 팩트를 읽는 파이프라인은 예상과 다른 출력이 나오면 경보를 보냅니다. 팀은 이 점검을 복권에 빗댔습니다. 가끔 당첨되지만 그 당첨이 얼마나 클지는 알 수 없습니다.

이 체계를 배포한 뒤 2년 넘게 데이터 문제의 95% 넘게를 조기에 발견했고, 고객 파이프라인의 안정성도 크게 좋아졌습니다. 데이터 품질 체계의 자세한 내용은 Spark Summit 발표와 팟캐스트에서도 다뤘습니다.

고객이 늘기 전에 바꿔야 할 설계

로깅 클라이언트에서 먼저 비용을 줄이려던 시도는 이후 설계에 교훈을 남겼습니다. 팀은 처음에는 저장·네트워크·컴퓨트 비용을 치르더라도 단순하게 시작하고, 고객이 제품을 채택한 뒤 최적화하는 편을 택해야 한다고 봤습니다. 실제 고객이 쓰기 시작하면 새로운 사용 사례가 나오는데, 이미 복잡해진 설계로는 이를 지원하기 어려웠기 때문입니다.

단순함이 모든 컴포넌트의 기능을 줄인다는 뜻은 아니었습니다. 로깅 클라이언트에는 최소한의 비즈니스 로직만 있으면 됐지만, 쿼리 클라이언트에는 풍부한 기능이 필요했습니다. 복잡도를 피할 수 없다면 가능한 한 적은 수의 컴포넌트에 모으는 것이 팀이 얻은 교훈입니다.

테스트에는 더 일찍 투자했어야 했습니다. 단위·통합 테스트만으로는 충분하지 않았고, 확장성과 성능을 시험하는 프레임워크가 시스템을 안정시키는 데 도움이 됐습니다. 그 체계를 갖추지 못했을 때는 수습에 몇 주가 걸리는 문제도 겪었습니다.

데이터 마이그레이션과 호환성을 깨는 API 변경 역시 가능한 한 일찍 진행해야 한다고 판단했습니다. Axion을 쓰는 고객이 늘수록 변경은 더 어려워졌습니다. 새 사용 사례를 지원할 여지를 남기는 일과 이미 쓰는 고객에게 변경을 적용하는 일은 함께 고려해야 했습니다.

아직 Axion이 잘 지원하지 못하는 밴딧

Axion은 모든 개인화 ML 모델이 오프라인 피처 생성에 폭넓게 쓰는 주요 데이터 소스가 됐습니다. 학습·서빙 편차를 없애고 피처 생성 지연을 크게 줄인 경험을 바탕으로, Netflix는 다른 ML 용도에서도 Axion을 기본 팩트 스토어로 삼아 가고 있었습니다.

그 범위를 넓히려면 데이터 모델에도 변화가 필요했습니다. 밴딧처럼 현재 설계로 잘 지원하지 못하는 사용 사례가 남아 있었기 때문입니다. Axion은 행마다 맵 하나만 허용하므로, 컴퓨트 애플리케이션이 같은 키에 여러 값을 기록해야 할 때 제약이 생깁니다. EVCache에 더 많은 데이터를 담기 위한 저장 방식 최적화와 함께 남은 과제였습니다.

쿼리 성능과 데이터 품질 수치
항목값
피처 재생성 시간몇 시간(피처 로깅은 몇 주)
단일 Iceberg 테이블 쿼리의 필터 효과수억 행에서 극단적으로 100만 행 미만
EVCache 쿼리 속도용도에 따라 Iceberg의 3배에서 50배
데이터 문제 조기 발견 비율95% 이상(배포 후 2년 넘게)
무작위 샘플링 조회매시간 여러 번
마지막 수정 일자