목차
Tier1 서빙 장애에서 출발한 Palette 메타 스토어 재설계 (2024-01)
원문 정보
- 원문: Palette Meta Store Journey
- 매체 · 게시일: Uber Engineering Blog · 2024-01-18
- 저자: Paarth Chothani(Staff Software Engineer), Dehua Lai(Senior Software Engineer, Feature Store), Nicholas Marcott(Staff Software Engineer, TLM, Feature Store), Chunhao Zhang(Senior Software Engineer, Feature Store), Xiyuan Feng(Software Engineer, Feature Store), Victoria Wu(Senior Software Engineer, Feature Store)
- 원문 내용을 바탕으로 재구성한 요약입니다.
부팅에 실패한 Palette 온라인 서빙
2021년, 잘못된 메타데이터 변경이 Palette에 반영되면서 주요 Tier1 사용 사례의 온라인 서빙이 멈췄습니다. 부팅부터 실패했습니다. 스키마 검증을 통과해서는 안 될 변경이 들어왔고, 온라인 서빙은 그 메타데이터를 읽지 못했습니다.
검증 스크립트는 있었습니다. 고객이 메타데이터를 수정하는 FeatureSpec 저장소에 들어 있었고, 클라이언트 쪽에서 실행됐습니다. 문제는 검증 코드를 고쳐도 모든 고객에게 바로 적용되지는 않는다는 점이었습니다. 고객이 최신 코드로 리베이스하지 않은 채 변경을 올리면 새 검증을 거치지 않았습니다. 그렇게 잘못된 메타데이터가 마스터에 병합됐고, 나중에 마스터로 리베이스한 고객들은 빌드 실패를 겪었습니다.
되돌리는 일도 느렸습니다. 온라인 서빙에는 변경분만 반영하는 기능이 없어서 피처 그룹 하나를 고쳐도 수백 개 전체를 갱신했습니다. 롤백에도 같은 부담이 생겼고, 장애를 해결하는 데 몇 시간이 걸렸습니다. 오프라인 경로도 작은 수정마다 저장소 전체를 다시 처리했습니다. FeatureSpec에 변경이 반영된 뒤 메타데이터 업데이트가 끝날 때까지 한 시간 넘게 기다려야 했습니다.
검증의 빈틈은 학습 시점까지 이어졌습니다. 병합 전에 실제 Hive 테이블의 스키마를 확인하는 빌드 작업이 없었으므로, 고객이 Palette 테이블을 만들면서 필수 컬럼을 빠뜨려도 학습할 때에야 실패를 발견했습니다. Feature Engine 온콜은 고객의 변경을 지원하는 데 시간 대부분을 쓰고 있었습니다. 복잡한 업데이트 절차와 자동 검증의 부재가 데이터 손실, 빌드 실패, 지원 요청으로 이어지는 상황이었습니다.
학습과 예측의 설정을 맡은 Palette Metastore
Palette는 Michelangelo의 피처 스토어입니다. 모델의 입력 데이터인 피처를 우버의 데이터 저장소에서 찾아 쓰려면, 쓸 만한 피처를 고르는 것부터 생성 파이프라인 구축, 실시간 계산, 학습·예측 데이터의 일치 보장, 모니터링까지 해결해야 합니다. Palette는 우버에 특화된 피처를 선별하고 여러 팀의 기여를 모아 이 작업을 줄입니다. 피처 생성과 배포 파이프라인을 자동으로 만들고, 배치와 준실시간 계산을 지원합니다.
이미 계산해 둔 도시·기사·승객 피처뿐 아니라 EATs, 사기 탐지, Comms 팀의 맞춤 피처도 들어 있습니다. 재사용도 가능합니다. 접근 권한이 허용하는 범위에서 다른 팀이 관리하는 피처를 가져다 쓰거나, 필요한 피처를 직접 만들어 모델에 넣습니다.
Palette Metastore가 관리하는 것은 이 피처들의 메타데이터입니다. 피처를 찾고 만들고 폐기하는 일, 오프라인 학습과 온라인 서빙을 설정하는 일이 모두 여기에 연결됩니다. 소유자와 변경 이력부터 백필, 생성 파이프라인의 스케줄, 학습 데이터의 HDFS 위치까지 담습니다. 온라인에 복사할 피처와 Cassandra 데이터베이스, Spark 설정, 조인 키, 업스트림 데이터에서 피처를 만드는 SQL도 관리 대상입니다. 메타데이터 변경은 오프라인 서빙에서 온라인 서빙 캐시로 전파되고, ETL과 학습 시스템에서도 쓰입니다.
피처 그룹과 Cassandra를 연결한 Palette 객체 모델
재설계에서는 여러 서비스에 흩어져 있던 온라인 서빙 메타데이터를 Palette 메타데이터 저장소에 모았습니다. 저장할 대상의 정의도 분명히 했습니다. proto로 정의한 객체 모델은 피처 자체와 저장소 설정, 온라인 서빙 단위를 구분하고 그 관계를 표현합니다.
피처를 묶는 단위는 FeatureGroup입니다. 스트리밍·배치 피처를 모은 논리 테이블로, Hive 테이블의 일간 스냅샷이나 온라인 서빙용 Cassandra를 기반으로 합니다. 그 테이블의 컬럼 하나가 Feature입니다. FeatureGroup에는 OnlineSpec, OfflineSpec, ComputeSpec이 있으며, OnlineSpec의 Snapshot Backing에는 Cassandra나 Hive가 연결됩니다.
저장소에 테이블을 만드는 설정은 Dataset에 둡니다. Cassandra라면 keyspace, 파티션 키, 클러스터 키 등이 여기에 해당합니다. Dataset과 온라인 서빙 그룹이 참조하는 기반 저장 기술은 Storage로 표현합니다.
온라인에서 피처를 제공하는 단위는 FeatureServingGroup입니다. 처리량과 지연에 관한 SLA를 보장하며, Cassandra·Redis 클러스터 같은 Storage의 모음과 FeatureGroup을 Dataset에 연결하는 라우팅 맵을 가집니다. 아주 큰 사용 사례에서는 Cassandra 클러스터 여러 개가 한 서빙 그룹에 들어가는 경우가 흔합니다. Inference Server는 Michelangelo 프로젝트의 모델별 서빙 메타데이터를 담고, Palette Service는 모델 없이 피처 값을 가져오는 데 필요한 서빙 메타데이터를 담습니다.
고객과 온콜이 나누어 관리하는 파일
저장소의 파일도 관리 주체에 맞춰 나눴습니다. 고객은 오프라인 관련 파일을 관리하고, Michelangelo 온콜은 온라인 서빙 관련 파일을 맡습니다.
| 파일 | 담는 내용 |
|---|---|
| Description.json | OfflineSpec에 해당하는 오프라인 서빙 설정, 소유자, 알림 |
| Features.json | Feature CRD 스키마를 따르는 피처 메타데이터 |
| OnlineServing.json | 온라인 서빙 메타데이터 |
| HQL | 피처 생성에 쓰는 Hive 쿼리 |
이렇게 온라인 서빙 설정을 정돈한 효과는 Cassandra 클러스터를 옮길 때 드러났습니다. 온콜이 어느 피처 그룹을 어느 Cassandra에서 서빙하는지 찾아 헤매지 않아도 됐습니다. 클러스터 이전 시간은 90% 줄었습니다.
서버 검증을 거쳐 ObjectConfig로 가는 변경분
검증은 서버로 옮겼습니다. 저장소의 메타데이터 업데이트가 서버 검증을 거쳐 오프라인 서빙 시스템에 등록되고, 온라인 서빙 캐시와 서빙 스택으로 전파되도록 바꿨습니다. FeatureStore CRD 자체의 검증뿐 아니라 CRD 사이의 교차 검증도 강화했습니다.
처리 범위도 줄였습니다. 핸들러는 저장소 전체를 다시 처리하지 않고 변경분을 계산해 오프라인 시스템에 등록합니다. 변경이 UAPI에 반영되면 Kubernetes 기반 컨트롤러가 이를 처리해 가용성이 높은 온라인 서빙 캐시 ObjectConfig를 갱신합니다.
한 시간 넘던 오프라인·온라인 전체 업데이트는 15분으로 줄었습니다. 오프라인 메타데이터 업데이트도 증분 처리 덕분에 몇 시간에서 몇 분 단위로 짧아졌습니다. 피처 그룹의 작은 수정마다 전체 저장소와 수백 개 그룹을 갱신하던 경로를 바꾼 결과입니다.
킬 스위치로 버전을 고르는 메타데이터 래퍼
온라인 서빙의 옛 스키마는 달라진 요구를 더는 감당하지 못했습니다. 새 인터페이스로 옮겨야 했지만, 전환 중에는 기존 메타데이터도 계속 지원해야 했습니다. 이를 위해 메타데이터 래퍼를 두고, 옛 메타데이터를 새 인터페이스 형식으로 변환했습니다.
전환의 정확성은 메모리에서 확인했습니다. Palette 온라인 서빙에 신구 메타데이터를 모두 제공하고, 서빙 프로세스가 실제로 읽어 들인 값을 비교했습니다. 메타데이터 로더가 서빙에 맞게 내용을 변환하므로, 메타데이터 서비스에 저장된 값과 메모리에 올라온 값은 다릅니다. 이 차이를 고려한 비교가 마이그레이션의 정확성을 판단하는 근거가 됐습니다.
문제가 생기면 빠르게 되돌릴 수 있어야 했습니다. 래퍼에 킬 스위치를 두어 서빙 로직에 어느 버전의 메타데이터를 제공할지 선택하게 했습니다. 데이터 형식과 API가 크게 달라지는 전환에서도 공통 API 래퍼가 기존 코드와 새 코드를 연결했고, 그 뒤의 구현은 점진적으로 바꿨습니다.
옛 시스템으로 가는 트래픽이 사라진 시점
메타 스토어 재설계에는 Michelangelo의 Feature Engine 그룹이 1년 넘게 참여했습니다. 결과적으로 Palette 온보딩 배포 시간은 95% 넘게 줄었습니다. 그 결과를 얻기까지는 새 저장소를 만드는 작업뿐 아니라, 고객의 피처와 기존 워크플로우를 빠짐없이 옮기는 과정이 필요했습니다.
전환 중 메타데이터 공백은 자동 동기화 스크립트로 막았습니다. 이전 시스템과 새 시스템 사이에서 피처 메타데이터를 맞추고, 고객이 새 메타 스토어에 피처를 등록할 수 있도록 온보딩 문서를 마련했습니다. 변경 범위는 넓었습니다. Michelangelo의 오프라인 학습, 재학습, 평가, 예측 워크플로우가 모두 영향을 받으므로 기존 시스템 전반을 아우르는 통합 테스트가 필요했습니다. 다운타임과 위험을 줄이기 위한 롤백 계획도 준비했습니다.
전환 여부는 메트릭과 로그로 확인했습니다. 피처 생성 파이프라인과 오프라인 서빙 시스템에서 신구 시스템을 비교하고, 발견한 차이를 기록해 정확성을 검증하는 증거로 삼았습니다. 완전히 옮긴 뒤에도 확인은 이어졌습니다. 옛 시스템으로 더는 트래픽이 들어오지 않는다는 것을 트래픽 메트릭으로 검증했습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 장애 발생 시기 | 2021년 |
| 오프라인·온라인 메타데이터 업데이트 | 한 시간 넘게 걸리던 것이 end-to-end 15분 |
| Palette 온보딩 배포 시간 | 95% 이상 감소 |
| Cassandra 클러스터 이전 시간 | 90% 감소 |
| 재설계 기간 | Feature Engine 그룹이 1년 이상 |