목차
초당 800만 건의 예측을 감당하는 Uber 피처 로깅 (2026-09)
원문 정보
- 원문: Taming the ML Firehose: Scaling Feature Consistency
- 매체 · 게시일: Uber Engineering Blog · 2026-09-22
- 저자: Paarth Chothani(Staff Software Engineer), Chirag Agrawal(Senior ML Engineer), Amrith M(Senior Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
오류 없이 흔들리는 Uber Eats 추천
Uber Eats 음식 추천 같은 대형 모델에서는 피처 값이 어긋나도 눈에 띄는 오류가 나지 않을 수 있습니다. 가령 언어 피처를 en-US, fr-FR처럼 정해진 값으로 학습했는데 서빙할 때 en이 들어오면, 모델은 학습에서 보지 못한 값을 받습니다. 피처가 주던 신호는 조용히 약해집니다. 분포가 바뀌고 예측도 불안정해집니다.
출처와 계산 경로가 달랐습니다. 온라인 추론에는 user_id와 언어 같은 세션 정보, 음식점 정보, 미리 계산한 클릭·주문 이력이 들어갑니다. 오프라인 학습은 앱 로그, Apache Hive의 ML 피처 테이블, 클릭 로그를 모아 학습 데이터를 만듭니다. 이 오프라인 파이프라인이 구분자를 - 대신 _로 쓰면서 학습 데이터에는 jp_JA, 온라인에는 jp-JA가 들어갔습니다. 서빙에서는 만나지 않을 범주를 모델이 배운 것입니다.
형식만의 문제도 아니었습니다. 서로 의존하는 ETL 작업에서 파티션이 빠지거나 상류 데이터가 바뀌면 학습 데이터의 품질이 조용히 떨어졌습니다. 일부 주요 피처는 운영에서 값이 바뀐 뒤 학습 데이터에 반영되기까지 며칠이 걸렸습니다. 개발자들은 이런 ETL과 신선도 문제를 찾는 데 몇 주씩 써야 했습니다.
다음 학습의 기준이 된 추론 기록
Uber는 모델이 예측에 실제로 쓴 피처를 기록하고, 다음 모델을 학습할 때 그 기록을 읽도록 바꿨습니다. 호출하는 쪽의 변경은 최소한으로 줄였습니다. 추론에서 소비한 값 자체가 학습 데이터가 되므로, 서로 다른 경로에서 계산하던 피처의 일관성을 보장하는 방식입니다.
문제는 기록량이었습니다. 트랜스포머 기반 추천 모델의 트래픽은 약 800만 QPS에 이릅니다. 모든 예측을 남기면 하루 수천억 건, 한 달 5조 행이 쌓입니다. 압축 전 용량만 하루 약 1.7PB입니다. 기본적인 피처만 기록하더라도 온라인 서비스에서 데이터를 보내고 Kafka와 저장소에서 처리하려면, 시간이 지나면서 수백만 달러 규모의 인프라 비용이 드는 계산이었습니다.
노출된 추천을 학습으로 보내는 Flink
먼저 예측 한 건에 담는 내용을 줄였습니다. 클라이언트는 모델이 쓰지 않는 피처까지 보내고 있었습니다. 추론 엔드포인트는 평소처럼 피처를 계산하되, Eats 앱에 결과를 돌려주기 전에 Feature Allow List를 확인해 모델에 필요한 피처만 직렬화하고 Kafka로 보냅니다. 이 허용 목록만으로 페이로드가 4~5배 줄었고 Kafka에 필요한 용량도 작아졌습니다.
이름의 길이도 무시할 수 없었습니다. store_unique_identifier_operational_meal_period_context_key 같은 문자열이 예측마다 반복됩니다. Uber Eats 식당 추천 모델에서 모든 피처를 그대로 보낼 경우 외부 전송률은 초당 약 9.3GiB로 추정됐습니다. 기존 Kafka 클러스터가 감당할 용량을 훌쩍 넘었습니다. 플랫폼은 직렬화할 때 enum을 사용해 각 피처 이름을 정해진 정수 ID로 바꿉니다. 긴 이름을 하루 수십억 번씩 실어 보내는 부담을 줄인 것입니다.
학습에 쓸 예측도 골라야 했습니다. 수천 개 후보를 점수화한 뒤 필터링과 랭킹을 거치면 약 40%가 남습니다. 사용자 기기에 실제로 노출되는 것은 그중 5%뿐입니다. 대부분의 후보는 사용자 앞에 나타나지도 않으므로, 모두 학습용 기록으로 남기면 파이프라인 자원을 낭비합니다.
이 구분을 맡은 것이 Flink입니다. Eats 앱은 사용자가 추천을 보면 노출 이벤트를 보내고, Flink는 이를 Kafka에 먼저 들어온 예측 피처와 조인합니다. 노출 이벤트는 예측보다 몇 분 늦게 도착하기도 하므로 시간 창을 두고 조인해야 합니다. 세션에서 노출까지 걸리는 시간을 분석해 보니 90번째 백분위수를 포함하는 데 몇 분짜리 창이면 충분했습니다. 이 범위에 맞춰 메모리에 유지할 데이터를 줄였습니다.
조인을 마친 레코드에는 서빙 때의 정확한 피처와 사용자 반응이 함께 들어 있습니다. 다른 Kafka 토픽을 거쳐 오프라인 저장소에 도착하면 곧바로 학습에 쓸 수 있는 형태입니다. 피처와 결과가 이미 연결돼 있어 값비싼 오프라인 피처 조인을 피하고 학습과 서빙의 차이도 줄입니다.
Kafka 전송 전에 원소로 풀어낸 트랜스포머 배열
트랜스포머 모델에서는 피처의 모양부터 달랐습니다. 가게별 단일 행 대신 store_uuid: [taco_store, McD, burger_store...] 같은 가게 목록을 포함한 다차원 배열로 기록합니다. 이런 배열은 Kafka 페이로드 한도에 부담을 주고, 노출 필터링 잡에서 가게별로 워터마크를 관리하는 일도 어렵게 만듭니다.
시스템은 리플렉션 캐시로 모델 구조를 살펴 배열 피처를 찾습니다. 그런 다음 배열을 원소 단위로 풀어, 배열이 아닌 키-값 레코드로 Kafka에 보냅니다. 이 형태라면 트랜스포머를 쓰지 않는 기존 모델의 로그와 새 시퀀스 로그를 함께 다음 세대 모델의 학습에 사용할 수 있습니다. 늘어난 데이터는 여러 Kafka 클러스터에 라운드 로빈으로 분산합니다.
시간당 12TB를 넘긴 Flink 체크포인트
노출 필터링 잡의 한계는 계산량에만 있지 않았습니다. RocksDB를 상태 저장소로 쓰고 기본 체크포인트 설정을 적용하자 체크포인트가 시간당 12TB 넘게 늘었습니다. 클라우드 제공자에 쓰는 작업이 실패하기 시작했습니다. 트래픽이 커질수록 RocksDB 상태 처리가 지연에서 차지하는 비중도 커져 주된 지연 요인이 됐습니다.
Uber는 상태를 관리하는 방식을 바꿨습니다. 필요한 메타데이터만 남기고, 조인이 끝난 레코드는 즉시 상태에서 제거했습니다. 들어오는 데이터의 중복을 없애고 보존 기간도 세밀하게 조정했습니다.
병렬도 역시 일괄적으로 높여서는 병목이 풀리지 않았습니다. 연산자마다 확장 특성이 달랐기 때문입니다. 큰 튜닝에 앞서 출력률, 시간 창 분포, 파이프라인 동작을 볼 지표를 갖추고 연산자별로 프로파일링해 따로 조정했습니다. 최종 병렬도는 조인 이전 연산자 512, 조인 연산자 768입니다. 노출 필터링 처리량을 높이기 위한 설정이었으며, 768은 당시 Uber가 배포한 Flink 병렬도 가운데 가장 큰 값이었습니다.
작은 변경도 쌓였습니다. 객체 재사용, 타입이 있는 페이로드, 설정 캐싱, 직렬화 감소를 적용하면서 CPU와 가비지 컬렉션 부담이 낮아졌고, 소비자 지연 피크는 약 70% 줄었습니다. 변경을 검증하고 되돌릴 수 있도록 자동 롤백, alerts-as-code, 결정적 검증 쿼리, 운영 환경을 본뜬 테스트 환경도 마련했습니다.
같은 날짜의 데이터로 다시 학습한 모델
새 로그가 충분히 쌓이고 데이터 검증을 마치면 학습 테이블을 만들고, 이 테이블로 운영 모델을 학습합니다. 비교 조건도 맞춥니다. 같은 날짜의 기존 ETL 테이블로 운영 모델을 다시 학습해 새 데이터로 학습한 모델과 비교합니다. AUC와 MAP 같은 지표에서 새 모델이 동등하거나 더 나은 성능을 보여야 다음 실험의 후보 모델 학습으로 넘어갑니다.
검색과 여러 랭킹 모델에 적용한 뒤, 이전에 10% 넘게 어긋나던 주요 피처의 불일치율은 0%가 됐습니다. 우선순위가 높은 피처 상당수의 신선도 SLA도 며칠에서 몇 시간으로 줄어 모델을 더 빠르게 개선할 수 있게 됐습니다. 허용 목록과 이름 최적화, 선택적 노출 로깅으로 로깅 부담을 줄인 결과 인프라 비용은 낮아졌고 파이프라인 신뢰성도 나아졌습니다.
원문의 규모와 설정 수치
| 항목 | 값 |
|---|---|
| 예측 트래픽 | 초당 800만 QPS |
| 전량 로깅 시 레코드 | 하루 수천억 건, 한 달 5조 행 |
| 압축 전 저장량 | 하루 약 1.7PB |
| 모든 피처 전송 시 외부 전송률 | 초당 약 9.3GiB |
| 필터링 후 남는 후보 / 노출 비율 | 약 40% / 그중 5% |
| Feature Allow List 효과 | 페이로드 4~5배 감소 |
| Flink 병렬도 | 조인 이전 512, 조인 768 |
| 기본 체크포인트 증가량 | 시간당 12TB 초과 |
| 소비자 지연 피크 | 약 70% 감소 |
| 핵심 피처 불일치율 | 10% 초과에서 0% |