목차
조용한 데이터 누락을 찾아내는 Uber의 자동 감시 시스템 D3 (2023-02)
원문 정보
- 원문: D3: An Automated System to Detect Data Drifts
- 매체 · 게시일: Uber Engineering Blog · 2023-02-23
- 저자: Anshal Shukla(Senior Staff Engineer, Data Intelligence), Kousik Nath(Senior Engineer, Data Intelligence), Nipun Vats(Engineer, Data Intelligence), Vineeth Tatipathri(Engineer, Data Intelligence), Dinesh Jagannathan(Staff Engineer, Data Intelligence)
- 원문 내용을 바탕으로 재구성한 요약입니다.
요금 구성요소 X가 빠진 45일
발견까지 45일이 걸렸습니다. 미국 주요 도시 세션의 10%에서 요금 구성요소 X가 데이터셋에 기록되지 않았는데, 데이터 과학자 한 명이 직접 살펴본 뒤에야 문제를 알아챘습니다. 원인은 요금 로깅 방식을 바꾼 앱 실험이었습니다.
이 데이터셋은 요금 모델의 학습 데이터입니다. 요금에는 할증과 통행료 같은 구성요소가 있고, 승객이 각 항목에 보이는 반응과 운행 전환율이 모델의 입력으로 들어갑니다. 특정 요금 구성요소를 포함한 세션의 비율은 경영진과 글로벌 운영 조직이 마켓플레이스 상태를 판단할 때도 쓰는 지표입니다.
피해를 가늠하려고 요금 데이터 과학 팀은 실제 장애의 오염된 데이터를 재현하는 시뮬레이션 프레임워크를 만들었습니다. 세션 30%의 요금 구성요소를 오염시키자 모델 성능이 떨어지면서 incremental gross booking이 0.23% 줄었습니다. 팀은 이 결과를 바탕으로, 주요 도시에서 세션 10%가 45일 동안 오염된 사고의 매출 손실을 수백만 달러로 추산했습니다.
이처럼 조용한 장애가 더 큰 손실을 남깁니다. 지표나 모델에서 변화가 뚜렷하게 드러나지 않아 몇 주, 몇 달 뒤에야 발견하고, 그동안 잘못된 판단과 모델 성능 저하가 이어지는 문제입니다. Uber에서는 데이터 품질 문제가 잘못된 요금이나 ETA로 이어지며, 뒤늦게 원인을 추적하느라 데이터 과학·데이터 엔지니어링·제품 엔지니어링 팀의 시간까지 소모합니다.
통째로 사라진 데이터보다 늦게 드러나는 부분 누락
Uber는 2022년 데이터 장애에서 접근 제어와 쿼리 계층 문제처럼 데이터 품질과 무관한 사례를 제외하고, 데이터가 전부 빠진 경우와 일부만 빠진 경우를 나눴습니다. 전부 빠지는 장애는 주로 ETL 파이프라인이나 Spark, YARN, Hive 같은 인프라에서 발생해 비교적 발견하고 고치기 쉽습니다. 부분 누락은 달랐습니다. 평균 감지 시간(TTD)이 ETL·인프라 장애의 5배였습니다. D3의 목표는 부분 누락도 그만큼 빨리 알아채는 것입니다.
누락을 만드는 변화는 여러 곳에서 시작합니다. 새 기능이나 실험으로 로그 스키마에서 필드가 빠지거나 필드의 의미가 달라지고, 상류 ETL의 조인을 잘못 바꾸면 행이 사라집니다. 서비스 버그나 대규모 마이그레이션 때문에 로깅이 멈추기도 합니다. Uber가 품질을 통제하지 못하는 서드파티 데이터 소스도 원인 중 하나입니다.
모든 원인을 같은 방식으로 감지할 수는 없었습니다. 그래도 장애별로 어떤 테스트가 효과를 냈을지 분석하니, 컬럼 값의 드리프트를 검사하는 테스트로 거의 50%를 잡을 수 있었습니다.
이때 모니터는 컬럼의 변화를 찾기 위해 집계한 통계값입니다. null·false 비율, 백분위수(P1, P50, P75, P99), 평균·중앙값·표준편차, 고유값 수 등이 해당합니다. null 비율의 변화는 누락을 드러내고, 숫자 컬럼의 백분위수가 급변하면 그 컬럼의 의미가 바뀌었을 가능성을 살필 수 있습니다.
컬럼 하나만 보고 끝낼 일도 아닙니다. trips 테이블과 기준 데이터인 SOT 테이블의 운행 수가 일치하는지 확인하는 외래 키(FK) 테스트가 필요했습니다. 범주형 컬럼에서는 고르게 분포하던 X, Y, Z 가운데 X의 비중만 갑자기 커지는 변화도 감시 대상입니다.
사용 이력으로 모니터를 고르는 D3
이 모니터들을 사람이 모두 설정하려면 수천 인주가 드는 규모입니다. 정적 임계값은 추세가 변하는 Uber의 데이터를 따라가지 못하고, 데이터셋마다 따로 만든 테스트로는 페타바이트 규모를 감당하지 못합니다. 새 컬럼과 스키마 변경을 따라가면서 수백 개 도시의 모니터까지 일일이 설정하는 일도 불가능합니다.
D3(Dataset Drift Detector)는 이 작업을 자동화한 시스템입니다. 오프라인 사용 이력에서 중요한 컬럼을 골라 모니터를 붙이고, 도시나 앱 버전별로 변화를 살피며, 알림 임계값도 자동으로 예측합니다. 데이터셋 소유자는 설정을 거의 또는 전혀 입력하지 않아도 됩니다.
D3 안에서는 컴퓨트 계층이 통계를 계산하고 이상 탐지가 예측 한계를 구합니다. 오케스트레이터는 이 작업들의 실행과 데이터 플랫폼 연동을 관리하는 서비스입니다.
몇 초 만에 끝나는 데이터셋 등록
이전에는 데이터셋 하나에 모니터 100개 이상을 붙이려고 소유자에게 정보를 확인하고 수동으로 설정하느라 며칠씩 걸렸습니다. D3는 사용량 기준 상위 X% 컬럼을 가져와 데이터 타입에 맞는 모니터를 고르고, 기본 모니터 종류와 차원 매핑을 설정합니다. 등록에 걸리는 시간은 몇 초입니다.
지원 조건은 분명합니다. 날짜 파티션이 YYYY-MM-DD 형식이고 최소 하루 한 번 갱신되는 데이터셋이 대상입니다. 늦게 도착하는 데이터는 T-X 파티션에서 D3를 실행하도록 처리합니다. 이 범위에서 온보딩은 완전히 자동화된 원클릭 작업이 됐습니다.
스키마 변경을 따라가는 오케스트레이터
데이터셋 소유자가 D3 테스트를 만드는 곳은 사내 포털 Databook입니다. 데이터셋과 컬럼, 리니지, 품질 테스트를 여기서 확인하며, 테스트의 정의·실행·유지·알림은 중앙 시스템인 UDQ(Unified Data Quality)가 담당합니다. 같은 데이터 플랫폼에서 Michelangelo는 실시간 예측에 쓸 ML 모델을 배포하는 역할입니다.
오케스트레이터는 이 데이터 플랫폼과 D3 사이를 연결합니다. 차원, 집계기, 지원 모니터 종류, 제외 컬럼, 파티션 정보를 데이터셋별로 관리해 어떤 모니터를 정의할 수 있는지 정합니다. 모니터 정보를 조회하고 upsert하는 창구는 gRPC 엔드포인트입니다.
등록 뒤의 변경도 관리 대상입니다. 오케스트레이터는 프로파일링부터 통계 계산, 이상 탐지, 플랫폼 상태 갱신까지 진행하면서 스키마 변경을 반영하고 예약 실행과 임의 실행을 지원합니다. 차원이나 집계기 같은 메타데이터, 임계값이나 모니터 종류 같은 속성이 바뀌면 모니터와 통계도 새로 갱신합니다.
Databook에서 이 기능을 쓰도록 UDQ의 범용 API 계약도 구현했습니다. 등록할 모니터를 추천하는 Suggest Test, 테스트를 관리하는 CRUD API, 과거 통계를 재계산하는 Backfill Test가 그 연결 지점입니다.
전체 통계에 가려진 도시와 앱 버전
일부 도시의 데이터가 잘못돼도 전체 통계는 거의 움직이지 않을 수 있습니다. 새 앱 버전이나 특정 도시 출시 과정에서 생긴 버그가 그런 사례입니다. 해당 도시의 사용자에게는 문제가 생겼는데 전체 데이터에서는 드리프트가 보이지 않는다면, 감시 범위를 더 잘게 나눠야 합니다.
D3는 city_id 단일 차원과 앱 버전·기기 OS의 조합으로 통계를 나눕니다. 차원을 늘리는 데는 비용이 따릅니다. 카디널리티가 높아질수록 계산량이 커지고, 각 조각의 표본이 적어지면 오탐 위험도 높아지므로 당시에는 이 고정된 조합만 지원했습니다.
통계 계산은 데이터셋마다 실행하는 범용 Spark 작업이 맡습니다. 처음 등록할 때 한 번 실행하는 데이터 프로파일러는 과거 90일의 컬럼 통계를 계산하며, 이 결과가 이상 탐지 모델의 학습 데이터입니다. 이후에는 매일 최신 하루의 통계를 구하고, 이상 탐지 알고리즘이 예측한 임계값과 비교해 드리프트를 판정합니다.
모니터의 구현 단위는 Jinja로 작성한 SQL 템플릿입니다. Spark 애플리케이션이 데이터셋 설정을 읽어 실제 SQL을 만들고, 결과를 Hive의 D3 통계 테이블에 저장합니다. 설정에는 감시할 컬럼과 null·false·zero 비율, 25·50·75 백분위수, 평균, 표준편차 같은 모니터 종류를 지정합니다.
새 모니터도 Jinja 템플릿으로 추가합니다. 한 번 추가하면 다른 데이터셋에서도 같은 모니터를 쓸 수 있는 방식입니다. 모니터마다 필터가 필요하면 WHERE 절에 들어갈 유효한 Hive SQL 표현식을 지정합니다.
Prophet 예측에 더한 보수적인 알림 경계
통계를 모아도 알림 기준을 사람이 계속 고쳐야 한다면 운영 부담은 남습니다. 기존 Uber의 데이터 관측은 정적 임계값을 넣은 수작업 SQL 테스트에 의존했고, 데이터 추세가 달라질 때마다 기준을 재조정해야 했습니다. D3는 임계값을 자동으로 예측하되 오탐을 줄이도록 모델의 정밀도를 높이는 방향을 택했습니다.
모델을 연결하는 창구는 범용 UDF 인터페이스입니다. 시계열을 입력받아 모니터 값의 예측 한계를 반환하도록 각 모델이 구현하면, 사용자는 내부 동작을 몰라도 모델을 선택하도록 설계했습니다. 기본 모델인 Prophet은 이동평균보다 발전된 비선형 회귀 모델로, 추세와 계절성 변화를 자동으로 따라가며 비교적 적은 학습 데이터로도 동작합니다.
예측 한계와 알림 한계는 구분합니다. 모델이 낸 기본 한계를 그대로 쓰면 오탐이 많아질 수 있어, D3는 더 보수적인 알림 한계를 별도로 적용합니다. 이 한계 역시 고정값이 아닙니다. 기본 예측 한계의 함수로 함께 변하는 기준입니다.
실제 이상 데이터가 이후 예측을 왜곡하는 문제는 사용자 피드백으로 처리합니다. 사용자가 알림을 실제 이상으로 표시하면 그 데이터 포인트를 향후 예측에서 제외합니다. 원래부터 값이 심하게 튀는 시계열은 별도 진단 작업의 대상입니다. 예측 오차율이 높은 시계열을 찾아 해당 모니터의 알림을 끄는 방식으로 반복되는 오탐을 줄입니다.
10만 개 모니터를 감당하는 Spark 작업
자동화하더라도 계산량은 남습니다. Uber에는 tier 1 데이터셋이 1,000개 넘게 있고, 데이터셋당 컬럼은 평균 50개 이상입니다. 감시할 컬럼에 모니터 종류를 최소 둘씩 붙이고 차원 하나와 집계기 하나까지 적용하면 데이터셋당 모니터가 100개 이상, 전체로는 10만 개 이상이 될 수 있습니다. 프로파일러와 일일 작업의 자원 사용량, 여러 경로에서 들어오는 중복 재계산 요청을 줄여야 했습니다.
여러 모니터의 계산을 합친 SQL 템플릿
모니터마다 쿼리를 실행하면 Spark 작업 하나에 쿼리가 100개 이상이고, 회사 전체로는 수백만 건입니다. Uber는 projection, grouping, filtering 표현식에 따라 쿼리를 고정된 논리 템플릿 몇 개로 묶었습니다. 여러 모니터의 계산을 합쳐 셔플과 데이터 이동을 줄이는 방식입니다.
데이터셋당 쿼리는 200개 이상에서 8개로 줄었습니다. 파싱과 셔플이 감소하면서 자원 소비는 100배 개선됐고, 데이터셋당 평균 계산 비용은 1.5달러에서 0.01달러로 내려갔습니다.
과거 데이터를 처음 훑는 프로파일러에도 병목이 있었습니다. 하루 데이터가 1TB를 넘는 데이터셋에서 90일 이상의 이력을 계산하는 작업입니다. 이를 작은 덩어리로 나눠 병렬 실행해 단계별 셔플을 줄였고, Spark 파라미터도 조정해 대용량 데이터셋을 적정 자원으로 프로파일링하도록 했습니다.
데이터셋마다 하나로 모으는 재계산 요청
재계산 요청은 여러 경로로 들어옵니다. 모니터를 새로 만들거나 수정할 때, 사용자가 임의로 다시 실행할 때, 실제 장애를 수정하고 백필할 때입니다. 특히 마지막 경우에는 원본 데이터를 복구한 뒤 통계와 임계값도 다시 구해야 합니다. 각 요청을 곧바로 실행하면 같은 데이터를 반복 처리하게 됩니다.
D3는 요청을 모아서 실행합니다. Piper 작업이 2시간마다 오케스트레이터의 트리거 핸들러 엔드포인트를 호출하면, 핸들러는 대기 요청을 데이터셋당 하나의 트리거로 합칩니다. 해당 데이터셋의 통계 파이프라인이 이미 실행 중이라면 새로 시작하지 않습니다.
평균 2일로 짧아진 장애 감지 시간
계산한 통계와 동적 임계값은 Hive 통계 테이블에 남습니다. 이 테이블이 데이터 품질 검증과 데이터셋 완전성 가동률을 표시하는 근거입니다. 통계가 임계값을 벗어나면 Databook 모니터링 서비스와 PagerDuty 온콜로 알림을 보내며, Databook에 연결한 Tableau 대시보드에서는 모니터 값과 데이터셋 알림의 시간별 추세를 확인합니다.
D3 도입 뒤 감시 대상은 tier 1 데이터셋 300개 이상으로 늘었습니다. 감지 시간은 20배 넘게 줄어 평균 2일이 됐고, 마켓플레이스와 요금 데이터셋에서 운영 문제 6건 이상을 감지했습니다. 팩트 테이블에서의 정확도는 95.23%입니다.
발견한 문제에는 상류 변경이나 잘못된 릴리스로 핵심 컬럼이 null이 된 경우, 소스 데이터 손상 때문에 같은 증상이 나타난 경우가 있습니다. 숫자 컬럼에 예상 밖의 값이 급증한 사례도 잡았습니다. 주당 약 1만 3천 번 조회되는 데이터셋에서도 데이터 누락을 발견했습니다.
이 컬럼들은 주요 지표와 승객 행동 분석, 앱에 표시할 요금에 쓰이는 데이터입니다. 팀은 앞서 만든 시뮬레이션을 근거로, 이런 문제를 일찍 발견해 수천만 달러의 추가 매출을 지켰다고 추산했습니다.
날짜 파티션 밖으로 넓히려는 감시 범위
당시 D3에는 감시할 수 있는 데이터의 경계가 있었습니다. 시계열을 추출하려면 날짜 파티션이 필요했으므로, 차원 테이블처럼 파티션이 없거나 다른 방식으로 파티션한 데이터셋은 향후 도입할 계획입니다. 데이터셋별 사용자 지정 차원과 최대 5개 컬럼의 차원 조합도 계획에 포함됐습니다.
ML 모델의 품질에도 적용 범위를 넓히려 합니다. 피처의 드리프트를 감지해 문제가 있는 피처를 걸러내고, 학습 데이터와 온라인 서빙 데이터의 차이를 감시하는 방향입니다. 당시 지원하는 이상 탐지 알고리즘은 Prophet뿐이었으며, ARIMA와 사내 모델은 추가할 수 있는 후보였습니다.
새 모니터와 프로파일링 방식도 남은 과제입니다. 그중 데이터 스케치는 개별 통계값보다 넓은 질문에 답하려는 방식입니다. 데이터 소비자가 여러 스케치를 합쳐 분석하도록 지원하려는 계획입니다.
D3의 규모와 도입 전후 수치
| 항목 | 값 |
|---|---|
| 사례 장애 | 요금 구성요소 X가 주요 미국 도시 세션 10%에서 누락, 수동 발견까지 45일 |
| 오염 영향 시뮬레이션 | 세션 30% 오염 시 incremental gross booking 0.23% 감소 |
| 부분 누락 장애의 TTD | ETL·인프라 장애의 5배 |
| 컬럼 단위 테스트가 잡을 수 있었던 장애 | 거의 50% |
| 모니터 규모 | tier 1 데이터셋 1,000개 이상, 데이터셋당 컬럼 50개 이상, 데이터셋당 모니터 100개 이상, 전체 10만 개 이상 |
| 이력 프로파일링 범위 | 과거 90일, 일일 데이터 1TB 초과 데이터셋까지 지원 |
| 쿼리 최적화 | 데이터셋당 200개 이상에서 8개로, 자원 소비 100배 개선 |
| 데이터셋당 계산 비용 | 1.5달러에서 0.01달러 |
| 온보딩 시간 | 며칠에서 몇 초 |
| 재계산 트리거 배치 주기 | 2시간 |
| 지원 차원 | city_id 단일, 앱 버전과 기기 OS 2차원 조합 (향후 최대 5개) |
| 도입 성과 | tier 1 데이터셋 300개 이상, TTD 20배 이상 단축(평균 2일), 운영 문제 6건 이상 감지, 팩트 테이블 정확도 95.23% |