목차
DynamoDB에서 LedgerStore까지 1조 건의 무중단 이전 (2024-04)
원문 정보
- 원문: Migrating a Trillion Entries of Uber’s Ledger Data from DynamoDB to LedgerStore
- 매체 · 게시일: Uber Engineering Blog · 2024-04-11
- 저자: Raghav Gautam(Staff Software Engineer, Money Data and Insights 팀), Erik Seaberg(전 Staff Software Engineer), Abhishek Kanhar(Senior Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
저장소가 셋으로 늘어난 Gulfstream
우버의 결제 플랫폼 Gulfstream은 2017년 DynamoDB를 저장소로 삼아 출발했습니다. 규모가 커지자 비용이 문제가 됐습니다. 최근 12주치 데이터만 DynamoDB에 남기고, 오래된 데이터는 AWS S3와 비슷한 우버 내부 블롭 저장소 TerraBlob으로 옮겨 보관했습니다.
장기적으로 정착할 곳은 앞선 글에서 소개한 LedgerStore(LSG)였습니다. 데이터를 추가만 하는 append-only 원장형 데이터베이스로, 결제 데이터를 저장하는 데 맞춰 만들었습니다. 암호학적 서명으로 레코드가 변조되지 않았음을 확인하고, 계층형 저장으로 비용을 줄이는 저장소입니다. 하지만 이전을 마치기 전까지는 기존 저장소도 필요했습니다. 2021년 Gulfstream은 최근 데이터의 DynamoDB, 과거 데이터의 TerraBlob, 쓰기를 시작한 LSG를 함께 쓰고 있었습니다.
LSG로 통합하면 계속 지출하던 저장 비용을 크게 줄일 수 있었습니다. 저장소 셋을 다루던 Gulfstream의 저장·인덱스 생성 코드도 단순해질 것으로 봤습니다. 레코드를 쓴 뒤 보조 인덱스에 반영되기까지의 지연이 짧아지고, LSG가 우버 데이터센터 안에서 실행되는 덕분에 네트워크 지연도 줄어들 것으로 기대했습니다. 원장에 맞는 불변성에 더해 비용과 운영을 개선할 이유가 충분했습니다.
옮길 대상은 2017년 이후 우버 전 사업의 원장 데이터였습니다. 1조 건이 넘습니다. 불변 레코드는 압축 기준 1.2PB, 보조 인덱스는 비압축 기준 0.5PB에 달했습니다. 레코드는 한 번 쓰면 바꿀 수 없지만, 보조 인덱스는 문제를 수정하기 위해 변경할 수 있습니다.
언제든 멈췄다 이어가는 백필
120일짜리 작업을 나누는 배치
우버는 자체 Apache Spark 환경에서 과거 데이터를 채워 넣는 백필을 진행했습니다. 이 작업은 오래 걸립니다. 원문이 든 예로, 프로덕션이 초당 1,000건을 처리하는 환경에서 백필 속도를 초당 1만 건으로 잡아도, 1,000억 건을 옮기려면 120일이 걸립니다. 3년치 데이터를 3개월에 밀어 넣는다면 평소 약 10배의 부하를 만들어 냅니다.
그 긴 시간을 한 번도 멈추지 않고 실행하겠다는 계획은 현실적이지 않습니다. 서비스에 지속적인 문제를 일으킬 가능성이 조금이라도 있으면 백필을 중단해야 하기 때문입니다. 그래서 작업을 몇 분 안에 끝나는 작은 배치로 나누고, 배치 중간에 멈췄다가 다시 실행해도 결과가 같도록 멱등하게 만듭니다. 배치마다 읽은 레코드 수와 백필한 레코드 수를 파일에 남겨 집계하면, 중단과 재개를 거듭해도 진행 상황을 확인할 수 있습니다.
시스템의 한계까지 서서히 올리는 RPS
속도는 작게 시작해 조금씩 높입니다. 한계를 모르고 밀어붙이는 백필은 자기 시스템에 DDoS를 거는 일과 같습니다. 먼저 병목을 찾아 해결하고, 처리량을 조금 올린 뒤 시스템을 면밀히 관찰해야 합니다. 병목은 대개 하위 서비스를 확장하면 풀리지만, 더 복잡한 경우도 있습니다.
실행 중에도 속도를 쉽게 바꿀 수 있어야 합니다. Java/Scala의 Guava RateLimiter가 이런 제어에 쓰이는 도구입니다. 우버는 프로덕션 트래픽이 적을 때 백필을 더 빠르게 진행하도록 시스템 상태에 따라 RPS를 조절했습니다. 사용한 방식은 additive increase/multiplicative decrease이며, 안전을 위한 상한은 유지했습니다.
속도를 낮추는 것만으로 부족할 때도 있습니다. 장애가 났거나 과부하가 의심되면 백필을 신속히 멈춰야 합니다. 백필 자체가 장애를 분석할 때 잡음이 될 수 있고, 장애 뒤에는 복구 작업도 추가 부하를 만들기 때문입니다. 빠르게 중단하는 기능은 규모가 커질 때 나타나는 문제를 디버깅하는 데도 도움이 됩니다.
건너뛴 레코드까지 남기는 파일
데이터를 변환하다 보면 곳곳에 흩어진 불량 레코드를 만납니다. 매번 전체 작업을 멈출 수는 없습니다. 그렇다고 모두 무시하면 백필 코드의 버그를 놓칠 수 있으므로, 문제 레코드는 별도 파일에 남기고 실패율을 지켜봅니다. 실패율이 높으면 멈춰서 고치고, 그렇지 않으면 백필을 계속하면서 실패 원인을 조사합니다. RPC 타임아웃도 재시도하되 어느 시점에는 해당 쓰기를 포기하고 작업을 이어가야 합니다. 기존 레코드를 삭제하거나 갱신할 수 있는 경우에는 실수와 버그의 위험·비용이 줄어듭니다.
덤프 파일 크기도 작업의 진행을 좌우합니다. 우버가 제시한 기준은 약 1GB이며, 위아래 10배 범위까지 조정할 수 있습니다. 너무 큰 파일은 도구의 MultiPart 제한에 걸립니다. 너무 작으면 파일 수가 많아져 목록 조회가 느려지고, 셸의 ARGMAX 한도 때문에 일부 파일에만 작업을 적용하기 쉬워집니다.
로그를 전부 남기는 방법에도 한계가 있습니다. 대량의 로그는 로깅 인프라를 압박하고 보관할 데이터도 늘립니다. 특히 로그가 많이 나오는 부분에 속도 제한을 걸고, 드물게 발생하는 오류는 모두 남기는 식으로 조절합니다.
99.9999%를 상한으로 삼은 섀도 검증
백필이 진행된다고 이전을 끝낼 수 있는 것은 아닙니다. 기존 저장소가 실제 요청에 돌려준 응답과, 같은 요청을 LSG에 보냈을 때의 응답을 비교했습니다. 사용자에게 제공하는 응답을 건드리지 않으면서 데이터 문제와 접근 코드의 버그를 확인하는 섀도 검증입니다. 백필의 완전성과 정확성은 최소 99.99%를 목표로 삼았고, 검증 목표의 상한은 99.9999%로 정했습니다.
더 높은 수치를 끝없이 추구하지 않기로 한 데는 이유가 있습니다. 과거 데이터 이전에서는 늘 손상을 만났습니다. 서비스 초기에 잘못 쓴 데이터가 남아 있기도 하고, 규모 때문에 손상이 생기기도 합니다. S3가 11 nines의 내구성을 보장해도 1조 건에서는 약 10건의 손상을 예상할 수 있습니다.
정상적인 데이터가 누락으로 보이는 경우도 있습니다. 보조 인덱스는 최종적 일관성을 따르므로 레코드를 쓴 뒤 인덱스에 나타나기까지 몇 초가 걸릴 수 있습니다. 그사이에 비교하면 섀도 검증은 레코드가 없다고 판단합니다. 규모가 커지면 이런 오탐도 나타납니다.
검증에 드는 시간도 무시할 수 없었습니다. 99.9999%, 즉 6 nines 수준을 확인하려면 약 1억 건을 비교해야 합니다. 초당 1,000건을 비교해도 하루가 조금 넘게 걸리고, 7 nines까지 확인하려면 12일을 기다려야 합니다. 더 높은 정확성을 입증하는 동안 프로젝트도 지연됩니다.
6 nines에서도 전체 데이터에는 손상 레코드가 100만 건을 조금 넘게 남을 가능성이 있습니다. 우버는 그 잠재 비용보다 이전으로 절감할 비용이 더 크다고 판단했습니다. 기준을 명시하면 허용한 오류 발생률의 10분의 1에 불과한 문제까지 계속 조사하느라 작업을 늦추지 않아도 됩니다. 이는 실제로 발견한 손상 건수가 아니라, 검증 목표를 정할 때 받아들인 가능성입니다.
섀도 검증은 LSG에 실제 트래픽을 복제하므로 부하 검증도 겸했습니다. 레코드가 모두 있고 값이 맞는지에 더해, LSG가 현재 트래픽을 감당하며 P99 지연과 보조 인덱스 생성 지연을 허용 범위 안에 유지하는지 확인했습니다. 같은 범용 섀도 검증 코드를 이전의 여러 작업에 재사용했습니다.
이 과정에서 지연 문제도 드러났습니다. 인덱스 데이터를 더 고르게 분산하도록 파티션 키를 최적화했고, 점 조회 대신 레코드 스캔을 일으키던 인덱스 문제를 고쳤습니다. 실제 요청을 처리하는 코드와 자주 읽히는 데이터에는 신뢰가 쌓였습니다. 하지만 거의 읽히지 않는 과거 데이터까지 이 방법으로 보증할 수는 없었습니다.
요청이 뜸한 과거 원장
실제 트래픽은 주로 최근 데이터를 읽습니다. 오래된 레코드가 백필에서 빠져도 아무도 조회하지 않으면 섀도 검증에 드러나지 않습니다. 불량 레코드를 건너뛰어야 백필이 진행되기도 하고, 백필 잡 자체에 버그가 있을 가능성도 남아 있습니다. 이를 확인하려고 LSG 전체 데이터를 DynamoDB 덤프와 대조하는 오프라인 검증을 추가했습니다.
문제는 비교할 데이터의 크기였습니다. 가장 큰 데이터셋은 압축 상태로 70TB, 비압축으로는 약 300TB였고, 단일 Spark 잡에서 7,600억 건을 비교했습니다. 데이터 셔플을 감당하기 위해 Spark용 Distributed Shuffle as a Service에 동적 자원 할당과 투기적 실행을 함께 사용했습니다.
검증 결과는 다음 백필의 입력이 됐습니다. 누락 레코드 목록을 뽑아 증분 백필로 채운 뒤 다시 전체 데이터를 대조했습니다. 모든 레코드가 LSG에 존재할 때까지 검증과 백필을 반복했습니다.
DynamoDB 테이블을 지우기 전의 한 달
실제 읽기 경로도 몇 주에 걸쳐 천천히 전환했습니다. Gulfstream을 호출하는 주요 서비스의 온콜 엔지니어에게 승인을 받으며 롤아웃을 진행했고, 처음에는 LSG에서 데이터를 찾지 못하면 DynamoDB에서 가져오는 폴백을 뒀습니다.
폴백은 로그를 확인한 뒤 제거했습니다. 누락으로 표시된 레코드마다 LSG를 직접 확인해 정말 데이터가 없는지 검증했습니다. 폴백을 없앤 뒤에도 DynamoDB 데이터는 한 달 동안 그대로 두었습니다. 그 뒤에 DynamoDB 쓰기를 중단하고 최종 백업을 만든 다음 테이블을 삭제했습니다.
이전에는 2년이 걸렸습니다. 사업에 필수적인 1조 건 이상의 원장을 옮기는 동안에도, 이전을 마친 뒤에도 다운타임이나 장애는 없었습니다.
원문의 데이터 규모와 검증 기준
| 항목 | 값 |
|---|---|
| 이전 항목 수 | 1조 건 이상(수 PB) |
| 불변 레코드 크기 | 압축 1.2PB |
| 보조 인덱스 크기 | 비압축 0.5PB |
| Gulfstream 출시 | 2017년(DynamoDB) |
| 기존 DynamoDB 보관 | 최근 12주 |
| 섀도 검증 목표 | 99.99% 이상 완전·정확, 상한 99.9999% |
| 가장 큰 오프라인 검증 | 압축 70TB(비압축 추정 300TB), 단일 잡에서 7,600억 건 비교 |
| 덤프 파일 크기 | 약 1GB(위아래 10배 범위) |
| 폴백 제거 후 DynamoDB 보존 | 1개월 |
| 이전 기간 | 2년 |