목차
DynamoDB를 떠난 LedgerStore의 새 백엔드 Docstore (2021-11)
원문 정보
- 원문: How Uber Migrated Financial Data from DynamoDB to Docstore
- 매체 · 게시일: Uber Engineering Blog · 2021-11-10
- 저자: Piyush Patel(Sr. Engineering Manager, Core Storage Platform), Jaydeepkumar Chovatia(Sr. Staff Software Engineer, Storage Platform Org), Kaushik Devarajaiah(LedgerStore Tech Lead)
- 원문 내용을 바탕으로 재구성한 요약입니다.
거래가 쌓이며 불어난 DynamoDB 비용
LedgerStore의 백엔드 교체는 비용에서 시작됐습니다. 우버에서는 매일 수백만 명의 이동과 수천만 건의 음식·식료품 주문에서 금융 거래가 생깁니다. 이 거래를 담는 불변 원장형 데이터베이스가 LedgerStore이고, 첫 백엔드는 AWS DynamoDB였습니다. 우버 규모로 거의 2년을 운영하며 기록이 쌓이자 DynamoDB 비용이 커졌습니다. 여러 종류의 데이터베이스를 따로 운영하는 어려움도 있었습니다.
우버는 자체 범용 멀티모델 데이터베이스 Docstore를 새 백엔드로 골랐습니다. 당장의 비용 절감과 장기적인 기술 통합을 함께 고려한 선택입니다. 데이터베이스 종류를 줄여 운영을 단순하게 하고, 앞으로의 기술 선택에도 유연성을 확보하려 했습니다.
전체를 한 번에 다시 만들지는 않았습니다. 저장 용량과 비용의 75%를 차지하는 원장 레코드의 온라인 읽기·쓰기를 먼저 옮기고, 시스템 메타데이터와 인덱스는 다음 단계로 남겼습니다. 이전 난이도와 얻을 이득을 따져, 비용 절감 효과가 큰 부분부터 바꾸기로 한 것입니다.
조건은 엄격했습니다. LedgerStore를 쓰는 서비스가 로직이나 클라이언트 코드, 라우팅을 바꿀 일이 없어야 했고, 전환 중에도 다운타임을 허용하지 않았습니다. 클라이언트가 쓰기에 성공한 데이터를 뒤이은 읽기에서 확인할 수 있는 일관성(read-your-writes)도 100% 지켜야 했습니다. 지연을 비롯한 기존 SLO를 유지하면서, 비상시에는 두 데이터베이스 사이를 오가며 이전을 되돌리거나 계속 진행할 수 있어야 했습니다.
봉인 뒤의 정정까지 남기는 LedgerStore 장부
금융 거래는 저장한 내용의 완전성·일관성·규정 준수를 입증할 수 있어야 합니다. LedgerStore는 이를 위해 2018년 우버의 5세대 수금·지급 결제 플랫폼 Gulfstream에 도입됐습니다. 레코드를 덧붙이는 추가 전용(append-only) 데이터베이스입니다. 한 번 쓴 레코드는 불변이며, 정정은 추적할 수 있어야 하고, 승인되지 않은 변경이나 불일치는 탐지해야 합니다. 쓰기 후 일정 시간이 지나면 같은 쿼리 결과를 재현할 수 있어야 한다는 보장도 있습니다.
데이터스토어는 테이블의 모음이고, 각 테이블에는 문서 형태의 레코드와 하나 이상의 인덱스가 있습니다. 인덱스 하나는 한 테이블에만 속합니다. 메인 테이블 쓰기가 성공하면 모든 인덱스도 함께 갱신되도록 2단계 커밋(2PC)으로 강한 일관성을 지킵니다. LedgerStore는 기반 스토리지를 추상화해, 일관된 인덱스와 시간 분할 인덱스·쿼리를 제공하면서도 백엔드 기술을 바꿀 수 있게 했습니다.
쿼리 재현의 기준은 봉인(Sealing)입니다. 들어오는 쓰기를 보통 30분짜리 시간 구간인 봉인 윈도우(T1, T1+30분)에 담고, 그 범위를 닫을 때 데이터에 서명해 봉인합니다. 이후에는 해당 윈도우에 레코드를 추가하거나 수정할 수 없습니다. 봉인된 범위만 읽는 쿼리는 결과를 재현할 수 있으며, 봉인 때 만든 서명을 백그라운드에서 검증해 승인되지 않은 변경도 찾아냅니다.
봉인의 결과는 매니페스트(Manifest)에 남습니다. 매니페스트는 한 시간 범위의 불변 레코드를 묶은 봉인된 집합으로, 데이터스토어·테이블·시간 범위·리비전으로 구성한 고유 ID, 시간 범위 [T0, T1], 레코드 목록과 체크섬을 담습니다. 이 전체에 공개키·개인키 쌍으로 만든 서명도 붙습니다. 서명은 변조를 막고 LedgerStore만 유효한 매니페스트를 작성하도록 보장하며, 레코드 목록과 함께 승인되지 않은 경로의 변경·추가·삭제를 탐지하는 근거가 됩니다. 조회하는 애플리케이션도 서명된 자료를 보관했다가 나중에 검증할 수 있습니다.
이미 봉인한 기록을 정정할 때는 리비전(Revision)을 사용합니다. 테이블 단위로 정정 내역과 업무상 사유를 담되, 원본과 정정한 레코드를 모두 보관합니다. 특정 리비전을 지정한 쿼리도 실행할 수 있어 정정 이후에도 이전 결과를 재현할 수 있습니다.
LedgerStore 설계는 2019년 AWS re:Invent 발표 “LedgerStore - Uber Financial Scalable Storage Gateway”에서도 소개됐습니다.
사용자 기본 키를 그대로 살린 Docstore 테이블
LedgerStore 2.0의 백엔드에는 비용 외에도 충족해야 할 조건이 있었습니다. 운영에서 신뢰성을 검증한 데이터베이스여야 하고, 99.99% 가용성을 제공하면서 데이터 크기와 읽기·쓰기 부하의 증가에 맞춰 수평으로 확장할 수 있어야 했습니다. 보조 인덱스와 유연한 데이터 모델, 변경 데이터를 스트림으로 읽는 Change Data Capture(CDC)도 요구했습니다. Docstore는 이 가운데 CDC만 지원하지 않았습니다.
데이터 모델에서는 바로 이득을 얻었습니다. DynamoDB에서는 사용자가 어떤 기본 키를 정의하든 {pk string, sk string}으로 변환했지만, 다양한 데이터 타입과 문서를 지원하는 Docstore에서는 사용자 기본 키를 테이블에 그대로 대응시켰습니다. 복잡한 조회 조건도 Docstore로 바로 넘길 수 있게 됐습니다. LedgerStore가 처리하던 쿼리 로직이 그만큼 줄었습니다.
남은 CDC는 직접 만들어야 했습니다. LedgerStore는 매니페스트를 생성할 때 스트리밍 데이터를 사용하므로, Docstore에 레코드를 쓰고 읽는 것만으로 이전을 끝낼 수는 없었습니다.
백필의 작업 단위가 된 봉인 윈도우
옮겨야 할 과거 데이터는 2,500억 건이 넘는 고유 레코드, 약 300TB였습니다. Spark 작업 하나로 전부 Docstore에 쏟아붓는 방법도 있었지만, 중간에 실패하면 작업을 처음부터 다시 실행해야 했습니다. 데이터를 나눠 처리하고 체크포인트를 남길 기준이 필요했습니다.
그 기준은 이미 있었습니다. 원장 데이터는 쓴 뒤 몇 주나 몇 달 안에 주로 읽히므로, DynamoDB 같은 핫 데이터베이스에 오래 보관하면 비용이 큽니다. LedgerStore는 일정 기간이 지난 데이터를 콜드 스토리지로 옮기는 데이터 티어링을 기본 제공합니다. 이 이동을 애플리케이션에 드러내지 않으면서 안전하고 효율적으로 처리하며, 옮기는 단위는 봉인 윈도우입니다. 과거 기록은 백필을 시작하기 전부터 윈도우별로 나뉘어 있었습니다.
백필 프레임워크는 이 구분을 그대로 사용했습니다. 각 워커가 서로 다른 봉인 윈도우를 맡아 처리하고 체크포인트를 남기며, 다시 실행해도 결과가 달라지지 않도록 멱등성을 갖췄습니다. 여러 스레드로 작업을 진행해 처리량은 초당 100만 메시지까지 나왔습니다. DynamoDB 대신 훨씬 저렴한 콜드 스토리지에서 읽어 백필 비용도 낮췄습니다. 이 방식으로 프로덕션 데이터셋을 몇 주 만에 옮겼습니다.
두 리전에서 일치해야 하는 네 체크섬
과거 기록을 옮기는 동안에도 새 데이터는 들어옵니다. 새 기록을 봉인하려면 Docstore에 없던 스트림을 먼저 마련해야 했습니다. 이를 위해 개발한 Docstore용 스트리밍 프레임워크가 Flux입니다. Kafka와 사내 구성 요소를 함께 사용해 매니페스트를 생성하며, 특정 플랫폼에 종속되지 않도록 만들었습니다.
스트림을 사용하는 데에는 이유가 있었습니다. 매니페스트를 만들 때마다 테이블을 스캔하거나 넓은 범위를 읽는 작업을 피하고, 스트림 데이터를 값싼 범용 하드웨어에 저장해 비용을 줄일 수 있습니다. Apache Kafka처럼 스트림 읽기에 최적화된 시스템에서는 처리도 빠릅니다. 쓰기 경로의 잠재적 버그를 피하고, 테이블에 쓴 데이터와 스트림에서 읽은 데이터가 같다는 것을 확인하려는 목적도 있었습니다.
봉인 윈도우를 닫으려면 네 체크섬이 맞아야 합니다. 로컬 리전 R1에서 삽입한 데이터를 읽어 C1을 계산하고, 같은 리전의 데이터베이스 스트림을 따라 읽어 C2를 계산합니다. C1과 C2를 대조해 리전 안의 일관성을 검증합니다. 원격 리전 R2에서도 같은 과정을 반복해 C3와 C4를 얻습니다. 두 리전의 C1~C4가 모두 일치할 때만 윈도우를 닫고, 이후의 추가와 수정을 거부합니다.
체크섬 계산에는 Kafka로 읽은 Docstore 변경 로그를 사용합니다. 여러 Kafka 파티션을 병렬로 읽는 워커가 각자 맡은 데이터의 체크섬 일부를 원자적으로 계산하고, 파티션별로 처리한 Kafka 오프셋과 지금까지 본 최대 시퀀스 번호를 메타데이터와 함께 저장합니다. 저장한 오프셋에서 처리를 재개하며, 최대 시퀀스 번호로 스트림 이벤트의 정확히 한 번(exactly-once) 처리를 보장합니다.
이 Spark 기반 시스템은 이미 초당 5만 건을 처리하고 있었습니다. 봉인은 실시간 처리일 필요가 없습니다. 정해진 범위 안에서 지연을 허용할 수 있어 Flink 대신 Spark를 골랐으며, 배치 처리로 밀린 데이터를 빠르게 따라잡을 수 있었습니다. 더 큰 배치를 메모리에서 합쳐 매니페스트를 만드는 방식은 데이터베이스 호출 비용을 줄이는 데에도 유리했습니다.
교체 뒤에도 쓰기를 이어 간 DynamoDB
온라인 트래픽 전환은 백필을 끝낸 데이터스토어부터 시작했습니다. LedgerStore는 두 데이터베이스에 기본(primary)과 보조(secondary) 역할을 부여하고, 마이그레이션 설정으로 역할을 제어하도록 했습니다. 매 단계에서 양쪽 데이터를 일관되게 유지하는 것이 목표였습니다. 문제가 생기면 되돌아가고, 준비가 되면 전환을 계속 진행할 수 있어야 했습니다.
누락된 쓰기를 다시 채우는 Spot Repair
처음에는 DynamoDB가 기본 DB였고 Docstore가 보조 DB였습니다. 쓰기 경로에 추가한 섀도 라이터(Shadow Writer)가 기본 DB에 들어오는 새 데이터를 보조 DB에도 비동기로 씁니다. 동기로 양쪽 DB에 쓰면 지연이 늘고 가용성에 영향을 주며 온라인 트래픽에 지장을 줄 수 있어 비동기를 택했습니다.
문제는 성공 응답 뒤였습니다. 클라이언트에는 쓰기가 성공했다고 응답했는데 보조 DB에는 기록이 남지 않을 수 있습니다. LedgerStore는 2PC로 이런 비동기 쓰기 실패를 추적하고, 타이머에 따라 실행하는 재동기화 작업 Spot Repair로 누락을 복구합니다. Spot Repair가 기본 DB에서 빠진 항목을 가져와 보조 DB에 다시 쓰는 방식입니다.
이 단계에서 Spot Repair는 DynamoDB의 기록으로 Docstore를 보충합니다. 어느 데이터베이스가 기본 역할을 맡는지에 종속되지 않도록 설계했으므로, 나중에 역할을 바꾼 뒤에도 같은 방식으로 동작합니다.
두 DB의 결과를 합치는 읽기 경로
누락을 복구하더라도 짧은 불일치 구간은 남을 수 있습니다. 데이터베이스 전환 중이나 경쟁 상태에서 생기는 틈까지 처리하려고 읽기 경로에 이중 읽기와 병합(Dual Read and Merge) 모듈을 추가했습니다.
이 단계에서는 기본·보조 역할과 무관하게 두 DB를 병렬로 읽습니다. 양쪽 결과를 합쳐 클라이언트에 돌려주므로, 한쪽의 기록이 잠깐 뒤처져도 다른 쪽의 데이터를 읽을 수 있습니다. 일관성 100%와 가용성 99.99%를 지키면서 데이터베이스 역할을 바꾸기 위한 장치입니다.
복사 완료의 근거가 된 매니페스트
Docstore를 기본 DB로 승격하기 전에는 과거 데이터와 온라인 데이터가 모두 복사됐는지 확인해야 했습니다. 여기서 봉인 때 만든 매니페스트를 다시 사용합니다. Docstore의 매니페스트를 DynamoDB의 것과 대규모로 대조해 일치하면, 모든 데이터가 복사됐음을 확인할 수 있습니다. 우버는 Spark 작업으로 2,500억 건의 고유 레코드, 약 300TB를 일주일 안에 검증했습니다.
데이터 대조만으로 역할을 바꾸지는 않았습니다. Docstore가 보조인 상태에서 읽기·쓰기 경로가 안정적으로 동작하고 성능과 가용성도 만족스러운지 확인한 뒤, Docstore를 기본 DB로 승격했습니다. DynamoDB는 보조 DB가 됐습니다.
그 뒤에는 DynamoDB 읽기를 점차 줄였습니다. 모든 읽기를 Docstore에서 처리하게 된 뒤에도 DynamoDB로 향하는 섀도 쓰기는 계속했습니다. 이렇게 약 일주일을 유지하며 DynamoDB 트래픽을 천천히 줄였습니다.
마지막 쓰기까지 멈춘 최종 전환
읽기를 전부 Docstore로 옮긴 뒤 DynamoDB 쓰기를 중단했습니다. 설정으로 단일 데이터베이스 동작을 강제하고, 섀도 라이터와 이중 읽기·병합 모듈을 우회하도록 했습니다. 마지막으로 DynamoDB 테이블을 백업한 뒤 폐기했습니다.
Docstore 전환 뒤 줄어든 운영비
마이그레이션 중 프로덕션 장애는 한 건도 없었습니다. 롤백한 테이블도 없습니다. 2,500억 건의 고유 레코드를 백필한 새 아키텍처는 원문 작성 당시 프로덕션에서 6개월 넘게 운영 중이었고, 그때까지 데이터 불일치도 발견되지 않았습니다.
새 데이터 모델은 쿼리 경로를 단순하게 했고, Docstore에서 읽기와 쓰기 지연이 모두 개선됐습니다. 기술 통합으로 외부 의존성도 줄었습니다. DynamoDB 지출 감소에 따른 운영비 절감 추정액은 연간 600만 달러입니다.
이 글은 LedgerStore 시리즈의 첫 편입니다. 다음 편에서는 LedgerStore의 다단계 데이터 티어링을, 세 번째이자 마지막 편에서는 차세대 확장형 일관 인덱싱을 다룰 예정입니다.
마이그레이션 규모와 검증 기록
| 항목 | 값 |
|---|---|
| LedgerStore 도입 | 2018년 (Gulfstream 지원) |
| 이전 대상 레코드 | 2,500억 건 이상, 약 300TB |
| 레코드가 차지한 비중 | 저장 용량·비용의 75% |
| 봉인 윈도우 | 보통 30분 |
| 윈도우 마감 조건 | 두 리전의 체크섬 4개(C1~C4) 일치 |
| Spark 스트림 처리 속도 | 초당 5만 건 |
| 백필 처리량과 기간 | 초당 100만 메시지, 몇 주 |
| 매니페스트 대량 검증 | 2,500억 건, 일주일 |
| DynamoDB 읽기 제거 후 유지 | 약 일주일 (섀도 쓰기 계속) |
| 신규 아키텍처 무결점 운영 | 6개월 이상, 불일치 0건 |
| 추정 절감 | 연간 600만 달러 |