본문으로 건너뛰기
수조 개의 인덱스를 다시 설계한 LedgerStore의 선택
목차

수조 개의 인덱스를 다시 설계한 LedgerStore의 선택 (2024-04)

원문 정보

버퍼 테이블 생성에 달린 쓰기 가용성

LedgerStore에서는 임시 버퍼 테이블이 제때 만들어지지 않으면 쓰기가 실패할 수 있었고, 이 때문에 과거에 가용성 문제가 생기기도 했습니다. DynamoDB에서 읽기와 쓰기 효율을 각각 챙기려던 시간 범위 인덱스 설계가 운영 중 가용성 문제를 일으킨 것입니다. 우버는 Docstore로 옮기면서 이 인덱스에 쓰던 테이블을 둘에서 하나로 줄였습니다.

관리할 규모부터 만만치 않았습니다. 우버에서는 분기마다 수십억 건의 운행과 배달, 수백억 건의 금융 거래가 일어납니다. LedgerStore는 이런 거래를 보관하는 불변 저장소로, 데이터의 완전성과 정확성을 검증 가능한 형태로 보장합니다. 금융 이벤트의 기준 원천인 원장을 여러 접근 패턴으로 찾아야 하므로, 수천억 건의 원장에 수조 개의 인덱스가 붙습니다. 인덱스 저장 공간만 페타바이트 규모입니다.

LedgerStore의 배경과 스토리지 백엔드 재설계는 이전 글에서 다뤘습니다. 이번에는 그 위에서 원장을 찾는 인덱스가 어떻게 달라졌는지 따라갑니다.

한꺼번에 읽어야 하는 오래된 원장

원장은 불변 데이터입니다. 시간이 흐를수록 쌓이는 원장을 모두 같은 저장소에 두면 비용도 계속 늘어나므로, 오래된 원장은 시간 범위별 배치로 묶어 더 저렴한 콜드 스토리지로 옮깁니다. 옮길 데이터를 고르고 봉인하려면 이벤트 시각으로 원장을 조회할 수 있어야 합니다.

예를 들어 10:01에는 운행 시작, 10:15에는 운행 완료와 요금 조정, 12:01에는 운행 후 정정이 원장에 기록됩니다. 각 원장에는 이런 비즈니스 또는 이벤트 타임스탬프가 있습니다. 시간 범위 인덱스는 그 시각을 기준으로 정해진 구간의 데이터를 배치로 읽는 데 쓰입니다.

조회량부터 다릅니다. 카드 승인이나 결제 내역 조회에 쓰는 인덱스보다 읽는 데이터가 몇 자릿수나 많습니다. 쓰기를 고르게 분산하면서도 정해진 시간 구간을 대량으로 읽기 좋은 배치가 필요했던 이유입니다.

최신 원장으로 뜨거워진 DynamoDB 파티션

DynamoDB와 Docstore는 모두 파티션 키로 데이터를 나누고 정렬 키로 순서를 정합니다. 시간 범위로 읽을 데이터라면 시간 구간을 파티션 키로 삼는 설계를 생각할 수 있습니다. 문제는 새 원장의 시각이 대체로 현재 시각 주변에 몰린다는 점입니다.

우버는 DynamoDB를 프로비저닝 모드로 쓰면서 트래픽 패턴에 맞춰 자동 확장했습니다. 온디맨드 모드가 필요할 만큼 트래픽이 급변하지는 않았습니다. 하지만 전체 용량과 별개로 특정 파티션에 쓰기가 쏠리는 문제는 남았습니다. G 시간 단위로 파티션을 나누면 그 구간에 들어오는 쓰기가 같은 물리 파티션으로 향하고, DynamoDB는 이렇게 뜨거워진 파티션의 쓰기를 스로틀링합니다. 온라인 쓰기 경로에서는 받아들일 수 없는 동작입니다.

구간을 짧게 잡는 데도 한계가 있었습니다. 피크 운행량이 초당 1,000건이면 G=1초로 잡아도 1K WCU로, 스로틀링 직전의 허용 한계에 도달합니다. 더 잘게 나눠도 트래픽이 커지면 안전하지 않습니다. 읽을 때 여러 파티션에 요청을 나눠 보내고 결과를 모으는 scatter-gather 비용까지 늘어납니다.

우버는 온라인 쓰기를 임시 버퍼 인덱스 테이블로 보냈습니다. 레코드의 해시값을 M으로 나눈 나머지에 따라 인덱스 항목을 M개의 버킷에 배치해 부하를 분산했습니다. M은 지나친 파티션 분할을 피할 만큼 커야 하지만, 읽기의 scatter-gather 비용을 제한할 만큼 작아야 했습니다.

오래 두고 조회할 인덱스에는 별도 테이블을 썼습니다. 이 영구 인덱스 테이블은 N(예: 10분) 단위에 맞춘 타임스탬프로 파티션을 나눕니다. N분 구간을 읽을 때 scatter-gather가 필요하지 않아, 버퍼 테이블을 계속 조회하는 것보다 효율적입니다.

백그라운드 작업은 버퍼의 인덱스를 주기적으로 모아 영구 테이블에 배치로 기록한 뒤, 옮기기를 마친 버퍼 테이블을 삭제합니다. 이 과정에서 스로틀링이 발생해도 온라인 트래픽은 영향을 받지 않습니다. 배치 쓰기를 파티션에 분산하면서 핫 파티션도 줄였습니다.

읽기와 쓰기는 각각 효율적으로 처리했습니다. 그 대신 조회 요청이 현재 데이터를 가진 테이블로 향하도록 상태를 관리하고, 두 테이블 사이의 이동을 조율해야 했습니다. 임시 테이블 생성이 늦으면 쓰기가 실패하는 운영 부담도 이 설계에 남아 있었습니다.

테이블 하나로 단순해진 Docstore 시간 인덱스

비용 효율을 높이려고 스토리지 백엔드를 DynamoDB에서 Docstore로 옮기면서, 우버는 시간 범위 인덱스의 테이블도 하나로 합쳤습니다. 파티션 키에는 전체 타임스탬프 값을 썼습니다. 타임스탬프가 매우 세밀하므로 대부분의 쓰기가 파티션에 고르게 퍼져 핫 파티션과 쓰기 스로틀링이 생기지 않습니다.

읽기를 설계할 때는 Docstore의 샤드 배치가 도움이 됐습니다. Docstore는 MySQL 위에 만든 분산 데이터베이스로, 고정된 수의 샤드를 가변적인 수의 물리 파티션에 배정합니다. 데이터가 늘면 물리 파티션을 추가하고 기존 샤드 일부를 새 파티션으로 옮깁니다. 샤드 수는 그대로입니다. 이 때문에 물리 파티션 수에도 상한이 있습니다.

데이터는 기본 키, 즉 파티션 키와 정렬 키 순서로 저장됩니다. 시간 범위 조회는 이 정렬 상태를 이용해 각 샤드에서 접두사 스캔(prefix scan)을 수행합니다. 스캔 요청마다 애플리케이션이 읽을 경계를 정한다는 점이 일반 스캔과 다릅니다.

가령 30분어치를 읽는다면 먼저 2023-02-03 01:00:00부터 01:10:00까지를 읽고, 나머지도 10분 간격으로 반복합니다. 각 스캔은 지정한 타임스탬프 사이의 데이터만 읽습니다. 샤드 전체에 scatter-gather를 수행한 뒤 결과를 정렬 병합하면, 해당 구간의 인덱스 항목을 시간순으로 얻습니다.

여기서는 읽기 요청 수를 정확히 정하고 제한할 수 있습니다. 샤드 수가 고정되어 있기 때문입니다. 테이블이 커질수록 파티션이 계속 늘어나는 DynamoDB에서는 같은 방식으로 읽기 요청 수를 제한할 수 없었습니다. Docstore의 성질에 맞춰 설계를 바꾸자 테이블 사이의 조율이 줄고, 시간 범위 인덱스의 운영 유지보수 비용도 내려갔습니다.

OLTP에서 페타바이트 규모의 인덱스를 유지할 때는 파티션 쏠림 외에도 읽기·쓰기 증폭과 시끄러운 이웃 문제를 다뤄야 합니다. 데이터를 어떻게 배치하고 작업을 어떻게 격리할지 결정해야 하며, 그 설계는 기반 데이터베이스의 성질에 크게 좌우됩니다.

카드 홀드와 결제 내역 사이의 일관성 요구

카드 승인과 결제 내역 조회는 기록이 검색 결과에 나타나야 하는 시점부터 다릅니다. 시간 범위 인덱스에서 대량 조회와 쓰기 분산이 문제였다면, 이들 조회에서는 쓰기를 마친 기록이 언제 보이느냐를 구분해야 합니다.

기존 홀드를 놓치지 않아야 하는 카드 승인

운행을 시작하면 이용자의 카드에 승인 금액을 잡아 두는 홀드가 걸립니다. 운행을 마치면 청구로 전환하고, 취소하면 홀드를 해제해야 합니다. 그런데 홀드를 가리키는 인덱스가 늦게 보이면 이미 잡아 둔 금액을 찾지 못해, 기존 홀드가 남은 상태에서 중복 청구가 일어날 수 있습니다.

이 경로에는 강한 일관성이 필요합니다. 레코드 쓰기가 끝난 뒤의 읽기는 그 레코드의 인덱스를 반드시 볼 수 있어야 합니다. LedgerStore는 이를 2단계 커밋으로 보장합니다. 먼저 아직 확정하지 않은 인덱스인 intent를 쓰고, 그다음 레코드를 기록합니다. 레코드 쓰기가 성공하면 intent를 커밋하되, 삽입 지연을 낮추려고 커밋은 비동기로 진행합니다.

실패한 쓰기는 읽기 경로에서 처리합니다. 레코드 쓰기나 마지막 커밋이 실패하면 인덱스가 intent 상태로 남는데, 전체에서 아주 작은 비율입니다. 읽기 중 이런 인덱스를 만나면 대응하는 레코드부터 확인합니다. 레코드가 있으면 인덱스를 커밋하고 없으면 롤백합니다. 커밋과 롤백은 읽기를 늦추지 않도록 비동기로 수행하며, 이 과정에서 사용하지 않는 intent도 제거됩니다.

intent 자체를 쓰지 못했을 때는 복구 방식이 다릅니다. 일관성을 보장할 수 없으므로 삽입 전체를 실패시킵니다. 인덱스 intent 하나의 쓰기 실패만으로도 원장 쓰기가 실패한다는 뜻입니다.

몇 초 뒤에 보여도 되는 결제 내역

결제 내역 페이지는 몇 초 늦게 표시돼도 괜찮습니다. 이런 조회까지 강한 일관성을 적용하면 필요 이상의 비용을 치르게 됩니다. intent 쓰기와 레코드 쓰기를 순서대로 처리하느라 쓰기 지연이 길어지고, intent 쓰기 실패가 전체 삽입 실패로 이어져 가용성도 낮아집니다.

LedgerStore는 이런 용도에 최종적 일관성 인덱스를 씁니다. 온라인 쓰기 경로와 분리된 별도 프로세스가 백그라운드에서 인덱스를 만들므로, 강한 일관성 인덱스의 지연과 가용성 비용을 피합니다. 생성에는 자체 개발 데이터베이스 Docstore의 Materialized Views 기능을 이용합니다. 강한 일관성은 쓰기 직후 인덱스가 보여야 하는 사용 사례에만 적용하는 선택입니다.

빠진 항목 하나까지 확인하는 인덱스 교체

인덱스는 한 번 만든 뒤 그대로 두지 않습니다. 사용 사례가 바뀌면 새로 정의하거나 기존 정의를 수정해야 합니다. 과거 원장까지 새 인덱스로 찾을 수 있게 채우고, 누락이 없는지 확인한 뒤 읽기와 쓰기를 전환하는 과정이 필요합니다.

이 순서는 인덱스 수명주기 상태 기계가 관리합니다. 테이블을 만들고 과거 항목을 백필한 다음 완전성을 검증합니다. 검증을 마치면 읽기와 쓰기에서 옛 인덱스를 새 인덱스로 교체하고, 마지막으로 옛 인덱스를 폐기합니다.

백필의 원천은 콜드 스토리지로 옮겨 둔 과거 데이터입니다. 이를 내려받아 인덱스를 만들어야 하는데, 다운로드 속도가 실제 처리 속도보다 빠릅니다. 그래서 속도 제한과 배치 크기를 설정할 수 있도록 했습니다. 실제 처리 로직은 교체 가능한 배치 프로세서로 분리해, 새 인덱스를 만들 때도 같은 백필 장치를 재사용합니다.

검증은 항목 하나의 누락까지 겨냥합니다. 오프라인 잡이 일정 시간 구간마다 기준 원천 데이터와 인덱스 테이블의 체크섬을 각각 계산해 비교합니다. 체크섬은 항목 순서에 영향을 받지 않습니다. 항목 하나만 빠져도 그 구간의 집계 체크섬이 달라지므로, 백필 과정의 버그를 찾아낼 수 있습니다.

구축한 고유 인덱스는 2조 개를 넘었습니다. 새 아키텍처를 6개월 넘게 운영하는 동안 데이터 불일치는 발견되지 않았고, 금전 이동을 다루는 시스템의 백필도 운영 장애 없이 마쳤습니다.

모든 인덱스를 DynamoDB에서 Docstore로 옮기면서 기술을 통합하고 외부 의존성을 줄였습니다. DynamoDB 지출 감소에 따른 연간 비용 절감액은 600만 달러 이상으로 추정했습니다.

다음 글은 DynamoDB에서 LedgerStore로의 마이그레이션을 다룹니다.

규모와 인덱스별 쓰기 방식 비교
항목값
인덱스 규모수조 개, 수천억 건 원장, 페타바이트급
구축한 고유 인덱스2조 개 이상
새 아키텍처 운영 기간6개월 이상, 데이터 불일치 0건
추정 연간 절감600만 달러 이상
예시 피크 여행 처리량초당 1,000건(1K WCU)
영구 인덱스 테이블 파티션 단위N(예: 10분)
백필 후 읽기 구간 예시10분 간격
인덱스 종류쓰기 방식용도 예
강한 일관성2단계 커밋(intent 쓰기 후 레코드 쓰기, 비동기 커밋)신용카드 홀드 처리
최종적 일관성백그라운드에서 Docstore Materialized Views로 생성결제 내역 페이지
시간 범위DynamoDB는 버퍼+영구 두 테이블, Docstore는 테이블 하나콜드 스토리지 이전, 데이터 봉인
마지막 수정 일자