본문으로 건너뛰기
복구 시험까지 자동화한 Uber의 약 100PB 백업 체계
목차

복구 시험까지 자동화한 Uber의 약 100PB 백업 체계 (2025-05)

원문 정보

  • 원문: Robust Database Backup Recovery at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2025-05-22
  • 저자: Arjav Jain(Senior Software Engineer, Storage Platform), Shivam Vijay(Senior Software Engineer, Backup and Restore Platform), Debadarsini Nayak(Senior Engineering Manager, 온라인 데이터 기술), Mohammed Khatib(Senior Staff Software Engineer), Ramnik Jain(Senior Staff Software Engineer, Uber Stateful Platform)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

복구에 수일까지 걸리던 데이터베이스

우버의 이전 백업 체계에서는 일부 기술의 복구 시점 목표(RPO)가 7~21일이었습니다. 복구 시간 목표(RTO)는 알 수 없는 경우도 있었고, 대형 데이터베이스는 수일에 달했습니다. 백업을 실행하는 주기는 있었지만, 복구가 제대로 되는지 정기적으로 확인하는 훈련은 없었습니다.

백업 스케줄링부터 손볼 곳이 많았습니다. 정해진 주기에 가능한 만큼 실행하는 방식이라 네트워크와 호스트 자원, 데이터베이스의 우선순위, 속도 제한을 고려하지 않았습니다. 시스템 전반의 관측성도 부족했습니다. 그 결과 백업 부하가 들쭉날쭉했고, 문제가 생긴 뒤 작업을 재개하는 과정도 느렸습니다.

복구 절차는 검증되지 않은 스크립트와 낡은 런북에 흩어져 있었습니다. 데이터베이스를 업그레이드하면 기존 절차가 낡기 쉬운 상태였습니다. 복구를 체계적으로 실행할 워크로드와 정기 검증이 모두 빠져 있던 것입니다.

이 방식으로 지켜야 할 데이터는 방대합니다. 우버는 MySQL, Apache Cassandra, etcd, Apache Zookeeper와 자체 스토리지인 Docstore, Schemaless를 모두 Stateful Platform에서 운영합니다. 온라인 스토리지는 수십 PB 규모이며 초당 수백만에서 수십억 건의 요청을 처리합니다. 서로 다른 주기로 백업하는 데이터는 약 100PB입니다.

백업의 용도도 장애나 데이터 손상 복구에 그치지 않습니다. 포렌식과 규제 준수에 쓰이고, 부하 테스트와 데이터 무결성·보안 점검을 위한 운영 유사 환경을 만드는 데도 필요합니다. 백업을 남기는 과정과 그 백업으로 데이터베이스를 되살리는 과정을 함께 바꿔야 했습니다.

백업과 복구 시험을 연결한 CBCR

우버가 Stateful Platform 위에 만든 CBCR(Continuous Backup Continuous Recovery)은 스냅샷 백업과 반복적인 복구 시험을 묶은 프레임워크입니다. Continuous Backup이 전체 데이터베이스의 백업 시점과 부하를 중앙에서 조절하고, Continuous Restore가 실제 복구를 실행해 백업의 완전성과 정확성을 확인합니다. 데이터베이스별 정책에 따라 백업하고 시험하는 방식입니다.

중앙 오케스트레이터가 모든 데이터베이스의 세부 동작까지 직접 처리하지는 않습니다. 실제 백업과 복구는 각각 공통 드라이버와 기술별 플러그인으로 나눴습니다. 백업 드라이버는 스냅샷을 만들고 업로드하는 흐름을 맡으며, 복구 드라이버는 필요한 파일을 내려받아 데이터베이스에 적재하는 흐름을 담당합니다. 각 기술의 차이는 플러그인에서 처리합니다.

백업 파일이 머무는 곳은 Uber Blobstore입니다. 여러 클라우드 스토리지를 가상화한 오브젝트 스토리지로, 정책을 설정해 대규모 업로드와 다운로드를 처리합니다. Stateful Platform의 Technology Manager/Worker는 목표 상태에 맞춰 워크로드를 실행하고, 작업이 끝나면 실제 상태를 메타데이터 저장소에 기록합니다.

스케줄링과 인프라, 기술별 백업·복구 과정을 개선한 뒤 RPO는 4~24시간이 됐습니다. RTO는 시간당 300TB 복구로 줄었다고 우버는 설명합니다. 우버가 설명하는 복구 능력은 TB에서 PB 단위 데이터를 몇 분에서 몇 시간 안에 복원하는 규모입니다.

임시 클러스터에서 되풀이하는 Continuous Restore

복구 절차가 낡는 문제에 우버가 내놓은 답은 실제 복구를 반복하는 것입니다. Continuous Restore는 정해진 주기나 필요에 따라 복구 시험을 실행합니다. 백업이 존재하는지 확인하는 데서 끝나지 않고, 임시 클러스터에 백업을 복원해 복구 경로 자체를 시험 대상으로 삼습니다.

시험 대상을 고를 때는 데이터베이스의 등급, 크기, 마지막으로 성공한 백업을 살핍니다. 필터와 우선순위 규칙을 적용해 시험 부하를 고르게 나누고, 하드웨어 가용성도 고려해 운영에 영향을 주지 않도록 스케줄링합니다. 대상을 선정한 뒤에는 임시 클러스터를 구성하고 복구 프레임워크를 실행합니다.

무엇을 검증할지는 시험 전략에 따라 달라집니다. 전용 데이터베이스 시험에는 데이터 내용을 미리 아는 데이터베이스를 사용합니다. 복구 전 과정을 자세히 시험하고, 파일 무결성을 확인하며, 복구한 데이터를 미리 정한 데이터셋과 바이트 단위로 대조합니다. 결과가 맞는지 비교할 기준이 있는 시험입니다.

무작위 데이터베이스 시험은 특정 특성에 따라 운영 규모의 데이터베이스를 골라 실행합니다. 실제 조건에서 더 넓은 범위의 복구 워크플로를 확인하는 데 목적이 있습니다. 이때 검증하는 것은 백업의 무결성입니다. 전용 데이터베이스 시험처럼 미리 준비한 정답 데이터와 바이트 단위로 비교하는 방식은 아닙니다.

시험이 끝나면 상세 보고서를 만들고 임시 자원을 정리합니다. 보고서에는 복구 성공률, 백업 용량 대비 복구 속도, 무결성 검사 결과와 성능 신호가 담깁니다. 자동 보고서는 규제 준수와 감사를 지원하며, 성능 데이터는 복구 과정에서 개선할 지점을 찾는 근거가 됩니다. 정기 시험으로 복구 준비 상태와 데이터 무결성을 확인하고, 그 결과를 운영에 다시 반영하는 흐름입니다.

Continuous Backup의 부하를 분산하는 Time Machine

복구 시험의 바탕이 되는 백업을 만드는 데도 제약이 있습니다. 우버는 하루에 적어도 수 PB를 업로드하지만, 네트워크 대역폭은 다른 주요 온라인·오프라인 워크로드와 나눠 씁니다. 백업을 실행하면서도 서비스를 제공하는 시스템의 네트워크 사용을 방해하지 않아야 합니다.

Continuous Backup의 전역 적응형 스케줄러인 Time Machine은 매 주기마다 어떤 데이터베이스를 백업할지 결정합니다. 고정된 일정만 따르지 않습니다. 선택 엔진은 백업의 최신성과 과거 백업 자원 소비 추이, 네트워크와 호스트의 현재 가용성을 함께 살핍니다. 피크·비피크 시간대의 네트워크 사용률과 지리적 위치별 가용성·사용률도 판단에 들어갑니다.

기술별 속도 제한 정책은 중요한 데이터베이스의 우선순위를 반영하며, 선택 엔진 자체에도 클라이언트 측 속도 제한이 있습니다. 이 신호와 정책을 바탕으로 전체 데이터베이스의 백업 부하를 고르게 분산합니다.

매 주기는 탐색에서 시작합니다. Stateful Platform 전체를 훑어 백업 후보를 모으고, 선택 단계에서 필터와 정렬 규칙으로 실행 대상을 좁힙니다. 이 선택은 네트워크와 호스트 인프라의 상태에 맞춰 달라집니다. 마지막 트리거 단계에서는 전체 백업과 증분 백업 중 방식을 정해 기술별 워크로드를 호출합니다.

스케줄러가 판단에 쓰는 데이터는 기술별 플러그인 인터페이스가 제공합니다. 데이터베이스 메타데이터와 백업 이력, 실행 중인 백업, 전체 데이터베이스의 현황이 여기에 포함됩니다. 공통 스케줄러는 이 정보를 사용하고, 기술마다 다른 백업 실행은 해당 워크로드에 맡깁니다.

트리거를 받은 Technology Manager/Worker는 필요한 시점에 백업 사이드카를 띄우고 목표 상태를 전달합니다. 이후 작업의 완료 여부를 확인하고 실제 상태를 Stateful 메타데이터 저장소에 게시합니다. 중앙에서 대상을 고르는 일과 각 데이터베이스에서 백업을 수행하는 일이 이 상태 관리로 이어집니다.

증분 백업을 논리적 전체 백업으로 만드는 인덱스

백업 워크로드는 노드 워커와 데이터베이스 컨테이너 옆에 필요할 때 생성하는 사이드카 컨테이너입니다. 노드는 컨테이너화된 cgroup 단위이며 목표 상태를 따라 동작합니다. 노드 워커는 데이터베이스의 상태를 지키면서 백업 워크로드에 목표 상태를 넘기고, 생성부터 종료까지 수명주기를 감독합니다.

드라이버가 스냅샷 파일을 추출하면 업로드를 시작합니다. 파일을 점진적으로 올리는 동안 속도를 제한하고 무결성을 검사하며, 어디까지 업로드했는지는 백업 인덱스에 체크포인트로 기록합니다. 업로드를 마친 파일은 정리해 디스크 사용량이 치솟지 않게 합니다.

백업 인덱스도 Blobstore에 저장합니다. 이 인덱스는 스냅샷 버전 사이에서 바뀌지 않는 파일의 중복을 제거해 증분·차등 백업을 구성하는 데 쓰입니다. 그렇다고 인덱스가 이번에 새로 올린 파일만 가리키는 것은 아닙니다. 각 백업에 필요한 모든 파일을 참조하므로, 저장 방식이 증분이나 차등이어도 논리적으로는 전체 백업입니다.

실행 중인 노드의 자원도 계속 감시합니다. 자원 사용량이 크게 늘면 모니터링 훅이 백업을 중단해 운영 트래픽을 보호합니다. 스케줄러가 실행 대상을 고를 때 자원 상태를 살피는 데 더해, 실제 백업 과정에서도 데이터베이스의 상태를 지키는 장치입니다.

작업 결과는 백업 I/O 볼륨을 거쳐 노드 워커로 돌아갑니다. 워커는 이 실제 상태를 Stateful 메타데이터 저장소에 동기화합니다. 스냅샷 생성과 업로드뿐 아니라 작업 상태의 전달까지 백업 워크로드에 포함됩니다.

서로 다른 엔진을 복원하는 Restore framework

복구할 때는 백업 인덱스에서 필요한 파일을 찾는 일부터 시작합니다. Restore framework의 Manifest Provider 플러그인이 데이터베이스별 백업 인덱스 매니페스트를 가져옵니다. 이 인덱스에는 전체·증분·차등 백업의 스냅샷 파일과 복구에 필요한 파일의 참조가 담겨 있습니다.

파일을 찾은 뒤에는 데이터베이스가 사용할 수 있는 상태로 적재해야 합니다. 이 과정은 Database Loader가 맡습니다. 공통 드라이버가 복구 흐름을 실행하되, 각 엔진에 맞는 데이터 적재는 플러그인으로 구현한 것입니다. 백업 쪽에서 사용한 기술별 도구와 복구 쪽의 준비·적재 절차가 여기서 연결됩니다.

데이터베이스백업 방식복구 방식
MySQL, Docstore, SchemalessPercona XtraBackup과 맞춤형 차등 백업Percona XtraBackup으로 백업을 풀고 준비해 올바른 데이터와 설정으로 MySQL 기동
Cassandranodetool snapshot을 이용한 Medusa와 유사한 차등 백업주로 SSTable인 백업 파일을 내려받아 엔진에 적재
etcdetcd-clientv3로 특정 시점 스냅샷 생성지정한 데이터베이스 디렉터리에 스냅샷을 놓고 스냅샷 로더 라이브러리 사용
Zookeeper최신 스냅샷 파일 백업지정한 데이터베이스 디렉터리에 스냅샷을 놓고 스냅샷 로더 라이브러리 사용

복구 프레임워크는 원래 위치에 복원하는 제자리 복구와 다른 위치에 복원하는 방식 모두를 지원합니다. 기술별 차이를 플러그인으로 분리해 다른 데이터베이스로 확장할 수 있으며, 수동 단계를 자동화해 복구 시간과 사람의 실수를 줄입니다. Continuous Restore가 임시 클러스터에서 반복 시험하는 대상도 이 복구 경로입니다.

우버는 백업·복구 체계의 추가 개발 내용을 후속 글에서 다뤄 보고 싶다고 밝혔습니다.

원문의 주요 수치
항목값
온라인 스토리지 규모수십 PB
백업 대상 데이터약 100PB
하루 업로드량적어도 수 PB
이전 RPO7~21일
이전 RTO알 수 없음에서 수일
개선 후 RPO4~24시간
개선 후 RTO시간당 300TB
스냅샷 도구MySQL 계열 Percona XtraBackup, Cassandra nodetool snapshot, etcd-clientv3
마지막 수정 일자