목차
백업마다 쌓이던 중복을 줄인 MyRocks의 SSTable 풀 (2024-08)
원문 정보
- 원문: Differential Backups in MyRocks Based Distributed Databases at Uber
- 매체 · 게시일: Uber Engineering Blog · 2024-08-01
- 저자: Adithya Reddy(Software Engineer, Storage Foundations 팀), Shriniket Kale(Engineering Manager II, Storage Platform 조직)
- 원문 내용을 바탕으로 재구성한 요약입니다.
수백 PB로 불어난 MyRocks 백업
우버의 MyRocks 백업은 이전 백업과 최대 95%가 겹쳤습니다. 파일이 그대로여도 다시 저장했습니다. 기존 도구인 Percona XtraBackup이 MyRocks에서 증분·부분 백업을 지원하지 않아, 데이터가 얼마나 바뀌었든 백업할 때마다 파티션 전체를 복사해야 했기 때문입니다.
백업 대상은 우버의 자체 분산 데이터베이스 Schemaless와 Docstore입니다. MySQL을 저장 계층으로 쓰며, 운영 데이터 수십 페타바이트를 저장하고 초당 수천만 요청을 처리합니다. 스토리지 플랫폼 팀은 쓰기 최적화와 저장 공간 효율을 보고 모든 인스턴스를 MyRocks로 옮겼습니다. RocksDB 스토리지 엔진을 사용하는 MySQL입니다.
Schemaless와 Docstore에서는 배포 하나를 인스턴스라 부릅니다. 인스턴스의 데이터는 샤드로 나뉘어 여러 물리 파티션에 분산됩니다. 한 리전 안에서 파티션의 복사본을 여러 MySQL 서버에 두고, 서버마다 RocksDB 컬럼 패밀리 하나를 저장하는 구성입니다. 리전 장애에 대비한 다른 리전으로의 복제도 있습니다.
재해 복구와 비즈니스 연속성, 컴플라이언스, 감사와 분석을 뒷받침할 백업은 모든 파티션에서 주기적으로 만들고, 정해진 보존 기간 동안 블롭 스토어에 보관했습니다. MyRocks로 옮긴 뒤에도 매번 전체를 저장해야 했던 탓에 누적된 백업은 수백 페타바이트, 블롭 스토어 비용은 수백만 달러에 달했습니다. 사업이 커질수록 매달 보관할 데이터가 늘어날 것으로 예상됐습니다. 파티션 크기에 따라 전체 백업 시간도 길어져, 저장 비용과 백업 속도를 함께 해결해야 하는 상황이었습니다.
계속 쓰기로 한 Percona XtraBackup
팀은 기존 백업 생태계와 호환되는 해법을 원했습니다. 바닷물을 전부 끓이려 드는 식의 전면 개편은 피하려는 선택이었습니다. 그 안에서 수천 개 파티션과 파티션 크기 증가를 감당하고, 데이터 1TB당 백업 완료 시간을 예측할 수 있는 SLA를 확보해야 했습니다.
백업 스케줄러를 개선해 실행을 뒤로 미뤄도 전체 백업이 계속 커지는 문제는 남았습니다. 숨어 있던 버그를 고치거나 블롭 스토어 티어링을 바꾸는 작업은 한 번의 절감에 그쳤습니다. 논리 백업에 압축을 적용하는 방법도 기대만큼 효과가 없었습니다. MyRocks가 이미 데이터를 효율적으로 저장하고 있어, 물리 백업보다 크게 줄어들 여지가 적었기 때문입니다. 논리 백업에 바이너리 로그 백업을 더하면 절감 폭은 여전히 작은데 로그 보관 비용까지 들었습니다.
이런 시도를 합쳐 블롭 스토어 사용량을 17~20% 줄였습니다. 쓸모 있는 절감이었지만, 데이터가 늘어도 백업 규모를 낮게 유지할 장기 해법은 아니었습니다.
팀은 Mydumper 방식의 논리 백업, 물리·논리 백업의 여러 압축 방식, 파티션을 무작위로 공유하는 물리 백업 설계까지 비교했습니다. 그래도 특정 시점의 일관된 스냅샷을 특정 LSN 기준으로 만드는 데는 XtraBackup이 가장 나았습니다. 메모리 사용량과 속도에서도 앞섰습니다.
XtraBackup은 실행 중인 데이터베이스에서 데이터 파일을 복사하면서 일관성을 보장하며, 설정에 따라 바이너리 로그도 가져옵니다. 복구를 위한 백업 준비와 스토리지로의 스트리밍도 지원하는 도구입니다. 도구 자체에는 증분 백업을 적용하는 기능도 있었지만, MyRocks의 증분·부분 백업은 지원하지 않았습니다. 팀은 XtraBackup을 계속 쓰되, 이 제약을 풀 방법을 백업 파일에서 찾기로 했습니다.
백업 사이에 공유하는 SSTable 파일
백업 크기의 95% 넘게 차지하는 것은 SSTable이었습니다. MyRocks는 데이터를 여러 SSTable 파일(*.sst)에 저장합니다. 이 파일은 불변입니다. 새 데이터를 쓰면 기존 SSTable을 고치는 대신 새 SSTable을 만들어 디스크에 내립니다.
XtraBackup의 물리 백업에는 이 SSTable들과 스키마, 로그, 체크포인트 등 복구에 필요한 작은 메타데이터 파일이 들어갑니다. 그런데 XtraBackup은 이전 백업에 같은 SSTable이 있는지 확인하지 않았습니다. 변하지 않는 파일을 매번 복사하던 동작에 중복을 줄일 여지가 있었습니다.
팀은 블롭 스토어에 SSTable 공유 풀을 만들었습니다. 최초 전체 백업에서 SSTable을 풀에 저장하고, 뒤따르는 차등 백업에서는 새 파일만 추가합니다. 이미 저장한 파일은 그대로 두고 여러 백업이 함께 참조하는 방식입니다. 각 백업이 어떤 파일로 이루어졌는지는 별도의 매니페스트에 기록합니다. 저장량뿐 아니라 중복 데이터를 다루는 작업도 줄어 백업과 복구가 빨라집니다.
파일을 놓는 위치도 이 구분을 따릅니다. SSTFile Pool Location에는 백업들이 공유할 SSTable을 모읍니다. Individual Backup Location은 특정 백업과 파티션 노드에 속하는 위치로, 그 백업의 매니페스트와 메타데이터를 압축한 tarball을 담습니다. 공유하는 데이터 파일과 백업마다 보관할 메타데이터를 나눈 구성입니다.
다음 백업의 출발점인 JSON 매니페스트
매니페스트는 백업마다 하나씩 만드는 JSON 파일입니다. 백업 종류와 성공 여부, 시작·종료 시각, 실제 백업 크기와 전체 데이터 크기를 기록합니다. 인스턴스 이름, 백업을 가져온 물리 노드, MySQL 버전도 남깁니다.
파일 목록은 SSTable마다 레코드 하나로 작성합니다. 각 레코드에는 파일 이름, 저장 경로, 크기와 무결성을 검사할 SHA256 체크섬이 들어갑니다. *.sdi, ibdata1, .log, 체크포인트 파일, xtrabackup_info 등을 묶은 메타데이터 tarball의 블롭 스토어 경로도 매니페스트의 일부입니다.
다음 백업은 이 파일에서 출발합니다. 어떤 SSTable을 이미 저장했는지 확인하고, 새로 저장한 파일과 재사용할 파일을 다음 매니페스트에 기록합니다. 복구할 때도 같은 목록을 따라 필요한 파일을 가져옵니다.
필요할 때 깨어나는 백업 컨테이너
실제 백업은 파티션의 follower 노드 2개 중 하나에 있는 MyRocks 컨테이너에서 가져옵니다. 시점과 빈도를 정하는 역할은 무상태 서비스인 Backup Scheduler가 담당합니다. 판단에 쓰는 파티션별 백업 상태는 별도의 상태 머신에 보관하는 구성입니다.
스케줄러는 마지막 백업 시각과 주기를 보고 새 백업이 필요한지 판단하며, 보통 이전 백업과 같은 파티션 노드를 고릅니다. 이어 노드 매니저에게 백업 컨테이너를 시작하도록 요청합니다. 차등 백업이라면 이전 매니페스트 같은 정보도 함께 전달하는 단계입니다.
백업 컨테이너는 필요할 때만 뜹니다. XtraBackup은 백업 데이터를 이 컨테이너의 디스크 버퍼로 바로 스트리밍하고, 컨테이너는 파일을 블롭 스토어에 저장합니다. 메타데이터 파일은 tarball 하나로 압축합니다. 작은 파일마다 블롭 스토어에 접근하는 횟수를 줄이고, 복구 때 파일을 다루는 과정도 단순하게 만들려는 선택입니다.
SSTable을 저장할 차례에는 매니페스트와 대조해 공유 풀에 이미 있는 파일인지 확인합니다. 새 SSTable만 업로드합니다. 기존 파일은 다시 올리지 않고 매니페스트에 기록만 남기는 방식입니다.
매니페스트는 백업 도중에도 정기적으로 블롭 스토어에 갱신해 데이터 유실을 막습니다. 추출을 마치면 유효한 상태로 표시해 저장하고, 문제가 생기면 오류 상태를 기록합니다. 백업 컨테이너는 작업 상태를 남긴 뒤 다시 잠듭니다.
보관 기간이 지난 백업을 정리할 때는 공유 파일의 참조도 살펴야 합니다. 보존 기간에 따라 매니페스트를 분류하고, 어떤 매니페스트도 더는 참조하지 않는 SSTable을 TTL 프로세스로 제거합니다. 만료된 메타데이터와 매니페스트도 삭제 대상입니다.
페타바이트 단위로 줄어든 블롭 스토어 사용량
새 방식으로 줄인 블롭 스토어 사용량은 페타바이트 단위였습니다. 대부분의 인스턴스에서 백업 저장 용량이 45% 줄었고, 큰 인스턴스 중 일부에서는 차등 백업마다 70% 이상 줄었습니다.
백업을 마치는 시간도 짧아졌습니다. 전체 백업은 이전보다 평균 2배, 차등 백업은 약 5배 빨라졌습니다. XtraBackup으로 일관된 스냅샷을 만드는 방식을 유지하면서 얻은 결과입니다.
절감 폭은 파티션의 활동량에 영향을 받습니다. 데이터 변경이 매우 활발하거나 컴팩션이 잦은 핫 파티션에서는 차등 백업의 효과가 줄어들 수 있습니다. 이런 차이는 파티션마다 나타나며, 전체 저장량을 얼마나 줄일 수 있는지에도 영향을 줍니다.
다시 전체 백업을 시작하는 순간
스케줄러의 기본 선택은 차등 백업입니다. 전체 백업 뒤에 새로 생기거나 변경된 SSTable만 저장하면서 기존 파일을 공유합니다. 이 설계는 같은 파티션 노드에서 백업을 이어 가는 편을 선호합니다. 그 노드가 교체되거나 백업에 적합하지 않게 되면 전체 백업부터 다시 시작해야 합니다.
파일 공유를 계속 이어 가기만 하는 것은 아닙니다. 팀은 아래 시점에 파티션 노드의 모든 SSTable을 다시 복사하도록 했습니다.
- 차등 백업을 프로덕션에 처음 도입하는 시점
- 이전 파티션 노드가 사라지거나 백업 무결성에 영향을 주는 변경으로 부적합해져, 다른 노드에서 새 백업을 시작해야 하는 경우
- MyRocks 버전 업그레이드 뒤, 버전 불일치 가능성을 없애기 위한 전체 백업
- 공유 풀의 차등 백업 횟수가 한도에 도달한 시점. 손상이 모든 백업을 위협하는 상황을 막기 위한 제한
따라서 같은 노드를 계속 사용할 수 있는지와 풀에서 차등 백업을 얼마나 이어 왔는지도 백업 방식에 영향을 줍니다. 새 전체 백업은 기존 XtraBackup 방식처럼 모든 SSTable을 복사하고, 이후 차등 백업이 파일을 공유할 기반을 다시 만듭니다.
매니페스트를 따라 재조립하는 복구 파일
복구에도 Percona XtraBackup을 씁니다. 블롭 스토어에서 복구할 유효한 백업을 고르고, 그 매니페스트를 임시 복구 위치로 내려받는 것부터 시작합니다.
매니페스트에 적힌 경로를 따라 SSTable과 메타데이터 tarball을 가져옵니다. tarball을 풀고 SSTable을 .rocksdb 폴더로 옮기면, 백업 당시 XtraBackup이 만든 파일 구성이 다시 갖춰집니다. 여러 백업이 공유하던 파일에서 복구할 백업 하나에 필요한 구성을 재조립하는 과정입니다.
이후 XtraBackup prepare를 실행합니다. 크래시 복구 과정으로 스캔된 LSN까지 백업을 일관된 상태로 준비하는 단계입니다. 준비가 끝나면 MySQL 프로세스를 멈추고, XtraBackup copy back으로 데이터 디렉터리(예: /var/lib/mysql/*)를 내려받아 준비한 백업 데이터로 교체합니다. MySQL을 다시 시작하면 복구된 데이터베이스를 사용할 수 있습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| Schemaless/Docstore 규모 | 운영 데이터 수십 PB, 초당 수천만 요청 |
| MyRocks 이전 후 전체 백업 누적 | 수백 PB, 블롭 스토어 비용 수백만 달러 |
| SSTable이 백업 크기에서 차지하는 비중 | 95% 이상 |
| 이전 백업과의 중복 | 최대 95% |
| 일회성 대안으로 얻은 절감 | 블롭 스토어 사용량 17~20% |
| 차등 백업 후 저장 용량 | 대부분 인스턴스에서 45% 감소, 일부 큰 인스턴스는 차등 백업마다 70% 이상 감소 |
| 백업 속도 | 전체 백업 평균 2배, 차등 백업 평균 5배 빠름 |
| 백업 노드 | 파티션 follower 노드 2개 중 하나 |
| 매니페스트 레코드 | SSTable 파일마다 하나 (이름, 경로, 크기, SHA256) |