본문으로 건너뛰기
cron 유지보수에서 벗어난 쿠팡의 데이터베이스 백업·복구 플랫폼
목차

cron 유지보수에서 벗어난 쿠팡의 데이터베이스 백업·복구 플랫폼 (2022-06)

원문 정보

사소한 물리 디스크 장애가 데이터셋 전체를 망가뜨릴 수 있습니다. 잘못된 작업 하나로 데이터를 영구히 잃기도 합니다. A/B 테스트부터 구매 퍼널까지 데이터로 중요한 사업 결정을 내리는 쿠팡에서, Database Engineering 팀은 이런 사고에 대비할 백업·복구 플랫폼을 만들었습니다. 중요한 데이터와 메타데이터를 지키기 위해 백업 전 과정을 간소화하고, 그동안 사람이 하던 단계를 자동화했습니다.

사람이 예약부터 확인하던 cron 백업

기존에는 cron 작업에 관리 도구를 곁들여 백업을 운영했습니다. 작은 스타트업 규모에는 맞았지만, 데이터가 폭발적으로 늘자 스크립트는 비효율적이고 유지하기도 어려워졌습니다. 여러 팀이 버전 관리도 중앙 권한 관리도 없이 cron 작업을 수정할 수 있었습니다.

예약 여부부터 사람이 확인했습니다. DBA 엔지니어는 데이터베이스마다 일간·시간별 백업이 잡혀 있는지 일일이 살펴야 했고, 여러 단계의 수작업에서 생긴 실수는 복구 실패로 이어지곤 했습니다. 하드웨어 오류 같은 예외적인 장애가 나면 백업 노드가 자동으로 복구돼야 했지만, 운영은 백업 스크립트와 데이터베이스 서버에 직접 SSH로 로그인하는 작업에 의존했습니다. 보안과 효율 모두 떨어지는 방식이었습니다.

데이터 종류와 크기에 맞춰 저장 방식을 바꾸는 일도 어려웠습니다. S3 같은 오브젝트 스토리지에 저장한 백업은 시간에 민감한 핵심 서비스의 복구 요구를 맞추기에는 너무 느렸습니다. 그렇다고 로컬이나 블록 스토리지로 쉽게 옮길 수도 없었습니다. 백업 스크립트를 한곳에서 관리하는 시스템이 없어, 전환 역시 수작업에 의존했습니다.

복구와 확장에 함께 쓰이는 백업 데이터

백업은 장애 복구뿐 아니라 새 레플리카를 만드는 데도 쓰였습니다. 새 플랫폼은 핵심 고객·거래 데이터를 적절한 RPO·RTO로 복구하면서, 스케일 아웃이나 서브오디네이트 추가에 쓸 인스턴스도 빠르게 만들 수 있어야 했습니다.

백업 중에는 데이터베이스와 관련 온라인 서비스가 영향을 받아서는 안 됐습니다. 데이터 일관성과 24시간 가용성을 지키려고 웜·콜드 백업 대신 핫 백업을 골랐습니다. 데이터베이스를 실행한 채 백업해 온라인 서비스의 중단을 최소화하는 방식입니다.

전체 백업은 가장 흔한 방식이고, 복구하거나 레플리카를 만들 때도 가장 빠릅니다. 대신 매번 많은 디스크 공간과 시간이 듭니다. 쿠팡은 최근 변경분만 담는 증분 백업을 함께 사용해 이 부담을 보완했습니다.

백업 형식은 로그와 데이터 파일을 복제하는 물리 백업으로 정했습니다. 논리 백업은 읽고 실행할 수 있는 SQL 텍스트여서 즉시 내용을 검사할 수 있지만, 복구가 느리고 작은 데이터셋에만 맞습니다. 장애 때의 백업·복구 속도를 우선해, 데이터를 검증하려면 먼저 복구해야 한다는 제약을 받아들였습니다.

S3보다 빠른 복구를 위해 고른 EBS 스냅샷

S3로 백업한 데이터를 복구할 때는 전송 대역폭이 속도를 제한합니다. 쿠팡의 프로덕션에서는 250M/s를 넘지 못합니다. 원문의 Figure 2에서도 S3는 데이터 양이 늘수록 스케일 아웃 시간이 선형으로 늘었지만, EBS 스냅샷은 데이터 크기와 관계없이 비슷한 시간이 걸렸습니다.

쿠팡은 로컬 백업 대신 Amazon EBS를 쓰는 원격 백업을 골랐습니다. 스냅샷 기술이 몇 분 안의 복구를 보장하기 때문입니다. 백업 작업은 클러스터에 새 레플리카를 추가하고 최신 데이터를 복사해 동기화한 뒤, EBS 볼륨을 분리해 보존합니다.

최신 스냅샷이 분리된 EBS 볼륨에 남아 있으므로, 복원할 때는 마지막 백업 이후 새로 쓰인 데이터만 binlog로 따라잡으면 됩니다. 레플리카 복원에는 몇 분이면 충분합니다.

S3를 선택한 백업은 파일을 Unix 파이프라인에서 바로 암호화해 업로드합니다. 임시 파일을 만들지 않아 디스크 공간 부족 위험을 피합니다. 사업별 VPC나 애플리케이션에 따라 S3 버킷 주소와 암호화 키를 분리하며, 각 백업 노드의 내부 도구는 여러 암호화 알고리즘을 지원하도록 만들었습니다.

클라우드 블록 스토리지는 데이터 중복성과 기존 백업보다 훨씬 빠른 복구를 제공하는 새 선택지가 됐습니다. 내부 사용자는 평균 복구 시간(MTTR) 요구와 한계 비용에 따라 저장 방식을 고릅니다. 쿠팡은 온라인 자원의 장애 조치를 위해 레플리카를 빨리 복원해야 하는 핵심 서비스에 EBS 스냅샷을 사용했습니다. 더 드는 비용을 감수한 선택입니다.

수백 개 클러스터의 작업을 모아 보는 관리 화면

수백 개 클러스터에서 하루 여러 번 전체·증분 백업을 실행하는 엔지니어에게는 반복 작업을 줄이는 화면도 필요했습니다. 플랫폼의 UI에서는 복잡했던 백업 과정을 몇 번의 클릭으로 처리합니다.

새 백업 작업은 클러스터 이름, 백업 머신, 실행 시각을 지정해 등록합니다. 실행 시각에는 crontab과 같은 cron 표현식을 써서 기존 cron 작업에서 플랫폼으로 옮겨 오기 쉽게 했습니다.

백업 스케줄러에서는 작업 로그, 실행 시각, 현재 클러스터 머신과 변경 내역을 한곳에서 볼 수 있습니다. 상세 화면에서는 백업 종류와 파일 크기도 확인합니다. 복구 작업은 최신 백업으로 레플리카 클러스터를 만드는 방식으로 등록하며, EBS와 S3 중 복구 경로를 고릅니다.

웹 UI와 자동화 프로그램은 같은 표준 RESTful API를 사용합니다. 백엔드 컨트롤러가 하부 백업 도구로 백업 과정을 관리하고, MetaDB는 작업 설정·스케줄·감사 로그를 저장합니다. 백엔드는 모듈성, 속도, 보안을 고려해 바이너리가 작고 메모리를 적게 쓰는 시스템 수준 프로그램으로 설계했습니다.

이제 DBA 엔지니어는 cron 작업과 bash 스크립트를 직접 유지하는 일에서 벗어났습니다. 플랫폼은 백업 모니터링과 알림, 페일세이프를 자동으로 관리하며, 수작업에서 생기던 보안 위험과 운영 사고도 예방합니다.

트래픽이 적어도 부하를 제한하는 MySQL 백업

DBA 엔지니어는 물리 백업 작업을 예약할 때 전체 백업과 증분 백업 중 하나를 고르고 데이터베이스 머신 유형도 지정합니다. 머신 유형마다 다른 속도 제한과 조절 가능한 파라미터를 두어, 무거운 작업이 온라인 서비스의 장애로 이어지지 않도록 했습니다.

작업은 주로 트래픽이 적은 시간대에 실행합니다. 그래도 IO가 몰리면 안정성이 떨어지고 복제가 지연될 수 있어, MySQL 호스트 볼륨 처리량을 기준으로 백업 도구가 IO 사용을 프로덕션 실제 통계의 80%로 제한합니다. 자원이 포화되지 않게 하려는 조치입니다. 스레드 수와 S3 청크 크기는 MySQL 데이터 크기에 맞춰 자동으로 조정하며, 이 최적화 전략은 상황에 따라 바꿀 수 있습니다.

복구한 데이터의 일관성을 확인하는 청크별 체크섬

백업은 주기적으로 복구해 검증합니다. 저장한 데이터가 정확하고 실제로 쓸 수 있는지 확인하는 과정이며, 프로덕션에 영향을 주지 않고 실행합니다.

검증할 때는 소스에서 statement 기반 SQL 쿼리로 테이블을 청크로 나눕니다. 쿼리마다 실행 시간을 짧게 유지하므로 큰 테이블도 서비스에 영향을 주지 않고 처리합니다. 체크섬을 계산하는 동안 데이터가 바뀌지 않도록 각 청크에 락을 겁니다.

소스 인스턴스에서 MySQL 함수로 청크별 체크섬을 구한 다음, 레플리카에서도 같은 체크섬 쿼리를 실행합니다. 소스와 레플리카의 값을 비교해 데이터의 일관성을 확인합니다.

원문의 방식 선택과 수치
항목값
백업 방식핫 백업, 전체 + 증분, 원격(EBS), 물리 백업
저장 방식EBS 스냅샷, S3
EBS 레플리카 추가몇 분
S3 복구 대역폭프로덕션에서 250M/s 이하
복구 시간 증가S3는 데이터 양에 선형, EBS 스냅샷은 크기와 무관
IO 제한프로덕션 실제 통계의 80%
백업 규모수백 개 클러스터, 하루 여러 번의 전체·증분 백업
암호화사업별 VPC·애플리케이션별로 S3 버킷과 키 분리
마지막 수정 일자