본문으로 건너뛰기
MySQL에서 MyRocks로 옮겨 간 Schemaless·Docstore
목차

MySQL에서 MyRocks로 옮겨 간 Schemaless·Docstore (2022-09)

원문 정보

  • 원문: MySQL to MyRocks Migration in Uber’s Distributed Datastores
  • 매체 · 게시일: Uber Engineering Blog · 2022-09-01
  • 저자: Shriniket Kale(Storage Platform 조직 Engineering Manager II), Hao Xu(Storage Foundations 팀 Staff Software Engineer), Shenglin Du(Storage Foundations 팀 전 Staff Software Engineer)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

CPU와 메모리가 남아도 먼저 찬 디스크

우버가 먼저 소진한 자원은 디스크였습니다. 분산 데이터베이스 Schemaless와 Docstore의 일부 노드에는 수 TB가 넘는 데이터가 쌓였고, 재동기화와 백업처럼 늘 하던 운영 작업도 어려워졌습니다. CPU와 메모리는 남아 있었습니다. 디스크 때문에 다른 자원을 충분히 쓰지 못하면서 Schemaless의 총소유비용(TCO)이 올라가는 상황이었습니다.

두 시스템은 라이드, 이츠, 그로서리, 지도, 머니 무브먼트 등 여러 사업을 뒷받침합니다. 각각 수십 PB의 데이터를 저장하고 초당 수천만 건의 요청을 처리하는데, 사업이 커질수록 데이터와 요청도 늘었습니다. 우버 Storage Platform 팀은 이 비용 곡선을 꺾어야 했습니다.

노드를 쪼개 데이터를 분산하는 방법부터 생각할 수 있었습니다. 하지만 작업에 시간이 오래 걸렸고, 일부 인스턴스는 이미 샤딩 한도에 부딪혔습니다. 우버의 규모와 성장 속도를 감안하면 오래 쓸 해법은 아니었습니다. InnoDB 테이블 압축도 시도했지만 디스크 절감은 약 5%에 그쳤습니다. 쿼리 엔진 계층에서 이미 압축한 데이터라 추가 압축으로 줄일 공간이 많지 않았기 때문입니다.

MyRocks 벤치마크에서는 다른 결과가 나왔습니다. 허용할 만한 지연 시간을 유지하면서 디스크 공간을 30% 이상 줄였습니다. MyRocks는 오픈소스 RocksDB를 MySQL의 스토리지 엔진으로 쓰게 해 줍니다. MySQL의 기본 엔진인 InnoDB가 B+Tree로 데이터를 저장하는 데 비해, RocksDB는 로그 구조 병합 트리(LSM 트리)에 기반해 공간과 쓰기 효율을 높이면서 읽기 성능도 수용할 만한 수준을 확보합니다.

이미 압축한 데이터에서도 공간을 줄인 데는 이유가 있었습니다. RocksDB는 고정 페이지 크기를 쓰지 않아 공간 낭비를 최소화하면서 효율적으로 압축합니다. InnoDB의 B+Tree 인덱스는 단편화가 생기면 디스크를 추가로 차지할 수 있습니다.

클라이언트를 바꾸지 않아도 된다는 점도 선택을 뒷받침했습니다. MyRocks 역시 MySQL이므로 클라이언트 프로토콜이 같고, 쿼리 엔진 계층과 클라이언트를 수정할 필요가 없었습니다. 우버는 늘어나는 데이터 규모를 감당할 가장 적합한 선택으로 MyRocks를 택했습니다.

XtraBackup을 계속 쓰기 위한 MySQL 8.0

엔진을 바꾸기 전에 버전부터 올려야 했습니다. 우버가 데이터 재동기화와 백업에 쓰던 XtraBackup은 MySQL 8.0부터 MyRocks를 지원했는데, 당시 운영 버전은 5.7이었습니다. Docstore가 MySQL 8.0의 JSON 기능을 쓰려던 계획도 업그레이드의 이유였습니다.

버전 업그레이드는 바이너리만 교체하는 인플레이스 방식입니다. 한 리전의 한 파티션에서 팔로워 하나를 먼저 올리고, 같은 파티션의 나머지 팔로워를 올린 뒤 리더를 업그레이드했습니다. 이 순서를 같은 리전의 다른 파티션에 반복하고 나서 다른 리전으로 넓혔습니다.

바이너리를 바꾸는 작업이라고 일정까지 짧지는 않았습니다. 2018년에 MySQL 5.6에서 5.7로 올릴 때는 수 개월이 걸렸지만, 5.7에서 8.0으로 가는 데는 1년이 넘게 걸렸습니다. 시간을 잡아먹은 것은 8.0에서 만난 버그와 성능 저하였습니다.

  • MySQL 5.7보다 높은 메모리 사용량
  • 옵티마이저 변경에 따른 실행 계획 변화(bug 104083)
  • 테이블이 많을 때 데이터 딕셔너리 테이블을 채우느라 길어지는 업그레이드
  • THD::release_resources 대기에서 멈추는 스레드(PS-7525)
  • InnoDB 인덱스 트리·테이블스페이스 여유 공간 손상

이 문제들을 우회하는 동안에도 8.0 업그레이드를 마친 노드에서는 MyRocks 전환을 진행했습니다.

같은 쿼리가 다른 결과를 낸 MyRocks

MyRocks 전환은 MySQL 논리 업그레이드에 가까운 작업이었습니다. 첫 리전에 XtraBackup으로 여분의 노드를 만들고, 그 노드의 사용자 테이블을 RocksDB 엔진으로 바꿨습니다. XtraBackup은 우버에서 표준으로 쓰던 도구였고, mysqldump 같은 방법보다 빠르고 신뢰할 만하다는 점도 이미 확인한 상태였습니다.

테이블을 바꾸기 전에는 테이블별 체크섬과 전체 테이블 수부터 수집했습니다. 이후 RocksDB bulk load 모드에서 여러 스레드로 모든 사용자 테이블을 변환하고, MyRocks에서 다시 체크섬과 테이블 수를 구해 앞서 수집한 값과 비교했습니다.

테이블 수까지 세는 데는 실제로 겪은 문제가 있었습니다. 엔진을 변환하다가 handler commit을 기다리는 단계에서 MySQL이 메모리 부족(OOM)으로 종료되면, 재시작 뒤 일부 테이블이 사라지는 사례가 나왔습니다. 변환 작업이 끝났다는 사실만으로는 데이터가 온전히 남았다고 판단할 수 없었습니다.

데이터를 확인한 뒤에는 테이블을 analyze해 MyRocks의 통계를 다시 만들었습니다. 엔진을 바꾼 뒤에도 실행 계획이 같으리라는 보장은 없습니다. 통계를 갱신하는 작업은 실행 계획 변경으로 SQL 성능이 떨어지는 일을 피하기 위한 조치였습니다.

검증은 쿼리 실행까지 이어졌습니다. 실제 프로덕션 쿼리를 MyRocks 노드에서 재생해 결과를 비교하자, 같은 쿼리가 InnoDB와 RocksDB에서 서로 다른 결과를 반환하는 문제도 발견했습니다. PS-7722가 그 사례입니다. 결과뿐 아니라 실행 계획과 실행 시간도 비교해, 전환한 노드에서 성능이 떨어지지 않는지 확인했습니다.

MySQL로 돌아갈 여지를 남긴 리전

노드 하나가 검증을 통과해도 인스턴스 전체를 바꾸는 일은 남아 있었습니다. Schemaless와 Docstore는 데이터를 샤드로 나누고, 샤드를 설정 가능한 수의 물리 파티션에 매핑합니다. 각 파티션은 한 리전 안에 여러 데이터 복사본을 두고 Raft 합의 프로토콜로 일관성을 유지하며, 다른 리전에도 복제됩니다.

이 복제 구성을 따라 전환 범위도 넓혔습니다. 파티션 하나에서 여러 파티션으로, 리전 하나에서 전체 리전으로 진행하는 방식입니다. 엄격한 SLA와 데이터 일관성, 가용성을 지키면서 하위 서비스와 사용자가 전환의 영향을 받지 않아야 했습니다. 노드를 옮길 때마다 데이터 무결성을 검증하고 지연 시간과 에러율을 감시하는 단계까지 수동 개입 없이 자동으로 진행했습니다.

파티션의 첫 MyRocks 노드가 모든 검증을 통과하면 두 번째 노드를 팔로워로 추가했습니다. 세 번째 MyRocks 팔로워까지 들어오면 파티션에는 MyRocks 3대와 MySQL 2대가 남습니다. 여기서 MyRocks 노드를 리더로 승격해 서비스의 쓰기 트래픽을 받게 하고, 기존 MySQL 노드를 하나씩 제거했습니다.

같은 리전의 모든 파티션에서 이 절차를 병렬로 반복했습니다. 리전 전체가 MyRocks로 바뀌면 전환을 잠시 멈췄습니다. 다른 리전에는 MySQL이 남아 있었으므로 두 리전의 지연 시간, 에러율, CPU·IO 사용률을 비교하고, 필요하면 롤백과 함께 트래픽을 MySQL 리전으로 페일오버할 수 있었습니다.

MyRocks 리전에서 문제가 없음을 확인한 뒤에야 다음 리전으로 넘어갔습니다. 이때는 여분의 MyRocks 노드를 추가하지 않았습니다. 앞선 리전에서 검증을 마쳤으므로 MySQL 노드를 MyRocks로 교체해 추가 용량을 아끼면서 인스턴스의 전환을 끝냈습니다.

디스크 절감의 대가를 치른 일부 인스턴스

실제 전환에서도 디스크 공간은 전반적으로 30% 이상 줄었습니다. 하지만 모든 용도가 MyRocks에 적합했던 것은 아닙니다. 일부 인스턴스에서는 공간을 절감하는 대가로 CPU 사용량과 디스크 IO 사용률이 높아졌습니다.

업그레이드와 마이그레이션 전체 일정도 처음 예상보다 길어졌습니다. 그 이유 중 하나는 MyRocks가 당시 아직 아주 새로운 데이터베이스 엔진으로 여겨져, 문제가 생겼을 때 도움을 구할 만한 성숙한 커뮤니티가 없었다는 점입니다. 버그를 만나면 Percona의 패치를 기다리거나 직접 조사해 우회책을 찾아야 했습니다. 엔진을 바꾸는 절차뿐 아니라 이런 문제를 해결하는 데도 시간이 들었습니다.

Schemaless 다음으로 남은 Docstore

2019년에 시작한 Schemaless의 MyRocks 전환을 마치는 데는 몇 해가 걸렸습니다. 이후 Docstore 인스턴스 일부도 옮겼는데, 여기서는 Schemaless보다 훨씬 큰 디스크 절감 효과를 봤습니다. Docstore는 저장 전에 데이터를 압축하지 않기 때문입니다.

우버는 나머지 Docstore도 계속 MyRocks로 옮길 계획입니다. 주력인 Schemaless와 Docstore 워크로드에서 효율과 성능을 높이도록 MyRocks를 튜닝하고, MyRocks의 백업·복구 체계를 보강하는 작업도 남아 있습니다.

원문의 주요 수치와 이슈 번호
항목값
전환 시작2019년
데이터 규모수십 PB, 초당 수천만 요청
InnoDB 테이블 압축 효과디스크 약 5% 절감
MyRocks 벤치마크·실제 절감디스크 30% 이상 절감
MySQL 5.6에서 5.7 업그레이드 (2018)수 개월
MySQL 5.7에서 8.0 업그레이드1년 이상
8.0 관련 이슈bug 104083(실행 계획 변경), PS-7525(THD::release_resources 대기)
MyRocks 관련 이슈PS-7722(InnoDB와 다른 쿼리 결과)
파티션 전환 중 구성MyRocks 3대 + MySQL 2대 상태에서 리더 승격
마지막 수정 일자