본문으로 건너뛰기
MySQL 8.0 승격 전까지 되돌릴 길을 남긴 우버
목차

MySQL 8.0 승격 전까지 되돌릴 길을 남긴 우버 (2024-08)

원문 정보

  • 원문: Upgrading Uber’s MySQL Fleet to version 8.0
  • 매체 · 게시일: Uber Engineering Blog · 2024-08-08
  • 저자: Siddharth Singh(Staff Software Engineer, Core Storage 팀), Sriram Rao Udupi(Software Engineer II, Storage 팀), Raja Sriram Ganesan(Sr Staff Software Engineer, Core Storage 팀), Debadarsini Nayak(Senior Engineering Manager)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

지원 종료를 맞은 우버의 MySQL 플릿

우버는 2023년 MySQL 플릿을 5.7에서 8.0으로 옮기기 시작했습니다. 수동 업그레이드는 불가능한 규모였습니다. 3개 리전의 프로덕션 존 19곳에 클러스터 2,100개 이상과 노드 16,000개 이상이 흩어져 있고, 수 페타바이트의 데이터를 저장하며 초당 약 300만 쿼리를 처리하는 환경입니다. 이 규모를 옮기면서도 서비스 수준 목표(SLO)를 지켜야 했습니다.

5.7은 확장 지원이 끝나 보안 취약점에 노출될 수 있고 버그 수정도 계속 받지 못하는 상태였습니다. 8.0에는 지원 종료에 대응하는 것 이상의 기대가 있었습니다. 인덱싱과 리소스 활용 최적화로 쿼리가 빨라지고 동시성 처리도 나아질 전망이었고, 윈도 함수와 개선된 JSON 처리, 더 나은 공간 데이터 지원도 제공하는 버전입니다.

운영에서 얻을 이점도 분명했습니다. 보안 사고 때는 “Dual passwords"로 비밀번호를 더 수월하게 교체할 수 있습니다. Instant ADD Column은 스키마 변경의 다운타임을 줄여 줍니다.

5.7 옆에서 먼저 읽기를 맡은 MySQL 8.0

우버의 각 클러스터는 같은 데이터를 가진 노드들을 여러 데이터센터에 나눠 두고 가용성과 장애 조치에 대비합니다. primary가 쓰기를 처리하고 secondary는 비동기로 복제하는 구성입니다. 그런데 버전 사이의 복제에는 방향이 있었습니다. 5.7 primary의 데이터를 8.0 복제본으로 보내는 것은 가능하지만, 8.0 primary에서 5.7 복제본으로 보내는 것은 지원되지 않습니다.

기존 설치를 직접 바꾸는 제자리(in-place) 업그레이드는 설정이 단순한 대신 MySQL 서비스를 멈췄다가 다시 시작해야 합니다. 다운타임이 길어질 수 있고 롤백 여지도 적은 방식입니다. 우버는 별도 서버에 8.0을 설치하고 트래픽을 점진적으로 넘기는 병행(side-by-side) 업그레이드를 택했습니다.

5.7 노드는 계속 요청을 처리합니다. 그 옆에 추가한 8.0 복제본에는 실제 프로덕션의 읽기 전용 부하를 맡겨, primary를 바꾸기 전에 새 버전의 동작을 확인할 수 있었습니다. 기존 서비스의 다운타임을 줄이면서 충분히 테스트하고, 문제가 생기면 되돌릴 여지도 남기는 선택이었습니다.

5.7로 돌아올 수 있는 마지막 지점

5.7이 primary인 동안은 되돌리기가 단순합니다. 새 버전에서 지연이나 CPU 사용률이 나빠지면 추가한 8.0 복제본을 삭제하거나 비활성화하면 됩니다. Maintenance 단계 전까지의 작업은 데이터 유실 없이 완전히 되돌릴 수 있었습니다.

경계는 8.0 노드의 primary 승격입니다. 승격하는 순간 5.7 노드로의 복제가 멈추고, 이후의 변경은 5.7에 전달되지 않습니다. 그 상태에서 5.7을 다시 primary로 삼으면 데이터가 유실될 수 있습니다. 데이터 유실 없이 되돌릴 수 있다는 보장이 여기서 끝나는 것입니다.

따라서 롤백 수단만 준비해서는 부족했습니다. 지연과 CPU 사용률 같은 신호를 관측해 언제 되돌려야 하는지 알아야 했고, 승격 전에는 기존 애플리케이션과 서비스가 8.0에서도 제대로 동작하는지 광범위한 검증과 회귀 테스트를 거쳐야 했습니다. 팀이 검증에 시간을 들인 이유는 명확합니다. primary를 바꾸기 전과 후에는 같은 롤백을 기대할 수 없었습니다.

8.0 복제본을 지켜본 약 일주일

팀은 다양한 환경의 클러스터가 여러 단계를 사람의 개입 없이 거치도록 전용 자동화 워크플로를 만들었습니다. 자동 알림과 모니터링으로 진행 상황과 이상 징후를 확인하고, 실패나 호환성 문제에 대응할 자동 롤백도 마련했습니다.

시작은 Pre-Maintenance입니다. 5.7 노드마다 같은 리전과 존에 대응하는 8.0 복제본을 추가해, 새 노드들도 기존과 같은 분포를 유지하게 했습니다. 이때부터 8.0 복제본은 5.7 노드와 함께 실제 프로덕션 트래픽을 처리합니다.

곧바로 primary를 바꾸지는 않았습니다. System Monitoring에서 약 1주일 동안 새 복제본을 지켜보며 성능 저하나 SLA 위반이 없는지 확인했습니다. 실제 트래픽을 받는 동안 기대와 다르게 동작하는 부분을 기록하고 해결하는 시간입니다.

검증을 마치면 5.7 복제본을 비활성화해 읽기 트래픽을 넘깁니다. 이어지는 Maintenance에서는 8.0 노드 하나를 primary로 승격하고 안정성을 지켜봤습니다. 마지막 Post-Maintenance에서 더는 복제하지 않는 5.7 노드를 모두 제거하면, 클러스터에는 8.0 노드만 남습니다.

플릿 전체의 진행 순서도 나눴습니다. 티어 5에서 티어 0으로 내려가되 각 티어 안에서는 클러스터를 관리 가능한 배치로 묶었고, 각 단계를 시작하기 전에 해당 클러스터의 온콜 팀을 참여시켰습니다. 스테이징부터 우버의 프로덕션 클러스터, 내부 도구 인스턴스까지 옮기는 데 걸린 시간은 1년 이상입니다.

실제 쿼리에서 드러난 8.0의 변화

8.0에서 모든 쿼리가 처음부터 빨라진 것은 아닙니다. 일부 클러스터에서는 실행 계획이 5.7과 달라지면서 지연과 리소스 사용량이 늘었습니다. 우버의 모든 대시보드를 지원하는 클러스터도 그중 하나였습니다. 팀은 Percona와 함께 패치를 찾아 영향받은 클러스터에 적용했고, 쿼리 성능과 리소스 효율을 회복했습니다.

기존 쿼리가 아예 실패하는 경우도 있었습니다. 일부 키워드의 문법이 바뀌어 프로덕션 쿼리가 깨졌고, SQL 모드의 차이도 고객 오류로 이어졌습니다. 기존 클러스터 상당수에서 꺼져 있던 STRICT_TRANS_TABLES는 8.0의 기본값입니다. ONLY_FULL_GROUP_BY에서도 비슷한 문제가 생겨 설정을 조정해야 했습니다.

콜레이션을 맞추는 일도 까다로웠습니다. 8.0은 기본 문자셋으로 utf8mb4를, 기본 콜레이션으로 utf8mb4_0900_ai_ci를 사용합니다. 5.7에서 쓰던 콜레이션은 utf8mb4_unicode_520_ci입니다. 5.7은 새 콜레이션을 지원하지 않아 시스템 전반의 설정을 맞추는 데 어려움이 있었습니다.

클라이언트 라이브러리도 다수가 8.0과 호환되지 않았습니다. 팀은 라이브러리를 업그레이드하고 스테이징에서 충분히 테스트한 뒤 primary 업그레이드를 진행했습니다. 이런 테스트와 단계적 롤아웃으로 문제를 일찍 찾아 해결하면서, primary를 바꾸는 시점에 새로운 장애 유형을 만날 위험을 크게 줄였습니다.

1024개 스레드에서 줄어든 p99 지연

우버는 SLO를 지키며 전환을 마쳤습니다. 서버 측 성능을 비교한 결과, 동시 스레드 1024개로 각각 100만 건의 작업을 처리할 때 p99 지연은 insert 29%, read 33%, update 47% 개선됐습니다.

클라이언트 측에서도 개선을 확인했습니다. 전체 데이터베이스 락 시간은 약 94% 줄었고, 일부 쿼리의 쿼리 시간은 약 78% 짧아졌습니다.

원문의 규모와 성능 수치
항목값
MySQL 클러스터2,100개 이상
노드16,000개 이상
프로덕션 존 / 리전19곳 / 3개
데이터 규모 / 쿼리수 페타바이트 / 초당 약 300만
숙성 기간약 1주일
업그레이드 순서티어 5에서 티어 0
작업 기간2023년 시작, 1년 넘게 소요
p99 지연 개선 (100만 건, 1024 스레드)insert 29%, read 33%, update 47%
클라이언트 측 개선전체 락 시간 약 94% 감소, 일부 쿼리 시간 약 78% 감소
5.7 기본 콜레이션 / 8.0 기본 콜레이션utf8mb4_unicode_520_ci / utf8mb4_0900_ai_ci
마지막 수정 일자