본문으로 건너뛰기
99.99% 가용성을 향해 다시 짠 우버 MySQL 컨트롤 플레인
목차

99.99% 가용성을 향해 다시 짠 우버 MySQL 컨트롤 플레인 (2025-01)

원문 정보

  • 원문: MySQL At Uber
  • 매체 · 게시일: Uber Engineering Blog · 2025-01-30
  • 저자: Banty Kumar(Senior Software Engineer, 스토리지 플랫폼 팀), Debadarsini Nayak(Senior Engineering Manager), Raja Sriram Ganesan(Sr Staff Software Engineer, Core Storage 팀), Amit Jain(Engineering Manager)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

MySQL 장애에 막힌 인프라 배치

MySQL 장애가 인프라 배치 작업까지 막았습니다. 기존 컨트롤 플레인이 인프라 프로세스와 강하게 결합되어 있었기 때문입니다. 플릿이 커지면서 팀은 이 문제를 디버깅하는 데 많은 시간을 썼고, primary 장애 조치와 노드 교체를 비롯한 60개 넘는 워크플로의 안정성도 영향을 받았습니다.

운영 대상은 독립 MySQL 클러스터 2,300개 이상입니다. 우버 데이터 인프라의 뼈대인 이 플릿을 다운타임과 데이터 유실 없이 관리하는 일은, 팀이 업계에서도 손꼽히게 어려운 문제로 꼽은 과제였습니다. 클러스터 상태를 보관하던 Git 기반 설정 저장소 역시 이 용도에 맞지 않았습니다.

팀의 선택은 컨트롤 플레인 전면 재설계였습니다. 운영 워크플로 전반을 고쳤고, 지난 몇 년간 이 재설계와 여러 최적화로 플릿의 가용성을 99.9%에서 99.99%로 높이는 작업에 나섰습니다.

호스트가 바뀌어도 그대로인 클러스터 주소

서비스가 보는 주소는 그대로입니다. Kubernetes에서 실행되는 무상태 서비스는 표준 클라이언트를 사용해 JDBC로 MySQL 클러스터에 접속하며, 클러스터마다 고정된 가상 IP(VIP) 하나를 사용합니다. 그 뒤에서 호스트와 노드 구성이 바뀌는 일을 처리하는 계층이 디스커버리 플레인입니다.

각 서버의 리버스 프록시는 primary·replica·batch 역할별 라우팅 정보를 갖고 있습니다. 쓰기는 primary로 보내고, 읽기는 전체 replica에 분산하되 같은 지리적 지역의 replica를 우선합니다. 표준 클라이언트는 읽기와 쓰기에 맞는 연결을 만들며, 커넥션 풀링과 타임아웃 처리, 클라이언트 지표 수집도 담당합니다.

재설계한 라우팅 계층은 토폴로지 저장소로 강한 일관성을 제공하는 etcd를 선택했습니다. 클러스터 운영을 조율하는 technology manager가 노드 추가나 primary 장애 조치에 따른 토폴로지 변경을 기록하면, etcd watch가 풀링 서비스에 이를 전달합니다. 풀링 서비스는 프록시 설정을 갱신해 새 노드로 트래픽을 보내거나 빠져나갈 노드의 트래픽을 비웁니다. 클라이언트가 접속하는 VIP는 바뀌지 않습니다.

특정 노드로 향하는 트래픽만 끄는 것도 가능합니다. 고객 트래픽에 영향을 주지 않고 하드웨어나 소프트웨어 문제를 디버깅할 때 쓸 수 있는 기능입니다.

목표 상태로 수렴하는 MySQL 노드

컨트롤 플레인이 다루는 것은 클러스터와 노드의 운영 상태입니다. 클러스터의 생성·수정·삭제와 노드 수명주기뿐 아니라 MySQL 시스템 변수, 복제 설정, 스케일링을 관리하며, 보안 상태와 우버 내부 시스템 연동도 챙깁니다.

운영의 기준은 목표 상태입니다. technology manager가 다른 구성 요소를 조율하면서 클러스터의 목표 상태를 Odin에 게시합니다. Odin은 특정 기술에 종속되지 않는 우버의 상태 저장 시스템 관리 플랫폼으로, 노드 배치도 맡습니다. 목표 상태에는 리소스 프로파일과 노드 수, Primary/Follower 역할, 데이터 노드에서 실행할 사이드 컨테이너, 바이너리 로그 형식과 SQL 모드 같은 서버 설정이 들어갑니다.

배치 위치도 관리 대상입니다. manager는 하드웨어나 데이터센터 장애에 대비해 노드를 여러 위치에 고르게 분산하도록 Odin 배치 엔진에 신호를 보냅니다. 컨트롤 플레인은 이렇게 정한 목표와 실제 상태가 일치하도록 계속 조정합니다.

목표를 실제 노드에 반영하는 곳은 데이터 플레인입니다. MySQL 노드 하나는 같은 호스트에서 실행되는 여러 Docker 컨테이너로 이루어지며, 컨테이너들은 Docker 네트워크로 통신합니다.

  • 데이터베이스 컨테이너: mysqld에서 InnoDB 실행, Meta RocksDB 같은 다른 엔진도 사용 가능
  • 워커 사이드카: Odin 배치 기능과 노드를 연결하고 실제 상태가 목표 상태에 수렴하도록 조정
  • 메트릭 컨테이너: QPS, 쿼리 종류, 락 시간, 연결 지표 수집
  • 헬스 프로버: MySQL을 주기적으로 점검하고 primary 상태 신호 생성
  • 백업 컨테이너: 주기적으로 실행되는 일시적 컨테이너로 백업을 만들고 오브젝트 스토어에 업로드

워커가 노드 안에서 상태를 맞추는 동안, 재설계 때 추가한 컨트롤러는 모든 MySQL 클러스터를 바깥에서 관찰합니다. 데이터베이스와 다른 컨트롤 플레인 구성 요소에서 신호를 모아 규칙을 평가하고, 위반이 있으면 조치하는 역할입니다. 헬스 프로버가 내보낸 primary 상태 신호도 이곳으로 들어오며, primary에 문제가 생기면 컨트롤러가 자동으로 장애 조치를 시작합니다. 엄격한 쓰기 다운타임 SLA를 지키기 위한 동작입니다.

컨트롤러는 group replication에서 합의 그룹을 이루는 클러스터들 사이의 균형도 유지합니다. 앞서 설명한 트래픽 제어 기능을 이용해 복제 지연이 있는 노드를 자동으로 제외하는 일도 맡을 수 있습니다.

쓰기 중단을 줄이는 Cadence 워크플로

오래 걸리는 운영 작업은 워크플로로 실행합니다. 비동기 이벤트에 따라 여러 단계를 이어 가는 장기 실행 프로세스이며, Cadence가 내구성과 내결함성, 확장성을 제공합니다. 노드 추가, primary 장애 조치, MySQL 변수 적용, replica가 복제할 소스 변경 등이 여기에 속합니다.

그중 primary 장애 조치는 하위 서비스에 약속한 99.99% 가용성을 지키는 데 필수적인 절차입니다. 우버는 단일 primary가 쓰기를 받고 여러 replica가 표준 바이너리 로그 복제로 변경을 전달받는 구성을 씁니다. primary에 이상이 생기면 헬스 모니터가 장애를 완화하기 위해 다른 호스트로 primary 역할을 넘기는 작업을 자동으로 시작합니다.

마지막 로그까지 기다리는 graceful 승격

호스트 수리 같은 유지보수에서는 현재 primary가 살아 있고 정상이라는 전제로 쓰기를 넘깁니다. 이때 사용하는 절차가 graceful 승격입니다. async와 semi-sync 복제에 적용되며, group replication에는 다른 단계가 있어 이 글에서는 다루지 않습니다.

먼저 현재 primary를 읽기 전용으로 바꾸고, 그 노드로 들어오는 트래픽을 끊습니다. 그다음 새 primary 후보를 고릅니다. 기본적으로 같은 데이터센터에서 선택하되 replica의 복제 지연을 고려하며, 바이너리 로그 위치가 가장 앞선 노드가 우선권을 갖습니다.

후보를 골랐다고 바로 쓰기를 열지는 않습니다. 이전 primary의 바이너리 로그 위치를 가져와 후보가 그 지점까지 트랜잭션을 적용할 때까지 기다린 뒤, 새 primary에서 쓰기를 허용합니다.

primary에 닿지 못하는 순간의 emergency 장애 조치

존 장애나 네트워크 격리로 primary에 접근할 수 없다면 전제가 달라집니다. 이때는 emergency 장애 조치를 사용합니다. 절차는 같지만, 기존 primary가 남은 데이터를 모두 전해 줄 것에 의존하지 않습니다.

지연과 복제 관계까지 지키는 노드 교체

우버에서 노드 교체는 핵심적인 작업입니다. 여러 클라우드 공급자와 온프레미스 데이터센터에 걸쳐 수십만 대의 머신을 운영하는 인프라에서 플릿을 장애로부터 지키려면 MySQL 노드와 데이터를 다른 호스트로 옮길 수 있어야 합니다. 데이터베이스 사용자가 영향을 받지 않도록 기존 호스트의 노드를 내리고 다른 곳에 같은 노드를 만드는 작업입니다.

데이터만 옮겨서는 끝나지 않습니다. 새 노드는 CPU 코어, 디스크, 메모리, 포트가 같은 하드웨어 프로파일을 갖춰야 합니다. 배치할 위치도 같은 결함 허용 수준을 유지해 네트워크 지연이 같도록 해야 합니다. 사용자에게는 교체 전후의 쿼리 지연이 일정한지가 중요합니다.

복제 관계도 처리해야 합니다. 교체할 노드가 다른 노드의 복제 부모라면 자식 노드가 새 노드나 클러스터의 다른 노드를 바라보도록 바꿉니다. 대상이 primary라면 트래픽에서 제외하기 전에 graceful 승격으로 쓰기를 먼저 넘깁니다.

내부 구현은 노드 추가와 삭제를 독립된 작업으로 나눕니다. 추가할 때는 필요한 자원이 있는 호스트를 찾고 MySQL을 설치한 다음, 기존 노드에서 데이터를 복사합니다. 복사 원본으로는 가능하면 primary를 사용합니다. 여러 노드를 병렬로 추가하도록 설계한 덕분에 재해 복구에도 유용합니다.

삭제는 의존 관계를 처리한 뒤 진행합니다. 복제 부모나 primary 역할을 맡은 노드를 그대로 없애지 않고, 필요한 연결과 역할을 옮긴 다음 노드를 정상적으로 제거합니다.

소스 코드와 함께 바뀌는 MySQL 스키마

스키마 변경도 개발자가 직접 시작하는 자동화 워크플로입니다. 개발자가 소스 코드와 함께 보관된 스키마 파일을 수정하고, 리뷰를 거쳐 main에 머지하면 CI가 변경을 감지해 워크플로를 실행합니다. 배포된 코드와 데이터베이스 스키마를 맞추는 방식입니다.

실제 변경은 primary에서 비차단 방식으로 진행합니다. 어떤 도구를 쓸지는 변경 종류와 데이터 크기에 따라 결정됩니다. 빠르고 안전하게 처리할 수 있는 컬럼 추가에는 MySQL의 instant alter를, 데이터 타입 변경에는 Percona의 pt-online-schema-change(ptosc)를 사용합니다.

먼저 시험하는 경로도 있습니다. dry-run을 선택하면 격리된 replica에 변경을 적용해 하위 호환성을 유지하는지, 데이터를 훼손하지 않는지, 안전하게 적용되는지를 점검합니다. primary와 나머지 클러스터에 적용하기 전에 확인하는 절차입니다.

MySQL 밖으로 이어지는 데이터 경로

관측은 컨테이너와 클러스터 지표에서 끝나지 않습니다. 프로버가 데이터 흐름을 흉내 내며 구성 요소의 상태를 확인하고, 우버의 메트릭·로깅 시스템이 지표와 로그를 수집합니다. 쓰기 불가, 복제 지연, 높은 CPU 사용률, primary로의 비정상 연결에는 알림이 설정되어 있습니다. 상위 서비스를 담당하는 팀도 이 알림을 구독할 수 있습니다.

데이터 변경 기록은 Storagetapper가 이어받습니다. CDC를 맡은 이 서비스는 바이너리 로그의 삽입·갱신·삭제를 읽어 Apache Kafka로 보내고, 이후 Apache Hive에 적재되도록 합니다. 상위 시스템의 스키마 변경과 데이터 변환, 형식 변환도 처리 대상입니다.

백업과 복구는 Percona XtraBackup을 기반으로 완전히 자동화했습니다. 백업 컨테이너가 오브젝트 스토어에 보관한 데이터를 복구에 사용하며, RPO는 4시간입니다. RTO는 고정되어 있지 않습니다. 데이터 크기에 따라 몇 분에서 몇 시간이 걸립니다.

이번 글은 우버의 MySQL 배포와 운영을 다루는 연재의 첫 편입니다. 이어지는 글에서는 높은 가용성과 처리량을 확보하는 방식을 더 깊이 다룰 예정입니다.

원문의 주요 수치
항목값
독립 MySQL 클러스터 수2,300개 이상
가용성 목표99.9%에서 99.99%로 개선
재설계 전 영향받은 워크플로60개 이상
백업 RPO4시간
복구 RTO데이터 크기에 따라 몇 분에서 몇 시간
스키마 변경 방식instant alter(컬럼 추가 등), ptosc(데이터 타입 변경 등)
토폴로지 저장소etcd(강한 일관성)
마지막 수정 일자