본문으로 건너뛰기
장애마다 사람을 부르지 않는 MySQL Group Replication
목차

장애마다 사람을 부르지 않는 MySQL Group Replication (2025-12)

원문 정보

  • 원문: Improving MySQL® Cluster Uptime: Making MGR Viable at Scale
  • 매체 · 게시일: Uber Engineering Blog · 2025-12-04
  • 저자: Siddharth Singh(Staff Software Engineer, Core Storage), Raja Sriram Ganesan(Sr Staff Software Engineer, Core Storage), Amit Jain(Engineering Manager), Debadarsini Nayak(Senior Engineering Manager)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

자동 선출 뒤에 남은 MySQL 운영

프라이머리를 새로 뽑아도 복구 작업은 남습니다. 합의 그룹에서 노드가 빠졌다면 참여 노드를 보충해야 하고, 삭제할 노드에서 데이터를 받던 복제본의 연결도 바꿔야 합니다. 우버는 이런 작업을 컨트롤 플레인에 맡겼습니다. 장애가 날 때마다 엔지니어가 개입하던 운영을 바꾸려는 시도였습니다.

이 글은 MySQL Group Replication(MGR) 도입을 다룬 2부작의 마지막 편입니다. 1편에서는 외부 시스템이 장애를 감지한 뒤 장애 조치를 실행하던 방식에서, 클러스터 내부의 합의로 프라이머리를 선출하는 방식으로 옮겨 갔습니다. 단일 프라이머리 모드의 3노드 그룹과 Paxos 기반 선출이 그 구성입니다. 2편은 이 그룹을 대규모 환경에서 안전하게 만들고 유지하기 위해 구현한 자동화와 장애 조치 동작을 다룹니다.

백로그 적용을 기다리는 새 프라이머리

우버는 새 프라이머리가 선출됐다고 바로 트래픽을 받게 하지 않습니다. 아직 적용하지 못한 복제 트랜잭션, 즉 백로그부터 모두 반영합니다. 승격 중 가용성을 조금 잃더라도 프라이머리에서 실행하는 읽기 전용 트랜잭션에 엄격한 외부 일관성을 보장하기 위한 선택입니다.

선출 자체는 MGR 플러그인이 맡습니다. 프라이머리가 자발적으로 떠나든 갑자기 실패하든 새 프라이머리를 자동으로 뽑습니다. 노드들은 프라이머리를 감시하며 하트비트를 주고받고, 정해진 시간 안에 하트비트가 오지 않으면 장애로 판단합니다. 이를 감지한 노드가 다른 노드에 선출 메시지를 보냅니다.

후보 노드는 먼저 과반의 노드에 prepare 요청을 보냅니다. 아직 다른 후보에게 응답하지 않은 노드는 이를 승인하면서, 해당 선출 임기에는 다른 후보를 받아들이지 않겠다고 약속합니다. 이어지는 투표에서 각 노드가 행사할 수 있는 표는 임기당 한 번입니다. 과반의 표를 얻은 후보가 새 리더를 맡습니다.

새 리더가 선출 결과를 알리면 나머지 노드도 내부 상태를 갱신합니다. 쓰기를 이어받을 노드는 정해졌습니다. 그 노드가 언제부터 새 작업을 받을지는 group_replication_consistency 설정에 달려 있습니다.

기본값인 EVENTUAL은 백로그가 남아 있어도 새 프라이머리를 트래픽에 개방합니다. 중단 시간은 최소화되지만, 프라이머리에서 실행하는 읽기 전용 트랜잭션의 엄격한 외부 일관성은 보장하지 못합니다. 우버가 선택한 BEFORE_ON_PRIMARY_FAILOVER는 백로그를 모두 적용할 때까지 새 작업을 막는 설정입니다.

기다리는 시간이 길어질 위험을 줄일 방법도 있습니다. Group Replication의 flow control을 활성화하고 적절히 조정하면 빠른 멤버와 느린 멤버 사이의 차이가 줄어듭니다. 승격할 노드에 밀린 작업이 적을수록 백로그 적용 때문에 가용성을 오래 잃을 위험도 낮아집니다.

새 그룹을 시작하기 전의 부트스트랩 검사

클러스터를 MGR로 옮기는 작업은 클릭 한 번으로 시작하는 워크플로로 묶었습니다. 컨트롤 플레인이 정상 노드 하나를 골라 새 그룹을 처음 시작할 부트스트랩 노드로 삼습니다. 여기에는 별도의 확인 절차가 붙습니다.

group_replication_bootstrap_group을 ON으로 설정하면 새 그룹이 시작됩니다. 잘못 사용하면 두 노드가 각각 자신을 프라이머리로 여기는 split-brain이 생겨 데이터가 어긋날 수 있습니다. 자동화했다고 이 위험이 사라지는 것은 아닙니다.

그래서 워크플로는 선택한 노드가 정말 새 그룹의 첫 노드이며, 기존 그룹에 속해 있지 않은지 먼저 검사합니다. 트래픽을 올바른 프라이머리로 보내는 라우팅 계층에서도 이 노드가 의도한 프라이머리인지 확인해야 합니다. 두 확인을 모두 마쳐야 부트스트랩을 진행합니다.

그룹이 시작되면 나머지 두 노드를 자동으로 합류시키고 부트스트랩 노드의 데이터를 동기화합니다. 기존 복제는 아직 유지합니다. 세 노드가 모두 그룹에 들어와 ONLINE 상태가 된 뒤에야 기존 복제를 끄고 새 구성을 정본으로 삼습니다.

네트워크가 분리됐을 때 소수 쪽 노드가 남아 있는 시간도 제한했습니다. group_replication_unreachable_majority_timeout을 1초로 설정해, 과반과 통신하지 못하는 소수 쪽이 1초 뒤 그룹을 떠나게 합니다. 분리된 노드가 별도 그룹을 만들어 split-brain을 일으키지 않도록 한 설정입니다.

클러스터를 MGR에서 빼는 오프보딩은 세컨더리부터 진행합니다. 컨트롤 플레인이 한 노드씩 그룹에서 제외하고, 빠진 노드는 이전 구성처럼 일반 비동기 복제를 하도록 바꿉니다. 들어갈 때와 나올 때의 단계를 워크플로로 정해 중단을 줄이고 클러스터 무결성을 지킵니다.

세 노드와 복제 경로를 유지하는 컨트롤러

그룹을 만든 뒤에는 참여 노드 수를 계속 확인해야 합니다. Technology Controller 루프는 Rebalance HA Cluster 워크플로의 실행 조건을 반복해서 평가합니다. 워크플로가 판단의 기준으로 삼는 값은 합의에 참여하면서 ONLINE 상태인 노드 수입니다.

  • 정확히 3노드: 노드 구성 유지
  • 3노드 초과: 세컨더리 하나를 오프보딩해 자원 사용과 오버헤드 축소
  • 3노드 미만: 적합한 후보 노드를 골라 온보딩하고 중복성 복구

복제 경로도 이 워크플로가 바로잡습니다. 합의 그룹의 프라이머리에서 직접 복제하는 노드는 그룹 안의 세컨더리로 제한합니다. 읽기 복제본은 두 세컨더리에 고르게 나눠 어느 한쪽에 병목이 생기지 않도록 배치합니다.

노드 수를 복구하는 일과 복제 경로를 보정하는 일이 반복 실행되므로, 사람이 매번 상태를 판정하고 조작할 일이 줄어듭니다. 수동 작업의 실수를 줄이면서 합의 그룹에 필요한 최소 노드 수를 유지하는 방식입니다.

삭제 전에 합의에서 빠지는 노드

합의에 참여하던 노드를 지울 때는 곧바로 삭제하지 않습니다. 우버는 실제 삭제 앞에 ‘HA 합의에서 노드 제외’ 워크플로를 호출하는 단계를 추가했습니다. 이 워크플로는 삭제 대상 노드에서 데이터를 받던 하위 복제본이 합의 그룹의 프라이머리에서 복제하도록 연결을 바꿉니다.

그런 다음 대상 노드의 합의 참여를 끝내고 역할을 참가자에서 복제본으로 변경합니다. 여기까지 마치면 일반 복제본과 같은 절차로 삭제할 수 있습니다. 합의에 참여하는 노드만을 위한 처리를 삭제 전 단계에 모은 것입니다.

SOADB MySQL 노드를 관리하는 상태 저장 컨테이너 플랫폼에서 정상 교체는 새 노드를 먼저 추가하는 순서입니다. 기존 노드와 같은 목표 상태의 노드를 추가한 뒤 옛 노드를 삭제합니다. 우버는 노드 추가 직후 실행하는 post-add 노드 훅을 수정해, 새 노드가 일반 읽기 복제본으로 시작하도록 했습니다.

옛 노드가 삭제되면 합의 그룹의 ONLINE 노드는 잠시 2개가 됩니다. 이 상태가 Rebalance HA Cluster를 실행하는 조건입니다. 워크플로가 적합한 후보를 합의 그룹에 넣으면 다시 3노드가 됩니다. 노드 교체 뒤 그룹을 복구하는 작업도 앞서 만든 리밸런싱 절차가 처리합니다.

비정상 교체에서는 삭제가 먼저입니다. 기존 노드를 지운 뒤 ONLINE 노드가 2개로 줄면 리밸런싱이 적합한 후보를 합류시켜 3노드를 복구합니다. 이후 추가되는 교체 노드는 수정한 훅에 따라 일반 읽기 복제본으로 시작합니다. 이 절차로 데이터 일관성과 읽기 처리 용량을 유지합니다.

서버 용량에 반영할 MGR의 비용

MGR을 켜면 메모리 사용량이 늘어납니다. 플러그인이 상태를 유지하고, 아직 적용하지 않은 트랜잭션을 메모리에 보관하기 때문입니다. 추가 사용량은 작지만 서버 용량을 산정할 때는 고려해야 합니다. 우버는 performance schema의 memory/group_replication 계측으로 메모리 사용량을 모니터링합니다.

벤치마킹에서도 성능 비용은 작았다는 것이 우버의 평가입니다. 가용성과 일관성에서 얻은 개선이 그 비용을 충분히 보상했다고 설명합니다. 다만 원문에는 구체적인 벤치마크 수치나 표가 제시되어 있지 않습니다.

본문에 나온 MGR 설정값
항목값
그룹 크기3노드, 단일 프라이머리 모드
group_replication_paxos_single_leaderON
group_replication_member_expel_timeout0
group_replication_unreachable_majority_timeout1초
group_replication_consistency 기본값EVENTUAL
group_replication_consistency 우버 설정BEFORE_ON_PRIMARY_FAILOVER
마지막 수정 일자