목차
쓰기 중단으로 정합성을 지킨 LINE VOOM의 MySQL 이전 (2024-05)
원문 정보
- 원문: 읽기 전용 설정으로 MySQL 이전하기
- 매체 · 게시일: LY Corporation Tech Blog · 2024-05-02
- 저자: 서용준 (VOOM Server Unit)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Cassandra와 다른 대책이 필요했던 MySQL
LINE VOOM은 서버 랙 공간 부족과 장비 노후화로 포스트 저장소인 MySQL과 Cassandra를 새 IDC로 옮겨야 했습니다. 앞서 신홍중 님의 「개발자가 손수 대규모 Cassandra를 신규 클러스터로 이전하기」에서 소개한 작업과 같은 배경입니다.
Cassandra는 신규 클러스터를 기존 클러스터와 복제로 연결하면 하나의 클러스터처럼 운용할 수 있어 쓰기를 멈출 필요가 없었습니다. MySQL에는 같은 방법을 쓸 수 없었습니다. 무중단 서비스를 원칙으로 삼던 팀이 이번에 택한 대책은 읽기 전용 모드입니다. 읽기는 계속 제공하되, 이전하는 동안 쓰기가 필요한 일부 기능은 제한하기로 했습니다.
데이터 정합성을 우선한 읽기 전용 모드
쓰기를 허용한 채 소스 데이터베이스를 바꾸려면 이전 대상 데이터베이스들이 모두 같은 데이터를 갖고 있어야 합니다. 하지만 데이터를 완벽하게 이중화하기는 현실적으로 불가능하다는 판단이었습니다. 팀은 쓰기를 어디까지 허용할지 검토하면서, 문제가 생겼을 때 롤백하는 과정도 함께 비교했습니다.
양쪽 IDC에 쓰기를 허용하는 안은 애플리케이션 로직을 크게 고치지 않아도 된다는 장점이 있었습니다. 두 데이터베이스가 서로 복제되도록 설정하고 트래픽을 조금씩 옮기는 방식입니다. 저장소 설정만으로 이전할 수 있지만, 데이터 정합성은 보장하지 못합니다.
예를 들어 기존 IDC를 쓰는 A가 게시글을 수정한 직후, 신규 IDC를 쓰는 B는 아직 수정 전 글을 읽을 수 있습니다. 복제 지연이 생기면 그 상태가 더 오래 이어집니다. 롤백도 간단하지 않습니다. 복제를 끊고 양쪽 데이터베이스의 정합성을 수동으로 맞춰야 하므로 시간과 인력이 많이 드는 안이었습니다.
신규 IDC에만 쓰기를 허용해도 문제가 남습니다. 기존 데이터를 신규 IDC로 모두 복제한 뒤 기존 IDC의 쓰기를 막으면, 이후 새 데이터는 신규 IDC에만 쌓입니다. 이 역시 정합성을 완전히 보장하지 못하는 방식입니다. 롤백하려면 신규 IDC에 새로 기록된 내용을 기존 IDC로 옮겨야 하고, 그동안 새로운 쓰기 요청도 막아야 합니다.
읽기 전용 방식에서는 양쪽 IDC의 쓰기를 차단하고 기존 데이터가 신규 IDC로 모두 복제되기를 기다립니다. 동기화 후에는 읽기 연산만 일어나므로 정합성을 보장할 수 있습니다. 그 뒤 바뀐 데이터가 없어 롤백도 비교적 쉬운 방식입니다.
사용자의 일부 기능을 제한하고 사전 공지를 해야 한다는 부담은 남았습니다. 모든 요구를 만족하는 만능열쇠는 없었습니다. 팀은 쓰기를 계속 받는 것보다 데이터 정합성을 보장하고 롤백을 단순하게 만드는 데 우선순위를 뒀습니다.
쓰기 허용 범위에 따른 시나리오 비교
| 항목 | 양쪽 IDC에 쓰기 허용 | 신규 IDC에만 쓰기 허용 | 읽기 전용 |
|---|---|---|---|
| 애플리케이션 작업량 | 적음 | 많음 | 많음 |
| 서비스 무중단 여부 | 무중단 | 일부 사용자 쓰기 제한 | 모든 사용자 쓰기 제한 |
| 데이터 정합성 | 보장 안 됨 | 보장 안 됨 | 보장됨 |
| 롤백 시나리오 | 매우 복잡함 | 복잡함 | 단순함 |
읽기 동작 속 쓰기까지 막은 Repository
쓰기 차단은 애플리케이션에서도 준비했습니다. 데이터베이스 자체의 읽기 전용 설정과 함께 써서 이전 작업을 더 안전하게 진행하려는 조치입니다.
포스트 프로젝트는 MVC 패턴으로 구현돼 Controller, Service, Repository 계층으로 나뉘어 있었습니다. Controller에서 쓰기 요청을 막으면 충분해 보이지만, 읽는 동작 안에서도 쓰기 연산이 일어났습니다. 요청을 받는 계층만으로는 쓰기를 확실히 막기 어려운 상황입니다. 팀은 데이터베이스로 쓰기 요청이 가지 않도록 Repository 계층에서 읽기 이외의 연산을 하는 메서드를 모두 찾아 목록으로 만들었습니다.
쓰기 지점마다 제한 메서드를 호출하는 방법도 있었지만 기존 코드를 고쳐야 했습니다. 팀이 선택한 방법은 AOP입니다. 기존 로직을 그대로 두고 대상 메서드에 @MaintenanceReadonlyMode 애너테이션을 붙였습니다. 쓰기 제한을 적용하면 이 메서드들이 데이터베이스로 요청을 보내지 않도록 했습니다.
@MaintenanceReadonlyMode
public void insert(PostMeta postMeta) {
postMetaMasterMapper.insert(userService.getPartitionId(), postMeta);
}제한 여부와 시간을 프로젝트 속성에 넣고 서버를 배포하는 방법도 검토했습니다. 그러나 이전 중 문제가 생겼을 때 즉각 대응하기에는 느린 방법입니다. 팀은 LINE의 오픈소스 Central Dogma로 설정을 동적으로 조작하도록 했습니다. 프로젝트가 설정값을 바라보다가 변경 사항을 곧바로 적용하므로, 돌발 상황에서도 제한 여부와 시간을 빠르게 바꿀 수 있습니다.
0.01%부터 늘린 신규 IDC의 트래픽
기존 시스템은 지역별로 소스 데이터베이스 하나와 여러 레플리카를 뒀습니다. 생성·수정·삭제는 소스에서, 읽기는 레플리카에서 처리하는 구성입니다. 먼저 신규 IDC에 게이트웨이와 API 서버를 구축하고 데이터베이스를 설치한 뒤, 기존 IDC의 데이터베이스와 복제를 구성했습니다.
트래픽을 옮기는 데는 LINE 클라이언트의 요청이 처음 도착하는 API 게이트웨이인 LEGY(LINE Event Delivery Gateway)를 사용했습니다. 시작은 요청의 0.01%였습니다. 이 비율로 테스트를 마친 뒤 10%, 30%, 50%, 70%, 100% 순서로 신규 IDC에 보내는 트래픽을 늘리며 모니터링했습니다.
실제 작업에서 소스 데이터베이스를 바꾼 시점은 모든 사용자의 요청이 신규 IDC로 향한 뒤입니다. 이때 읽기 전용 모드를 설정하고 소스 데이터베이스를 기존 IDC에서 신규 IDC로 변경했습니다. 읽기 전용 동안 일부 기능을 사용할 수 없으므로, 영향 범위를 미리 조사하고 사용자에게 점검 공지를 안내해 둔 상태였습니다.
야간 조가 모인 새벽 사무실
2022년 말, 이전 작업은 새벽에 진행했습니다. 각 팀은 야간 조와 주간 조로 나눠 작업과 모니터링을 맡았고, 돌발 상황에 대응을 요청할 부서도 미리 목록으로 준비했습니다.
재택근무 중이던 야간 조도 이날만큼은 사무실에 모였습니다. 돌발 상황에 더 빨리 대처하기 위한 준비입니다. 정신을 말똥말똥하게 유지할 주전부리도 한가득 마련했습니다.
작업은 큰 사고 없이 계획대로 진행됐습니다. 이른 오전에 야간 조가 이전을 마쳤고, 출근한 주간 조가 새벽 작업 상황을 공유받아 모니터링을 이어 갔습니다. 이전 완료 뒤에도 하루 정도 지켜봤지만 문제는 발생하지 않았습니다.