목차
3년 만의 M3DB v1.5 업그레이드에 필요했던 검증 (2024-05)
원문 정보
- 원문: Upgrading M3DB from v1.1 to v1.5
- 매체 · 게시일: Uber Engineering Blog · 2024-05-16
- 저자: Surendran Mahendran(Senior Staff Engineer, 인프라 플랫폼), Debadarsini Nayak(Senior Engineering Manager), Arnav Chakraborty(Senior Software Engineer, Storage 플랫폼), Raghuvansh Gaurav(M3DB 스토리지 기술 담당 매니저)
- 원문 내용을 바탕으로 재구성한 요약입니다.
3년 동안 미뤄 둔 M3DB 업그레이드
우버는 3년 동안 오픈소스 M3DB의 새 버전을 배포하지 않았습니다. 원문이 꼽은 이유 가운데 하나는 검증된 테스트·롤아웃 절차가 없었다는 점입니다. M3DB는 분산 시계열 데이터 저장소이자 M3 스택의 영구 저장소로, 우버의 모든 서비스에서 메트릭 기반 관측성과 실시간 알림을 뒷받침합니다. 이 저장소의 업그레이드는 관측 플랫폼 전체에 영향을 주는 작업입니다.
그사이 오픈소스에는 개선이 쌓였습니다. v1.2.0과 v1.5.0에서는 자원 사용을 줄였고, v1.2.0에서는 부트스트랩 성능을 높였습니다. v1.4.0에는 부트스트랩과 스냅샷의 신뢰성을 높이는 변경도 들어갔습니다.
우버 규모에서 이를 검증하는 일은 간단하지 않았습니다. 초당 쓰기 10억 건과 읽기 8천만 건을 처리하고, 서버는 약 6,000대에 이릅니다. 성능·효율·신뢰성이 5~10%만 나빠져도 관측 플랫폼에는 큰 위험입니다. 오픈소스의 기본 통합 테스트만으로는 이 규모에서 새 버전이 올바르게 동작한다고 확신하기 어려웠습니다.
클러스터도 가만히 있지 않습니다. 인프라 자동화가 노드를 추가하고 제거하고 교체하는 동안에도, M3DB는 데이터를 정확하게 저장하고 읽으며 성능을 유지해야 합니다. 우버가 원한 것은 이런 조건을 검증한 뒤 반복해서 배포할 수 있는 절차였습니다. 가능한 단계를 자동화하고 다음 업그레이드에 쓸 개선 목록을 남겨, 몇 년에 한 번씩 하던 업그레이드를 지속적인 작업으로 바꾸려 했습니다.
한 번에 한 노드로 제한한 롤아웃
배포 작업에서 다뤄야 할 규모는 약 100개 클러스터, 약 5,500개 노드였습니다. 노드 한 대에 28코어와 230GB 메모리를 갖춘 환경입니다. 사람이 매번 개입하는 일을 줄이면서도 안전하고 안정적으로 릴리스할 방법이 필요했습니다.
프로덕션 클러스터는 데이터 보존 기간과 가용 영역에 따라 나뉘며, 대부분 약 100노드 규모입니다. 클러스터끼리는 병렬로 업그레이드할 수 있습니다. 한 클러스터 안에서는 한 번에 한 노드만 바꿉니다. 쓰기에 3분의 2 과반 쿼럼을 쓰므로, 여러 노드를 함께 업그레이드하면 데이터 유실 위험이 생기기 때문입니다.
이 제한을 지키며 클러스터마다 단계적으로 배포했습니다. 우버는 이런 단계적 롤아웃과 롤백을 표준 절차로 갖추는 일도 이후 업그레이드에 적용할 원칙으로 삼았습니다.
버전 교체 전후를 비교하는 검증 환경
새 버전이 우버 워크로드에서 얼마나 나아질지는 아직 숫자로 확인되지 않았습니다. 검증과 배포에는 비용이 듭니다. 그 비용을 들일 만한지 판단하려면 프로덕션에 준하는 트래픽으로 기존 버전과 새 버전을 비교해야 했습니다. 정확성과 성능을 확인하는 일에 더해, 업그레이드의 이득을 수치로 입증하는 것도 테스트의 목적이었습니다.
노드 교체까지 재현한 10노드 클러스터
오프라인 테스트에는 합성 부하를 만들 벤치마크 도구부터 준비했습니다. 도구 자체를 고사양 머신에 분산 서비스로 배포해 프로덕션 수준의 부하를 재현하거나 그보다 큰 부하를 만들었습니다. 모든 벤치마크는 새로 만든 10노드 M3DB 클러스터에서 실행했습니다. 도구의 입력 파라미터와 클러스터 구성을 바꾸면 서로 다른 시나리오를 시험할 수 있는 방식입니다.
먼저 옛 버전에서 지연과 정확성의 기준선을 잡았습니다. 노드를 추가·제거·교체하는 동안에도 부하를 계속 보내 기능과 성능을 확인했습니다. 이 시험은 새 버전에서도 똑같이 반복했습니다. 업그레이드를 마친 상태만 비교하지 않고, 새 버전을 배포하는 도중의 동작도 벤치마크에 포함했습니다.
정확성 검증에서는 데이터를 쓴 뒤 업그레이드하고, 새 버전에서 다시 읽었습니다. 쓰기 전용 모드로 기록한 데이터를 파일에 남긴 다음, 새 버전 배포가 끝나면 검증 모드로 전환해 읽어 보는 순서입니다. 옛 버전이 디스크에 flush한 데이터를 새 버전이 읽을 수 있어야 한다는 요구를 직접 확인한 것입니다.
새 버전에서 받은 쓰기도 확인 대상입니다. 데이터가 메모리 버퍼에 있을 때부터 질의할 수 있어야 하고, 디스크에 flush된 뒤에도 같은 내용을 읽을 수 있어야 합니다. 버퍼에 머무는 데이터는 네임스페이스의 블록 크기 설정을 따릅니다. 재시작이나 노드 교체 뒤에도 데이터가 남아 있는지까지 확인했습니다.
몇 주간 기준선을 쌓은 섀도 클러스터
합성 부하만으로는 실제 프로덕션 트래픽에서의 동작을 확신하기 어려웠습니다. 온라인 테스트에서는 프로덕션의 읽기·쓰기 요청 일부를 복제해 별도의 섀도 M3DB 클러스터로 보냈습니다. 복제 비율은 설정으로 조절했습니다. 섀도 클러스터의 규모는 프로덕션보다 작았습니다.
옛 버전과 새 버전을 비교할 때는 같은 비율의 트래픽을 사용했습니다. 섀도 클러스터를 옛 버전으로 몇 주 동안 돌려 CPU, 메모리, 부트스트랩 지연, tick 시간, 서버·클라이언트 지연의 기준선을 얻었습니다. 그다음 새 버전을 배포하면서 롤아웃에 걸리는 시간과 읽기·쓰기 실패, 지표의 변화를 추적했습니다.
배포가 끝나면 새 버전의 지표를 모아 기준선과 비교했습니다. 이 차이가 프로덕션에서 기대할 개선 폭의 근거입니다. 배포 전에 쓴 데이터가 배포 뒤에도 남아 있는지, 노드를 교체한 뒤에도 읽히는지 확인하는 작업도 이어졌습니다.
프로덕션 클러스터 자체와 비교하는 시험에서는 섀도 클러스터의 크기를 다시 줄였습니다. 프로덕션과 비교할 수 있도록 읽기·쓰기 트래픽의 비율에 맞춰 클러스터 크기도 조정한 것입니다. 섀도와 프로덕션 양쪽에서 노드를 추가·제거·교체하며 지표를 비교했습니다.
오프라인과 온라인에서 관찰한 지표에는 요청 결과뿐 아니라 서버 자원과 내부 작업 시간도 포함됐습니다.
- 자원 사용: CPU, RSS 메모리, 전체 메모리, 디스크 사용량, 파일 디스크립터, M3DB 프로세스의 goroutine 수
- 요청 지연: 클라이언트와 서버에서 측정한 읽기·쓰기 지연
- 요청 결과: 쿼럼을 충족한 읽기·쓰기 요청과 실패한 요청
- 서버 내부 작업: 노드·피어 부트스트랩 시간, tick 시간
새 노드는 샤드 일부를 배정받고, 그 샤드의 복제본을 가진 피어에서 데이터를 가져와 부트스트랩합니다. 노드가 계속 바뀌는 환경에서는 이 복구에 걸리는 시간도 버전 간 비교 대상입니다. 자원 사용과 응답 속도가 좋아졌는지 확인하면서, 버퍼와 디스크에 기록한 데이터를 올바르게 읽는지도 함께 검증했습니다.
벤치마크를 통과한 뒤의 프로덕션
합성 부하와 실제 트래픽으로 검증을 마친 뒤 프로덕션 클러스터에 단계적으로 배포했습니다. 그런데 배포한 클러스터에서 테스트가 드러내지 못한 문제가 나타났습니다.
P85부터 늘어난 쓰기 지연
배포 직후 쓰기 꼬리 지연이 늘었습니다. P85 이상에서 증가가 뚜렷했습니다. 우버는 일부 노드를 이전 버전으로 되돌리고 나머지는 새 버전으로 남겨 둔 채, 양쪽의 CPU 프로파일을 비교했습니다.
원인은 단순한 메서드 하나로 좁혀졌습니다. 해당 부분을 수정하자 지연이 내려갔고, CPU 프로파일에서도 그 메서드가 차지하던 비중이 크게 줄었습니다. 수정 버전을 배포한 뒤에는 클라이언트 P99 쓰기 지연이 정상 수준으로 돌아왔습니다. 우버는 이 수정을 GitHub Pull Request #4253으로 업스트림에 기여했습니다.
복제본 셋 중 하나에만 남은 데이터
노드를 하나씩 업그레이드했는데도 롤아웃 뒤 읽기 쿼럼 문제가 나타났습니다. 복제본 셋 가운데 하나에만 데이터가 있고, 나머지 둘에는 데이터가 없는 읽기가 많아진 것입니다.
노드는 재시작하면 메모리에 있던 데이터를 잃습니다. 내려가 있는 동안의 쓰기도 놓칩니다. 다시 올라온 노드는 피어에서 데이터를 가져오는 부트스트랩으로 이 내용을 복구해야 합니다. 순차적으로 노드를 바꾸는 절차에는 이 복구 과정도 제대로 작동해야 한다는 조건이 있었습니다.
우버는 쿼리 하나를 골라 샤드의 복제본을 각각 확인했습니다. 데이터가 사라진 시간대는 노드를 업그레이드한 시점과 일치했습니다. 데이터를 가진 복제본은 나머지 두 복제본을 업그레이드하기 전에 이미 데이터를 디스크에 flush한 상태였습니다. flush 주기는 네임스페이스 설정을 따릅니다. 예를 들어 24시간마다 flush하도록 설정하면 모든 노드가 거의 같은 시각에 flush합니다.
원인은 bootstrapper 설정이었습니다. 기본 모드를 그대로 사용하고 있었지만, 필요한 설정은 prefer_peers 또는 exclude_commitlog였습니다. prefer_peers는 commit log보다 피어에서 먼저 부트스트랩하고, exclude_commitlog는 commit log를 이용한 부트스트랩을 아예 제외합니다. 우버는 프로덕션 워크로드에서 WAL을 사용하지 않았으므로 exclude_commitlog를 선택했습니다.
프로덕션에서 확인한 M3DB v1.5의 개선 폭
테스트에서는 새 버전의 메모리 사용이 약 20% 개선됐습니다. CPU 사용률도 약 20% 개선된 것으로 제시됐습니다. CPU 수치는 원문의 CPU 그래프와 함께 나온 값이며, 해당 설명 문장에는 ‘메모리’라는 단어가 반복돼 있습니다.
프로덕션에서는 결과가 달랐습니다. 메모리 사용은 눈에 띄게 줄었지만 CPU 사용은 줄지 않았습니다. 우버의 프로덕션 서버는 메모리가 병목인 환경입니다. 테스트에서 확인한 CPU 개선 폭까지 운영 환경에 그대로 적용되지는 않았습니다.
부트스트랩 시간은 여러 차례 시험에서 일관되게 짧아졌습니다. 80 GiB 노드는 77분에서 62분으로, 518 GiB 노드는 317분에서 230분으로 줄었습니다. 노드 추가나 교체 때 오래 걸리던 작업의 개선입니다. 프로덕션에서도 오프라인 테스트와 일치하는 개선을 확인했고, 클러스터 안정성도 높아졌습니다.
지연을 고친 코드는 이미 업스트림에 기여했으며, 추가로 기여할 계획도 남았습니다. 프로덕션 규모의 부하를 만드는 데 사용한 벤치마크 유틸리티와, 업그레이드 중 데이터가 유실된 경위 및 우회 방법을 설명하는 문서입니다. 반복해서 릴리스를 검증할 도구와 실제 배포에서 발견한 문제를 오픈소스에도 돌려주려는 계획입니다.
규모와 부트스트랩 시간의 원문 수치
| 항목 | 값 |
|---|---|
| 쓰기 처리량 | 초당 약 10억 건 |
| 읽기 처리량 | 초당 약 8천만 건 |
| 서버 수 | 약 6,000대 |
| 클러스터 수 / 노드 수 | 약 100개 / 약 5,500대 |
| 노드 자원 | 28코어, 230GB 메모리 |
| 클러스터당 평균 노드 | 약 100대 |
| 오프라인 벤치마크 클러스터 | 10노드 |
| 쓰기 쿼럼 | 3분의 2 과반 |
| 메모리 개선(테스트) | 약 20% |
| 노드 크기 | 옛 버전(분) | 새 버전(분) | 개선율 |
|---|---|---|---|
| 80 GiB | 77 | 62 | 19.48% |
| 224 GiB | 218 | 170 | 22.00% |
| 518 GiB | 317 | 230 | 27% |
| 740 GiB | 424 | 365 | 14% |