목차
새벽마다 한 대씩 옮긴 LINE VOOM의 Cassandra (2024-04)
원문 정보
- 원문: 개발자가 손수 대규모 Cassandra를 신규 클러스터로 이전하기
- 매체 · 게시일: LY Corporation Tech Blog · 2024-04-09
- 저자: 신홍중 (VOOM Server Unit)
- 원문 내용을 바탕으로 재구성한 요약입니다. 같은 이유로 MySQL을 옮긴 글(「읽기 전용 설정으로 MySQL 이전하기」)이 짝을 이룹니다.
개발 팀이 직접 지켜 온 메인 저장소
서버 랙에 공간이 부족했고, 장비도 낡았습니다. LINE VOOM은 포스트와 코멘트, 좋아요를 저장하는 Cassandra를 새 IDC로 옮기기로 했습니다. 이전에는 멀티 데이터 센터 복제 기능을 이용했습니다. 기존 IDC와 신규 IDC를 연결해 데이터를 복제한 뒤 서비스 요청을 새 클러스터로 전환하고, 기존 장비를 반납하는 방식입니다.
이 작업은 서버 개발 팀이 맡았습니다. Cassandra는 다른 데이터베이스와 달리 DBA 조직의 지원 없이 서버 개발자들이 직접 구축하고 유지해 온 저장소였습니다. 2013년 MySQL에서 대용량 스토리지로 전환을 검토할 당시에는 가장 효율적인 분산 스토리지였고, 이후 10년 동안 큰 유지 보수 없이도 옛 버전으로 큰 문제 없이 운영했습니다. 그러나 서비스와 회사가 커지는 동안 Cassandra는 회사의 선택을 받지 못했고, 지원 없이 운영을 이어가는 일은 백엔드 서버 개발 팀의 부담이 됐습니다.
당시 버전은 2.0.x였습니다. 여러 서비스가 클러스터 하나를 공유하며 각자의 키 스페이스를 썼고, 장비를 확보한 시기에 따라 SSD와 PCIe-SSD가 섞여 성능과 안정성에도 영향을 주고 있었습니다. 팀은 이전을 기회로 키 스페이스를 분리하고 버전도 올리려 했습니다. 어디까지 함께 진행할 수 있을지는 테스트로 확인해야 했습니다.
복제 속도를 제한하지 못한 repair
Cassandra 관리 도구인 nodetool에서 먼저 시험한 명령은 repair였습니다. 데이터 센터 사이의 불일치를 해소하는 명령인데, 실행하자 기존 IDC의 모든 노드가 데이터를 보내고 신규 IDC의 모든 노드가 받아 복구를 시작했습니다. 노드 전체가 한꺼번에 전송에 참여하면서 네트워크 사용량이 너무 높아졌습니다.
전송량을 제한하는 설정도 소용이 없었습니다. inter_dc_stream_throughput_outbound_megabits_per_sec를 적용했지만, 당시 버전에서는 Cassandra 내부 동작에만 적용되고 nodetool의 repair에는 적용되지 않았습니다. 이후 Cassandra 4.0.0에서는 repair에도 이 설정이 적용된다고 확인됐지만, 이전에 사용하던 버전에서는 네트워크 사용량을 줄이지 못했습니다.
목적에 맞는 쪽은 rebuild였습니다. 새 노드가 적재할 데이터를 다른 데이터 센터의 전체 노드에서 받아오는 명령으로, 신규 IDC의 노드마다 순서대로 실행하자 기존 IDC의 각 노드가 100~200Mb/s로 해당 노드에 데이터를 보냈습니다. repair보다 안정적인 결과였습니다. 여러 신규 노드에서 함께 실행하면 작업 시간을 줄일 수 있겠지만, 전체 노드에 과부하를 줄 수 있다고 판단해 한 대씩 진행하기로 했습니다.
4.0.0에서 막힌 버전 업그레이드
버전 업그레이드는 호환성에서 막혔습니다. 신규 IDC에서 2.0.17을 2.1.22, 3.0.24, 3.11.10을 거쳐 4.0.0까지 올리는 테스트를 했지만, 마지막 버전은 기존 IDC의 2.0.17과 연결되지 않았습니다.
중간 버전을 거치는 이유가 있었습니다. Cassandra에는 여러 차례의 브레이킹 체인지가 있어, 변경이 발생한 버전을 건너뛰고 최신 버전으로 바로 올릴 수 없었습니다. 업그레이드는 새 버전의 바이너리를 설치하고 클러스터 노드 전체를 재기동한 뒤, nodetool의 upgradesstable로 데이터를 상위 버전용으로 전부 다시 쓰는 순서였습니다.
2.0.17과 2.1.22의 연동에는 큰 문제가 없었습니다. 3.0.24에서는 cassandra.yaml의 설정 방식이 달라져 rpc_address와 listen_address에 localhost가 있으면 기동하지 않았지만, 해당 값을 제거하고 기본값을 사용하도록 바꿔 해결했습니다. 이후 3.11.10으로 올리는 작업도 문제없이 끝났습니다.
4.0.0의 문제는 설정으로 풀 수 없었습니다. 코드를 확인하니 4.0.0부터는 2.x와 통신할 때 실패하도록 구현돼 있었습니다. 일정도 빠듯했습니다. 업그레이드를 제외하고 rebuild로 데이터를 복제하는 데만 최소 2~3개월이 걸릴 것으로 예측돼, 팀은 2.0.17을 유지한 채 이전하기로 결정했습니다. 버전까지 올려 더 안정적인 운영 환경을 만들려던 계획은 뒤로 미뤘습니다.
서비스별 복제 대상을 나눈 신규 IDC
신규 IDC의 장비는 Shell 스크립트와 AWX로 OS 설치, 커널 파라미터 수정, Cassandra 설치를 진행했습니다. 처음부터 기존 IDC에 연결하지는 않았습니다. cassandra.yaml의 cluster_name을 기존과 같게 지정하되 시드 정보는 교환하지 않아, 독립적인 클러스터로 먼저 기동했습니다.
이후 양쪽이 서로를 찾도록 seeds 정보를 맞췄습니다. 시드는 새 노드가 초기 클러스터 구성 정보를 얻을 때 참조하는 노드입니다. 특별한 데이터베이스 처리를 맡는 마스터가 아니므로, 시드에 장애가 생겨도 다른 노드의 작업에는 영향을 주지 않습니다.
데이터 센터와 랙을 구분하는 설정도 바꿨습니다. endpoint_snitch는 단일 데이터 센터에서 쓰던 SimpleSnitch 대신 PropertyFileSnitch를 지정했습니다. 이 설정은 cassandra-topology.properties에서 IP별로 DC1:RAC1 같은 데이터 센터·랙 정보를 읽습니다. 파일에 정의되지 않은 IP의 노드는 default에 지정한 데이터 센터와 랙에 배치됩니다.
클라이언트에는 요청을 처리할 로컬 데이터 센터를 지정했습니다. Datastax Cassandra Driver의 LoadBalancingPolicy를 DCAwareRoundRobinPolicy로 설정하고, 일관성 수준을 QUORUM에서 LOCAL_QUORUM으로 바꿨습니다. 이렇게 하면 삽입·조회·수정·삭제 요청의 과반수를 로컬 데이터 센터 안에서만 판단합니다. 두 IDC 모두에서 요청을 처리하려면 EACH_QUORUM을 설정할 수도 있습니다.
복제 대상은 ALTER KEYSPACE로 지정했습니다. 복제 전략을 NetworkTopologyStrategy로 두고, 기존 IDC와 신규 IDC에 복제본을 3개씩 배치하는 설정입니다. 이 설정으로 서비스별 키 스페이스도 분리했습니다. 예를 들어 기존 IDC에 서비스 A와 B가 함께 있었다면, A는 DC2로, B는 DC3로 복제하도록 대상을 나누는 방식입니다.
한 클러스터에 여러 서비스가 모여 있던 데에는 운영 이력이 있었습니다. 조직이 작을 때는 한 담당자가 여러 서비스를 맡아 같은 스토리지에 데이터를 저장했습니다. 조직이 커진 뒤 다른 시스템에서는 이런 구성을 많이 개선했지만, Cassandra는 담당이 명확하지 않아 오랫동안 그대로 남아 있었습니다. 이번 이전에서는 버전 업그레이드는 미뤘어도 이 문제는 해소할 수 있었습니다.
연결을 마쳤다고 기존 데이터까지 채워지는 것은 아닙니다. 이후 기존 IDC에 들어오는 쓰기는 신규 IDC로 복제되지만, 아직 복제되지 않은 데이터는 별도로 옮겨야 했습니다. 신규 IDC에서 첫 조회가 실패하면 데이터를 가진 노드를 찾아 복제하는 Read Repair가 작동해 다음 요청부터 정상 조회가 가능합니다. 그러나 이 방식으로 전체 데이터를 옮기려면 모든 키를 신규 클러스터에서 조회해야 했으므로, 기존 데이터의 복제에는 앞서 선택한 rebuild를 사용했습니다.
하루 한 대로 제한한 새벽의 rebuild
양쪽을 연결한 뒤에는 기존 IDC에 쓴 데이터가 신규 IDC에서 정상적으로 조회되는지 먼저 확인했습니다. 이어 신규 노드에서 한 대씩 rebuild를 실행했습니다. 기존 IDC의 모든 노드에서 데이터를 받아 파일로 저장하고, 압축(compaction)으로 정리하는 과정입니다.
가장 오래 걸린 작업이었습니다. 노드 하나가 데이터를 받는 데 2~3시간이 걸렸고, 이후 압축에는 며칠씩 걸렸습니다. 압축은 아직 서비스 요청을 받지 않는 신규 노드에서 진행돼 큰 문제가 없었습니다. 걱정은 데이터를 받아오는 구간에 있었습니다. rebuild가 모든 노드에서 데이터를 받으며 네트워크 I/O와 CPU 자원을 상당 시간 사용했기 때문입니다.
조심스러울 수밖에 없었습니다. 특정 노드에서 디스크 쓰기가 늦어지거나 네트워크 패킷이 유실되는 작은 문제에도 전체 노드가 서로를 찾고 상태를 확인하느라 부하가 비정상적으로 높아진 일을 몇 차례 겪었습니다. 메인 저장소인 Cassandra에 문제가 생기면 서비스 전면 장애로 이어집니다. 그래서 하루 한 대씩, 서비스 사용량이 가장 적은 00~06시에만 작업했습니다. 서버 대수가 많아 매일 2~3명이 새벽 작업에 나섰습니다.
복제를 마친 뒤에는 샘플링한 키를 양쪽에서 조회해 값이 일치하는지 확인했습니다. nodetool에 표시되는 데이터 크기와 키 범위도 비교했습니다. 검증을 마치고 나서야 기존 IDC에 남아 있던 WAS가 신규 IDC로 요청을 보내도록 변경했습니다. 장애가 나면 롤백할 수 있도록, 신규 IDC에 쓴 데이터가 기존 IDC로도 정상 복제되는지 확인했습니다.
요청이 양쪽 IDC로 섞여 들어오는 상황은 미리 시험했습니다. Cassandra는 데이터에 타임스탬프를 기록해 마지막에 저장된 값만 보여 줍니다. LINE VOOM은 단일 키에 삽입·수정·삭제를 수행하고 조회는 대부분 캐시로 처리하는 서비스였으며, 이 사용 방식에서는 두 IDC에 각각 연결된 서비스가 요청을 보내도 데이터 일관성에 문제가 없음을 확인했습니다.
기존 노드의 제거에는 decommission을 썼습니다. 노드의 데이터를 다른 노드로 재분배한 뒤 클러스터에서 제거하는 명령으로, 사전 테스트에서 기존 IDC의 노드를 제거해도 신규 IDC에는 영향이 없었습니다. 중지된 노드를 제거하는 removenode와 2.2.0 이후에만 사용할 수 있는 assassinate는 테스트 대상에서 제외했습니다. 기존 노드에 순서대로 decommission을 실행하고, 클러스터에서 빠진 물리 장비를 반납했습니다.
다른 업무와 병행한 긴 이전이었습니다. 테스트에 약 5개월, rebuild 실행에 약 2개월이 들었고, 준비 작업과 기타 업무에도 별도의 시간이 필요했습니다. 여러 동료와 조직의 도움으로 수십 대의 Cassandra 클러스터를 옮겼습니다. 구전으로만 전해지던 운영 지식을 개발 팀이 직접 경험하고 이해하게 된 것도 이 과정에서 얻은 자산이었습니다.
이전 일정과 노드별 소요 시간
| 항목 | 값 |
|---|---|
| 기존 Cassandra 버전 | 2.0.17 (이전 후에도 유지) |
| 업그레이드 테스트 경로 | 2.0.17, 2.1.22, 3.0.24, 3.11.10, 4.0.0 |
| rebuild 전송량 | 기존 IDC 노드당 100~200Mb/s |
| 노드당 rebuild 데이터 수신 | 2~3시간 |
| 노드당 이후 압축 | 며칠 |
| 이전 테스트 기간 | 약 5개월 |
| rebuild 수행 기간 | 약 2개월 |
| 작업 시간대 | 하루 한 대, 00~06시 |