본문으로 건너뛰기
멈춘 자동화를 되살린 Uber Cassandra의 작은 수정
목차

멈춘 자동화를 되살린 Uber Cassandra의 작은 수정 (2023-07)

원문 정보

  • 원문: How Uber Optimized Cassandra Operations At Scale
  • 매체 · 게시일: Uber Engineering Blog · 2023-07-20
  • 저자: Runtian Liu(Sr. Software Engineer, Cassandra 팀), Gopal Mor(Sr. Staff Software Engineer, Cassandra 팀 Tech Lead Manager), Jaydeepkumar Chovatia(Sr. Staff Software Engineer, Storage Platform Org)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

수동 복구에 막힌 노드 교체 자동화

우버의 Cassandra 운영팀은 노드 교체 자동화를 대부분 멈춰야 할 만큼 문제가 심각해질 수 있었습니다. 끝나지 않는 노드 폐기, 간헐적으로 실패하는 새 노드 추가, 데이터 불일치 때문에 복구 부담이 쌓이면 다른 계획까지 지연되고, 하드웨어 장애처럼 피할 수 없는 긴급 작업만 계속할 수 있는 상황이었습니다.

성공률이 95%라고 가정하면 부담의 크기가 드러납니다. 100번 중 5번의 실패는 하루 500개 노드를 교체할 때 25건의 수동 작업으로 늘어납니다. 엔지니어 약 2명이 실패 복구에만 매달려야 하는 분량입니다.

우버는 하드웨어 장애와 플릿 최적화 때문에 매일 노드를 교체했고, 드물게는 토폴로지 변경이나 재해 복구를 위해서도 교체해야 했습니다. 정상적인 교체 절차는 기존 노드에서 nodetool decommission을 실행해 폐기한 뒤 새 노드를 추가하는 순서입니다. 이 절차를 믿고 맡기려면, 끝나지 않는 작업 안에서 무슨 일이 벌어지는지부터 알아야 했습니다.

다음 노드로 넘어간 테라바이트의 hint 파일

첫 원인은 이미 링을 떠난 노드의 hint 파일이었습니다. Cassandra는 한때 링에 속했지만 지금은 없는 피어, 곧 고아 노드의 hint 파일을 정리하지 않았습니다. 노드 N1이 이런 파일을 로컬에 보관하다가 폐기되면, 파일도 다음 노드로 넘어갔습니다. 쓸 곳 없는 파일이 계속 남아 테라바이트 단위로 쌓인 것입니다.

파일이 많다는 것만 문제가 아니었습니다. 폐기 중 hint를 전송하는 속도는 클러스터의 노드 수에 반비례하도록 제한돼 있었습니다. 큰 클러스터에서 테라바이트 분량을 다음 노드로 보내려면 며칠이 걸릴 수 있는 조건입니다.

우버는 링을 떠난 노드의 hint 파일을 미리 지우도록 고쳤습니다. 전송 제한 설정인 hinted_handoff_throttle_in_k도 동적으로 조정해, 밀린 파일이 많아도 며칠 대신 몇 시간 안에 전송을 끝내도록 했습니다. 교체 신뢰성이 좋아졌고, 걸리는 시간도 자릿수가 달라질 정도로 짧아졌습니다.

컨트롤 플레인에서 보이지 않던 교체 상태

그런데 교체 작업은 다시 멈췄습니다. 더 추적해 보니 폐기 단계에서 간헐적으로 오류가 발생하고 있었습니다. 가장 흔한 원인은 플릿 업그레이드 중 롤링 재시작처럼 다른 작업을 병렬로 수행하는 경우였습니다.

컨트롤 플레인에서는 폐기가 어느 상태인지 확인할 길이 없었습니다. Cassandra가 그 상태를 알려 주는 JMX 메트릭을 제공하지 않았기 때문입니다. 새 노드의 부트스트랩 단계에도 같은 빈틈이 있었습니다. 작업이 실패해도 컨트롤 플레인은 상태를 조회하지 못한 채 계속 기다렸습니다.

우버는 Cassandra의 폐기와 부트스트랩 코드 경로를 수정해 상태를 JMX로 노출했습니다. 이제 컨트롤 플레인이 현재 단계를 확인하고 필요한 조치를 취할 수 있게 됐습니다. 이 수정들을 거친 노드 교체의 신뢰성은 99.99%입니다. 교체는 완전히 자동화됐고 중앙값 교체 시간도 크게 줄어, 몇 주 안에 수만 개 노드를 교체하게 됐습니다.

Odin으로 운영하는 Cassandra 관리형 서비스

이 교체 자동화는 우버가 2016년에 시작한 Cassandra 관리형 서비스의 일부입니다. 우버는 오픈소스 Apache Cassandra로 6년 넘게 핵심 OLTP 워크로드를 처리해 왔습니다. 매일 수백만 명의 이동과 수천만 건의 음식·식료품 주문을 처리하는 서비스에는 지연이 낮고 신뢰할 수 있는 데이터베이스 상호작용이 필요했습니다.

운영 규모는 수만 개 노드입니다. 클러스터마다 6~450개 노드가 있고, 수백 개 클러스터가 여러 리전에 걸쳐 데이터를 복제합니다. 전체 서비스가 다루는 쿼리는 초당 수천만 건, 데이터는 페타바이트 단위이며 고유 keyspace도 수천 개에 이릅니다. 읽기에 치우친 워크로드부터 읽기와 쓰기가 섞인 경우, 쓰기에 치우친 경우까지 다양하지만 대부분 Cassandra의 TTL 기능을 사용합니다.

Cassandra 팀은 데이터베이스를 설치하는 데서 일을 끝내지 않습니다. 새 기능을 개발하고 치명적인 버그를 고치며, 변경 사항을 커뮤니티에 기여합니다. 우버의 컨트롤 플레인과 설정 관리, 관측·알림 체계에 Cassandra를 통합하는 일도 담당합니다. 애플리케이션 팀에는 데이터 모델링과 모범 사례 안내까지 한곳에서 제공하며, 99.99% 가용성과 24시간 지원을 책임집니다.

오케스트레이션과 설정 관리는 우버가 만든 상태 저장 시스템 관리 도구 Odin이 맡습니다. 그 위에서 동작하는 자체 Cassandra 프레임워크는 Odin의 표준을 따르며 운영 중인 Cassandra의 생애 주기를 관리합니다. 시드 노드 선택, 롤링 재시작, 용량 조정, 노드 교체와 폐기, 시작·중지, nodetool 명령 실행을 원클릭으로 처리하는 도구입니다.

클라이언트도 이 운영 체계에 맞췄습니다. Go와 Java 오픈소스 Cassandra 클라이언트를 포크해, 하드코딩한 엔드포인트 없이 서비스 디스커버리에서 초기 접속 지점을 찾도록 했습니다. 각 클러스터는 고유하게 식별되며 노드 목록은 실시간으로 조회할 수 있습니다. 프레임워크가 Up, Down, Decommission 같은 노드 상태 변화를 알리면 목록도 갱신됩니다.

쿼리 핑거프린트와 주요 DDL/DML 기능 매핑 같은 관측 기능도 클라이언트에 추가했습니다. 어떤 쿼리와 기능이 쓰이는지 파악해 디버깅과 의사 결정에 활용하기 위한 변경입니다. 노드 교체부터 클라이언트 접속까지 관리형 서비스가 맡고 있었지만, 다음 문제는 그 관리 체계를 점검하는 것만으로 풀리지 않았습니다.

떠난 노드의 주소를 계속 찾던 Gossip

일부 비즈니스 워크로드는 경량 트랜잭션(LWT)에 크게 의존했습니다. 이들 워크로드에서 격주로 오류율이 높아지자, 팀 안에는 LWT를 믿기 어렵다는 인식이 널리 퍼졌습니다. 우버는 반복되는 오류를 끝내기 위해 원인을 집중적으로 추적했습니다.

LWT는 pending range가 둘 이상일 때 오류를 낼 수 있습니다. 여러 노드 교체가 한꺼번에 시작되면 그런 상황이 생길 수 있어, 팀은 먼저 컨트롤 플레인을 조사하고 일부 예외 상황을 수정했습니다. 컨트롤 플레인에서 가능한 원인을 모두 확인한 뒤에도 설명되지 않는 현상이 남았습니다.

노드마다 보고 있는 상태가 달랐습니다. 대부분의 노드는 토큰 범위 이동이 하나라고 판단하는데, 유독 한 노드만 두 개라고 판단했습니다. 우버는 이 순간의 통계와 로그를 모으도록 메트릭과 알림을 추가했습니다. 그렇게 확보한 기록에서 DNS 조회 실패로 발생한 Gossip 예외를 찾아냈습니다.

오류의 시작은 노드 교체였습니다. 새 노드 N2를 띄울 때는 떠나는 노드 N1의 호스트 이름을 JVM에 cassandra.replace_address_first_boot=N1로 넘깁니다. 그런데 N2가 링에 합류한 뒤에도 N2의 Gossip 코드는 N1의 IP 주소를 계속 조회했습니다. 어느 시점에 N1의 DNS 조회가 실패해 예외가 발생하면, N2의 Cassandra 캐시가 다른 노드들과 어긋났습니다.

당시 이 상태를 해소하는 유일한 방법은 N2를 재시작하는 것이었습니다. 우버가 Gossip 내부의 오류 처리를 고친 뒤에는 LWT가 안정됐습니다. 격주로 나타나던 문제는 글을 작성한 시점까지 약 12개월 동안 한 번도 재발하지 않았습니다.

클러스터와 함께 시작하는 Cassandra 리페어

삭제한 데이터가 되살아나는 문제도 있었습니다. 데이터 부활로 인한 불일치를 추적하자, 너무 느리게 진행되는 anti-entropy 작업인 리페어가 원인으로 드러났습니다. 잦은 삭제와 노드 다운으로 생기는 불일치를 리페어가 제때 해소하지 못한 것입니다.

리페어를 외부에서 실행하는 오픈소스 도구는 이미 있었습니다. 우버는 컨트롤 플레인에 덜 의존하는 방식을 원했습니다. 컴팩션이 Cassandra 안에서 돌아가듯 리페어도 데이터베이스 자체의 일부여야 한다고 보고, 링의 노드를 차례로 리페어하는 오케스트레이션을 Cassandra 내부에 구현했습니다.

스케줄러에는 전용 스레드 풀을 배정했습니다. 노드별 마지막 리페어 시점 같은 이력은 system_distributed keyspace에 새로 만든 복제 테이블에 기록합니다. 스케줄러가 다음 노드를 고르는 기준은 마지막 리페어 이후 얼마나 오래 지났는지입니다. 가장 오래된 노드부터 선택해 모든 테이블과 모든 토큰 범위를 리페어할 때까지 작업을 이어 갑니다.

여러 노드의 리페어를 병렬로 진행하는 것도 가능합니다. 토큰 범위는 하위 범위로 나누고, 일시적인 실패는 재시도로 처리합니다. 이 방식이 안정되면서 클러스터를 시작하면 리페어도 컴팩션처럼 자동으로 돌게 됐습니다. 수동 개입과 컨트롤 플레인 의존이 사라져 운영 부담이 줄었고, p99 리페어 시간은 수십 일에서 한 자릿수 일 미만으로 내려왔습니다.

우버는 후속 글에서 Cassandra의 신뢰성을 한 단계 더 높이는 방법을 다루겠다고 예고했습니다.

원문에 나온 규모와 개선 수치
항목값
쿼리 규모초당 수천만 건
노드 수수만 개
클러스터수백 개, 클러스터당 6~450개 노드
keyspace수천 개
서비스 목표99.99% 가용성, 24시간 지원
노드 교체 성공률 예시95%에서 하루 500개 교체 시 수동 작업 25건(엔지니어 2명 분량)
hint 파일고아 노드분이 테라바이트로 누적
개선 후 노드 교체99.99% 신뢰, 완전 자동, 몇 주에 수만 개 노드 교체
LWT 오류격주 발생에서 최근 약 12개월 0건
p99 리페어 시간수십 일에서 한 자릿수 일 미만
조정한 설정hinted_handoff_throttle_in_k(동적 조정)
오류 원인 설정cassandra.replace_address_first_boot=N1
마지막 수정 일자