목차
Odin의 복구 작업을 조율하는 문지기 The Accounter (2024-11)
원문 정보
- 원문: The Accounter: Scaling Operational Throughput on Uber’s Stateful Platform
- 매체 · 게시일: Uber Engineering Blog · 2024-11-21
- 저자: Jesper Borlum(Sr. Staff Engineer, Stateful Platform 팀 리드), Gianluca Mezzetti(Sr. Staff Engineer), Alexander Blazhenskikh(Sr. Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
몇 시간씩 이어지는 Cadence 작업
복구 작업도 클러스터를 멈출 수 있습니다. Uber의 상태 저장 플랫폼 Odin을 소개한 앞선 글의 후속편은, 플릿 전역에서 움직이는 복구 루프들이 서로 모른 채 같은 스토리지 클러스터를 건드리는 문제에서 출발합니다. 쿼럼 기반 클러스터에서는 이런 작업 충돌로 가용성을 잃거나 데이터 내구성을 해칠 수 있습니다.
Odin에서는 사람도 자동화도 Cadence 워크플로로 스토리지 클러스터를 조작합니다. 상태를 바꾸는 동작과 그 변경이 수렴하기를 기다리는 대기를 엮은 워크플로이며, 이를 작업(operation)이라고 부릅니다. 작업 시간의 폭은 넓습니다. 컨테이너 이미지 업그레이드는 몇 초면 끝나지만, 로컬 연결 디스크를 쓰는 플릿에서 워크로드를 다른 호스트로 옮기려면 몇 시간이 걸리기도 합니다.
오래 걸리는 작업을 병행하면서도 클러스터를 지켜야 했습니다. 그렇다고 모든 복구 루프에 다른 루프의 동작과 안전 규칙을 넣으면, 각 팀이 독립적으로 복구 기능을 개발하기 어렵습니다. 필요한 것은 매 작업의 시작 앞에서 지금 이 클러스터에 이 작업을 허용해도 되는지 판단하는 장치였습니다.
고정된 토큰 수를 벗어난 작업 허가
The Accounter가 그 문지기입니다. 진행 중인 모든 작업과 작업 사이의 관계를 기록하고, 새 작업을 받아들일지 결정합니다. 작업은 시작 전에 claim이라는 허가를 요청해야 합니다. 상태를 여러 번 바꾸더라도 claim 하나가 작업 전체를 맡습니다.
판단에는 Grail에 저장된 클러스터 건강 상태와 etcd에 기록된 진행 중 작업을 함께 씁니다. Odin이 관리하는 상태 저장 기술마다 견딜 수 있는 중단 범위가 다르므로, 안전 기준은 기술별 정책으로 정합니다. 여기에 모든 기술과 작업에 적용하는 플랫폼 전체 한도도 필요했습니다. 복구 루프는 서로의 존재를 몰라도 되고, 루프마다 안전 규칙을 하드코딩할 이유도 없어집니다.
클러스터에 분산 락을 잡고 작업을 하나씩 실행하면 단순합니다. 하지만 워크로드 하나를 옮기는 데 몇 시간이 걸리는 환경에서 그동안 클러스터 전체를 잠가 두는 방식은 실용적이지 않았습니다. 세마포어나 Kubernetes disruption budget은 미리 정한 수만큼 작업을 허용합니다. The Accounter는 작업 수를 세는 일과 그 수를 어디까지 허용할지 정하는 정책을 분리했습니다. 원문이 이를 고급 disruption budget, 혹은 “fuzzy semaphore”에 빗댄 이유입니다.
이 차이는 긴급 작업에서 드러납니다. 효율화를 위한 이동은 N개까지만 허용하되, 호스트가 고장 나서 필요한 긴급 이동은 항상 승인하는 정책을 만들 수 있습니다. 긴급 작업도 모델 안에 기록되므로 장애 처리가 끝날 때까지 추가 효율화 이동을 막을 수 있습니다. 미리 정한 토큰 수만으로 허용 범위를 표현하지 않아도 되는 것입니다.
워크로드 밖의 부하까지 모이는 Grail
클러스터 건강을 판단하는 출발점은 워크로드입니다. Odin의 스토리지 클러스터는 Raft나 Apache Cassandra 노드에 해당하는 워크로드 하나 이상으로 이루어지고, 각 워크로드에는 worker 컨테이너와 주 데이터베이스 컨테이너, 필요한 경우 사이드카가 들어갑니다. worker는 호스트에서 데이터베이스와 사이드카의 수명주기를 관리합니다. 상태를 계속 관찰하며 컨트롤 플레인과 통신하고, 가장 최근 워크로드 상태는 Grail에 저장됩니다.
개별 워크로드 상태만으로는 부족합니다. 복제가 덜 된 데이터가 남아 있는지, 대규모 데이터 이동이나 클라이언트 부하 때문에 클러스터가 압박받는지도 작업 허가에 영향을 줍니다. 이런 클러스터 단위 신호는 보통 스토리지 팀이 관리·수집하며, Odin은 이를 Grail로 받아들이는 수단을 제공합니다. 비정상 워크로드를 얼마나 견딜 수 있는지는 기술별 건강 정책이 정합니다.
한 번에 한 랙만 허용하는 안전 정책
건강한 클러스터라도 이미 진행 중인 작업을 무시할 수는 없습니다. The Accounter는 각 작업에 대상 워크로드, drain이나 downtime 같은 작업 종류, 예상되는 중단 정도를 기록하고 하나 이상의 그룹에 연결합니다. 그룹에는 연결된 작업 수뿐 아니라 가장 최근에 시작하고 완료한 작업 정보도 남습니다. 이 기록으로 작업 수와 작업 사이의 간격을 함께 제한합니다.
그룹의 범위는 워크로드에서 플랫폼 전체까지 이어집니다. 클러스터와 워크로드 그룹은 기술별 정책이 가용성과 내구성을 지키는 데 쓰고, 리전·존·랙 같은 장애 도메인 그룹은 플랫폼 전체 동시성 한도로 Odin과 인프라를 보호합니다. 모든 작업을 세는 전역 그룹도 있습니다. 한 번에 워크로드 하나만 작업할 수 있는 기술과 클러스터의 일정 비율까지 허용하는 기술을 같은 모델로 다루는 방식입니다. 역할별로 일부 워크로드만 묶는 그룹도 동적으로 만들 수 있습니다.
이 상태를 읽는 안전 정책은 코드로 표현한 disruption budget입니다. 건강 정책이 클라이언트 부하나 비정상 워크로드를 보고 시작을 막는다면, 한도 정책은 그룹 안의 동시 작업 수와 연속 작업 사이의 유예 기간을 제한합니다. 그룹 사이의 배타성도 표현합니다. 한 그룹에서 작업하는 동안 다른 그룹의 claim을 거절하면, 한 번에 랙 하나에서만 작업하도록 만들 수 있습니다.
정책 작성자가 이런 검사를 매번 구현하지는 않습니다. 건강 상태를 판단하는 함수와 함께 CheckMaxOperations(group, max), CheckElapsedFromLastClaim(group, duration), CheckElapsedFromLastUnclaim(group, duration)을 제공합니다. 작업과 그룹의 연결도 명시적으로 남기므로 작업이 끝나거나 실패했을 때 관련 기록을 정리하기 쉽습니다.
최종 승인을 결정하는 etcd 트랜잭션
건강 점검과 한도 검사는 보장하는 범위가 다릅니다. 건강 정보는 어느 한 시점의 관찰이고, 분산 시스템에서는 그 정보를 모으는 데 시간이 걸립니다. 중단을 일으키는 요청 두 건이 같은 시각에 들어오면 낡은 건강 상태를 보고 모두 승인될 수 있습니다. 건강 점검만으로 안전을 확정할 수 없는 이유입니다. 한도 검사는 etcd 트랜잭션에 조건을 넣어 커밋하므로 한도를 지키도록 강제합니다.
워크플로는 대상 워크로드와 작업 목적을 담아 The Accounter에 claim을 요청합니다. The Accounter는 Grail의 건강 정보와 etcd의 작업 상태를 바탕으로, 플랫폼 전체 동시성·속도 한도부터 확인합니다. 이어서 기술별 건강 정책과 한도 정책을 평가합니다. 어느 검사에서든 실패하면 트랜잭션을 만들지 않고 즉시 거절합니다.
검사를 통과해야 커밋을 시도합니다. 필요한 변경을 트랜잭션 하나로 묶고, 정책이 전제로 삼은 그룹별 작업 수가 여전히 유효한지 낙관적 락으로 검증합니다. 트랜잭션이 성공하면 claim을 승인하고 작업을 시작합니다. 읽은 상태를 기준으로 검사를 통과했다는 사실만으로 허가를 내주지는 않습니다.
정책 작성자는 이 트랜잭션 처리를 직접 다루지 않습니다. 빌더 라이브러리가 복잡한 처리를 감춰 메모리 안의 상태를 검사하는 것처럼 정책을 작성하게 했습니다. etcd의 STM 라이브러리와 비슷하되 처리량에 맞춰 최적화한 구현입니다. 낙관적 동시성 충돌은 내부에서 몇 차례 재시도합니다. 그래도 claim을 받지 못하면 요청한 작업이 여전히 필요한 동안 호출한 쪽에서 다시 시도하고, 속도 한도에 걸린 경우에는 재시도까지 기다릴 시간을 돌려줍니다.
claim은 작업의 계층도 따라갑니다. 부모 작업이 자식에게 claim을 넘기면, 자식이 다시 claim을 요청해도 추가로 허가를 잡지 않는 재진입 방식입니다. 개발자는 전체 작업 계층을 알지 못해도 필요한 곳에서 claim을 요청하면 됩니다.
작업이 끝나면 워크플로가 claim을 해제해야 합니다. 중단이나 실패, 버그로 해제가 빠지는 일은 드물지만 Odin 규모에서는 생깁니다. 남은 claim은 뒤따르는 작업을 막습니다. The Accounter는 데이터 모델에 남은 작업과 claim의 연결을 따라 비활성 작업을 찾아내고, 오래된 claim을 안전하게 해제합니다.
호스트를 끝까지 비우기 위한 감사
정책을 기술 팀에 맡기면 너무 보수적인 정책도 생길 수 있습니다. Odin에서는 서로 다른 기술의 워크로드가 한 호스트를 공유하며, 그 수가 수백 개에 이릅니다. 호스트를 비우려면 모두 옮겨야 합니다. 일부 워크로드의 정책이 이동을 막으면 호스트를 끝까지 비우지 못합니다.
그래서 작업을 실행하기 전부터 이동 가능 여부를 계속 검사합니다. 감사 시스템이 워크로드마다 claim을 받을 수 있는지 평가하고, 플랫폼 전체에서 가능한 작업의 현황을 Grail에 게시합니다. 복구 루프는 이 결과로 실행 가능한 작업을 미리 추립니다. Odin 팀도 오랫동안 막혀 있는 워크로드를 찾아 담당 스토리지 팀에 알립니다.
이 검사는 상당한 요청을 만듭니다. The Accounter가 감당해야 하는 claim 시도는 초당 3,000~4,000건이며, 대부분이 워크로드를 이동할 수 있는지 확인하는 dry-run입니다. 이때마다 etcd를 읽지 않도록, claim은 먼저 계속 갱신되는 메모리 스냅샷으로 점검합니다. 스냅샷에서 이미 정책 위반이 확인되면 etcd에 접근하지 않고 거절합니다. 최종 승인에는 트랜잭션을 쓰되, 거절할 요청을 모두 etcd까지 보내지는 않는 방식입니다.
중앙 자동화로 진행한 encryption-at-rest 전환
The Accounter는 플랫폼의 모든 작업에 통합됐습니다. 원문에 제시된 운영 규모는 시간당 30만 건이 넘는 claim 평가와 700만 건이 넘는 dry-run 평가입니다. 진행 중 작업은 2,000개 이상이고, 서로 다른 그룹은 70만 개 이상입니다.
이 조율 덕분에 작은 팀이 수천 개 클러스터를 안전하게 관리하고, 플랫폼 전체를 대상으로 효율화 프로그램을 실행하게 됐습니다. 복구 루프 담당자는 어떤 작업이 필요한지 결정하는 데 집중합니다. 다른 루프와 작업이 겹쳐도 되는지는 The Accounter의 정책이 판단하므로, 각 팀의 독립성도 유지됩니다. 물리 인프라 역시 영구히 고정된 것으로 취급할 이유가 줄었습니다.
encryption-at-rest 도입이 그 사례입니다. 중앙 자동화에 워크로드를 encryption-at-rest가 적용된 호스트로 옮기도록 요청하고, The Accounter가 작업 시작을 조율했습니다. 이렇게 옮긴 규모가 210만 vCore와 로컬 연결 디스크 1.6EiB입니다.
예전이라면 모든 스토리지 기술 관계자가 계획과 실행에 참여하며 수년 분량의 엔지니어링 시간을 들였을 일입니다. 팀은 바뀐 경험을 “a no-op”이라고 표현했습니다. 워크로드 이동 자체는 여전히 오래 걸리지만, 기술마다 안전한 실행 순서를 사람이 조율하던 일을 중앙 자동화로 진행하게 된 것입니다.
아직 우선순위를 구분하지 못하는 문지기
작업 허가를 한곳에서 관리해도 시작 순서까지 정하지는 못합니다. 지금은 각 작업이 claim을 얻을 때까지 계속 폴링하므로 트래픽이 발생하고, 우선순위에 따라 허가를 내줄 수도 없습니다. 우선순위가 낮은 효율화 작업이 사람이 시작한 높은 우선순위 작업을 막는 경우가 남아 있습니다. 팀이 앞으로 추가하려는 기능은 이런 작업 사이의 우선순위 조정입니다.
버그에 대비한 보호 장치도 아직 각 루프에 흩어져 있습니다. 현재 Odin의 복구 루프는 저마다 서킷 브레이커를 구현해 오동작에 대비합니다. 팀은 이 기능을 The Accounter에 내장하려 합니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| claim 시도 처리량 | 초당 3,000~4,000건 (대부분 dry-run) |
| claim 평가 | 시간당 30만 건 이상 |
| dry-run claim 평가 | 시간당 700만 건 이상 |
| 진행 중 작업 | 2,000개 이상 |
| 서로 다른 그룹 | 70만 개 이상 |
| encryption-at-rest 이전 규모 | 210만 vCore, 로컬 연결 디스크 1.6EiB |
| 작업 길이 | 이미지 업그레이드 수 초, 호스트 간 워크로드 이동 수 시간 |