목차
10만 대 넘는 호스트를 맡은 우버의 상태 저장 플랫폼 Odin (2024-07)
원문 정보
- 원문: Odin: Uber’s Stateful Platform
- 매체 · 게시일: Uber Engineering Blog · 2024-07-18
- 저자: Jesper Borlum(Sr. Staff Engineer, Stateful Platform 팀 리드), Gianluca Mezzetti(Sr. Staff Engineer, Stateful Platform 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
런북을 따라 손으로 관리하던 데이터베이스
Odin의 출발점은 수작업 런북이었습니다. 2014년부터 우버가 빠르게 성장할 때, 기술 팀들은 런북을 따라 데이터베이스를 프로비저닝하고 유지보수했습니다. Kafka, Cassandra, MySQL 같은 오픈소스와 자체 개발 시스템에 저장할 데이터가 늘어날수록 사람이 반복해서 해야 하는 운영 작업도 쌓였습니다.
팀이 수천 개의 데이터베이스를 수월하게 관리하려면 운영 작업을 처리하는 능력부터 키워야 했습니다. 우버는 이를 자동화할 플랫폼 Odin을 만들었습니다. 특정 저장 기술에 맞춘 관리 도구를 넘어, 기술이 달라도 같은 운영 경험을 제공하는 것이 목표였습니다. 호스트 수명주기와 워크로드 스케줄링, 클러스터 관리, 모니터링과 알림, 상태 전파, 운영 UI, 오토스케일링까지 그 범위에 들어갑니다.
우버의 상태 저장 시스템은 글로벌·리전·존 수준에 걸쳐 배포됩니다. Odin은 이들을 일관되게 관리하고, 여러 워크로드를 한 호스트에 함께 배치하는 코로케이션으로 하드웨어 비용 효율도 높이도록 설계했습니다. 그 바탕에는 모든 상태 저장 워크로드를 완전히 컨테이너화한다는 원칙이 있습니다. 플랫폼을 만들 당시에는 새롭고 논쟁적인 선택이었습니다.
한 호스트에 모인 100개 넘는 데이터베이스
2014년 수백 대였던 호스트는 원문이 나온 2024년 7월에는 10만 대를 넘었습니다. 이 위에서 여러 스토리지 클러스터에 속한 워크로드 30만 개가 돌아갑니다. Odin의 워크로드 하나는 Kubernetes 파드처럼 컨테이너를 묶은 단위이며, 개별 컨테이너 수는 380만 개입니다. 저장 용량은 여러 엑스비바이트에 이르고, 컴퓨트 코어도 수백만 개를 사용합니다.
관리하는 기술은 23가지입니다. MySQL과 Cassandra 같은 온라인 데이터베이스뿐 아니라 HDFS, Presto, Kafka 같은 데이터 플랫폼 기술도 포함합니다. 용량 관리와 스케일링 기능을 활용하려고 Yarn, Buildkite 같은 리소스 스케줄링 프레임워크까지 통합했습니다. 우버의 클라우드 추상화를 사용하므로 실행 환경도 한곳에 묶이지 않습니다. Odin은 OCI, GCP, 우버 온프레미스에서 운영됩니다.
규모만 큰 것은 아닙니다. 데이터베이스가 100개 넘게 모인 호스트도 있을 만큼 밀집해서 배치합니다. 모든 상태 저장 워크로드가 성능을 위해 로컬 연결 드라이브를 쓰기 때문에, 스케줄러는 CPU와 메모리뿐 아니라 디스크까지 함께 고려해 자원 할당률을 높여야 합니다. 병목 자원을 기준으로 한 할당률은 95%를 넘습니다.
이 선택은 워크로드 이동에도 영향을 줍니다. 컨테이너를 다른 호스트에 띄우더라도, 기존 호스트의 로컬 디스크에 있는 데이터까지 저절로 따라가지는 않습니다.
종료보다 앞서 준비하는 대체 워크로드
호스트 사이에서 워크로드를 옮기는 일은 Odin에서 가장 흔한 작업 중 하나입니다. 배치 효율을 높이고 호스트 플릿을 현대화하는 과정에서 한 달에 상태 저장 워크로드의 최대 60%를 재스케줄합니다. 이동 뒤에도 워크로드 신원은 유지해야 합니다. 샤드 하나를 맡던 워크로드를 교체했다면, 새 워크로드도 같은 샤드를 맡아야 하기 때문입니다.
Kubernetes의 StatefulSet은 재스케줄 뒤에도 유지되는 파드 신원을 제공합니다. 파드를 지우면 같은 신원을 가진 새 파드가 만들어집니다. 하지만 이 모델은 우버의 환경에 잘 맞지 않았습니다. 로컬 드라이브를 쓰는 워크로드는 종료 전에 데이터를 다른 곳에 복제해 사용할 수 있게 해야 합니다.
순서를 잘못 잡으면 공백이 깁니다. 대체 워크로드가 준비되기 전에 기존 워크로드를 종료하면, 클러스터는 중앙값 1시간 동안 필요한 용량을 갖추지 못한 상태에 놓입니다. 이 시간에는 요청 처리 용량이 줄고, 데이터 유실이나 가용성 문제를 겪을 위험도 커집니다.
그래서 Odin의 기본 교체 작업인 replace는 make-before-break를 따릅니다. 가능하면 기존 워크로드의 신원과 데이터를 이어받을 새 워크로드를 먼저 준비한 뒤 기존 워크로드를 종료합니다. 시스템이 도달하려는 목표 상태(goal state)에서 어떤 부분을 새 워크로드로 넘길지는 기술별 통합이 정합니다. 목표 상태 모델은 교체 대상과 대체 워크로드가 서로의 존재를 알게 합니다. 이를 바탕으로 각 워크로드의 기술별 에이전트인 worker가 데이터 복제를 조율할 수 있습니다.
기존 호스트가 고장 났다면 이 순서를 지킬 수 없습니다. 그런 경우에는 대체 워크로드를 만들면서 기존 워크로드를 삭제합니다. make-before-break가 가능한 경우에는 용량을 늘 필요한 양보다 넉넉하게 유지할 이유가 줄어듭니다. 교체할 때만 일시적으로 추가 용량을 확보하면 되므로, 상시 과잉 프로비저닝을 피할 수 있습니다.
수렴할 때까지 지켜보는 Cadence 워크플로
Odin은 목표 상태를 선언하면 실제 상태가 그쪽으로 수렴하도록 만드는 의도 기반 플랫폼입니다. 작고 자율적인 복구 루프들이 실제 상태를 계속 원하는 방향으로 조금씩 밀어 줍니다. Kubernetes의 컨트롤러를 떠올리면 익숙한 모델입니다. Odin은 이 설계를 바탕으로 장애를 견디고, 규모를 늘리며, 스스로 문제를 복구합니다.
복구 루프는 먼저 목표 상태를 살피고 실제 상태를 수집합니다. 둘 사이의 차이를 찾으면 Cadence 워크플로를 실행해 그 차이를 줄입니다. Kubernetes 컨트롤러가 APIServer를 호출해 직접 상태를 바꾸는 것과는 이 지점에서 다릅니다. 각 루프는 느슨하게 연결된 독립 마이크로서비스로 개발할 수 있어, 다른 루프와 분리해 개발하고 확장하기 쉽습니다.
루프가 판단하려면 플랫폼 전체의 상태부터 알아야 합니다. 이 일을 돕는 데이터 통합 플랫폼이 Grail입니다. 호스트와 컨테이너는 물론 기술별 내부 상태까지, 목표 상태와 실제 상태의 최신 모습을 통일된 데이터 모델로 제공합니다. 우버의 여러 데이터센터와 리전을 아울러 쿼리하는 것도 가능합니다. 원문이 Grail을 “스테로이드를 맞은 Kubernetes APIServer의 리소스 모델”에 비유한 이유입니다.
전역 컨트롤 플레인은 워크로드 스케줄링이나 클러스터 토폴로지 같은 상위 결정을 맡습니다. 목표 상태를 바꾸는 API는 워크플로 실행입니다. 복구 루프도 사람 운영자도 이 경로를 사용하며, 운영자는 UI에서 데이터베이스 상태를 확인하고 필요한 작업을 시작합니다.
워크플로는 목표 상태를 갱신하는 데서 끝나지 않습니다. 대개 갱신 뒤에 실제 상태가 수렴할 때까지 감시하는 단계가 이어집니다. 덕분에 끝나지 않는 작업이 무엇인지, 애초에 왜 시작했는지 함께 확인할 수 있습니다. 여기에는 별도의 제어도 필요합니다. 수렴에는 시간이 걸리므로, 아직 차이가 남아 있다는 이유로 복구 루프가 같은 문제를 고치는 워크플로를 거듭 시작하지 못하도록 막아야 합니다.
호스트와 데이터베이스를 나눠 맡은 에이전트
데이터베이스마다 내부 동작은 달라도 워크로드 추가·제거나 이미지 업그레이드처럼 공통으로 필요한 작업이 있습니다. Odin은 기술에 종속되지 않는 클러스터 모델과 작업을 제공하고, 각 기술이 플러그인으로 이를 확장하게 했습니다. 공통 운영 모델을 유지하면서도 기술별로 필요한 클러스터 관리를 구현하는 방식입니다.
호스트 자원을 배정하는 odin-agent
컨트롤 플레인은 전역에서 판단하는 부분과 호스트에서 실행하는 부분으로 나뉩니다. 호스트 쪽에는 odin-agent와 worker가 있습니다. 이들을 합치면 Kubernetes의 kubelet에 해당하는 역할을 합니다.
odin-agent는 호스트의 모든 워크로드가 공유하며, 특정 저장 기술에 종속되지 않습니다. 전역 컨트롤 플레인과 목표 상태·실제 상태를 주고받고, 코어 스케줄링과 디스크 볼륨·cgroup 생성 및 관리 같은 호스트 자원 처리를 맡습니다. 호스트에 배정된 워크로드를 부트스트랩하는 것도 이 에이전트의 일입니다.
worker는 각 워크로드의 사이드 컨테이너에서 돌아갑니다. 실행 중인 컨테이너가 목표 상태에 맞는지 감독하고, 컨테이너를 시작하거나 중지하며, 건강 상태와 그 밖의 정보를 모아 전역 컨트롤 플레인에 보고합니다. 플랫폼이 이해하는 범용 클러스터 상태를 실제 데이터베이스 컨테이너의 동작으로 옮기는 번역가에 가깝습니다.
기술 팀은 이 번역가를 자기 데이터베이스에 맞게 확장합니다. MySQL worker라면 마스터와 레플리카가 각자의 역할을 유지하는지 확인하고 현재 상태를 보고합니다. 팀은 그렇게 수집한 기술별 실제 상태를 바탕으로 새로운 운영 워크플로를 만들 수 있습니다. 많은 기술은 클러스터 토폴로지가 바뀔 때 리더를 선출하거나 데이터 복제를 조율하는 자가 치유 기능도 worker에 구현했습니다.
디스크에 먼저 기록한 목표 상태
worker를 워크로드마다 따로 두면 변경도 워크로드 단위로 배포할 수 있습니다. 잘못된 변경이 미치는 범위를 작게 제한하는 데 도움이 됩니다. 워크로드 안의 컨테이너를 하나씩 제자리에서 업그레이드하는 것도 가능합니다.
에이전트가 지키는 순서도 있습니다. odin-agent와 worker 모두 실행 중인 워크로드를 바꾸기 전에 목표 상태를 디스크에 먼저 기록해야 합니다. 덕분에 클러스터는 활성 컨트롤 플레인 없이도 초기화할 수 있습니다. 컨트롤 플레인이 정상이어야만 클러스터를 시작할 수 있는 부트스트랩 문제를 해결한 것입니다. 컨트롤 플레인 기능이 저하된 동안에도 워크로드가 버틸 수 있고, 비상시에 쓸 도구를 작성하기도 쉬워집니다.
사람의 판단을 넘어선 플릿 작업
Odin의 첫 버전은 스토리지 팀의 운영 능력을 크게 높였습니다. 여러 팀이 하나의 플랫폼에서 같은 운영 모델을 쓰고, 작업과 상태 정보를 한곳에서 다루게 됐습니다. 그래도 변경의 중심에는 사람이 있었습니다. 작업을 시작하고, 그 작업이 적절하고 안전하다고 보증하는 주체는 운영자였습니다. 복구 루프가 맡는 범위는 replace 워크플로 하나처럼 비교적 작았습니다.
사업이 더 커지자 기술의 경계를 넘어 플릿 전체를 바꾸는 작업이 늘었습니다. 사람이 판단하고 진행하기에는 감당하기 어려운 규모였습니다.
- 랙이나 존 장애를 견디도록 워크로드 배치 최적화
- 비용 효율을 높이기 위한 호스트 빈 패킹
- 커널·펌웨어 업그레이드와 LVM/cgroupv2 같은 기능 도입을 위한 플릿 전체 호스트 작업
- 새 데이터센터 가동과 기존 데이터센터 폐쇄
호스트 하나에 많은 데이터베이스가 모여 있으니 호스트 장애 하나를 처리하는 일도 만만치 않았습니다. 더 넓은 범위를 맡는 복구 루프가 필요했습니다. 그런데 자동화가 늘자, 각 루프 안에서는 보이지 않던 충돌이 드러났습니다.
업그레이드와 재배치가 겹친 클러스터
노드 3개짜리 합의 기반 클러스터에서 컨테이너 업그레이드를 위해 워크로드 하나가 내려가 있다고 가정하겠습니다. 그때 다른 복구 루프가 배치 효율을 높이려고 같은 클러스터의 다른 워크로드를 옮기기로 결정합니다. 이 작업까지 허용하면 클러스터는 쿼럼을 잃고 쓰기 가용성에 문제가 생깁니다.
처음에는 각 복구 루프 안에 동시성 제어를 넣었습니다. 업그레이드 루프가 서로 겹치는 업그레이드를 막으면, 같은 종류의 작업이 중첩돼 클러스터를 망가뜨리는 일은 피할 수 있었습니다. 그러나 다른 루프가 시작한 작업까지 막지는 못했습니다. 업그레이드와 재배치처럼 서로 다른 작업이 같은 클러스터를 건드리는 문제는 그대로 남았습니다.
안전한 작업 범위도 기술마다 다릅니다. 어떤 기술에서는 어느 워크로드를 작업 대상으로 고르는지가 중요하지만, 어떤 기술은 모든 워크로드를 동등하게 취급합니다. 또 다른 기술은 일정 수의 워크로드가 계속 가용하기만 하면 됩니다. 하나의 고정된 규칙으로 이 차이를 처리할 수 없으므로, 기술별 관리 전략을 지원해야 했습니다.
필요한 것은 작업 유형과 복구 루프의 경계를 넘는 전역 조율이었습니다. 워크로드의 현재 건강 상태와 disruption budget에 근거한 기술별 한도를 적용해 클러스터 가용성을 보장해야 했습니다. 플랫폼 전체에 적용할 동시성 한도와 작업 속도 제한도 요구됐습니다. 클러스터별 제약을 지키는 데 더해, 엔지니어링 실수와 내부 플랫폼 시스템의 과부하까지 막아야 했기 때문입니다.
Odin의 기원과 초기 과제를 다룬 연재 첫 글에 이어, 다음 글에서는 작업 조율을 중앙화해 운영 처리량을 안전하게 늘린 방법과 수동 런북을 워크플로로 발전시킨 과정을 다룹니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 호스트 수 | 수백 대(2014)에서 10만 대 이상으로 증가 |
| 워크로드 / 컨테이너 | 30만 개 / 380만 개 |
| 지원 기술 | 23가지 |
| 병목 자원 기준 할당률 | 95% 이상 |
| 한 호스트의 최대 데이터베이스 수 | 100개 이상 |
| 월간 재스케줄 비율 | 상태 저장 워크로드의 최대 60% |
| 대체 워크로드 준비 지연 중앙값 | 1시간 |
| 실행 환경 | OCI, GCP, 우버 온프레미스 |