본문으로 건너뛰기
LVM과 LUKS로 10만 호스트의 디스크를 나눈 Odin
목차

LVM과 LUKS로 10만 호스트의 디스크를 나눈 Odin (2025-08)

원문 정보

100개 넘는 워크로드가 나눠 쓰던 Odin의 디스크

Uber의 Stateful Platform인 Odin은 약 5,000명의 소프트웨어 엔지니어에게 MySQL, Redis, Apache Cassandra, Schemaless 등의 데이터베이스를 제공합니다. 디스크 용량은 호스트 10만 대에 걸쳐 3.45EB입니다. 이 규모에서 저장 데이터를 암호화하되, 플랫폼을 쓰는 이들이 그 변화를 의식하지 않아도 되게 만드는 일이 Odin 팀의 과제였습니다.

기존 호스트의 구성은 단순했습니다. 로컬 디스크를 RAID0 장치 하나로 묶고, 그 위에 만든 파일 시스템을 여러 워크로드가 나눠 썼습니다. 새 워크로드가 배정되면 디렉터리를 만들고 컨테이너에 bind mount 하면 됐습니다. 서버가 커지면서 자원과 용량을 더 효율적으로 쓰기 위해 한 호스트에 모으는 워크로드도 늘었습니다. 100개 넘게 실행하는 호스트도 있었습니다.

팀이 선택한 방향은 워크로드마다 볼륨을 따로 주는 것이었습니다. 같은 호스트에 살더라도 각자 암호화 전략과 고유한 키를 갖도록 해서 저장 데이터 암호화 규정을 충족하려는 선택입니다. 동적 볼륨 관리는 LVM에, 블록 장치 암호화는 LUKS에 맡겼습니다.

볼륨을 나누면 암호화 외에도 바꿀 수 있는 것이 많았습니다. inode 비율이나 read-ahead를 워크로드에 맞게 조정하고, 볼륨 레이아웃 설정을 스택의 더 높은 계층으로 옮겨 Odin 팀이 독립적으로 변경할 수 있었습니다. 레이아웃을 바꾸는 데 걸리는 시간과 호스트 구성의 종류도 줄었습니다. LVM 구현은 CSI 인터페이스로 감싸 Kubernetes 전환을 준비했습니다.

그 대가로 공유 파일 시스템의 탄력성을 잃었습니다. 누군가 비운 공간을 다른 워크로드가 곧바로 쓰던 방식이 더는 통하지 않았고, 볼륨을 만들고 유지하고 정리하는 로직도 복잡해졌습니다. 팀은 얻는 것이 더 크다고 판단했지만, 공간을 나눈 뒤에는 암호화 성능과 디스크 용량을 모두 새 방식에 맞춰 다뤄야 했습니다.

워크로드마다 성능이 달랐던 LUKS 암호화

플랫폼이 데이터마다 중요도를 판단해 암호화 방식을 고르는 일은 실용적이지 않았습니다. Odin에는 넓게 적용할 공통 기준이 필요했습니다. 애플리케이션 계층의 암호화는 유연하지만 구현이 복잡하고 자원을 많이 씁니다. 파일 시스템 계층은 애플리케이션에 더 투명한 대신 메타데이터가 노출되고 별도 설정도 필요했습니다. 팀은 메타데이터와 빈 공간까지 보호하면서 구성을 단순하고 균일하게 유지할 수 있는 블록 단위 암호화를 골랐습니다.

이 구성의 바탕에는 Linux의 device-mapper가 있습니다. 물리 블록 장치를 가상 블록 장치로 매핑하는 기능으로, LVM도 이를 이용해 논리 볼륨을 관리합니다. 암호화는 그 위의 dm-crypt가 맡습니다. LUKS는 헤더와 암호화 영역으로 구성된 표준 온디스크 포맷으로, 배포판 사이의 호환성과 안전한 키 관리를 제공합니다. 팀은 모든 LUKS 작업에 cryptsetup을 사용했습니다.

암호화 기준을 통일해도 성능 설정까지 같을 수는 없었습니다. 프로덕션 투입 전 벤치마크에서 기본 설정이 일부 기술에 감당하기 어려운 지연을 일으켰습니다. 워크로드마다 디스크 접근 패턴이 달랐기 때문입니다. 팀은 cryptsetup 매뉴얼에서 후보 옵션을 찾아 하나씩 측정했고, no_read_workqueue와 no_write_workqueue가 영향을 받던 워크로드의 성능을 크게 개선한다는 사실을 확인했습니다.

이 플래그는 추가 암호화 커널 큐를 우회해 암호화를 거의 동기식으로 처리합니다. 읽기 지연이 크게 줄었습니다. 암호화와 복호화에 쓴 CPU 시간이 작업을 시작한 워크로드에 잡히는 효과도 있었습니다. Odin은 cpuset을 사용하고 있어, 암호화 작업이 같은 호스트의 다른 워크로드에 일으키는 CPU 간섭도 제한됐습니다.

읽기 경로에는 예외가 남습니다. NVMe 같은 장치는 읽기 완료를 인터럽트 컨텍스트에서 처리하는데, 여기서는 일부 알고리즘에 필요한 FPU를 사용할 수 없습니다. 따라서 no_read_workqueue를 켜더라도 복호화가 별도 스레드로 넘어갈 수 있습니다.

IO 크기와 CPU 아키텍처도 결과를 바꿉니다. 이 플래그는 작은 IO에는 도움이 되지만 큰 IO의 성능은 떨어뜨릴 수 있습니다. x86에서 효과가 있던 설정을 ARM에 그대로 적용할 수도 없습니다. ARM에서는 암호화 큐를 켰을 때 성능이 크게 나아진 경우도 있어, 실제 사용할 하드웨어에서 벤치마크해야 합니다.

빈 공간을 돌려받기 어려워진 LVM 볼륨

LVM 호스트에서는 디렉터리 하나를 만드는 것으로 준비가 끝나지 않습니다. 논리 볼륨(LV)을 만들고 LUKS로 포맷한 뒤, 파일 시스템을 생성해 워크로드에 마운트합니다. 이제 워크로드가 쓸 수 있는 공간은 해당 LV의 크기로 제한됩니다.

공유 파일 시스템에서는 사용량의 변화가 서로 상쇄됐습니다. 어떤 워크로드는 커지고 다른 워크로드는 줄었으며, 회계연도 말처럼 특정 시기에만 공간이 더 필요한 경우도 있었습니다. 한쪽에서 파일을 지우면 다른 쪽이 그 공간을 바로 썼습니다. 볼륨을 나누고 나서는 사용량이 한도에 가까워질 때 LV와 LUKS, 파일 시스템을 모두 늘려야 합니다. 파일을 지워 생긴 여유 공간도 LV를 줄여야 다른 워크로드에 돌려줄 수 있습니다.

thin provisioning은 기존의 공유 방식과 닮았습니다. 워크로드마다 볼륨 그룹 전체 크기의 파일 시스템을 제공하고 실제 사용량에 맞춰 공간을 할당하므로 운영이 단순해집니다. 하지만 성능을 예측하기 어렵고 디스크 격리도 얻지 못합니다. thick provisioning은 볼륨의 공간을 미리 확보해 성능을 예측하기 쉬운 대신, 쓰지 않는 공간이 낭비될 수 있습니다. Odin은 이 낭비를 감수하고 thick을 선택했습니다.

thin에서는 파일 시스템 자체가 차지하는 공간부터 문제가 됐습니다. 파일 시스템마다 약 1%의 메타데이터 오버헤드가 생기므로, 볼륨 그룹 전체 크기의 파일 시스템을 여러 개 만들면 실제로 쓸 수 있는 용량이 크게 줄어듭니다. thin pool 관리도 복잡했고 IO 격리 문제도 있었습니다. 여기에 커널 오버헤드가 더해져 성능을 측정하고 분석하기도 어려웠습니다.

애플리케이션에 보이는 여유 공간도 믿기 어려웠습니다. thin 볼륨이 실제로 확보할 수 있는 공간을 워크로드가 정확히 알지 못하면 용량 계획과 샤드 배정에 차질이 생깁니다. 공간이 바닥났을 때는 EIO 오류가 발생해 애플리케이션 동작을 방해합니다. 파일을 지웠다고 thin 볼륨이 자동으로 줄어드는 것도 아닙니다. 공간을 회수하려면 수동 TRIM이 필요했고, 여기에도 유지보수 부담과 성능 비용이 따랐습니다.

제자리 축소를 포기한 Odin의 용량 관리

Odin 컨트롤 플레인은 자원을 배정하고 워크로드를 실행할 호스트를 고릅니다. 이 안에서 DDMS(Dynamic Disk Management System)는 워크로드별 과거 사용량으로 앞으로 필요한 디스크를 예측하고, 각 호스트에서 얼마나 예약할지 결정합니다. 디스크 고갈을 피하면서 플릿 전체의 공간 낭비도 줄여야 합니다. 수만 개의 워크로드를 운영자가 일일이 조정하지 않도록 하는 역할입니다.

DDMS는 실행 중인 워크로드의 할당량도 바꿉니다. 계속 커지는 워크로드에는 공간을 더 배정하다가 현재 호스트에 더는 들어갈 수 없으면 여유가 있는 호스트로 옮깁니다. RAID0에서는 사용량이 줄어드는 쪽을 따로 처리할 일이 없었습니다. 공간이 저절로 다른 워크로드에 돌아갔으므로, 컨트롤 플레인과 호스트 에이전트가 긴밀하게 동작할 이유도 없었습니다.

thick 볼륨에서는 크기 변경이 실제 디스크 작업입니다. 특히 축소가 어려웠습니다. LV와 LUKS는 확장과 축소를 모두 지원하지만, ext4는 마운트를 해제해야 줄일 수 있고 당시 Odin이 사용하던 xfs는 축소 자체를 지원하지 않았습니다.

팀은 볼륨을 제자리에서 줄이지 않기로 했습니다. 파일 시스템을 축소하려면 데이터를 복사해야 하고 그동안 워크로드를 중단해야 합니다. 작업 시간은 하드웨어, 시스템 부하, 호스트에 남은 디스크 공간에 따라 달라져 예측하기 어렵습니다. 클러스터의 중단 허용 한도를 지키면서 같은 호스트의 다른 워크로드에 주는 영향까지 관리하기에는 부담이 컸습니다.

중단 시간은 워크로드를 옮기는 기존 절차 안에서 다루는 편이 더 잘 맞았습니다. 이미 진행 중이던 Kubernetes 전환도 이 결정과 맞았습니다. Kubernetes 역시 볼륨의 제자리 축소를 지원하지 않았습니다.

다른 워크로드의 할당량을 지키는 확장 루프

축소를 제외한 뒤에는 호스트 에이전트가 각 LV의 여유 공간을 살피고 필요할 때 늘리는 분산형 확장 루프를 만들었습니다. 컨트롤 플레인이 정한 할당량과 실제 볼륨 확장이 연결돼야 했습니다. 에이전트가 한 볼륨을 키우다가 다른 워크로드에 약속한 공간을 써 버려서는 안 되기 때문입니다.

원문은 디스크가 6유닛인 호스트에 파란 워크로드와 초록 워크로드를 놓아 이 관계를 설명합니다. 컨트롤 플레인은 예측에 따라 공간을 배정하되 마지막 1유닛은 Host Buffer로 남겨 두고 할당하지 않습니다. 디스크가 고갈되기 전에 자동화가 증가 문제를 해결할 여유입니다.

파란 워크로드에 1유닛, 초록 워크로드에 2유닛을 배정했다고 가정합니다. 파란 워크로드는 초록 워크로드의 2유닛을 침범하지 않으면서 4유닛까지 커질 수 있습니다. 초록 워크로드 쪽에서는 파란 워크로드의 1유닛을 보장하면서 5유닛까지 확장할 수 있습니다. 각 워크로드가 자신의 할당량까지 자랄 권리를 지키는 방식입니다. Odin의 예측 정확도가 높아 디스크가 부족해지는 것은 비정상적으로 증가하는 워크로드뿐이며, 그 영향도 같은 호스트에서 비정상적으로 증가하는 다른 워크로드로 제한됩니다.

확장 여부를 정하는 로직은 검증하기 까다로웠습니다. 공간을 아끼다가 디스크를 고갈시켜서는 안 되고, 너무 자주 늘리면 확장 작업의 오버헤드가 커집니다. 워크로드마다 볼륨 크기도 크게 다릅니다. Elasticsearch와 Cassandra처럼 고정된 파일 시스템 크기를 기준으로 샤드나 데이터를 배치하는 기술은 동적으로 변하는 볼륨과 충돌했습니다. 팀은 이런 차이를 다룰 수 있도록 기술별로 확장 로직을 설정하게 했습니다.

dirty page를 기다리며 멈춰 선 LUKS 확장

확장 동작의 초기 벤치마크에서는 워크로드 IO에 큰 영향이 보이지 않았습니다. 팀은 덜 중요한 워크로드부터 LVM을 적용하며 범위를 넓혔습니다. 그런데 실제 롤아웃 중 일부 워크로드에서 지연이 늘었습니다. IO가 아예 멈추는 현상이었습니다.

마이그레이션을 중단하고 원인을 찾았습니다. 플릿 전체의 호스트와 워크로드 메트릭으로 정지가 가장 심한 대상을 추릴 수 있었고, 정지 시간이 호스트의 dirty page 양과 드라이브 속도에 비례한다는 관계를 확인했습니다. 볼륨을 늘리는 순간에 디스크로 무엇을 쓰고 있는지 살펴볼 이유가 생겼습니다.

cryptsetup과 dm-crypt 코드를 읽자 원인이 드러났습니다. cryptsetup은 dm-crypt 장치를 확장할 때 suspend와 resume을 수행했고, 이 과정에서 항상 파일 시스템을 잠근 뒤 모든 dirty page의 플러시가 끝나기를 기다렸습니다. 대부분의 변경에는 필요한 절차였습니다. 그러나 장치를 확장하기만 할 때는 안전하게 생략할 수 있었습니다. 팀이 제안한 최적화는 업스트림 메인 브랜치에 병합됐습니다.

팀은 LVM 마이그레이션을 ‘헤라클레스의 과업’에 빗댔습니다. 안전하게 적용하려면 신중하게 진행해야 했지만, 마이그레이션이 계속되는 동안에는 그 자체가 시스템에 부담을 주고 복잡도를 높였습니다. 안전성을 확보하는 일과 전환을 빨리 끝내는 일 사이에서 계속 균형을 잡아야 했습니다.

백업과 컴팩션이 겹쳐 두 배로 불어난 워크로드

확장 로직을 갖췄다고 모든 증가 패턴을 감당할 수 있었던 것은 아닙니다. 쓰기 부하가 가장 큰 워크로드 중 하나에서는 오래 걸리는 컴팩션과 백업이 겹쳤습니다. 백업이 sstable 파일을 잠그면서 정리를 막았고, 그동안 디스크 사용량이 일시적으로 두 배가 됐습니다.

공유 파일 시스템에서는 감당할 만한 증가였습니다. 하지만 LVM 볼륨은 늘린 뒤 줄이기가 현실적으로 어려워 이 워크로드에 용량을 2배로 할당해야 했습니다. 대용량 데이터를 높은 처리량으로 쓰는 워크로드에 그만큼의 공간을 배정하는 것은 받아들이기 어려웠습니다. 원문에는 이 문제의 해법이 제시돼 있지 않습니다.

원문의 주요 수치와 설정값
항목값
Odin 디스크 용량3.45EB, 호스트 10만 대
대상 엔지니어 수약 5,000명
호스트당 워크로드많게는 100개 이상
동적 볼륨 관리 / 블록 암호화LVM / LUKS(cryptsetup, dm-crypt)
할당 방식thick provisioning
파일 시스템 메타데이터 오버헤드약 1%
호스트 버퍼디스크 유닛 마지막 1개는 배정하지 않음
성능 개선 플래그no_read_workqueue, no_write_workqueue
cryptsetup 확장 최적화확장 시 파일 시스템 잠금과 dirty page 전체 플러시 대기를 생략, 메인 브랜치 병합
마지막 수정 일자