목차
버스트 부하에 맞춰 전용·공유 코어를 배분하는 Odin (2026-04)
원문 정보
- 원문: Hybrid Core Allocation: From Overallocation to Reliable Sharing
- 매체 · 게시일: Uber Engineering Blog · 2026-04-21
- 저자: Alexandr Sudakov(Senior Software Engineer), Ivan Shibitov(Staff Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
1분 평균으로는 잡히지 않던 Odin의 버스트
스테이트풀 컨테이너를 관리하는 Odin에 cpuset을 도입하면서 우버는 CPU 시간을 더 엄격하게 통제하고 스로틀링과 지연을 줄였습니다. 성능에는 이득이 있었습니다. 대신 CPU를 통째로 전용 할당하는 비용이 따랐습니다.
오랫동안 수직 CPU 스케일러는 1분 평균으로 사용량을 정확히 잴 수 있다고 봤습니다. 노드에 할당한 코어는 공유되지 않는 전용 자원이고, 장애 조치로 부하가 달라지면 CPU 사용률 목표를 조정해 대응할 수 있다는 전제도 있었습니다. CPU 사용량이 순간적으로 치솟는 버스트 앞에서는 이 기준들이 충분하지 않았습니다.
우버가 바꾼 것은 전용 코어만 주던 할당 방식입니다. 꾸준히 필요한 CPU는 계속 예약하되, 간헐적으로 필요한 여유분은 같은 호스트의 다른 워크로드와 나눠 쓰도록 했습니다.
평균과 편차로 크기를 정하는 전용·공유 코어
새 하이브리드 모델에서 워크로드는 전용 코어를 받고, 필요에 따라 공유 코어도 받습니다. 수직 스케일러는 평균 CPU 사용량으로 전용 코어 수를 계산합니다. 평균에서 벗어나는 편차는 공유 코어 수를 정하는 기준입니다. 평소 수요를 전용 코어로 감당하고, 가끔 찾아오는 버스트에는 공유 코어를 쓰도록 자원을 나눴습니다.
공유 코어는 호스트마다 풀로 묶고 정해진 비율로 초과 할당합니다. 워크로드에 배정한 공유 CPU를 모두 더하면 대개 호스트의 실제 공유 CPU 수보다 많습니다. 여러 워크로드가 풀을 쓰다가 경합이 생기면, 할당 크기에 비례해 CPU 시간을 나누도록 Linux의 cpu.shares를 설정합니다.
여유분이 언제나 충분한 것은 아닙니다. 여러 워크로드의 부하가 한꺼번에 치솟으면 공유 풀이 부족할 수 있습니다. 우버는 그런 상황이 드물어 감당할 만하다고 판단했습니다. 호스트별 공유 풀의 크기는 워크로드별 전용·공유 코어 수보다 복잡한 계산으로 정하며, 자세한 계산 방식은 별도 글에서 다룰 예정이라고 밝혔습니다.
우버는 이 모델로 버스트성 워크로드의 과다 프로비저닝을 줄이고 플릿 전체의 CPU 활용도를 높이면서 서비스 수준 보장을 유지할 수 있다고 설명합니다. 전용 코어가 성능을 보장하는 역할은 그대로 두고, 버스트를 위한 자원에 공유를 도입한 구조입니다.
데이터 복사 없이 CPU를 조정하는 제자리 스케일링
이렇게 계산한 CPU 수를 워크로드가 있는 호스트에서 바로 바꿀 수 있다는 점도 Odin에는 큰 의미가 있습니다. 로컬 디스크를 쓰는 스테이트풀 플릿에서 워크로드를 다른 호스트로 옮기려면 데이터를 전부 복사해야 합니다. 이동은 느리고 서비스에도 부담을 줍니다.
호스트 수준의 제자리(in-place) 수직 스케일링은 이 이동을 줄입니다. 워크로드를 옮기지 않고 CPU 할당량을 수요에 맞게 조정하므로, 자원을 다시 배치할 때마다 데이터를 복사할 이유가 줄어듭니다.
모든 변경이 매끄럽게 끝나지는 않습니다. 새 CPU 한도를 반영하려면 재시작해야 하는 워크로드도 있습니다. 그래도 데이터를 전부 복사해 다른 호스트로 옮기는 것보다는 훨씬 적은 비용으로 자원을 조정할 수 있습니다.
경합이 심해질수록 어긋나는 cpu.shares
공유 풀의 CPU 시간이 모자라면 각 워크로드에 얼마씩 돌아가야 할지 정해야 합니다. 우버가 최종적으로 선택한 설정은 cpu.shares = round((전용 CPU + 경합용 공유 CPU) × 100)입니다. 전용 CPU와 경합 때 고려할 공유 CPU를 합쳐 가중치에 반영합니다.
전용 CPU는 정수지만 공유 CPU는 소수일 수 있습니다. 100을 곱한 뒤 반올림하면 정수 가중치를 얻고, 그 값을 CPU 한 개에 대한 백분율로 읽기도 쉽습니다. 전용 CPU 2개에 공유 CPU 0.5개를 받는 컨테이너라면 round((2 + 0.5) × 100) = 250입니다.
설정한 비율과 실제 배분이 늘 일치하지는 않았습니다. 팀은 Linux의 cpuset.cpus와 cpu.shares를 조합해 여러 부하 유형에서 개념 검증을 진행했습니다. 경합이 없거나 소수의 워크로드만 가볍게 경합할 때는 스케줄러가 CPU 사이에 부하를 고르게 나누고 요청한 cpu.shares 비율도 지켰습니다.
경합이 심해지자 실제 비율이 크게 한쪽으로 쏠렸습니다. rkube(SoCC'21)에서도 비슷한 결과가 나왔습니다. 공유 풀에 활성 워크로드를 많이 모을 때는 이 한계를 고려해야 합니다. 가중치를 비례해서 설정했다는 사실만으로 심한 경합에서도 같은 비율을 보장할 수는 없습니다.
NUMA 노드를 따라 코어를 배치하는 odin-agent
코어 수를 정한 뒤에는 어느 CPU를 쓸지 정해야 합니다. 이때 메모리의 위치가 영향을 줍니다. 테스트에서 프로세스의 메모리가 대부분 한 NUMA 소켓에 있으면, cgroup 제약 아래에서도 스케줄러는 그 소켓의 CPU에서 프로세스를 실행하는 경향을 보였습니다. 공유 라이브러리 때문에 이 경향이 달라질 수 있다는 단서도 있었습니다.
Linux의 기본 메모리 할당도 가까운 노드를 우선합니다. 메모리를 할당하는 CPU와 가장 가까운 NUMA 노드에서 메모리를 확보하고, 그곳에 여유가 없으면 다른 노드로 넘어갑니다. 자동 NUMA 밸런싱은 페이지를 가장 많이 사용하는 노드로 옮길 수 있습니다. 관련 메모리 이동은 /proc/sys/kernel/numa_balancing으로 시스템 전체에서, cpuset.memory_migrate로 cgroup별로 제어할 수 있습니다.
커널이 이미 로컬 메모리를 선호하므로 NUMA 노드를 명시적으로 고정할 필요가 항상 있는 것은 아닙니다. 메모리 이동을 튜닝할 여지는 있지만, 실제로 이득이 있는지는 벤치마크로 확인해야 합니다.
우버가 택한 기본 배치는 전용 코어를 한 NUMA 노드 안에 모으고 공유 풀을 여러 NUMA 노드에 퍼뜨리는 방식입니다. 워크로드 성능과 호스트 에이전트의 효율을 함께 고려한 선택입니다.
실제 분배는 호스트의 odin-agent가 맡습니다. 공유 코어는 먼저 NUMA 노드들에 고르게 나눕니다. 더 필요해지면 전용 CPU 부하가 이미 큰 노드를 우선해, 한가한 노드에 부담을 더하지 않도록 합니다. 전용 코어를 배정할 때는 해당 워크로드의 공유 코어와 같은 노드를 선호합니다. 메모리 접근의 지역성을 살리고 지연을 줄이기 위해서입니다.
전용 코어와 공유 코어가 겹치지 않게 하는 조건도 지킵니다. 선호하는 노드에 용량이 부족하면 다른 노드에서 전용 코어를 확보합니다. 할당에 앞서 요청한 CPU 수를 충족할 수 있는지 확인하고, 불가능하면 오류를 반환합니다. 이후 ensure 루프가 원하는 상태에 이를 때까지 할당을 다시 시도합니다.
Kubernetes 도입을 위해 분리한 cgroups 라이브러리
Odin을 클라우드 네이티브 패턴과 표준에 맞추는 과정에서도 이 호스트 제어가 걸림돌이 됐습니다. 글이 다루는 시점의 Kubernetes에는 호스트 수준에서 하이브리드 코어 할당을 지원하는 기능이 내장돼 있지 않았습니다. Odin에는 이미 효율과 신뢰성을 위해 필요한 기능이었습니다.
우버는 cgroups 관리 코드를 독립 라이브러리로 분리하고, 이를 Kubernetes CRI 플러그인으로 감쌌습니다. Kubernetes를 도입하면서도 Odin이 확보한 호스트 수준의 효율을 유지하려는 조치입니다.
아직 호스트 안에 머무는 CPU 할당
우버가 장기적으로 지향하는 것은 설정이 필요 없는 CPU 관리입니다. 현재는 CPU 할당 결정이 모두 개별 호스트 안에서 이뤄집니다. 팀은 플릿 전체를 볼 수 있는 워크로드 스케줄러로 이 판단을 옮기는 편이 낫다고 봅니다.
배치와 이동을 거듭하면 CPU 할당이 조각나는 문제도 남습니다. 이를 줄이기 위해 odin-agent가 주기적으로 조각 모음을 수행하는 방안이 가능하다고 제시합니다.
CPU 할당 공식과 배치 기준
| 항목 | 내용 |
|---|---|
| cpu.shares 공식 | round((전용 CPU + 경합용 공유 CPU) × 100) |
| 예시 | 전용 2 + 공유 0.5 → 250 |
| 전용 CPU / 공유 CPU 타입 | 정수 / 소수 허용 |
| 전용 코어 크기 기준 | 평균 CPU 사용량 |
| 공유 코어 크기 기준 | 평균에서의 편차 |
| NUMA 배치 | 전용은 같은 노드, 공유 풀은 여러 노드에 분산 |
| NUMA 제어 | /proc/sys/kernel/numa_balancing, cpuset.memory_migrate |
| 경합이 심할 때 | 실제 비율이 요청한 cpu.shares 비율에서 크게 쏠림 |