본문으로 건너뛰기
CPU 스로틀링을 멈춘 Uber의 cpuset 전환
목차

CPU 스로틀링을 멈춘 Uber의 cpuset 전환 (2022-03)

원문 정보

  • 원문: Avoiding CPU Throttling in a Containerized Environment
  • 매체 · 게시일: Uber Engineering Blog · 2022-03-22
  • 저자: Joakim Recht(Principal Engineer, 상태 유지 워크로드 배포·관리 플랫폼 Tech Lead), Yury Vostrikov(Staff Software Engineer, Stateful Fleet Management 팀 Tech Lead)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

CPU를 더 배정해야 했던 Uber의 컨테이너

보통 몇 ms면 끝날 요청이 100ms를 넘겼습니다. CPU 스로틀링 때문입니다. 할당된 자원이 모자라다는 신호를 보고 CPU 시간을 더 주면 해결되지만, Uber가 운영하는 규모에서는 비싼 해결책이었습니다.

Uber의 MySQL, Cassandra, ElasticSearch, Kafka, HDFS, Redis, Docstore, Schemaless 등 모든 상태 유지 워크로드는 하나의 컨테이너 플랫폼에서 실행됩니다. 물리 호스트 6만 5천 대에 코어 240만 개, 컨테이너 20만 개입니다. 여러 워크로드가 같은 물리 호스트를 쓰는 경우도 많아, CPU 격리를 없애면 한 프로세스가 다른 워크로드의 실행 시간을 빼앗을 수 있었습니다. 사용률을 높여 비용을 줄이려는 작업은 스로틀링 앞에서 막혔습니다.

Uber가 바꾼 것은 CPU의 양보다 실행 시간을 배분하는 방식이었습니다. CPU 쿼터를 cpuset으로 바꾸자 지연이 안정됐고, 스로틀링에 대비해 넉넉하게 잡았던 코어 할당도 줄일 수 있었습니다.

P50과 P99 사이가 좁아진 데이터베이스

cpuset은 컨테이너가 실행될 코어를 고정하는 방식입니다. CPU 핀닝이라고도 부릅니다. 컨테이너 둘을 서로 다른 코어 묶음에 배정하면, 각 컨테이너는 자기 코어의 실행 시간을 모두 쓸 수 있습니다. 코어를 독점하므로 컨테이너끼리 격리하면서도 쿼터를 둘 필요가 없고, 쿼터 소진에 따른 스로틀링도 사라집니다.

효과는 운영 중인 데이터베이스 클러스터에서 확인됐습니다. 컨테이너마다 선 하나로 표시한 그래프에서는 cpuset을 켠 뒤 스로틀링이 사라졌고, P99 지연은 약 50% 줄었습니다. 요청을 처리하다 오래 멈추는 대신 꾸준한 속도로 처리하게 된 결과입니다.

모든 요청이 빨라진 것은 아닙니다. 배정받지 않은 코어까지 일시적으로 사용하는 버스팅을 포기했으므로 P50은 보통 조금 늘어납니다. 대신 P50과 P99 사이의 간격이 좁아졌습니다. Uber는 이런 지연의 일관성을 대체로 더 바람직한 결과로 봤습니다.

자원 요구량의 변동도 줄었습니다. 스로틀링으로 지연이 치솟는 상황에 대비한 과잉 할당을 줄여 전체 코어 할당을 최대 11% 낮췄습니다. 버스팅이 없으니 같은 크기의 컨테이너는 호스트가 달라도 비슷하게 동작합니다. Uber의 배포 플랫폼은 자체 개발한 시스템이지만, Kubernetes도 CPU Manager의 static 정책으로 cpuset을 지원합니다.

100ms 주기 안에서 먼저 바닥난 쿼터

이전 방식에서도 CPU 사용량은 코어 수로 지정했습니다. 하지만 코어 2개를 요청한다고 특정 코어 2개를 받는 것은 아니었습니다. cpu 컨트롤러는 이를 일정 주기마다 쓸 수 있는 실행 시간으로 환산합니다.

이 격리를 담당하는 기반이 리눅스 cgroup입니다. 컨테이너 플랫폼은 cgroup으로 자원을 격리하며, 보통 컨테이너 하나가 cgroup 하나에 대응합니다. CPU 시간을 제한하는 cpu 컨트롤러와 실행할 코어를 제한하는 cpuset 컨트롤러 모두 리눅스 스케줄러의 기능입니다.

CPU 쿼터의 주기는 보통 100ms입니다. quota = core_count * period이므로 코어 2개를 지정한 컨테이너에는 주기마다 CPU 시간 200ms가 주어집니다. 문제는 여러 프로세스와 스레드가 병렬로 실행될 때입니다. 이들이 쿼터를 빠르게 소진하면 아직 주기가 끝나지 않았어도 컨테이너는 실행을 멈춰야 합니다. 몇 ms짜리 요청이 100ms를 넘기던 이유가 여기에 있었습니다.

cpuset은 배정된 코어 밖으로 나가지 못하게 하는 대신, 그 코어에서 실행할 시간을 쿼터로 끊지 않습니다. 이 차이가 P99를 안정시켰지만, 코어 수만 지정하던 설정은 더 복잡한 코어 배정 작업으로 바뀌었습니다.

번호만으로 배정할 수 없는 CPU 코어

코어를 고정한다고 성능이 저절로 좋아지지는 않습니다. Uber에서는 소켓을 잘못 배정해 P99가 최대 500% 악화된 사례도 있었습니다. 컨테이너 하나를 여러 소켓에 걸쳐 흩어진 코어에 배정하면 성능이 나빠집니다.

물리 머신에는 소켓이 여럿 있을 수 있고, 소켓마다 L3 캐시가 따로 있습니다. 각 CPU에는 여러 코어가 있으며, 코어마다 독립된 L2/L1 캐시를 갖습니다. 여기에 하이퍼스레드도 있습니다. 하이퍼스레드는 흔히 코어로 세지만, 하나 대신 둘을 배정해도 성능은 약 1.3배에 그칠 수 있습니다.

번호도 믿기 어렵습니다. 코어 번호는 연속적이지 않고, 때로는 일정하게 정해지지도 않습니다. 스케줄러가 물리적으로 가까운 코어를 골라 배정하려면 커널에서 정확한 하드웨어 토폴로지를 읽어야 합니다. 원본 정보는 /proc/cpuinfo에 있습니다.

컨테이너 하나에 묶인 코어

코어를 독점하는 방식은 잘게 나누기 어렵습니다. 코어를 분수 단위로 줄 수 없으므로 컨테이너 수가 코어 수를 넘을 수 없습니다. 필요한 코어 수가 큰 데이터베이스에서는 정수 단위로 반올림해도 괜찮지만, 일부 워크로드에는 이 조건이 걸림돌입니다.

독점 배정도 시스템 전체의 프로세스까지 막아 주지는 않습니다. systemd 서비스와 커널 워커는 여전히 컨테이너의 CPU 시간을 빼앗을 수 있습니다. 이론적으로는 이들도 일부 코어에 고정하면 되지만, 필요한 CPU 시간이 시스템 부하에 따라 늘어나므로 배정이 까다롭습니다. 원문은 우회책의 하나로 일부 컨테이너에 실시간 프로세스 스케줄링을 쓰는 방법을 들고, 이를 후속 글에서 다루겠다고 예고했습니다.

배정 상태를 계속 관리하는 일도 남습니다. 시간이 지나면 빈 코어가 조각나므로 프로세스를 옮겨 연속된 블록을 만드는 조각 모음이 필요합니다. 실행 중에도 가능하지만, 프로세스를 다른 소켓으로 옮기면 메모리 접근이 원격으로 바뀝니다. 그 영향을 줄이는 방법은 NUMA를 다룰 후속 글의 주제입니다.

버스팅을 포기한 것은 여기서 선택한 배타적 cpuset 방식의 제약입니다. 호스트의 미배정 자원을 활용하고 싶다면 같은 코어를 여러 컨테이너의 cgroup에 배정하거나 cpuset과 쿼터를 함께 쓰는 방법도 있습니다. Uber는 이 방식 역시 별도 글에서 다룰 예정이라고 밝혔습니다.

쿼터와 cpuset의 시험 방법은 원문에서 부록으로 안내하지만, 이번 요약에 사용한 본문에는 부록 내용이 포함돼 있지 않습니다.

규모와 전환 효과를 뒷받침하는 수치
항목값
물리 호스트 / 코어 / 컨테이너6만 5천 대 / 240만 개 / 20만 개
쿼터 주기보통 100ms (quota = core_count * period)
코어 2개 컨테이너의 주기당 쿼터200ms
스로틀링 시 요청 지연보통 수 ms에서 100ms 초과
cpuset 전환 후 P99예시 클러스터에서 약 50% 감소
소켓 오배정 시 P99최대 500% 악화
하이퍼스레드 2개 vs 1개성능 약 1.3배
코어 할당 절감최대 11%
마지막 수정 일자