목차
CPU 오버커밋의 안전한 여유를 지키는 Uber cQoS (2021-06)
원문 정보
- 원문: Efficient and Reliable Compute Cluster Management at Scale
- 매체 · 게시일: Uber Engineering Blog · 2021-06-22
- 저자: Gautam Kulkarni(Uber Eats Shopping 영역 기술 리드, 이전에는 Infrastructure 조직 Compute 플랫폼의 Container Runtime·Efficiency 기술 리드)
- 원문 내용을 바탕으로 재구성한 요약입니다.
낮은 평균 뒤에 가려진 호스트의 경합
우버의 클러스터는 평균만 보면 여유로웠습니다. 할당한 CPU에 비해 실제 사용률이 훨씬 낮았기 때문입니다. 호스트별로 보면 모습이 달랐습니다. 평균보다 훨씬 높은 부하를 감당하는 호스트가 적지 않았고, 비슷한 비율의 호스트는 자원을 거의 쓰지 않고 있었습니다.
사업과 함께 컴퓨트 수요가 늘던 우버는 같은 머신으로 더 많은 워크로드를 돌리려 했습니다. 선택한 방법은 CPU 오버커밋입니다. 플랫폼의 신뢰성을 지킬 여유분을 항상 남겨 두고, 과잉 할당된 서비스의 할당량을 줄이는 방법도 함께 씁니다. 오버커밋으로 비는 머신에는 하드웨어를 더 구매하지 않고도 중요도가 낮은 선점형 워크로드를 배치할 수 있습니다.
안전하게 오버커밋하려면 먼저 호스트별 부하의 편차를 줄여야 했습니다. 유독 경합이 심한 호스트에서 워크로드 성능이 떨어질 가능성을 낮추려면, 각 호스트의 사용률이 평균 주위의 좁은 띠 안에 있어야 합니다.
우버가 만든 cQoS(Container Quality of Service)는 이 판단에 필요한 CPU 사용 현황을 제공합니다. 프로덕션의 모든 클러스터에서 호스트와 컨테이너를 살피는 시스템입니다. 스케줄러가 이 데이터를 보고 태스크를 배치하고 국소적으로 부하가 몰린 핫스팟을 선제적으로 해소하자, 호스트별 사용률이 고르게 분포하기 시작했습니다. 원문의 Before·After 그림에서는 도입 전에 넓게 퍼져 있던 사용률이 도입 뒤 평균 주위의 좁은 띠로 모인 모습을 보여 줍니다.
성급한 재배치를 막는 경합의 지속 시간
CPU 사용률이 높고 경합이 심한 호스트는 빠르고 정확하게 찾아야 합니다. 그렇다고 잠깐 치솟은 사용률마다 반응해서는 안 됩니다. cQoS가 해소하려는 대상은 지속되는 자원 경합입니다.
여기에는 조정이 필요한 균형이 있습니다. 지표와 임계값, 경합이 지속되는 시간을 너무 민감하게 잡으면 시스템이 과하게 반응합니다. 일시적인 변동을 너무 많이 평탄화하면 잡아야 할 스파이크까지 놓칩니다. 우버는 프로덕션에 투입하기 전에 여러 클러스터에서 오랜 기간 데이터를 모아 분석했습니다. 운영하며 얻은 경험을 반영하도록 지표와 임계값, 지속 시간도 쉽게 바꿀 수 있게 했습니다.
10초마다 클러스터를 살피는 cQoS
프로덕션 클러스터는 규모가 크고 호스트당 컨테이너 밀도도 높았습니다. cQoS에는 이 클러스터 전체의 호스트·컨테이너 사용 현황을 10초마다 갱신해야 한다는 요구사항이 있었습니다. 각 호스트의 데몬이 데이터를 모으고, 어드바이저가 클러스터 전체 상태를 유지하는 구성입니다.
cQoS 데몬은 모든 호스트에서 실행됩니다. 호스트에서는 실행 대기열(run queue) 길이와 가용 메모리 등을, 컨테이너에서는 CPU 시간, CPU 스로틀 시간, cycles, instructions 등을 수집합니다. 최근 30초의 원본 지표를 슬라이딩 윈도로 유지하면서 로컬에서 집계한 뒤, 10초마다 gRPC로 cQoS 어드바이저에 보냅니다. 이 전송 간격은 조정할 수 있습니다.
어드바이저는 모든 데몬에서 받은 데이터로 호스트의 요약 상태를 유지하고, 부하가 높은 순서로 호스트를 정렬합니다. 조정 가능한 임계값을 넘은 호스트에서는 그 위에 있는 컨테이너의 최근 사용량과 순위를 계산합니다. 스케줄러가 재배치 대상을 판단할 정보입니다.
스케줄러도 어드바이저와 gRPC로 통신합니다. 이 정보는 부하를 고려한 태스크 배치와 핫스팟 해소뿐 아니라 부하에 따른 클러스터 크기 조정에도 쓰입니다. 시계열 데이터는 M3에 저장해 알림과 오프라인 분석에 활용합니다. 분석 결과는 임계값과 시스템 파라미터를 다듬는 근거가 됩니다.
이 방식이 의존하는 대상은 리눅스와 컨테이너 런타임입니다. Kubernetes를 비롯한 여러 오케스트레이션 시스템에서 동작하며, 클라우드와 온프레미스 환경 모두에 적용됩니다.
선점 대상에서 제외한 가장 중요한 서비스
부하가 높은 호스트에서 찾아야 할 대상은 최근 CPU 사용량이 가장 많고 경합도 가장 심한 컨테이너입니다. 부하가 치솟으면 스스로 느려지거나 이웃 컨테이너의 성능을 떨어뜨릴 가능성이 크기 때문입니다.
재배치 순서에는 서비스의 중요도가 들어갑니다. 우버처럼 많은 팀이 독립적으로 움직이는 조직에서는 하루 종일 업그레이드와 배포가 이어집니다. 그 와중에 플랫폼이 컨테이너를 재배치하더라도 서비스의 SLA는 지켜야 합니다.
우버는 비즈니스 중요도에 따라 정한 서비스 티어를 설계 기준으로 삼았습니다. 재배치 후보는 중요도가 가장 낮은 컨테이너부터 고릅니다. 가장 중요한 서비스의 컨테이너는 어떤 선점에서도 제외합니다.
인스턴스마다 달랐던 사용 코어 수
클러스터의 부하를 고르게 나누려고 모은 지표는 서비스 안의 불균형도 드러냈습니다. 상태 없는 마이크로서비스는 수평 확장을 전제로 하므로 인스턴스마다 같은 부하를 받는 것이 이상적입니다.
실제 연결은 오래 유지됩니다. 클라이언트는 접속할 서비스 인스턴스의 범위를 제한하는 서브세팅을 쓰는데, 이런 환경에서는 같은 서비스의 인스턴스라도 부하가 고르지 않을 수 있습니다. 원문에 실린 두 마이크로서비스의 그래프는 가로축에 인스턴스 ID, 세로축에 사용 코어 수를 놓아 그 차이를 보여 줍니다.
서비스 개발자나 SRE는 이 데이터를 보고 서브세팅 설정을 조정할 수 있습니다. 인스턴스 사이에 부하를 더 고르게 나누고 꼬리 지연을 줄이기 위한 조정입니다.
CPU 쿼터를 늘린 뒤 줄어든 에러율
한 서비스에서는 컨테이너 CPU 쿼터를 늘리자 에러율이 무시할 수준까지 떨어졌습니다. 컨테이너에 할당한 CPU가 부족했던 사례입니다. 과도한 스로틀링 때문에 정해진 시간 안에 요청을 처리하지 못하고 있었습니다.
컨테이너가 너무 작으면 이렇게 예상하지 못한 방식으로 성능이 떨어집니다. 코어 수를 정하는 수직 크기와 인스턴스 수를 정하는 수평 크기는 별도의 글로 다룰 만한 주제입니다. 한 번 정한 크기도 실제 운영 상황에 맞춰 계속 손봐야 합니다.
cQoS는 클러스터 전체의 상태를 바탕으로 과도하게 스로틀되는 서비스를 빠르게 찾아냈습니다. 원인을 알고 나니 해결은 간단한 설정 변경이었습니다. CPU 쿼터를 늘린 뒤에는 해당 서비스를 맡은 담당자의 온콜 부담도 크게 줄었습니다.