목차
CPU 여유만으로 가늠하기 어려운 VMWare VM 집적도 (2024-10)
원문 정보
- 원문: 효율적인 VMWare 인프라 운영을 위한 최적의 VM 집적도 테스트
- 매체 · 게시일: 카카오 기술블로그 · 2024-10-07
- 저자: sky.q (편집 June.6)
- 원문 내용을 바탕으로 재구성한 요약입니다.
예상보다 일찍 내려간 성능 곡선
카카오는 상당한 규모의 VMWare 인프라를 운영하며 PM(물리 서버) 한 대에 VM(가상 서버)을 몇 대까지 배치할지 고민했습니다. VM이 늘면 리소스 경쟁이 심해집니다. 하지만 그 사실만으로는 성능이 얼마나 떨어지고, 몇 대부터 급격히 떨어지는지 알 수 없습니다. 현재 운영 환경에 맞춰 CPU 성능을 유지할 수 있는 최대 VM 개수, 곧 최적의 VM 집적도를 측정하려 한 이유입니다.
큰 흐름은 예상대로였습니다. VM의 vCPU 수가 많거나 CPU 사용량이 높을수록 적은 VM 개수에서도 성능이 크게 떨어졌습니다. 그래프에서도 성능 감소가 작은 파란색·초록색·노란색 구간은 줄고 빨간색 구간이 늘어났습니다.
예상을 벗어난 것은 저하가 시작되는 시점입니다. VM의 CPU 사용량이 낮으면 성능이 더 잘 유지되리라 기대했지만, 적은 VM 개수 구간부터 상당한 저하가 나타났습니다. PM의 CPU에 여유가 있는데도 다른 VM의 영향을 받은 것입니다. 사용량이 높은 조건에서는 하이퍼스레딩을 활성화했으니 PM의 스레드가 포화될 때까지 어느 정도 버티리라 예상했으나, 물리 코어가 포화된 뒤부터 이미 성능이 크게 떨어졌습니다.
감소 곡선도 예상보다 가팔랐습니다. VM 수에 비례해 성능이 내려가는 모양을 생각했지만, 실제로는 한 번 떨어지기 시작하면 급격히 내려가다가 어느 지점부터 감소가 둔해졌습니다. CPU 사용량과 관계없이 예상보다 1/N에 가까운 형태였으며, 여기서 N은 VM 개수입니다.
같은 CPU 사용량에서 VM을 늘리는 비교
이 결과를 읽으려면 무엇을 고정하고 무엇을 바꿨는지 먼저 구분해야 합니다. 비교 대상은 CPU 사용량이 같고 VM 개수만 다른 경우입니다. 모든 VM이 늘 CPU를 100% 쓰지는 않으므로, VM의 평균 사용량이 낮은 환경에서는 PM의 물리 코어 수보다 많은 VM을 실행하는 CPU Overcommit이 흔합니다. 테스트에서도 이를 고려해 CPU 사용량을 10%부터 100%까지 10% 단위로 바꿨습니다.
사용량은 상한으로 맞췄습니다. 벤치마크가 사용 가능한 CPU를 최대한 쓰므로 VM마다 CPU 사용량을 제한한 뒤 실행하면 원하는 부하를 재현할 수 있었습니다. PM 안의 모든 VM에서 함께 벤치마크를 돌리고 결과를 평균했습니다. 벤치마크가 자기 VM의 성능을 측정하는 동안 다른 VM에는 리소스 경쟁을 일으키는 부하로 작용하는 방식입니다.
VM의 Flavor는 2, 4, 8 vCPU로 나누되, PM 안에서는 모두 같은 Flavor를 사용했습니다. PM은 코어 수가 같고 세대가 다른 Xeon Silver 4410Y(Sapphire Rapids)와 Xeon Silver 4214(Cascade Lake)를 비교했습니다. 4410Y는 스펙이 같은 Vendor A와 Vendor B 장비에서 각각 시험했습니다. PM과 Flavor의 조합마다 VM을 1대부터 60대까지 하나씩 늘리고 CPU 사용량 상한을 바꿔, 총 600개 케이스를 측정했습니다.
기준점은 VM 한 대일 때의 성능입니다. CPU 사용량 상한이 낮으면 CoreMark의 Iterations/Sec도 낮아지지만, 그 점수만으로 성능이 나빠졌다고 판단하지는 않았습니다. 같은 상한에서 다른 VM의 방해 없이 낸 점수와 비교해야 VM 증가에 따른 감소율을 알 수 있기 때문입니다. 가령 허용할 저하율을 7%로 잡았고 VM이 20대를 넘을 때부터 그 기준을 벗어난다면, 최대 수용 대수를 20대로 보는 방식입니다. 7%와 20대는 이 방법을 설명하기 위한 예시입니다.
CoreMark 결과는 PM과 Flavor 조합마다 3D 그래프 한 장과 CPU 사용량별 2D 그래프 열 장으로 나타냈습니다. 2D 그래프에는 VM 한 대일 때를 기준으로 성능 감소율을 색으로 구분하고, 0~10%, 10~20%, 20~30% 구간의 오른쪽 끝에 VM 개수를 표시했습니다. 각 표시는 해당 범위의 저하를 감수할 때 수용 가능한 최대 대수입니다.
측정에 사용한 장비와 테스트 조건
| 항목 | 값 |
|---|---|
| PM CPU | Xeon Silver 4410Y 2소켓(Vendor A, B), Xeon Silver 4214 2소켓 |
| 코어·스레드 | 소켓당 12코어 24스레드, 합계 48스레드, 하이퍼스레딩 활성 |
| 클럭 | 4410Y 2.00GHz(터보 3.90GHz), 4214 2.20GHz(터보 3.20GHz) |
| 캐시 | 4410Y 30MB, 4214 16.5MB |
| 하이퍼바이저 | 4410Y ESXi 8.0.2, 4214 ESXi 7.0.2 |
| VM Flavor | 2 vCPU 4GB, 4 vCPU 8GB, 8 vCPU 16GB |
| CPU 사용량 상한 | 10%에서 100%까지 10% 단위 |
| VM 개수 | 1대에서 60대까지 1대씩 |
| 벤치마크 | CoreMark, stress-ng(--perf, cpu-method=all) |
| 카운터 분석 기준선 | Core 기준 24 ÷ 4 = 6대, Thread 기준 48 ÷ 4 = 12대 |
CPU 포화에 앞서 줄어든 Instructions(/cycle)
CPU에 여유가 있는데 성능은 왜 떨어졌을까요? 카카오는 원인을 확인하려고 4 vCPU 8GB MEM VM에 한해 stress-ng의 --perf 옵션으로 CPU 성능 카운터를 수집했습니다. 벤치마크 점수인 bogo ops(/sec)는 모든 VM의 평균이지만, 카운터는 PM 스펙별 VM 한 대에서 샘플링한 값입니다. 가상 CPU 성능 카운터를 일괄 활성화하기 어려웠기 때문입니다.
bogo ops(/sec)의 변화는 초당 명령어 수인 Instructions(G/sec)를 따라갔습니다. 이 값은 Instructions(G/sec) = CPU Cycles(G/sec) × Instructions(/cycle)로 나타낼 수 있습니다. 초당 사이클 수가 유지돼도 사이클당 실행하는 명령어 수가 줄면 성능은 떨어집니다.
실제로 초반에는 CPU Cycles가 유지되는 동안 Instructions(/cycle)이 감소했습니다. 이때 원인 중 하나는 Cache Misses 증가였습니다. VM이 늘면서 캐시 미스가 큰 폭으로 증가했고, Instructions(/cycle)은 대체로 그와 반대 방향으로 움직였습니다. 가상 CPU 카운터를 PM의 실제 캐시와 직접 연결해 설명하기는 어렵고 다른 영향 요인도 있지만, 캐시 미스가 크게 변한 지점에서는 Instructions(/cycle)에서도 대응하는 변화가 나타났습니다.
이 구간의 끝을 PM의 스레드 수로 고정할 수는 없습니다. CPU 사용량이 낮으면 VM의 vCPU 총합이 PM의 스레드 수를 넘어서도 CPU Cycles가 유지되고 Instructions(/cycle)이 더 감소하는 경향을 보였습니다. 캐시 미스는 스레드 수를 넘은 뒤부터 거의 늘지 않았으므로, 이후의 Instructions(/cycle) 감소까지 캐시 미스로 설명하기는 어렵습니다.
PM의 CPU 리소스가 포화되면 감소 양상이 바뀝니다. Instructions(/cycle)의 감소가 멈추고 CPU Cycles가 줄기 시작하며, 그 뒤의 성능 저하는 초당 사이클 수 감소를 따라갑니다. VM의 CPU 사용량이 높을수록 이 시점도 빨리 찾아왔습니다.
Branch Misses는 분석에서 제외했습니다. CPU 스펙이나 VM 사용량, VM 개수가 달라져도 1.8% 안팎으로 일정해 이번 성능 변화의 원인을 설명하는 데 큰 의미가 없었습니다.
같은 CPU 모델에서도 달라진 측정값
CPU 모델이 같아도 결과가 같지는 않았습니다. Xeon Silver 4410Y를 사용한 Vendor A 장비는 Cache Misses의 변동 폭이 작고 최대 40%까지 증가했지만, Vendor B 장비는 변동 폭이 크고 최대 60%에 이르렀습니다. CPU 모델 외에 전체 장비 구성도 성능 차이를 만들 수 있다는 결과입니다.
CPU 세대를 비교했을 때는 출발점과 VM이 충분히 늘어난 뒤의 모습이 달랐습니다. Cascade Lake의 CPU Cycles는 Sapphire Rapids보다 높은 값으로 시작했지만, VM이 많아지면 비슷해졌습니다. Instructions(/cycle)은 처음에는 비슷하다가 VM이 충분히 늘어난 뒤 Sapphire Rapids가 10% 높은 값을 보였습니다. 그 결과 Cascade Lake의 성능 감소율이 더 컸고, 이는 허용할 감소율로 집적도를 정할 때 불리하게 작용할 수 있습니다. 다만 벤치마크의 연산 특성에 따라 결과가 달라지므로, 이 절대 수치로 서로 다른 CPU를 비교하는 것은 적절하지 않습니다.
Turbo Boost를 활성화했을 때는 CPU Cycles가 약 35% 증가하고 Instructions(/cycle)은 약 8% 감소하는 경향이 있었습니다. 사이클당 명령어 수는 조금 줄었지만 초당 사이클 수가 크게 늘어, 최종 VM CPU 성능은 향상됐습니다.
VM 21대를 검토할 수 있는 운영 조건
측정 결과를 배치 기준으로 읽으려면 감수할 성능 저하율을 정해야 합니다. 카카오는 저하를 10%, 20%, 30%까지 허용할 때의 최대 VM 개수를 PM 스펙, Flavor, CPU 사용량별로 표에 옮겼습니다. 같은 PM에서도 VM이 CPU를 얼마나 쓰는지, 성능 감소를 어디까지 받아들일지에 따라 수용 대수가 달라집니다.
VM 21대도 그런 조건이 붙은 예시입니다. Cascade Silver 4214 @ 2.20GHz PM에서 4 vCPU 8GB MEM VM을 운영하고, 평균 CPU 사용량이 40%이며 CPU 성능 저하를 최대 20%까지 감수할 수 있다면 PM 한 대당 VM 21대 정도를 고려해 볼 수 있습니다. 실제 운영에 적용한 대수나 모든 환경에 통하는 기준을 뜻하지는 않습니다.
여기에는 메모리와 디스크가 충분하다는 전제가 있습니다. 테스트는 CPU에만 초점을 맞췄고, 시험한 PM과 Flavor, 벤치마크가 실제 환경을 재현하는 범위도 극히 한정적입니다. 실제 배치에서는 부하 급증에 대비한 여유 리소스까지 고려해야 하므로, 측정된 집적도 값만으로 운영 대수를 정할 수는 없습니다.
실제 최적값은 서비스 요구 사항과 여러 자원의 상태를 보며 운영 과정에서 찾아가야 합니다. 이번 테스트가 제공한 것은 VM 증가에 따라 성능이 어떻게, 얼마나, 왜 떨어지는지 확인하는 방법입니다. 카카오는 같은 방법을 메모리와 디스크로 넓혀 다양한 조건을 시험하면 더 의미 있는 VM 집적도를 얻을 수 있으리라 기대했습니다.