목차
물리 서버의 70~80% 성능을 낸 OpenStack 가상 머신 (2024-02)
원문 정보
- 원문: 가상 머신의 성능을 높이는 것도 지구 온난화에 도움이 될까요?
- 매체 · 게시일: LY Corporation Tech Blog · 2024-02-21
- 저자: 김기오
- 원문 내용을 바탕으로 재구성한 요약입니다.
CPU 두 개만 바쁘던 RGW
CPU 20개와 메모리 약 200GB를 할당한 가상 머신에서 네트워크 게이트웨이 장애가 반복됐습니다. 들어오는 트래픽은 적었고, 전체 CPU와 메모리 사용률도 낮았습니다. LY에서 Ceph 클러스터를 운영하던 팀의 테스트 환경에서 벌어진 일입니다. 이 팀은 게이트웨이 서비스인 RGW(Rados GateWay)를 실서비스에서는 물리 서버에, 테스트 환경에서는 가상 머신에 설치해 사용했습니다.
기대했던 성능은 이보다 높았습니다. 가령 CPU 40개인 물리 서버의 네트워크 처리 성능을 100으로 놓으면, CPU 20개인 가상 머신도 50까지는 아니어도 30 이상은 낼 것이라는 예상이었습니다. 다른 컴포넌트에서 장애 원인을 찾지 못한 저자는 가상 머신의 사용률을 더 세밀하게 들여다봤습니다.
Prometheus에서 CPU별 사용률을 확인하자 한 개만 100%였습니다. CPU마다 처리한 인터럽트 수를 기록하는 /proc/interrupts에서도 쏠림이 드러났습니다. 네트워크 인터럽트인 virtio0-input.0을 CPU15와 CPU16이 거의 모두 처리하고 있었습니다. CPU 두 개만 바쁘게 일하고 나머지는 놀고 있던 것입니다. CPU와 메모리를 많이 할당해도 성능은 기대치의 10~20%에 머물렀습니다.
모든 CPU로 나눈 네트워크 인터럽트
가상 머신이 할당받은 자원을 얼마나 활용하는지 확인하려고 CPU·메모리·네트워크·디스크를 나눠 측정했습니다. 도구는 sysbench, iperf, fio였습니다. OpenStack 환경에서 Qemu로 가상 머신을 만들고, 하이퍼바이저 자체의 성능과 그 위에 가상 머신 한 대를 실행했을 때의 성능을 비교했습니다.
네트워크 격차가 특히 컸습니다. 서로 다른 하이퍼바이저에 있는 가상 머신 사이의 대역폭을 iperf로 측정했는데, 25Gbits/sec 이더넷으로 연결된 환경에서 2.0~2.2Gbits/sec만 나왔습니다. 각 하이퍼바이저에는 다른 가상 머신도 없는 상태였습니다. 저자는 네트워크 병목의 원인으로 커널과 드라이버 설정을 의심했습니다.
가상 머신의 모든 CPU가 네트워크 인터럽트를 처리하도록 바꾸자 결과가 달라졌습니다. 25Gbps 네트워크에서 가상 머신 두 대가 각자 네트워크를 최대로 사용했을 때, 각각 10~12Gbps 정도를 기록했습니다. 기존의 2~2.2Gbps에서 크게 높아진 수치입니다. 처음 문제가 됐던 게이트웨이 서비스를 가상 머신으로 운영할 수 있다는 결과를 얻었습니다.
한 대만 네트워크를 사용하면 20Gbps까지 오를 것이라는 예상도 나왔습니다. 이는 두 대를 함께 측정한 결과와 구분해야 하는 기대치입니다. 보통 서비스가 장시간 네트워크를 최대로 사용하지는 않으므로, 평균 성능 역시 두 대가 최대로 사용하는 조건보다 높을 것으로 저자는 보았습니다.
한 대의 성능만으로 줄일 수 없는 서버 비용
성능이 나아져도 하이퍼바이저마다 가상 머신을 한 대씩만 실행한다면 비용을 줄이기 어렵습니다. 관리는 편해지지만, 비용은 물리 서버 한 대를 추가하는 것과 차이가 없다는 것이 저자의 판단입니다. 두 대 이상을 함께 실행하면서도 서비스가 허용할 만한 성능을 내야 했습니다.
LY는 늘어나는 사용자와 데이터에 맞춰 매년 데이터 센터를 세우고 서버를 대규모로 구매하고 있었습니다. 이미 가진 서버를 더 잘 활용할 방법이 절실했습니다. 가상 머신은 생성과 제거뿐 아니라 하드웨어 사양 변경도 간편해 스케일아웃과 스케일업 모두에 유리한 선택이었습니다. 그런데 사내 OpenStack 가상 머신의 성능이 낮다 보니 많은 서비스가 물리 서버에서 실행되고 있었습니다.
커널 개발을 10여 년 동안 하며 거의 늘 가상 머신에서 개발하고 서비스를 출시해 온 저자에게는 의문스러운 상황이었습니다. 실험에서 확인한 하이퍼바이저의 성능은 충분했습니다. 가상 머신이 그 성능을 제대로 쓰지 못하고 있었던 것입니다.
컨테이너를 사용해도 이 문제는 남습니다. 많은 인프라 시스템이 관리 편의를 위해 컨테이너 실행 노드로 가상 머신을 쓰기 때문입니다. 그런 환경에서는 가상 머신의 성능을 개선해야 컨테이너로 실행하는 서비스의 성능도 높아집니다.
고성능 가상 머신 두 대를 위한 하이퍼바이저
Qemu와 libvirt 매뉴얼, Red Hat 자료를 검토하며 설정을 바꿨지만, 설정만으로 해결할 수 없는 제약도 있었습니다. 물리 자원을 여러 가상 머신이 나눠 쓰면서 생기는 성능 저하입니다. 가상 머신 수를 제한하는 정책과 새로운 디스크 매체 도입이 함께 필요했습니다.
물리 CPU를 독점하는 고성능 가상 머신
sysbench에서 가상 머신 한 대의 CPU 성능은 하이퍼바이저보다 약 2% 낮았습니다. 저자는 소프트웨어 실행에 큰 문제가 되지 않을 차이로 봤습니다. 하지만 가상 머신을 여러 대 실행하자 대수에 비례해 성능이 떨어졌습니다. 정해진 물리 CPU를 나눠 쓰는 데서 오는 제약입니다.
LY는 가상 머신을 고성능용과 범용으로 나누고, 고성능용의 CPU 수를 20개로 고정했습니다. 물리 CPU가 40개인 하이퍼바이저에는 이 가상 머신을 두 대까지만 실행하도록 제한했습니다. 각 가상 머신이 물리 CPU를 독점하게 하는 정책입니다. 범용 가상 머신은 CPU 수를 다양하게 할당하고 한 하이퍼바이저에 여러 대를 실행할 수 있도록 했습니다.
이 정책으로는 가상 머신을 많이 배치해 비용을 극적으로 줄이는 효과를 얻지 못합니다. 대신 높은 성능이나 일정하게 유지되는 성능 때문에 물리 서버를 쓰던 서비스에도 가상 머신을 도입할 여지가 생깁니다. 물리 서버를 사용하는 대부분의 서비스가 그런 요구를 갖고 있었습니다.
CPU와 메모리를 함께 묶은 NUMA 노드
처음 측정한 가상 머신의 메모리 쓰기 성능은 하이퍼바이저의 84%였습니다. 저자에게는 개선할 여지가 있어 보이는 수치였습니다. 가상 메모리 주소를 물리 주소로 바꾸는 페이지 테이블 접근이 두 번 일어나더라도, 요즘 CPU의 큰 캐시를 감안하면 주소 변환에 10% 넘는 시간이 드는 것은 이상하다고 봤습니다.
메모리 접근 속도는 CPU와 메모리의 배치에도 영향을 받습니다. 엔터프라이즈 서버가 사용하는 NUMA는 CPU와 메모리를 노드별로 묶는 메모리 설계 방식입니다. CPU가 같은 노드의 메모리에 접근할 때보다 다른 노드의 메모리에 접근할 때 상대적으로 느립니다.
이를 확인하려고 NUMA 노드가 두 개인 하이퍼바이저에 CPU 20개짜리 가상 머신 두 대를 생성했습니다. 각 가상 머신이 하나의 NUMA 노드에 속한 CPU와 메모리만 사용하도록 설정한 실험입니다. 이 조건에서 CPU 성능은 스레드가 늘수록 조금 낮아졌지만 물리 서버의 약 90%를 냈습니다.
메모리는 예상보다 좋은 결과를 보였습니다. 저자가 실제 서비스와 비교적 비슷하다고 본 1~8개 스레드 구간에서, 특히 4~8개 스레드의 쓰기 성능은 물리 서버의 거의 두 배에 가까웠습니다. 16개 스레드에서도 읽기 성능은 약 80%로, 사용할 만한 수준이라는 판단이었습니다.
쓰기 성능이 더 크게 개선된 이유는 아직 추정입니다. 저자는 DRAM뿐 아니라 NUMA 노드별로 나뉘는 L3 캐시의 영향도 더해졌을 것으로 보았습니다. 쓰기가 캐시 성능의 영향을 더 많이 받는다는 해석이며, 캐시별 적중률 조사는 추후 여건이 되면 진행할 계획으로 남겼습니다.
로컬 디스크 공유를 피한 NVMe-over-tcp
디스크는 가상 머신 한 대의 결과만 보면 문제가 크지 않았습니다. fio로 4KB 단위의 초당 입출력 횟수인 IOPS를 측정했을 때, 읽기만 하는 경우를 제외하면 하이퍼바이저와 비슷했습니다. 그러나 이 실험에 사용한 하이퍼바이저 디스크는 절대 성능이 낮아 가상 머신의 최대 성능을 확인하기에 적합하지 않았습니다. 최신 NVMe 디스크였다면 차이가 더 벌어졌을 수도 있습니다.
여러 대를 실행하자 다른 문제가 드러났습니다. 가상 머신 수에 비례해 디스크 성능이 떨어졌습니다. 하나의 물리 디스크가 가진 대역폭을 여러 가상 머신이 나눠 쓰기 때문입니다. CPU 수를 제한하듯 공유 범위만 조정하는 대신, 가상 머신마다 독점해서 쓸 수 있는 네트워크 블록 장치를 사용하는 방안을 택했습니다.
네트워크 블록 장치는 이미 여러 클라우드 회사와 LY가 사용하던 방식입니다. 블록 장치의 대역폭보다 큰 네트워크 대역폭을 공유하므로, 한 하이퍼바이저에 여러 가상 머신을 실행할 때도 더 좋은 성능을 낼 수 있습니다. NVMe-over-fabric과 NVMe-over-tcp 같은 장치는 일반 SSD 이상의 성능도 갖추고 있습니다. LY는 NVMe-over-tcp 블록 장치를 도입해 하이퍼바이저에 물리적으로 연결된 장치보다 훨씬 높은 성능을 제공하게 됐습니다.
실험 조건별 측정값
| 항목 | 조건 | 결과 |
|---|---|---|
| CPU(sysbench, 스레드 12) | 하이퍼바이저 29062.92 / 가상 머신 28395.51 events/s | 가상 머신 약 2% 낮음 |
| 메모리 쓰기(sysbench, 스레드 12) | 하이퍼바이저 6183.53 / 가상 머신 5249.48 MiB/s | 가상 머신 84% |
| 네트워크(iperf, 스레드 12) | 가상 머신 간 25Gbits/sec 이더넷 | 2.0~2.2Gbits/sec |
| 디스크 읽기 75% 쓰기 25% | 가상 머신 읽기 17.5k, 쓰기 5k / 하이퍼바이저(RAID-10 SSD) 읽기 18k, 쓰기 6k | 비슷 |
| 디스크 읽기 100% | 가상 머신 231k / 하이퍼바이저 284k | 가상 머신 약간 낮음 |
| 디스크 쓰기 100% | 가상 머신 8.6k / 하이퍼바이저 8k | 비슷 |
| NUMA 고정 후 CPU, 스레드 16 | 하이퍼바이저 14485.46 / 가상 머신1 13096.31 / 가상 머신2 13094.76 | 약 90% |
| NUMA 고정 후 메모리 쓰기, 스레드 8 | 하이퍼바이저 372.09 / 가상 머신1 574.22 / 가상 머신2 556.28 | 가상 머신이 더 높음 |
| 개선 후 네트워크, 스레드 16 | 하이퍼바이저 간 23.5 / 가상 머신1 10.4 / 가상 머신2 12.6 Gbps | 가상 머신 두 대 동시 사용 |
지연 시간까지 확인해야 할 서비스
1년간의 연구와 실험 끝에 CPU 수와 메모리 크기 등이 비슷한 물리 서버 대비 70~80% 성능을 내는 가상 머신을 만들었고, 앞으로 도입했어야 할 물리 서버 수도 줄였습니다. 글이 나온 당시 LY는 수십에서 수백 대의 물리 서버로 실행하던 서비스를 가상 머신으로 옮기는 연구를 하고 있었습니다. Redis, MongoDB, OpenSearch는 성능 테스트에서 가상 머신으로도 충분히 제공할 수 있다는 결과를 얻어 도입을 진행하던 대상입니다.
그렇다고 물리 서버의 성능을 100% 대체할 수는 없습니다. 예를 들어 한 서비스가 물리 서버 자원의 50%를 쓴다면, 가상 머신을 두 대 만들어 한 대에는 기존 서비스를, 다른 한 대에는 다른 서비스를 실행하는 계산이 가능합니다. 하지만 가상 머신 자체도 자원을 씁니다. 기존 서비스가 최대로 사용하는 자원이 물리 서버의 50%라면, 해당 가상 머신에는 그보다 많은 자원을 배정해야 안정적으로 운영할 수 있습니다.
사용률만으로 드러나지 않는 제약도 있습니다. 데이터베이스나 VoIP처럼 블록 장치나 네트워크 지연 시간에 민감한 서비스는 가상 머신 운영이 간단하지 않습니다. 이전 과정에서 성능과 안정성을 세심하게 모니터링하고 각 컴포넌트를 충분히 이해해야 하는 이유입니다. 경우에 따라 운영 정책까지 바뀌는 긴 작업이 될 수 있습니다.
LY가 줄이려는 것은 서버 구매 비용만이 아닙니다. 더 적은 전기를 쓰고 더 적은 쓰레기를 내면서도 더 좋은 서비스를 제공하겠다는 목표가 물리 서버 사용을 줄이는 작업과 함께 있습니다.