본문으로 건너뛰기
쿠버네티스 CPU 상한 제거 실험에서 달라진 두 팀의 선택
목차

쿠버네티스 CPU 상한 제거 실험에서 달라진 두 팀의 선택 (2025-04)

원문 정보

  • 원문: 당신의 CPU는 열심히 일하고 있나요?
  • 매체 · 게시일: LY Corporation Tech Blog · 2025-04-11
  • 저자: 문범우, 안현모 (LINE+ Contents Service Engineering 조직)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

같은 지표로 비교한 두 팀의 실험

CPU 상한(cpu.limits)을 없애자 Spring 서버와 Node.js 서버 모두 성능이 올랐습니다. 선택까지 같지는 않았습니다. 백엔드 팀은 상한을 제거하기로 했지만, 프런트엔드 팀은 유지하기로 했습니다. 함께 공부하고 테스트한 뒤에도 판단이 달랐던 이유는 각 서버가 CPU를 쓰는 방식과 쿠버네티스 배치에 있었습니다.

이 실험은 LINE+ Contents Service Engineering 조직의 스터디 그룹 Tech Group에서 시작했습니다. 각 팀이 운영하는 애플리케이션의 개발 환경에서 nGrinder 기반 사내 테스트 플랫폼으로 부하를 주고, 초당 처리 건수인 TPS와 최대 TPS, 평균 응답 시간을 비교했습니다. Grafana에서는 컨테이너의 CPU 사용과 제한을 보여 주는 지표도 관찰했습니다.

  • container_cpu_cfs_throttled_seconds_total: CFS에 따라 컨테이너의 CPU 사용이 제한된 총 시간
  • container_cpu_usage_seconds_total: 컨테이너가 사용한 CPU 시간의 합계

판단 기준에는 성능과 CPU 사용량 외에 성능 일관성과 설정 일관성도 포함했습니다. 멀티 테넌시처럼 여러 애플리케이션이 노드를 공유하는 환경에서는 상한 제거가 설정 일관성을 해치고 노드 리소스 관리도 어렵게 만들 수 있기 때문입니다. 예상하지 못한 에러나 특이 사항도 함께 살폈습니다.

CPU가 남아도 기다리는 파드

CPU 상한은 노드에 여유가 있어도 지켜야 하는 최댓값입니다. 이 제한은 코어 개수를 시간으로 바꿔 보면 더 분명해집니다. 쿠버네티스는 Linux의 CFS(Completely Fair Scheduler)를 기반으로 CPU 리소스를 관리하며, 기준 시간 동안 쓸 수 있는 CPU 시간에 상한을 둡니다.

cfs_period_us는 그 기준 시간으로, 기본값은 100ms입니다. CPU 사용 계획은 이 주기마다 새로 시작합니다. cfs_quota_us는 한 주기 안에서 사용할 수 있는 최대 CPU 시간이며, cpu.limits가 이 값으로 변환돼 적용됩니다. 설정 파일을 직접 수정할 수도 있지만, 보안과 작동 메커니즘을 고려하면 권장되지 않는 방법입니다.

기준 시간이 100ms라면 1코어 사용은 그동안 CPU 시간을 총 100ms 쓰는 것이고, 2코어 사용은 총 200ms를 쓰는 것입니다. 여기서 병렬 실행이 끼어듭니다. 상한이 1코어인 파드가 4코어 노드에서 코어 4개를 각각 25ms씩 쓰면, 경과한 시간은 25ms여도 CPU 시간은 이미 100ms입니다. 한 주기의 사용 한도를 다 썼으므로 남은 75ms는 기다려야 합니다. 이것이 CFS 스로틀링입니다.

노드의 CPU가 모두 바빠야만 이런 대기가 생기는 것은 아닙니다. CPU가 남아 있어도 파드가 자신의 시간 한도를 소진하면 멈춥니다. 팀들이 상한 제거를 검토한 이유도 여기에 있었습니다. cfs_quota_us에 따른 제한을 없애면 남는 CPU를 더 활용하고 성능을 높일 수 있다고 기대했습니다.

빈 코어를 묶어 두지 않는 CPU 요청량

상한을 없애도 다른 파드의 최소 CPU 리소스는 확보됩니다. CPU 요청량(cpu.requests)이 있기 때문입니다. 요청량은 파드가 사용을 보장받는 최소 CPU 값이며, 사용하지 않는 CPU까지 예약해 두는 값은 아닙니다.

2코어 노드에 요청량 1코어, 상한 1.5코어인 파드 A와 B가 있다고 가정하겠습니다. 둘 다 평소에 0.1코어만 쓴다면 노드에는 1.8코어가 남습니다. 이때 A에 트래픽이 몰리면 A는 자신의 요청량을 넘어 상한인 1.5코어까지 사용할 수 있습니다. B가 요청한 1코어를 쓰지 않고 있다는 이유로 비워 둘 필요는 없습니다.

이후 B의 트래픽도 늘면 배분이 달라집니다. B도 최소 1.0코어를 쓸 수 있어야 하므로, A가 사용하던 CPU 중 0.5코어를 반납합니다. 상한을 제거하더라도 요청량에 따른 보장은 남습니다. 그러나 요청량을 보장받는 것과 남는 CPU를 언제나 같은 만큼 쓰는 것은 별개의 문제입니다.

성능 개선보다 일관성을 택한 Node.js

Node.js 서버는 한 노드에 여러 애플리케이션 파드가 배치된 멀티 테넌시 환경이었습니다. 파드 4개의 요청량을 0.8코어로 두고, 상한이 1.15코어인 경우와 상한을 제거한 경우를 비교했습니다. 상한을 없애자 TPS는 128.5에서 145.6으로 13% 올랐습니다. 최대 TPS는 20%, CPU 사용량은 13% 증가했고, 테스트 중 별도 에러나 이슈는 없었습니다.

성능은 나아졌지만 Spring만큼 개선 폭이 크지는 않았습니다. 팀은 여러 요인 가운데 같은 노드에 다른 파드가 있다는 점과 단일 스레드를 사용하는 Node.js 서버의 특성이 큰 영향을 줬다고 보았습니다. 더 고민한 부분은 이 성능을 얼마나 일관되게 낼 수 있느냐였습니다.

예를 들어 A 애플리케이션이 어느 시점에 2,000 TPS를 처리했더라도, 늘 그 성능이 나온다고 판단할 수는 없습니다. 당시에는 노드의 여유 CPU를 충분히 썼을 수 있습니다. B나 C 애플리케이션에도 같은 시점에 부하가 생기면 A가 여유분을 혼자 사용할 수 없고, 2,000 TPS에 못 미칠 수도 있습니다. 상한 제거로 얻은 성능에는 다른 파드의 부하라는 조건이 붙습니다.

설정도 함께 고민해야 했습니다. 한 애플리케이션의 상한을 없앴다면 같은 클러스터의 다른 애플리케이션도 없애는 편이 설정 일관성 측면에서는 자연스럽습니다. 그렇게 하면 모든 애플리케이션에서 성능 일관성이 보장되지 않습니다. 일부 파드만 상한을 제거하고 나머지는 유지하는 방식도 설정과 성능 양쪽에서 문제를 일으킬 수 있습니다.

Node.js 팀은 이 환경에서 얻은 얼마간의 성능 개선보다 일관성에 더 무게를 두었습니다. 그 결과 CPU 상한을 유지하기로 결정했습니다.

노드의 여유 CPU를 활용하기로 한 Spring

Spring 서버의 배치는 훨씬 단순했습니다. 클러스터와 노드에 여러 애플리케이션을 섞지 않는 싱글 테넌시였고, 노드 하나에 애플리케이션 파드 하나를 배치했습니다. 파드는 총 2개로, 요청량과 상한을 각각 1.0코어로 둔 경우, 각각 3.0코어로 높인 경우, 요청량은 1.0코어로 두고 상한만 제거한 경우를 비교했습니다.

가상 동시 사용자(vUser)가 250일 때 TPS는 순서대로 247.6, 535.7, 570.0이었습니다. CPU를 더 쓸수록 처리량도 늘었습니다. vUser가 1,000인 테스트에서는 1.0코어 상한을 둔 케이스가 타임아웃 에러로 측정되지 않았습니다. 3.0코어 상한을 둔 케이스의 TPS는 418.0이었고, 상한을 제거하자 640.1로 53% 높아졌습니다. 최대 TPS는 21%, CPU 사용량은 13% 증가했습니다. 이 타임아웃 사례 외에 별도 에러나 이슈는 없었습니다.

상한을 아예 없애지 않고, 실제 사용 가능한 CPU만큼 높여 두는 방법도 생각해 볼 수 있습니다. 팀은 이론상 같은 수준의 성능을 낼 것으로 예상했지만, 그 값을 매번 정확히 구하기는 어렵다고 판단했습니다. 4코어 노드를 할당받아도 실제 사용 가능한 CPU는 약 3.6~3.8코어인 경우가 많습니다. 클러스터 운영용 파드까지 배치되면 계산은 더 어려워지고, 노드마다 가용량도 다릅니다.

Spring 팀은 단순한 싱글 테넌시 배치에서 상한을 제거하는 데 추가로 고려할 리스크는 없다고 판단했습니다. 사내 쿠버네티스 담당 부서와 논의한 결과도 같았습니다. 해당 배치에서는 상한 제거가 CPU를 더 효율적으로 쓰는 데 도움이 되고 추가로 우려할 리스크는 없다는 답변을 받았습니다. 팀은 테스트에서 확인한 성능 개선과 이 판단을 바탕으로 CPU 상한을 제거하기로 했습니다.

테스트 케이스와 결과
구분구조케이스요청량 · 상한TPS최대 TPS최대 CPU(코어/파드)
Spring, vUser 250싱글 테넌시, 파드 2(1)1.0 · 1.0247.6317.50.98
(2)3.0 · 3.0535.7667.52.73
(3)1.0 · 제거570.0707.52.98
Spring, vUser 1000(1)1.0 · 1.0타임아웃 에러로 측정 불가
(2)3.0 · 3.0418.0799.52.65
(3)1.0 · 제거640.1971.52.98
Node.js멀티 테넌시, 파드 4(1)0.8 · 1.15128.5137.11.115
(2)0.8 · 제거145.6164.31.263

CFS 스로틀링은 상한이 있는 케이스에서만 기록됐습니다. Spring의 vUser 250 케이스 1은 2분당 2.12초, Node.js 케이스 1은 2분당 0.246초였으며, 상한을 제거한 케이스는 해당 없음입니다.

마지막 수정 일자