본문으로 건너뛰기
서버 성능 검증에 공통 기준을 세운 우버의 Ceilometer
목차

서버 성능 검증에 공통 기준을 세운 우버의 Ceilometer (2025-11)

원문 정보

  • 원문: Ceilometer: Uber’s Adaptive Benchmarking Framework
  • 매체 · 게시일: Uber Engineering Blog · 2025-11-20
  • 저자: Nav Kankani(Senior Engineering Manager, Platform Architect), Nate Cloud-Rouzan(Senior Cloud Engineer), Derrick Tseng(전 Cloud Engineer), Rajat Sharma(Senior Software Engineer)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

비교할 맥락이 빠진 스프레드시트

우버는 새 서버 타입을 들이거나 커널과 설정을 바꿀 때 프로덕션에 적용하기 전에 검증합니다. 예전에는 이 일에 한 팀이 필요했습니다. 호스트 준비부터 벤치마크 구성, 결과 파싱과 분석까지 엔지니어들이 수작업으로 이어 붙였고, 그렇게 얻은 결과로 효율이나 투자 대비 효과를 판단하기도 어려웠습니다. 검증에 시간이 걸리면서 위험은 커지고 새 기술 도입은 늦어졌습니다.

공을 들여도 비교가 어려웠습니다. 팀마다 실행 조건이 제각각이고 기술마다 성능을 재는 방식도 달라, 스프레드시트에 쌓인 결과를 해석하려면 검증할 때마다 별도 작업을 해야 했습니다. 테스트 하네스를 개발 존이나 클라우드 콘솔로 옮기기도 어려웠고, 아예 벤치마크 체계가 없는 기술도 많았습니다.

Ceilometer는 흩어진 벤치마크를 하나로 모은 성능·신뢰성 테스트 플랫폼입니다. 합성 벤치마크와 프로덕션 워크로드를 재현하는 테스트를 지원하며, 사내 도구와 연결해 호스트를 찾고 벤치마크 클러스터를 띄운 뒤 우버 서비스를 배포하는 과정까지 자동화합니다. 실행 구성을 표준화해 서로 같은 조건에서 비교하도록 만든 것이 출발점이었습니다.

벤더 환경에서 시작하는 서버 선정

새 서버 검증은 서버가 우버에 들어오기 전부터 시작됩니다. 아직 벤더가 개발 중인 서버라면, 벤더가 자기 환경에서 Ceilometer의 표준 합성 벤치마크를 실행하고 결과를 우버에 보냅니다. 테스트 하네스를 컨테이너로 만들었기 때문에 가능한 방식입니다. 벤더는 우버의 환경 밖에서도 시험을 실행하고, 우버는 JSON으로 받은 결과를 기존 분석 체계에 넣습니다.

합성 벤치마크에는 SpecCPU2017, SPECjbb2015, NetPerf, FIO 같은 업계 표준 도구를 우버 워크로드에 맞게 조정해 사용합니다. CPU나 메모리 같은 구성요소에 부하를 걸어 최대 성능을 재현 가능하게 측정하는 시험입니다. 여기서 드러난 병목은 벤더의 설계와 최적화에 쓰이고, 우버의 성능 엔지니어는 결과를 바탕으로 우버 워크로드에서의 성능을 예측해 후보 선정과 최적화 방향을 일찍 잡습니다.

서버를 우버 환경에서 직접 쓸 수 있게 되면 검증 범위가 넓어집니다. 합성 벤치마크에 stateful·stateless 애플리케이션 벤치마크를 더하고, 기존 프로덕션 서버를 기준으로 성능을 비교·예측해 비용 효율이 가장 좋은 차세대 서버를 고릅니다. 이 결과는 Ceilometer의 벤치마크 구성을 다듬는 데도 사용합니다.

Odin과 Ballast로 재현하는 서비스 부하

서비스를 실행하는 시험에서는 구성요소의 최대 성능 외에도 확인할 것이 많습니다. stateful 데이터베이스 테스트는 우버의 stateful 플랫폼 Odin이 조율하며, 부하를 바꿔 가며 읽기·쓰기 성능과 트랜잭션 처리량, 복제본 간 데이터 일관성을 확인합니다. 피크 수요도 시험 조건에 포함됩니다.

stateless 서비스에는 적응형 부하 테스트 프레임워크 Ballast를 사용합니다. 프로덕션의 트래픽과 접근 패턴을 재현하면서 성능, 지연, 확장성을 평가하는 방식입니다. Ceilometer는 이런 서비스 테스트 외에도 배치와 ML 기술 스택을 다루며, 장시간 사용하거나 스트레스를 가했을 때 안정성이 유지되는지도 시험합니다.

서버 사양과 SLA를 함께 담은 보고서

실행 조건을 맞췄다면 결과에도 맥락이 남아야 합니다. Ceilometer의 보고서에는 서버 사양과 참조 데이터베이스에서 가져온 기대 SLA가 들어가며, A/B 테스트에서 비교할 수 있도록 결과를 정규화합니다. 리소스 사용률, 비용 효율, 신뢰성도 보고 대상입니다.

이를 뒷받침하는 것은 벤치마크 실행부터 분석까지 이어지는 분산 시스템입니다. 전용 벤치마킹 머신 플릿에서 여러 환경의 시험을 병렬로 실행하고, 처리 서비스가 원본 결과를 받아 검증·정규화한 뒤 필요한 정보를 보강합니다. 이렇게 처리한 결과는 가용성과 확장성이 높은 blob 스토어에 저장해 과거 결과 분석과 감사에 사용합니다.

성능 데이터는 우버의 중앙 데이터 웨어하우스에도 들어갑니다. 다른 운영 지표와 연관 지어 분석할 수 있고, 분석 서비스는 결과를 조회하고 시각화하는 프로그램 인터페이스를 제공합니다. 원문에는 아키텍처와 분석 화면, 서버 타입별 비교 화면 예시가 실려 있습니다. 성능이나 비용 효율이 얼마나 나아졌는지 보여 주는 정량 결과는 제시하지 않았습니다.

서비스 오너의 승인을 거치는 변경 검증

기존 인프라의 변경을 검증할 때는 새 구성에 맞는 테스트 모음을 골라 실행합니다. 이때 결과의 승인자는 서비스 오너입니다. 성능 엔지니어가 서비스 오너와 함께 시험하고, 오너는 결과가 자기 서비스의 성능을 제대로 반영하는지 확인한 뒤 승인해야 합니다.

성능 회귀가 나타나면 Ceilometer를 진단에도 사용합니다. 회귀를 일으킨 구성요소나 변경을 좁혀 찾고, 통제된 환경에서 같은 문제를 재현합니다. 이어 해결책을 적용하고 다시 테스트해 문제가 완화됐는지 확인하는 순서입니다. Redis의 성능 회귀를 잡거나 데이터베이스 애플리케이션을 검증하는 일에도 Ceilometer가 쓰였습니다.

최근에는 클라우드 벤더가 수행하는 외부 “touchless” 업그레이드로 검증 범위가 넓어졌습니다. 이 업그레이드도 우버의 카나리 환경에서 시험합니다.

지속 검증으로 넓어질 카나리 테스트

우버는 카나리에서 테스트를 지속적으로 실행하고 성능 임계치를 넘으면 알리는 기능을 계획하고 있습니다. 구성요소별 사용률 지표를 더하고 이상 탐지를 고도화하는 작업도 남아 있습니다. 새롭게 등장하는 인프라 방식까지 시험할 수 있도록 지원 범위를 넓힐 예정입니다.

결과 분석에는 AI/ML을 더 깊이 활용하는 방안을 탐색하고 있습니다. 벤치마크 분석을 자동화하고 성능 회귀를 예측하며 근본 원인을 찾는 데 활용하려는 구상입니다. 기존 워크로드에 어느 정도의 리소스가 알맞은지 예측하는 기능도 향후 작업에 포함됩니다.

Ceilometer의 테스트 도구와 결과 처리 구성요소
항목내용
합성 벤치마크SpecCPU2017, SPECjbb2015, NetPerf, FIO 등
stateful 조율Odin(우버 stateful 플랫폼)
stateless 부하 테스트Ballast 적응형 부하 테스트 프레임워크
결과 저장blob 스토어
분석중앙 데이터 웨어하우스, 분석 서비스
벤더 연동컨테이너 하네스, 결과는 JSON으로 회수
마지막 수정 일자