본문으로 건너뛰기
실제 트래픽을 재생해 서비스 한계를 찾는 Ballast
목차

실제 트래픽을 재생해 서비스 한계를 찾는 Ballast (2022-03)

원문 정보

  • 원문: Introducing Ballast: An Adaptive Load Test Framework
  • 매체 · 게시일: Uber Engineering Blog · 2022-03-01
  • 저자: Minglei Wang(Staff Software Engineer, Maps Production Engineering), Cristian Velazquez(Sr Staff Software Engineer, Production Engineering)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

실제 트래픽에서 멀어지는 부하 테스트

트래픽이 바뀌면 부하 테스트도 손봐야 합니다. 서로 의존하는 수천 개의 마이크로서비스를 운영하는 우버에서는 중요한 서비스들이 최대 부하에서도 안정적이고 효율적으로 동작하는지 확인해야 했습니다. 그런데 테스트를 작성하고 실행하고 지켜보는 일은 오랫동안 사람의 일이었습니다. 실제 트래픽이 자연스럽게 변하는 동안 테스트는 그 패턴에서 멀어집니다. 서비스가 늘수록 시험할 범위까지 넓어지니, 기능 하나를 추가할 때마다 테스트 유지보수라는 보이지 않는 비용도 따라붙었습니다.

Ballast는 이 부담을 줄이려고 만든 적응형 부하 테스트 프레임워크입니다. 실제 트래픽을 캡처해 재생하고, 서비스가 보이는 반응에 맞춰 요청량을 조절합니다. 테스트를 사람이 계속 감독할 필요 없이 실행해 커버리지를 넓히고, 서비스 용량을 파악하며 배포를 더 안전하게 만드는 것이 목표입니다.

목표에 가까워질수록 완만해지는 부하 곡선

지도 검색 서비스에 부하를 주는 예에서 Ballast의 동작이 드러납니다. 기본 부하 생성기 Shadower의 초당 요청 수(RPS)는 처음에 빠르게 올라갔습니다. 대상 서비스의 CPU 사용률이 목표에 가까워지자 증가세가 완만해졌습니다. PID 게인을 P:4, I:0.2, D:1로 설정한 테스트의 모습입니다.

이 곡선을 만드는 것은 서비스 지표를 읽고 요청량을 보정하는 PID 컨트롤러입니다. CPU 80%, 요청 지연 600ms, 오류율 0.1% 같은 골든 시그널의 SLO를 목표 r(t)로 두고, 실시간 측정값 y(t)와의 차이를 오차 e(t)로 계산합니다. 여기에 비례(P), 적분(I), 미분(D) 항을 적용하면 부하 생성기에 보낼 목표 처리량이 나옵니다. 테스트 중에는 이 계산과 보정이 계속됩니다.

피드백에 쓰는 Golden Signals는 우버의 메트릭 플랫폼 M3를 바탕으로 만들었습니다. 지연, 트래픽, 오류, 포화도를 가져와 테스트 중 서비스 상태와 가용성을 확인합니다. 측정 범위에는 처리량과 CPU 사용량, 단위 경제성 기준 비용도 포함됩니다.

서비스가 목표 SLO에 도달하면 해당 테스트는 끝납니다. 예를 들어 CPU 80%가 목표라면 그 지점에서 멈추고 결과를 기록하는 방식입니다. 요청량을 조절하는 기준과 테스트를 끝내는 기준이 모두 서비스에서 측정한 지표에 있습니다.

패킷을 조립해 마련하는 테스트 입력

재생할 요청은 어디에서 가져올까요? Ballast의 Traffic Capture는 네트워크에서 패킷을 읽고 유효한 요청 페이로드로 조립합니다. pcap 패키지의 Berkeley Packet Filter(BPF)를 사용해 특정 서비스의 트래픽을 캡처하며, HTTP 1.1, HTTP 2.0, TChannel을 지원합니다. 우버가 만든 범용 RPC 프레이밍 프로토콜인 TChannel은 순서가 뒤바뀐 응답을 허용하고, 중간 계층이 요청을 빠르게 전달하도록 설계됐습니다.

사용자가 테스트 입력인 픽스처를 직접 준비하는 방법도 있습니다. 이때 Shadower Mapper가 JSON, Thrift 등 우버에서 쓰는 모든 인코딩을 변환합니다. 바이너리 페이로드를 JSON에 담도록 base64로 출력하고, gzip으로 압축한 페이로드도 지원하는 명령줄 도구입니다.

인코딩만 변환해서 끝나는 것은 아닙니다. /v1/foobar 같은 엔드포인트를 thrift/proto 메시지 정의와 연결하는 메서드 매핑도 Mapper가 지원합니다. 준비한 페이로드는 워커가 읽도록 영구 저장소에 올립니다. 사용자는 대상 서비스 이름, 데이터센터, 목표 SLO, 픽스처 위치 등을 테스트 계획에 지정합니다.

쿼터를 확인하고 테스트를 맡기는 Shadower

요청을 실제로 보내는 Shadower는 코디네이터와 워커로 나뉩니다. 코디네이터가 예약된 테스트에 적합한 워커를 찾고, 워커가 테스트를 실행하는 구조입니다. 워커는 Kafka나 저장소에서 페이로드를 읽어 요청을 보내며, 메트릭은 시계열 DB에 기록합니다. 여러 호스트를 지정하면 같은 요청을 각 호스트에 보내는 요청 미러링도 지원합니다.

코디네이터는 외부에서 요청을 받는 구성 요소로, 리더 선출을 사용하며 수평 확장됩니다. 어느 코디네이터에서든 테스트 예약·수정·중지·조회와 전체 목록 조회를 요청할 수 있습니다. 수정 요청을 받은 코디네이터는 이를 리더에게 전달합니다.

예약과 중지는 비동기로 처리됩니다. 예약 요청을 받으면 코디네이터가 예약 상태의 테스트를 계속 확인하며 실행할 워커를 찾습니다. 중지 요청은 워커가 하트비트를 보낼 때 실행 중인 테스트 상태를 확인한 뒤 워커에 알리는 방식입니다.

워커의 쿼터 상태도 하트비트로 전달됩니다. 비동기로 받은 상태에 실행 가능 여부를 전부 맡기지는 않습니다. 코디네이터가 쿼터에 여유가 있다고 판단해 워커에 테스트 실행을 요청하는 호출은 동기식입니다. 워커는 이 요청을 거절하고 갱신된 쿼터를 돌려줄 수 있습니다.

상시 실행의 안전을 살피는 Ballast Watchdog

개별 테스트가 목표에 도달해 끝나더라도, Scheduler의 상시 실행 옵션으로 테스트를 계속 돌릴 수 있습니다. 사용자의 요구에 맞춰 실행을 예약하는 것도 Scheduler의 역할입니다.

계속 실행하는 테스트에는 감시가 따라붙습니다. Ballast Watchdog은 실행 중인 모든 테스트를 살피며 글로벌 락다운, 서비스 장애 같은 심각한 알람을 구독합니다. 서비스의 한계를 시험하는 동안에도 테스트를 안전하게 유지하기 위한 구성 요소입니다.

운영의 판단 근거가 된 부하 테스트

카나리 배포에 Ballast를 켜 두면 사람이 매번 지켜보지 않아도 서비스의 용량 한계를 계속 파악할 수 있습니다. 연휴 준비에서 용량 계산은 간단한 나눗셈이 됩니다. 예상 피크 처리량을 Ballast가 측정한 인스턴스당 피크 RPS로 나누는 것입니다.

새 코드를 배포한 직후에도 비교할 지표가 생깁니다. 카나리에서 상시 부하 테스트를 실행하면 배포 전후의 변화가 바로 드러나 결함 탐지를 개선하고 프로덕션 장애를 줄입니다. 이전 실행에서는 없던 CPU 알람이 울리거나 Ballast QPS가 이전보다 눈에 띄게 떨어졌다면 성능이 나빠졌다는 신호입니다. 용량을 재던 테스트가 배포로 생긴 퇴행을 찾는 데도 쓰입니다.

부하가 커졌을 때 어떤 요청을 버리는지도 시험 대상입니다. Uber Eats 백엔드에서는 로드 셰더가 우선순위가 가장 낮은 요청만 버리는지 검증하는 데 Ballast를 사용했습니다. 여러 요청 조합을 주입해 프로덕션 시나리오를 재현하고, 과부하에서 요청을 골라 버리는 동작을 확인했습니다.

이미 발생한 오류를 좁혀 가는 데는 트래픽 재생 기능이 쓰입니다. 오류율이 높았던 프로덕션 트래픽을 스테이징에서 재생하면 실패하는 요청을 추릴 수 있습니다. 그 요청이 실행한 코드 경로를 가려내며 장애 원인을 추적하는 방식입니다.

오퍼레이터를 닮아 가는 Ballast 생태계

Ballast를 도입하는 서비스와 활용 사례가 늘면서 페이로드 인코더, PID 튜너, 관측성 기반의 차세대 감독자, 카오스 엔지니어링 시나리오도 생겨나고 있습니다. 저자들은 Ballast 컨트롤러가 조정 루프(reconciliation loop)를 돌리는 모습을 오퍼레이터 아키텍처에 빗댑니다. 저자들은 Ballast가 앞으로 복원력 테스트의 기반이 되고, 신뢰성 플랫폼으로 이어질 가능성에 기대를 건다고 밝혔습니다.

테스트 설정과 용량 계산의 수치
항목값
지도 검색 서비스 PID 게인P 4, I 0.2, D 1
목표 CPU 사용률 예시80%
요청 지연 목표 예시600ms
오류율 목표 예시0.1%
지원 프로토콜HTTP 1.1, HTTP 2.0, TChannel
연휴 용량 계산예상 피크 처리량 / 인스턴스당 피크 RPS
마지막 수정 일자