목차
Java GC 실험에서 부하 테스트 서비스로 자란 Shadower (2022-06)
원문 정보
- 원문: Introducing Shadower: A Minimalistic Load Testing Tool
- 매체 · 게시일: Uber Engineering Blog · 2022-06-30
- 저자: Cristian Velazquez(Production Engineering 팀 Sr Staff Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Java GC 비교에 필요했던 같은 요청
출발점은 Java GC 튜닝이었습니다. Uber의 Maps 프로덕션 엔지니어들은 같은 애플리케이션을 두 번 띄워 한쪽에는 프로덕션 설정을, 다른 쪽에는 새 GC 설정을 적용했습니다. 설정의 차이를 비교하려면 여러 엔드포인트에 걸쳐 요청의 종류와 부하량부터 비슷하게 맞춰야 했습니다.
스테이징에서 테스트하기에는 준비 시간이 길었습니다. 브랜치에 코드를 푸시하고 빌드를 만들어 배포하는 데 약 10분이 걸렸지만, 로컬에서는 설정 변경만으로 새 빌드 없이 몇 초 만에 시험할 수 있었습니다. 당시 인프라는 불일치를 줄이려는 이유로 같은 환경에서 여러 빌드를 함께 실행할 때 추가 절차도 요구했습니다.
부하를 맞추는 일도 문제였습니다. 기존 도구에는 요청 미러링이 없어 각 애플리케이션이 받는 부하는 로드 밸런싱 알고리즘과 테스트 요청이 얼마나 잘 무작위화됐는지에 좌우됐습니다. 새 서비스나 엔드포인트를 테스트에 넣으려면 개발자가 코드까지 작성해야 했습니다.
Shadower는 로컬 파일을 읽어 로컬 애플리케이션에 부하를 주는 명령줄 도구로 시작했습니다. 호스트를 여러 개 지정하면 같은 요청을 각 호스트에 보내는 요청 미러링으로, 서로 다른 GC 설정을 적용한 애플리케이션에 비슷한 부하를 줄 수 있게 했습니다.
필요한 페이로드를 고쳐 쓰는 Shadower Mapper
어떤 요청을 보낼지는 마이그레이션과 실험 검증에서도 까다로운 문제였습니다. 공통 섀도 라이브러리로 트래픽을 스테이징에 전달하는 방식을 생각할 수 있지만, Uber의 복잡한 아키텍처에서는 제약이 있었습니다. 서비스 소유자가 아주 특정한 요청만 전달하려고 하면 프로덕션에서 복잡한 필터링 시스템을 실행해야 합니다. 요청을 전달하는 서비스가 그 요청을 처리하면서 CPU와 메모리도 더 쓰게 됩니다.
Shadower의 워커는 미리 업로드한 요청 파일을 블롭 스토리지에서 내려받아 재생합니다. 이때 원시 페이로드를 고치는 도구가 Shadower Mapper입니다. Uber에서 쓰는 JSON, Thrift, Protocol buffer의 인코딩과 디코딩을 지원하는 명령줄 도구로, 프로덕션 호스트에서 eBPF로 수집한 페이로드를 개발자가 수정할 수 있게 합니다.
저장 형식도 정했습니다. 모든 페이로드를 base64 바이너리 데이터로 저장해 proto·thrift 파일의 동기화 비용과 proto 디코딩에 드는 CPU 사용량을 줄이고, 개발자가 쉽게 수정하도록 했습니다. 이를 위해 Base64 바이너리 인코더와 디코더를 마련했습니다.
페이로드 밖의 요청 조건도 바꿀 수 있습니다. 정규식에 맞는 엔드포인트에 헤더를 추가하거나 기본 타임아웃을 변경하는 기능은 명령줄 버전에서는 고려하지 않았던 기능입니다.
명령줄 도구를 서비스로 바꾼 Ballast
Shadower는 약 1년 동안 명령줄 도구로 쓰였습니다. 서비스로 확장한 계기는 Ballast였습니다. Ballast에는 안정적으로 동작하면서 관리하기도 쉬운 부하 테스트 생성기가 필요했습니다.
역할은 분명하게 나눴습니다. Ballast가 자원 사용량을 추적해 테스트에 알맞은 부하량을 정하면, Shadower는 그 테스트를 실행하는 데 집중합니다. Uber의 모든 마이크로서비스에 부하 테스트를 서비스로 제공하는 방식입니다.
여러 테스트를 받아 실행하려면 조정 계층이 있어야 했습니다. Uber는 테스트 요청을 스케줄하는 기능과 테스트의 수·크기를 제한하는 쿼터 관리를 추가했습니다. 요청 파일을 보관할 스토리지 계층을 만들고, 테스트별 지표를 내보내도록 시계열 데이터베이스에도 연동했습니다. 로컬 실행에 없던 작업들이 서비스의 일부가 됐습니다.
하트비트 사이에 달라지는 워커의 쿼터
Shadower의 코디네이터는 실행할 테스트를 배정하고, 워커는 배정받은 테스트를 수행합니다. 외부 요청을 받는 코디네이터들 가운데 리더 선출로 마스터를 정합니다. 어느 코디네이터든 예약 요청을 받아 테스트를 scheduled 상태로 두면, 마스터가 매초 이 상태의 테스트를 조회하고 쿼터가 충분한 워커를 찾아 실행을 시도합니다.
상태는 비동기로 공유합니다. 코디네이터에서 일어난 모든 동작은 클러스터의 모든 피어에 복제되며, 평소에는 변경분만 보냅니다. 새 피어가 들어오면 전체 업데이트를 보내 시스템 상태를 맞춥니다. 관련 객체의 변경은 태그로 추적합니다.
워커도 하트비트로 자신의 상태를 코디네이터에 알립니다. 최종 일관성 방식이므로 코디네이터가 알고 있는 쿼터와 워커의 실제 쿼터가 조금 다를 수 있습니다. 배정할 때는 여유가 있었어도 실행 요청이 도착할 때는 상황이 달라질 수 있는 것입니다.
| 실행 요청을 받은 시점의 워커 쿼터 | 처리 |
|---|---|
| 코디네이터가 알고 있던 쿼터와 동일 | 코디네이터의 쿼터 정보 변경 없이 실행 |
| 쿼터가 달라졌지만 실행하기에는 충분 | 갱신된 쿼터를 성공 응답과 함께 코디네이터에 전달 |
| 쿼터가 달라졌고 실행하기에 부족 | 마스터가 요청을 큐에 돌려놓고, 실행 중인 테스트가 끝나 쿼터가 확보되기를 대기 |
실행 중인 테스트를 수정할 때도 쿼터를 확인해야 합니다. 수정 요청은 어느 코디네이터가 받든 항상 마스터로 전달하며, 마스터가 해당 테스트를 실행하는 워커의 쿼터를 검사합니다. 중지는 하트비트와 연결됩니다. 요청을 받은 코디네이터가 테스트를 stopped 상태로 바꾸고, 워커가 다음 하트비트를 보낼 때 중지 사실을 알립니다.
조회 요청은 어느 코디네이터에서든 처리합니다. 기본 응답에는 현재의 모든 테스트가 포함되며, 상태나 UUID로 검색할 수 있습니다.
지표에는 테스트별 태그를 붙입니다. 워커가 내보내는 지연 시간과 상태 코드 수 등의 지표를 이 태그로 구분하는 방식입니다. 태그를 지정하지 않은 테스트는 지표를 내보내지 않습니다.
첫 요청 전에 데워 두는 캐시와 Java
캐시가 며칠이나 몇 주마다 무효화된다고 가정해 봅니다. 요청이 들어올 때마다 다시 캐시를 채워도 되지만, 초기 요청은 그만큼 지연을 겪습니다. Shadower로 자주 들어오는 요청을 미리 실행해 캐시를 채우면 실제 요청이 도착했을 때 빠르게 처리할 수 있습니다.
애플리케이션에도 예열이 필요합니다. Uber 서비스의 약 40%는 Java 기반이며, Java는 JIT 컴파일을 쓰기 때문에 실행 초반의 코드가 몇 초 뒤에 실행되는 코드보다 느립니다. 개발자는 프로덕션 트래픽을 받기 전에 몇 초 동안 부하 테스트를 실행해 이 초기 성능을 개선할 수 있습니다.
성능 변화와 부하 한도를 확인하는 테스트
배포마다 부하 테스트를 자동으로 실행하면 메모리, CPU, 지연 시간 등에 큰 변화가 생겼는지 찾아낼 수 있습니다. 여기에는 조건이 있습니다. 프로덕션 트래픽의 잡음이 없는 환경에서 테스트해야 성능 회귀를 쉽게 감지할 수 있습니다.
레이트 리미터와 로드 셰딩도 검증 대상입니다. 신뢰성 엔지니어는 모든 서비스에 적절한 레이트 리밋이 있는지 확인해야 합니다. 한도가 너무 낮으면 자원을 낭비하고 호출하는 서비스에 오류가 생길 수 있습니다. 너무 높으면 서비스 전체가 중단될 위험에 놓입니다.
상태 있는 서비스까지 남은 지원 범위
워커에는 페이로드를 정해진 횟수만큼 재생하는 기능도 있습니다. 예를 들어 상태 있는 서비스를 테스트하면서 각 페이로드를 한 번씩만 실행하려는 경우에 쓰는 기능입니다.
재생 횟수를 제한하는 기능과 별개로, Shadower의 주된 대상은 상태 없는 서비스입니다. 2022년 6월 당시 Uber는 유연성·확장성·사용 편의성을 높이는 기능을 계속 추가하고 있었으며, 가까운 시일에 상태 있는 서비스 지원을 더할 계획이었습니다.