목차
운영 의존성을 그대로 쓰는 Uber의 임시 테스트 공간 SLATE (2022-10)
원문 정보
- 원문: Simplifying Developer Testing Through SLATE
- 매체 · 게시일: Uber Engineering Blog · 2022-10-20
- 저자: Ankit Srivastava(Principal Engineer), Alok Srivastava(Principal Engineer, Business Platform 팀), Rohan Rathi(Software Engineer II, Fulfillment 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
운영과 배포 시점이 어긋난 스테이징
E2E 테스트를 믿으려면 테스트에 참여하는 의존성부터 운영과 같은 버전이어야 합니다. Uber에서는 이 조건을 맞추기 어려웠습니다. 서비스마다 배포 파이프라인과 시점이 달랐고, 스테이징을 운영과 맞춰 두는 서비스도 있었지만 그렇지 않은 서비스가 많았습니다. 뒤처진 의존성은 E2E 테스트를 불안정하게 만드는 원인이었습니다.
Uber의 플랫폼에서는 수천 개 서비스가 맞물려 돌아갑니다. 단위·통합·컴포넌트 테스트는 서비스를 격리해 빠르게 검증하는 수단입니다. 실제 의존성의 현재 상태에서도 기능 요구사항을 충족하는지 확인하려면 E2E 테스트가 필요합니다.
검증해야 할 관계도 단순하지 않습니다. 서비스를 호출하는 업스트림은 안정된 API 계약을 기대하고, 서비스가 호출하는 다운스트림에는 다른 서비스와 데이터베이스, 큐가 포함됩니다. 의존성 트리가 빽빽한 서비스는 필요한 버전을 한 호스트에 전부 띄우려 해도 자원 한도에 부딪힙니다.
공유 스테이징의 자리도 넉넉하지 않았습니다. 개발자는 자기 서비스뿐 아니라 의존 서비스의 환경까지 선점해야 했으므로 여러 개발자가 나란히 테스트하는 데 한계가 있었습니다. 서비스마다 스테이징용 데이터베이스와 큐, 컴퓨트를 유지하고 관리하는 비용도 들었습니다.
테스트 대상 서비스와 그 데이터 저장소만 스테이징에 두고 나머지 의존성은 운영에 연결하는 방법도 있습니다. 그러면 운영 의존성을 쓰는 대신, 테스트가 그 의존성의 데이터를 건드리지 않도록 격리해야 한다는 문제가 남습니다.
고친 서비스만 따로 배포하는 SLATE 환경
Uber는 의존성을 모두 별도로 띄우는 부담을 SLATE로 줄였습니다. SLATE는 Short-Lived Application Testing Environment의 약자로, 개발자가 필요할 때 만들고 서비스를 배포하는 임시 테스트 환경입니다. 여기에 배포한 서비스를 SUT(service-under-test), 즉 테스트 대상 서비스라고 부릅니다.
SUT는 기본적으로 운영 환경에서 실행되며 의존성의 운영 인스턴스를 사용합니다. SLATE 자체가 운영 환경 안에 마련한 격리 공간입니다. 실제 운영 의존성과 함께 변경을 검증하되, 테스트 요청과 데이터가 운영에 영향을 주지 않도록 라우팅과 데이터 격리를 갖췄습니다. 운영 자원을 공유할 수 없는 서비스에는 별도 자원을 지정하는 설정도 제공합니다.
예를 들어 SLATE1에 S2, S3, S5를 배포했다고 가정합니다. SLATE1을 가리키는 헤더가 붙은 요청이 이 서비스들을 호출하면 SLATE1의 SUT가 처리합니다. 나머지 서비스는 운영 인스턴스가 받습니다. 여러 서비스에 걸친 변경도 이렇게 운영 의존성과 함께 시험합니다.
개발자는 SLATE 환경을 여러 개 열어 두고, 각 환경에 git 브랜치나 ref를 골라 여러 서비스를 배포할 수 있습니다. 같은 서비스를 다시 배포하면 이전 배포를 대체합니다. 한 환경에 두는 서비스 버전은 1개, 인스턴스도 1개입니다.
환경에는 수명이 있습니다. TTL은 기본 2일이며, 기한이 지나면 배포된 서비스를 모두 종료하고 자원을 회수합니다.
실제 드라이버와 만나면 안 되는 테스트 승차 요청
운영 의존성을 그대로 쓰려면 테스트 데이터부터 확실히 구별해야 합니다. SLATE에서 만든 승차 요청에 실제 드라이버가 배정되어서는 안 됩니다. 테스트 드라이버가 실제 승차 요청과 매칭되는 일도 막아야 합니다. SUT와 의존성이 운영 데이터베이스, 캐시, Kafka 큐를 사용하기 때문에 필요한 구분입니다.
Uber의 Test-Accounts 서비스는 테스트용 라이더와 드라이버 등의 프로필을 만듭니다. 이 계정에서 생성한 trip과 order 같은 하위 엔터티도 테스트 엔터티로 취급합니다. 계정에서 파생한 데이터까지 구분하는 방식입니다.
SLATE에 연결하도록 허용하는 사용자는 테스트 계정뿐입니다. 이 제한으로 SUT에는 테스트 엔터티의 요청만 도달하게 합니다. 테스트 엔터티는 운영 데이터베이스와 Kafka 큐에 함께 존재하지만, 운영 엔터티와 구별되고 격리되어 있으므로 테스트 데이터를 생성하거나 수정해도 운영 엔터티에는 영향을 주지 않습니다.
운영 자원을 나눠 쓸 수 없는 서비스
엔터티를 구별해도 운영 자원을 공유할 수 없는 서비스는 남습니다. 규정 준수나 보안 요구 때문입니다. 이런 서비스는 다른 의존성은 운영 인스턴스로 두고, 데이터베이스나 작업 큐처럼 분리가 필요한 자원을 별도로 지정합니다.
Uber의 서비스 설정은 기본 YAML 파일에 production.yaml, staging.yaml 같은 환경별 파일을 적용해 일부 값을 덮어쓰는 방식입니다. 서비스 소유자는 slate.yaml에 E2E 테스트용 자원을 지정합니다. 이 경우에는 SUT의 런타임 환경을 SLATE로 설정하므로 slate.yaml이 자동 적용됩니다. 기본 런타임이 운영이라는 규칙의 예외입니다.
이렇게 분리한 자원은 여러 SLATE 환경이나 개발자가 공유하는 경우가 보통입니다. 필요하면 SLATE 환경마다 별도의 자원을 쓰도록 구성할 수도 있습니다.
호출을 따라 SUT까지 이어지는 테넌시
요청이 어떤 SLATE 환경에 속하는지는 테넌시가 나타냅니다. 테넌시는 테스트 요청과 운영 요청을 구분하는 식별 정보이며, 기본값은 운영 테넌시입니다. E2E 테스트에는 uber/test*를 쓰고, SLATE 환경마다 uber/test/slate/<이름> 형태의 테넌시를 부여합니다. uber/test/slate/SLATE1이 붙은 요청은 SLATE1의 SUT로 향합니다.
이 정보는 Jaeger Baggage의 request-tenancy 키에 담겨 호출 트리를 따라 전파됩니다. 호출이 여러 서비스를 거쳐도 각 단계에서 테넌시를 확인할 수 있습니다. 서비스 자체에는 SUT와 운영 인스턴스 중 하나를 고르는 라우팅 로직을 넣지 않았습니다. 서비스는 테스트 요청과 운영 요청을 똑같이 처리하고, 목적지를 고르는 일은 인프라가 담당합니다.
목적지 정보는 SUT를 배포할 때 준비합니다. SLATE는 테넌시와 SUT 주소를 연결한 routing-override를 config-cache에 저장합니다. 여기에는 SUT의 IP와 tchannel, HTTP2, HTTP 등 프로토콜별 포트가 들어갑니다. SLATE에 배포한 SUT에만 만드는 정보입니다. 재배포하면 새 주소로 교체하고, 개발자가 환경을 종료하거나 TTL이 만료되면 매핑과 SUT 인스턴스, 관련 자원을 함께 제거합니다.
요청이 들어오면 Edge-Gateway가 request-tenancy 헤더를 확인합니다. 값이 uber/test*에 해당하면 config-cache에서 routing-override를 찾아 Jaeger Baggage의 routing-overrides 키로 넣습니다. 이후 host-routing-agent는 호출하려는 서비스의 SUT 정보가 있는지 확인하고, 있으면 요청을 그 SUT로 전달합니다.
조회 때문에 매번 원격 저장소를 왕복하지는 않습니다. config-cache는 인메모리 저장소이며, 항목을 구독하는 호스트에 내용을 동기화하므로 로컬에서 매우 빠르게 조회합니다. 가용성도 높습니다. 그래도 매핑이 없거나 아직 동기화되지 않은 경우에는 요청이 운영 인스턴스로 폴백합니다. 여러 격리 장치가 있어 허용할 수 있는 동작이며, 라우팅 커버리지 관측으로 요청이 SUT 대신 운영 인스턴스에 도달한 사례를 찾아냅니다.
공통 인프라도 테넌시를 이해합니다. 로깅과 메트릭 시스템은 테스트에서 생긴 데이터를 구별해 격리하고, Kafka는 비운영 스트림을 알맞게 전달합니다. 알림 시스템은 테스트 트래픽을 알아보므로 테스트 실패에 페이징 알림을 보내지 않습니다.
모바일 앱의 요청을 연결하는 테스트 계정
E2E 테스트는 테넌시 헤더를 직접 넣을 수 있습니다. 모바일 앱에서도 개발자가 같은 방식으로 헤더를 다룰 필요는 없습니다. SLATE 환경을 만들 때 테스트 계정들을 연결해 두면 Edge-Gateway가 사용자 정보를 보고 필요한 헤더를 넣습니다.
계정을 연결하면 config-cache에 user-id와 SLATE 테넌시의 매핑이 생깁니다. Edge-Gateway는 요청의 user-id를 조회하고, 연결된 SLATE가 있으면 그 환경의 테넌시와 routing-override를 주입합니다. 이후에는 host-routing-agent가 같은 라우팅 경로를 따릅니다. 연결한 테스트 사용자 집단의 요청만 SUT로 보내므로 모바일 앱에서도 변경한 서비스를 직접 시험할 수 있습니다.
비동기 테스트 경로의 Kafka와 Cadence
호출이 이벤트로 이어지면 헤더 전파만으로는 부족합니다. 비동기 이벤트에서 시작하는 흐름에는 동기 요청처럼 Jaeger Baggage의 테넌시나 routing-override를 직접 주입할 수 없어 SUT로 향하던 경로가 끊길 수 있습니다. 흔히 쓰는 해결책은 Baggage 정보를 이벤트 페이로드에 보관했다가, 나중에 비동기 요청을 시작할 때 다시 사용하는 것입니다.
Kafka에는 메시지를 구분하는 처리가 더 필요했습니다. 기본 운영 설정으로 뜬 SUT는 운영 토픽에 발행하고 구독하므로 운영 데이터를 소비할 수 있고, SUT가 만든 테스트 메시지가 운영 소비자에게 갈 수도 있었습니다. Uber는 Kafka 클라이언트가 테넌시를 인식하도록 고쳤습니다. 생산자는 Jaeger Baggage에서 읽은 테넌시를 메시지에 자동으로 붙이고, 알맞은 클러스터로 보냅니다.
소비 쪽은 서비스가 SUT로 배포됐는지에 따라 달라집니다. 테스트 대상 서비스의 운영 인스턴스는 테스트 트래픽을 받지 않고, SUT는 자기 테넌시와 일치하는 트래픽만 받도록 필터링합니다. SUT로 배포하지 않은 서비스의 운영 소비자는 운영 트래픽과 테스트 트래픽을 모두 받습니다. 이 소비자들은 테스트 트래픽도 처리할 수 있어야 합니다.
여러 단계로 이어지는 비동기 워크플로에는 Uber의 워크플로 오케스트레이터 Cadence를 사용합니다. Cadence는 장애를 견디는 추상화를 제공하고 내부 task-list에 작업을 넣거나 가져오는데, SUT를 운영 설정으로 실행하면 운영 task-list에서 작업을 가져올 수 있다는 문제가 있었습니다.
해결은 작업 목록을 별도로 지정하는 방식입니다. task-list를 설정 파일이나 환경 변수로 선택하도록 바꾸고, SUT를 시작할 때 사용할 task-list를 지정합니다. 운영 작업을 가져오지 않도록 실행 시점에 설정을 분리한 것입니다.
CLI 명령이 겹쳐도 상태를 복구하는 SLATE 서버
라우팅 정보가 존재해도 주소가 낡으면 SUT에 도달하지 못합니다. 서비스 배포와 사용자 연결·해제 명령이 겹쳐 실행될 때 config-cache에 오래된 항목이 남을 수 있습니다. 같은 서비스의 배포가 경합하면서 routing-override에 예전 SUT 주소를 쓰면 라우팅이 깨지는 식입니다.
SLATE 서버의 Reconciler는 제어 루프를 돌며 이 상태를 복구합니다. routing-override에는 정상인 SUT의 최신 주소가 있어야 하고, 사용자 연결·해제 결과도 config-cache에 반영되어 있어야 합니다. 중복되거나 오래된 SUT, 비정상 SUT는 종료 대상입니다. Reconciler가 유지하는 안전한 상태는 이 조건들이 맞는 상태입니다.
서버는 환경마다 장애를 견디는 분산 Cadence 워커를 두고, 그 안에서 Reconciler를 실행합니다. 같은 워커의 Builder는 Uber 빌드 시스템으로 서비스 이미지를 만들고, Deployer는 자원 스케줄러 Peloton에서 배포할 인스턴스를 확보합니다. 사용자 연결과 해제는 Associator가 담당하며 config-cache의 user-ID 매핑을 만들거나 삭제합니다.
개발자가 이 작업들을 요청하는 창구는 SLATE CLI입니다. CLI는 서버의 컨트롤러 API를 호출합니다. 컨트롤러는 환경의 생성·조회·수정·삭제와 복제, 서비스 배포와 상태 조회, 사용자 연결·해제와 목록 조회를 제공합니다.
뉴델리의 테스트 드라이버까지 담은 golden SLATE 환경
새 기능마다 E2E 테스트 코드를 작성하려면 시간이 듭니다. SLATE는 cURL이나 스크립트 같은 API 클라이언트로도 SUT를 호출하고, 모바일 앱으로도 기능을 시험하게 했습니다. 사용자 연결과 테넌시 라우팅 덕분입니다. 테스트에 사용할 클라이언트가 넓어지면서 개발자 경험과 속도가 크게 나아졌고, 서드파티 고객용 샌드박스와 섀도 테스트라는 용도도 생겼습니다.
환경을 반복해서 구성하는 작업은 환경 워커의 Automator가 처리합니다. CLI 명령 모음을 YAML로 정의해 한꺼번에 적용하는 방식입니다. 같은 파일을 여러 번 적용해도 되며, 서비스나 테스트의 추가·삭제, 설정 변경도 반영합니다. 미리 정한 테스트나 스크립트를 주기적으로 실행해 시간이 흐르며 생기는 회귀를 찾고, 주요 이벤트는 Slack으로 알릴 수도 있습니다.
팀에서 자주 쓰는 구성은 golden SLATE 환경으로 준비합니다. 함께 배포할 서비스뿐 아니라 TestAccounts로 만든 맞춤 테스트 프로필까지 담습니다. 서류 검증을 마쳤고 현금 결제만 받는 인도 뉴델리의 드라이버가 그 예입니다. 환경 준비가 끝나면 실행할 sanity 테스트와 주기적인 회귀 테스트도 포함할 수 있습니다.
팀원은 slate clone 명령으로 이 환경을 복제합니다. 테스트 사용자와 서비스 구성을 처음부터 준비하는 대신, 팀이 마련한 환경에서 빠르게 테스트를 시작하는 방식입니다.
배포 뒤 문제를 찾을 도구도 갖췄습니다. SUT는 운영 인스턴스와 비슷한 로깅·트레이싱·모니터링을 제공하므로 테스트 중 생긴 문제를 빠르게 디버깅할 수 있습니다. 앞서 살펴본 라우팅 커버리지 관측은 요청이 실제로 SUT를 거쳤는지 확인해 테스트 결과에 대한 신뢰를 뒷받침합니다.
SUT를 여러 인스턴스로 띄우는 부하 테스트 실험
여기서 설명한 SLATE는 환경마다 서비스 인스턴스를 1개만 둡니다. 글이 나온 시점에 Uber는 성능이 중요한 기능의 부하 테스트를 위해 SUT를 여러 인스턴스로 배포하는 방식을 실험하고 있었습니다.
일부 팀은 스테이징 환경을 SLATE로 대체하는 시도도 하고 있었습니다. 별도 스테이징을 유지하는 비용을 줄이고 개발 효율을 높이려는 시도였습니다.
SLATE 설정과 구성
| 항목 | 값 |
|---|---|
| 환경 TTL | 기본 2일 |
| 환경당 서비스 인스턴스 | 서비스당 버전 1개, 인스턴스 1개 |
| 테넌시 헤더 | Jaeger Baggage 키 request-tenancy, 형식 uber/test/slate/<환경> |
| 라우팅 정보 헤더 | Jaeger Baggage 키 routing-overrides |
| routing-override 내용 | SUT의 IP와 tchannel, HTTP2, HTTP 포트 |
| 자원 격리 설정 파일 | slate.yaml (SUT 런타임 환경은 SLATE) |
| 환경 복제 명령 | slate clone |
| 환경 워커 구성 | Builder, Deployer(Peloton), Associator, Reconciler, Automator |