본문으로 건너뛰기
프로덕션을 나눠 E2E 테스트를 앞당긴 Uber의 BITS
목차

프로덕션을 나눠 E2E 테스트를 앞당긴 Uber의 BITS (2024-08)

원문 정보

  • 원문: Shifting E2E Testing Left at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2024-08-22
  • 저자: Quess Liu(Senior Staff Engineer, Developer Platform 팀), Daniel Tsui(Senior Engineering Manager, Developer Platform 팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

머지 전에 거치는 Uber Eats 그룹 주문

Uber Eats에서 여러 사람이 함께 주문하는 흐름을 코드가 머지되기 전에 실행합니다. Uber의 BITS가 돌리는 E2E 테스트는 이런 실제 사용자 흐름을 처음부터 끝까지 따라가는 테스트입니다. 수천 개의 테스트가 시도당 평균 90% 이상 통과하며, 모든 diff마다 머지 전에 실행할 만큼 빠릅니다.

검증 대상은 서비스 1,000개 이상으로 이루어진 핵심 백엔드 시스템의 모든 코드·설정 변경입니다. 팀은 diff 1,000건당 인시던트를 추적했고, 2023년에 이 수치를 71% 줄였습니다. 출발점은 사뭇 달랐습니다. E2E 테스트는 개발자들이 가장 힘들어하는 일이었고, 그만큼 자주 건너뛰는 일이기도 했습니다.

단위 테스트 밖에 남은 사용자 기능

몇 해 전까지 Uber는 주로 점진적 롤아웃과 프로덕션 프로빙·알림으로 회귀를 잡았습니다. 타당한 방법이었지만 운영 비용이 컸고, 놓치는 문제도 많았습니다. 발견 뒤의 부담도 컸습니다. 개발자가 잘못된 변경을 이분 탐색으로 찾아낸 다음, 전체 과정을 처음부터 다시 거쳐야 했습니다. 문제를 더 일찍 발견하는 쪽으로, 개발 과정의 왼쪽으로 검증 시점을 옮기려던 이유입니다.

장애 포스트모템에는 테스트가 거의 없었던 변경이 자주 등장했습니다. 기본적인 단위 테스트 몇 개가 전부였고, 그마저 목(mock)에 크게 의존해 실제로 얼마나 보호해 주는지 불분명했습니다. 비즈니스 로직이 여러 마이크로서비스에 흩어져 있으니 서비스 하나 안에서 기능을 검증하려면 나머지를 과도하게 목으로 대신해야 했습니다. 제대로 검증하려면 E2E 테스트를 택할 수밖에 없는 환경이었습니다.

그렇다고 처음부터 E2E 테스트에 크게 의존할 계획이 있었던 것은 아닙니다. Uber에서 의미 있는 사용자 기능을 제공하는 가장 작은 모듈 집합은 흔히 수십 개 서비스에 걸쳐 있습니다. 고전적인 테스트 피라미드에 맞추려는 시도는 이 환경에서 통하지 않았습니다. 마이크로서비스 중심의 아키텍처와 이미 해 둔 멀티 테넌시 투자가 E2E 테스트를 가장 나은 선택으로 만들었습니다.

필요하다고 해서 쓰기 쉬워지지는 않았습니다. 사내 NPS 조사에서 E2E 테스트는 개발자가 가장 힘들어하는 일로 꾸준히 꼽혔습니다. 2015년 글 “Just Say No To More End-To-End Tests”가 지적한 유지보수 부담, 높은 작성 비용, 불안정성, 느린 실행, 어려운 디버깅을 Uber도 모두 겪었습니다.

로컬 머신을 벗어나도 남은 간섭

초기에는 Docker Compose로 관련 서비스와 데이터 저장소를 로컬에 모두 띄우는 팀들이 있었습니다. 처음에는 통했습니다. 서비스가 늘면서 실행할 컨테이너 수도 불어났고, 어느 복잡도를 넘자 한 머신에서 테스트 환경 전체를 유지하는 비용을 감당하기 어려워졌습니다.

다음 선택은 공유 스테이징이었습니다. 로컬 머신의 한계는 벗어났지만, 이번에는 개발자 한 명이 잘못된 변경을 배포하면 같은 환경을 쓰는 모두가 막혔습니다. 테스트할 수 있는 상태를 유지하는 일부터 어려웠습니다. 몇몇 팀이 롤아웃을 직접 조율할 수 있는 작은 영역에서만 이 방식이 통했습니다.

필요한 환경은 개별 변경을 다른 사람과 간섭 없이 시험할 수 있는 곳이었습니다. 그렇다고 사용자 기능에 필요한 서비스와 데이터 저장소를 매번 로컬에 전부 띄우는 방식으로 돌아갈 수도 없었습니다.

프로덕션을 나눠 쓰는 BITS

Uber는 전사 이니셔티브인 BITS(Backend Integration Testing Strategy)로 프로덕션을 나눠 쓰는 방식을 택했습니다. 필요할 때 테스트 샌드박스를 배포하고, 테스트 트래픽을 그곳으로 라우팅합니다. 개별 커밋을 머지 전에 병렬로 검증하면서도 다른 테스트나 사용자에게 간섭하지 않도록 만드는 방식입니다.

같은 서비스를 지나도 구분되는 데이터

프로덕션 서비스는 실제 사용자 트래픽과 테스트 트래픽을 모두 받습니다. 대부분의 API는 사용자 계정 같은 엔티티를 범위로 삼으므로, 테스트 사용자를 쓰면 부작용도 그 계정 안에 머뭅니다. 매칭 알고리즘이나 Eats 쇼핑처럼 엔티티를 넘나드는 상호작용에는 추가 격리 전략이 필요합니다.

요청에는 tenancy 식별자를 붙입니다. 서비스는 대체로 이 식별자에 따라 스토리지 클라이언트가 테스트 트래픽을 논리적으로 분리된 데이터 저장소로 보내게 합니다. 또는 프로덕션 DB에 tenancy 컬럼과 함께 데이터를 저장합니다. 같은 DB를 쓰는 경우에는 범위 쿼리에도 tenancy 식별자를 전달해 데이터를 필터링합니다.

테스트 트래픽만 들어가는 샌드박스

프로덕션 서비스가 테스트 트래픽을 받더라도, 테스트 샌드박스는 프로덕션 트래픽을 받지 않습니다. 샌드박스와 테스트 트래픽의 신원은 SPIFFE와 SPIRE로 강하게 검증합니다. 포워딩 프록시는 요청을 검사해 라우팅 오버라이드가 있으면 조건부 P2P 리다이렉트를 수행합니다.

이 경로는 서비스 호출을 따라 이어져야 합니다. 라우팅 오버라이드 헤더를 컨텍스트 배기지로 인코딩하고, RPC와 클라이언트 미들웨어에 구현한 OpenTelemetry로 서비스 사이에 전파합니다.

메시지 전달에도 같은 격리가 필요합니다. Uber는 Apache Kafka 프로토콜을 consumer proxy로 감싸 메시지를 gRPC 기반의 푸시 방식으로 전달합니다. 덕분에 메시지를 테스트 샌드박스로 라우팅할 수 있고, 샌드박스가 실수로 프로덕션 토픽을 폴링하는 일도 막습니다.

테스트에서 만든 Cadence 워크플로는 샌드박스 안에 격리하며, 샌드박스는 프로덕션 리더 선출에 참여하지 않습니다. 지표와 로그에는 tenancy 태그를 붙여 테스트에서 나온 기록을 필터링할 수 있게 합니다.

배포부터 정리까지 이어지는 Cadence 워크플로

BITS는 이 인프라를 조율하는 Cadence 워크플로의 집합입니다. 재시도와 워크플로 상태, 리소스 정리용 타이머를 Cadence로 다룹니다. CI 워크플로는 필요한 서비스와 테스트를 선택한 뒤 샌드박스를 빌드·배포하고, 테스트 실행을 스케줄하며, 결과를 분석해 보고합니다.

컨테이너 자원과 실행 순서는 프로비저닝 워크플로가 제어합니다. CI 큐는 네트워크 사용량이 많은 작업과 CPU 사용량이 많은 작업처럼 워크로드의 특성에 맞춰 조정되어 있습니다. 프로비저닝 워크플로는 이 큐들에 걸쳐 컨테이너의 리소스 사용과 작업 스케줄링을 관리합니다.

이 기반은 수동 검증에도 쓰입니다. Uber가 앞선 글에서 소개한 SLATE는 BITS의 인프라 기본 요소로 만든 수동 새니티 테스트 프로젝트입니다.

변경과 테스트를 연결하는 Jaeger 트레이스

서비스 하나가 바뀌었을 때 어떤 테스트를 돌릴지는 실행 기록에서 찾습니다. BITS는 모든 테스트 실행을 Jaeger로 강제 샘플링해 트레이스를 남깁니다. 그 기록으로 각 테스트가 지나간 서비스·엔드포인트와, 각 서비스·엔드포인트를 검증하는 테스트를 찾아볼 수 있는 인덱스를 만듭니다.

인덱스는 팀별 엔드포인트 커버리지를 계산하는 근거입니다. 더 큰 쓰임은 테스트 선택에 있습니다. 서비스 변경이 들어오면 어떤 테스트가 그 서비스를 거치는지 알아내 실행할 테스트를 고릅니다. 개발자는 UI에서 테스트 스위트를 실시간으로 관리하면서 테스트를 일시 중단하거나, 상태와 엔드포인트 커버리지를 확인합니다.

코드만 검사해서도 충분하지 않았습니다. Uber에서는 설정 변경이 사고의 최대 30%를 일으킵니다. BITS는 가장 큰 백엔드 설정 관리 시스템인 Flipr의 설정 롤아웃도 테스트합니다.

여러 여정의 상태를 조합하는 CTF

여기까지의 인프라 구축은 오히려 쉬운 부분이었습니다. 개발자는 생산성과 개발 경험이 나빠지는 데 민감했습니다. 테스트 환경을 제공한 뒤에도 테스트를 작성하고 유지하는 부담, 실패를 조사하는 비용을 줄여야 했습니다.

여정의 상태부터 간단하지 않습니다. 기사가 현재 승객의 하차를 마치기 전에 다음 픽업 요청을 받는 forward dispatch나, 가는 길에 다른 승객을 태우는 합승을 테스트한다면 각 동작이 트립 상태에 미치는 영향을 표현해야 합니다.

이를 위해 만든 도구가 CTF(Composable Testing Framework)입니다. 개별 동작과 흐름을 조합하고, 각 동작의 부작용을 중앙에서 관리하는 트립 상태에 반영하도록 모델링하는 코드 수준 DSL입니다. 원래 Fulfillment 재설계를 검증하려고 만들었고, 이후 전사로 사용이 퍼졌습니다.

테스트를 등록하고 추적하는 과정도 자동화했습니다. 테스트 케이스가 머지되면 데이터 저장소에 등록되고, 개발자는 과거 통과율과 흔한 실패 이유, 소유자 정보를 확인합니다. 반복되는 실패는 묶어서 집계하므로 함께 조사할 수 있습니다.

여기에는 팀 사이의 소통도 걸려 있습니다. Uber의 기능 대부분은 여러 팀의 긴밀한 협업을 요구하며, E2E 테스트는 독립된 팀 사이의 소통을 강제하는 계약입니다. 사람이 하는 소통인 만큼 이 계약도 흔들립니다. 테스트는 인프라와 코드만의 문제가 아니었습니다.

300개를 함께 돌릴 때의 신뢰도

테스트 작성자는 main을 상대로 시도당 90% 이상 통과하도록 테스트를 만들어야 합니다. 플랫폼은 재시도를 적용해 이를 99.9%까지 끌어올립니다. 작성자가 확보할 기본 통과율과 플랫폼이 재시도로 높일 통과율을 나눠 둔 기준입니다.

개별 테스트의 통과율만 보면 충분해 보여도, 여러 개를 묶어 돌리면 실패가 문제가 됩니다. 가장 큰 서비스의 테스트는 300개였습니다. 원문은 이 사례에서 테스트별 시도당 통과율이 90%일 때 비결정성 때문에 하나라도 실패할 확률을 26%로 제시합니다. Uber는 이 300개 테스트의 통과율을 95%로 높였고, 재시도를 거쳐 99% 이상의 신호를 얻었습니다.

이런 실행은 하루에도 수천 번 반복됩니다. E2E 테스트는 안정적일 수 없다는 통념과 달리, Uber에서는 반복해서 쓸 수 있는 검증 수단이 되었습니다. 속도도 머지 전 실행을 뒷받침합니다. 테스트가 Uber API를 직접 호출하므로 대부분 1분 안에 끝납니다.

최신 main과 나란히 돌리는 플라시보

실패를 줄이는 것만으로는 부족합니다. 테스트가 실패했을 때 개발자가 무엇을 고쳐야 하는지도 드러나야 합니다. BITS는 모든 테스트 실행과 함께 최신 main을 배포한 샌드박스에서도 같은 테스트를 병렬로 실행합니다. 이 실행이 대조군인 플라시보(placebo)입니다.

변경을 적용한 실행과 플라시보의 결과를 조합하면 단순한 통과·실패보다 많은 정보를 담은 진리표가 됩니다. 재시도를 거친 뒤에는 비결정적 실패가 드뭅니다. 따라서 프로덕션이나 테스트가 이미 깨져 있는지, 이번 변경이 결함을 만들었는지를 구분하고 그에 맞는 조치를 취할 수 있습니다.

고장 난 테스트가 계속 머지를 막는 문제도 남습니다. 관찰한 테스트 통과율은 이봉 분포였습니다. 대다수는 매우 안정적이고 일부는 계속 실패하며, 비결정적으로 통과하거나 실패하는 테스트는 그보다 더 적었습니다. 계속 실패하는 테스트 하나만으로도 CI/CD 전체가 막힐 수 있었습니다.

BITS는 플라시보 통과율이 90% 아래로 떨어지면 해당 테스트를 자동으로 비차단 상태로 전환합니다. 실패해도 진행을 막지 않도록 바꾸고, 소유 팀에는 티켓과 알림을 보냅니다. 비즈니스상 중요도가 높은 핵심 흐름과 컴플라이언스 테스트는 이 자동 전환에서 명시적으로 제외합니다.

원문의 주요 수치
항목값
변경을 관문으로 막는 핵심 백엔드 서비스1,000개 이상
E2E 테스트수천 개, 시도당 평균 통과율 90% 이상
테스트 작성자 기준 통과율main 대비 시도당 90% 이상
재시도 후 플랫폼 신호99.9%
가장 큰 서비스의 테스트 수300개
테스트 90% 통과 시 한 개라도 비결정적 실패 확률26%
같은 서비스의 개선 결과테스트 통과율 95%, 재시도 후 99% 이상
자동 비차단 전환 기준플라시보 통과율 90% 미만
설정 변경이 일으키는 사고 비중최대 30%
diff 1,000건당 인시던트2023년에 71% 감소
마지막 수정 일자