목차
재시도로 버티던 CI를 바꾼 우버의 Testopedia (2024-06)
원문 정보
- 원문: Flaky Tests Overhaul at Uber
- 매체 · 게시일: Uber Engineering Blog · 2024-06-04
- 저자: Xiaoyang Tan(Sr. Software Engineer, Developer Platform 팀), Yushan Lin(Software Engineer, Developer Platform 팀), Sergey Balabanov(Principal Software Engineer, Developer Productivity)
- 원문 내용을 바탕으로 재구성한 요약입니다.
실패 하나에 줄줄이 막히던 SubmitQueue
우버 개발자들은 CI가 green이 될 때까지 빌드를 계속 다시 돌리게 될 수 있었습니다. 같은 조건에서 실패했다가 재시도하면 통과하는 flaky test, 곧 불안정 테스트 때문입니다. 하루 2,500개 이상의 diff(풀 리퀘스트)를 검증하고 diff당 평균 1만 개 넘는 테스트를 실행하는 환경에서, 반복 재시도는 개발자의 시간과 CI 자원을 계속 소모했습니다.
문제는 실패한 변경에 그치지 않았습니다. SubmitQueue의 추측 실행(speculation) 아키텍처에서는 리비전 하나가 실패하면 큐에 있는 다른 리비전의 검증도 연쇄로 무효가 될 수 있습니다. 저장소 여러 곳을 건드려 모든 테스트를 실행해야 하는 변경은 반영하기가 특히 고통스러웠습니다. main 브랜치를 늘 green으로 유지해 개발자의 신뢰를 지키려 했지만, 불안정 테스트 때문에 버그 하나가 더 많은 버그로 번지는 상황이었습니다.
우버는 이미 몇 년 전부터 이 문제를 다뤘고, Java 모노레포에서는 임시 해법으로 성과도 냈습니다. 한계는 가장 크고 사용자도 가장 많은 Go 모노레포에 CI를 적용하면서 드러났습니다.
기존 서비스는 과거 실행 기록의 일정 구간을 보고 테스트를 분류했습니다. 그런데 어떤 기록을 살폈는지, 왜 그런 판정을 내렸는지가 보이지 않았습니다. 오분류를 발견해도 사람이 직접 분류를 바꿔야 했습니다. 분석 전략은 슬라이딩 윈도 하나뿐이고, 테스트 모델은 Java의 스위트·파라미터·애너테이션을 전제로 했습니다. 다른 언어가 같은 개념을 제공한다는 보장은 없었습니다.
서비스와 CI의 역할도 복잡하게 얽혔습니다. serial과 parallel 개념에 따라 저장소마다 CI가 다르게 대응해야 했고, 서비스 하나가 분류부터 상태 전이, CI 복구, 알림까지 맡았습니다. 여러 저장소에 통하는 범용성을 유지하면서 불안정을 빠짐없이 잡기가 어려웠습니다. 저장소 사이에 테스트 소유권을 어떻게 정의할지도 합의되지 않아, CI에서 무시한 테스트가 담당자도 추적 기록도 없이 남았습니다.
FQN으로 통일한 Testopedia의 테스트 단위
새로 만든 Testopedia는 테스트 결과를 보고하는 쪽과 CI처럼 그 결과를 사용하는 쪽 사이에 둔 독립 서비스입니다. 우버가 실행하는 모든 테스트의 신뢰성과 실행 시간을 추적하고, 소비자가 대응을 결정할 맥락을 제공합니다. 불안정성을 제어하는 일과 지연을 관리하는 일이 모두 이 서비스의 범위입니다.
Testopedia가 다루는 테스트 단위는 하나입니다. 고유한 문자열인 FQN(Fully Qualified Name)으로 식별하는 ‘테스트 엔티티’입니다. 그것이 Java의 테스트 스위트인지 Go의 서브테스트인지는 각 플랫폼이 결정합니다. 서비스는 FQN의 이력을 분석하고 상태를 관리하는 데 집중합니다.
FQN은 사용 영역을 뜻하는 realm으로 묶습니다. Golang 단위 테스트, Java 단위 테스트, Docker 통합 테스트처럼 나눌 수 있으며, 각 realm은 플랫폼 팀이 소유합니다. FQN 맨 앞에는 golang.unit_test나 android.integration_test 같은 realm 이름이 옵니다. 나머지 형식은 소유 팀이 자유롭게 정합니다. 보통 테스트 코드의 파일 경로를 본뜨므로 이름이 URL처럼 생겼습니다.
우버는 주요 언어마다 모노레포와 전용 CI를 운영합니다. 각 저장소는 자기 realm과 FQN 형식을 정하고, 모니터링 잡에서 테스트 이력을 보냅니다. 리포터와 Testopedia가 함께 지켜야 할 것은 정해진 범용 스키마뿐입니다. 언어별 테스트 모델에 서비스 로직을 맞출 이유가 사라졌습니다.
실행 결과는 파일이나 스트림으로 받습니다. 대량 수집을 맡는 import API에는 gRPC 스트리밍을 사용했습니다. 긴 연결을 유지하면서 스레드 풀이 스트림을 소비하므로, 클라이언트와 서버 양쪽에서 병렬로 처리할 수 있습니다. 주기 실행 잡과 일반 검증 잡의 결과에는 각각 출처 태그가 붙고, 분석기는 이 이력을 받아 자기 전략대로 판정합니다.
조회하는 쪽에는 개별 테스트와 그룹의 통계, 상태 변화 기록을 제공합니다. 불안정 여부뿐 아니라 신뢰성, 데이터의 최신성, 집계한 실행 시간, 과거 실행 이력과 메타데이터도 확인할 수 있습니다. 테스트를 비활성화·활성화·삭제하는 관리 작업도 지원합니다. 분석기와 티켓 발행 방식, 테스트·이력 저장소는 공통 로직 밖에서 설정하거나 교체하도록 나눴습니다.
자원을 제한한 실행까지 살피는 Go 분석기
불안정 테스트는 다른 개발자의 작업까지 방해하기 전에 잡아야 합니다. 그렇다고 실패에 지나치게 엄격해서도 곤란합니다. CI가 너무 많은 테스트를 건너뛰면 테스트가 코드를 보호하는 범위까지 줄어듭니다. Testopedia는 이 균형을 realm마다 조정하도록 했습니다.
Go 모노레포에서는 main 브랜치의 모든 테스트를 주기적으로 실행하되, 일부러 자원을 제한합니다. 자원에 민감한 테스트의 불안정성을 드러내려는 실행입니다. 결과를 가공 없이 Testopedia로 보내면 기본 선형 분석기가 이력에 따라 상태를 정합니다.
기본 규칙은 최근 X번 실행에서 한 번이라도 실패하면 unstable로 분류하는 것입니다. 여기에는 타임아웃을 위한 여지가 있습니다. 자원이 부족한 머신에서는 테스트 자체에 잘못이 없어도 타임아웃이 나므로, 테스트마다 허용치 M을 둡니다.
한 번 통과했다고 바로 복귀하지도 않습니다. stable이 되려면 N번 연속 통과해야 합니다. 계속 실패하는 테스트는 실제 버그로 표시해 사용자에게 알립니다. 간헐적인 실패와 지속적인 실패를 같은 문제로 취급하지 않으려는 규칙입니다.
평소 변경을 반영하는 landing CI 파이프라인의 결과도 받습니다. 이 파이프라인에는 재시도 로직이 있어서, 처음 실패한 테스트가 동일한 조건의 재시도에 통과하면 불안정하다는 증거가 됩니다. 주기 실행 결과와는 다른 출처 라벨을 붙입니다. 분석기는 라벨을 구분해 두 스트림이 서로의 판정에 간섭하지 않도록 처리합니다.
Go의 규칙을 모든 테스트에 강제하지는 않습니다. realm 소유자는 기본 선형 분석기를 쓰거나 공통 인터페이스에 맞춰 다른 분석기를 구현할 수 있습니다. 실행 결과, 조회 기간, 임계값, 상태 패턴을 조합해 자기 테스트에 맞는 규칙을 정합니다.
통합 테스트가 그 예입니다. 타임아웃과 불안정성이 더 잦아, 최근 N번 실행에서 실패 비율이 임계값을 넘을 때 불안정으로 분류하는 비율 기반 분석기를 따로 구현했습니다. 특정 에러 메시지를 살피거나 타임아웃에 민감하게 반응하는 분석기, 실패 추세를 감지하는 분석기도 같은 자리에 넣을 수 있습니다.
수정 검증을 위해 예외를 둔 CI 실행 정책
불안정하다고 판정한 뒤에도 선택이 남습니다. 모노레포에서는 큰 diff와 무관한 테스트 실패 하나 때문에 잡 전체를 다시 빌드해야 할 수 있습니다. 그래서 기본 방침은 CI에서 불안정 테스트를 실행하지 않는 것입니다.
건너뛰기만 하면 수정도 검증할 수 없습니다. 개발자가 불안정한 테스트를 고쳐 올려도 CI가 계속 무시하면 제대로 고쳤는지 알 수 없고, 테스트를 더 망가뜨려도 드러나지 않습니다. 우버는 실행 정책에 예외를 뒀습니다.
critical로 표시한 테스트는 불안정 여부와 관계없이 실행- diff에 태그나 키워드를 붙이면 건너뛰기를 해제하고 실행
- 통합 테스트 같은 나머지 불안정 테스트는 CI를 막지 않는 참고용 FYI 모드로 실행
실제로 테스트를 제외하는 방법은 realm 소유자가 구현합니다. Golang과 Java는 테스트 러너의 동작 방식이 달라 필터도 달라집니다. Go 모노레포에서는 불안정한 테스트 타깃의 실행을 제외하면서도 빌드가 되는지는 확인합니다.
타깃 안의 일부 케이스만 불안정하면 더 좁게 제외해야 합니다. 나머지 케이스는 여전히 유용하기 때문입니다. 우버는 rules_go에 Go 1.20의 -skip 플래그와 TESTBRIDGET_TEST_ONLY 환경 변수 파싱을 이용해 케이스를 건너뛰는 기능을 구현했습니다. 불안정 테스트 정보는 Bazel 룰 입력에서 분리했습니다. 이렇게 해야 불안정 여부가 바뀌어도 테스트 캐시를 안정적으로 유지할 수 있습니다.
수백만 테스트에서 경로를 찾는 MySQL 버킷
CI가 테스트를 건너뛰려면 먼저 자기 잡에 해당하는 불안정 테스트를 알아야 합니다. 모노레포 CI는 경로 접두사로 작업을 나눠 병렬 실행하므로, 잡마다 특정 폴더 아래의 테스트만 조회하면 됩니다. golang.unit/src/uber.com/infrastructure/*처럼 접두사로 범위를 지정하는 요청을 Testopedia에서는 cone 쿼리라고 부릅니다.
전체 스캔으로는 느립니다. 추적하는 테스트가 수백만 개이기 때문입니다. 그렇다고 고정 길이의 접두사로 샤딩하기도 어렵습니다. 쿼리는 golang.unit/a/b/c/*, golang.unit/a/b/*, golang.unit/a/*처럼 서로 다른 깊이로 들어옵니다.
우버는 경로와 저장 위치 사이에 접두사 테이블을 뒀습니다. 경로는 관련 버킷을 찾는 데 쓰고, 실제 FQN은 버킷 ID를 기준으로 나눠 저장합니다. realm마다 접두사를 기록할 깊이와 버킷 수를 정할 수 있습니다.
새 FQN인 golang.unit/a/b/c/d:test가 들어오면 임의의 정수 버킷 ID를 배정합니다. 여기서는 10입니다. realm을 떼고 설정된 깊이까지 접두사를 구하는데, 깊이가 3이면 a/b/c, a/b, a입니다. 접두사 테이블의 각 항목에 버킷 ID 10을 추가합니다. 예를 들어 a/b/c에 연결된 버킷이 없었다면 [10]이 되고, a/b의 목록이 [2]였다면 [2, 10]이 됩니다. FQN 자체는 버킷 ID로 파티션한 FQN 테이블에 저장합니다.
읽기는 이 연결을 따라갑니다. golang.unit/a/b/* 요청에서 realm과 접두사 a/b를 구한 뒤, 접두사 테이블에서 버킷 목록 [2, 10]을 찾습니다. 이어서 파티션 키로 FQN 테이블을 조회하고, 가져온 레코드 중 쿼리 조건에 맞는 것만 남깁니다. 버킷별 조회는 빠르고 병렬 처리도 가능합니다.
더 깊은 경로를 요청할 수도 있습니다. 깊이를 3으로 설정했다면 golang.unit/a/b/c/d/e/* 요청도 a/b/c에서 접두사 탐색을 멈춥니다. 이 예에서는 버킷 10의 레코드를 모두 읽은 다음 요청한 경로로 걸러냅니다. 접두사를 무한히 기록하는 대신, 설정한 깊이 아래에서는 더 넓은 범위를 읽는 방식입니다.
임의로 배정한 버킷 ID 덕분에 데이터는 저장소의 디렉터리 배치와 무관하게 고르게 퍼집니다. 버킷을 서로 다른 데이터베이스 서버에 둘 수 있어 거의 제한 없이 확장할 수 있습니다. 전체를 훑는 대신 관련 버킷만 읽게 되면서, 일반적인 다중 샤드 MySQL로도 복잡한 cone 쿼리를 1초 미만의 지연으로 처리할 수 있다고 설명합니다.
수정할 팀과 기한이 명시된 JIRA 티켓
CI에서 불안정 테스트를 제외해도 그 테스트를 고치는 일은 남습니다. 기존 서비스에서는 소유권이 불분명해 무시한 테스트가 방치됐습니다. Testopedia는 불안정 판정을 소유 팀에 보내는 기한 있는 JIRA 티켓으로 연결했습니다.
이 연결을 관리하는 것은 유한 상태 기계(FSM)입니다. 테스트 상태는 new, stable, unstable, disabled, deleted이며, 상태에 들어가거나 나올 때 실행할 동작을 지정합니다. unstable에 진입하면 티켓 발행을 요청하고, stable이나 deleted로 바뀌면 티켓을 닫습니다. 상태별 동작을 FSM에 모아 반복해서 작성하고 유지할 코드를 줄였습니다.
판정 근거도 함께 남습니다. 모든 상태 전이와 관련 잡, 메타데이터를 기록하므로 소유자는 언제 어디서 실패했는지, 어떤 에러였는지, 얼마나 자주 발생했고 어느 커밋과 연결되는지 살펴볼 수 있습니다. 이 기록 위에 CLI와 웹 UI를 만들었습니다. 결과만 보고 수동으로 분류를 바꾸던 때와 달리, 상태가 바뀐 이유를 추적할 수 있게 됐습니다.
티켓 발행은 비동기로 처리합니다. realm마다 수천 개의 테스트가 있는데 판정할 때마다 JIRA나 Slack을 동기 호출하면 응답 지연과 비용이 너무 큽니다. 분석기가 테스트를 불건강으로 판정하면 DB를 갱신하고 해당 테스트를 큐에 넣습니다. Cadence 워크플로우가 주기적으로 큐의 테스트를 검토한 뒤 JIRA를 호출해 소유 팀에 티켓을 만듭니다.
FQN 하나마다 티켓을 만들지도 않습니다. Bazel 테스트 타깃에는 여러 케이스가 있고 각각을 별도 FQN으로 추적하지만, 비슷한 테스트는 묶어서 티켓 하나를 발행합니다. 빌드 타깃이나 정규식으로 그룹을 정해 알림 소음을 줄입니다. 그룹 규칙과 티켓 유형, 우선순위, 설명 템플릿은 모두 설정 대상입니다. 티켓 도구 역시 JIRA나 Phabricator 등으로 교체할 수 있습니다.
주요 모노레포에서 줄어든 CI 재시도
우버의 주요 모노레포는 모두 Testopedia를 도입했습니다. Go 모노레포에서는 전체 60만 개 테스트 중 약 1,000개의 불안정 테스트를 꾸준히 찾아내고 있으며, Java에서는 35만 개 중 1,000개를 탐지합니다.
CI 신뢰성은 크게 좋아졌고 재시도도 크게 줄었습니다. 필요한 정보를 담은 Jira 티켓으로 소유 팀이 수정하도록 계속 추적한 일은, 늘기만 하던 불안정 테스트 수의 증가세를 되돌리는 데 크게 도움이 됐습니다. 우버는 주요 모노레포를 모두 도입한 뒤 시스템이 어느 때보다 안정적이라고 평가했습니다.
주요 수치와 판정 기준
| 항목 | 값 |
|---|---|
| 일일 검증 diff | 2,500개 이상 |
| diff당 평균 테스트 수 | 1만 개 이상 |
| 테스트 상태 | new, stable, unstable, disabled, deleted |
| cone 쿼리 접두사 깊이 | 설정값(예시 3) |
| 선형 분석기 규칙 | 최근 X번 구간에서 1회 실패 시 unstable, 타임아웃 허용 M, stable은 N회 연속 통과 |
| 비율 기반 분석기 | 최근 N번 실행의 실패율이 임계값 초과 시 flaky |
| Go 모노레포 탐지 | 전체 약 60만 개 중 약 1,000개 |
| Java 모노레포 탐지 | 전체 약 35만 개 중 약 1,000개 |
| 쿼리 지연 | 다중 샤드 MySQL로 cone 쿼리 1초 미만 |
수정안 자동 생성을 향한 GenAI 구상
우버가 이후 과제로 제시한 것은 쌓인 이력을 수정안 생성에 쓰는 일입니다. 테스트의 과거 기록과 다른 테스트의 실패 패턴을 사내 GenAI 연동에 활용해, 소유 팀의 입력을 최소화하면서 수정안을 자동 생성하는 방안을 구상하고 있습니다.
실패 원인을 더 잘게 분류하는 계획도 있습니다. 현재 FSM은 범용 상태만 제공하고 세부 분류는 realm에서 명시적으로 처리합니다. 에러 로그와 유형, 테스트 환경, 실패한 코드의 맥락을 AI가 분석해 하위 분류를 만들면 문제를 더 효율적으로 좁힐 수 있다는 구상입니다.