목차
PR을 막지 않고 Go 데이터 레이스를 찾아내는 Uber (2022-04)
원문 정보
- 원문: Dynamic Data Race Detection in Go Code
- 매체 · 게시일: Uber Engineering Blog · 2022-04-28
- 저자: Murali Krishna Ramanathan(Senior Staff Software Engineer), Milind Chabbi(Senior Staff Researcher, Programming Systems Research)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Go 레이스로 멈춰 선 고객 서비스
데이터 레이스는 되풀이되는 장애 원인이었습니다. Uber의 핵심 고객 서비스가 이 문제로 멈춘 시간을 합하면 몇 시간에 달했고, 고객 불편과 매출 손실로 이어졌습니다. 개발 환경에서 레이스를 지속적으로 찾아 고칠 방법이 필요했습니다.
Go는 Uber가 마이크로서비스의 주 언어로 쓰는 언어입니다. Go 모노레포에는 약 5천만 줄의 코드와 고유한 Go 서비스 약 2,100개가 있습니다. 함수 호출 앞에 go만 붙이면 비동기로 실행되는 고루틴이 생깁니다. 런타임이 여러 고루틴을 OS 스레드에 나누어 실행하는 방식입니다. 고루틴은 가볍습니다. 개발자들은 IO나 다른 서비스로 보내는 RPC의 지연을 감추려고 고루틴을 아낌없이 만듭니다.
고루틴끼리는 채널로 메시지를 주고받거나 메모리를 공유하는데, Uber에서 가장 흔한 방식은 공유 메모리입니다. 둘 이상의 고루틴이 같은 메모리 위치에 접근하고, 그중 하나 이상이 쓰기이며, Go 메모리 모델상 접근 사이에 순서가 없으면 데이터 레이스가 생깁니다.
무관한 PR까지 막을 수 있는 Go 탐지기
Uber는 코드 스냅샷을 주기적으로 검사하기로 했습니다. 저장소의 10만 개가 넘는 Go 단위 테스트를 모두 레이스 탐지 모드로 실행하되, 탐지 결과로 PR을 차단하지는 않는 방식입니다. 버그를 일찍 찾는 데 쓸 도구를 PR 통과 조건으로 삼지 않은 데는 이유가 있었습니다.
Go 내장 탐지기는 컴파일할 때 공유 메모리 접근과 동기화 구문을 계측하고, 실제 실행을 분석합니다. 내부에서는 락셋(lock-set)과 happens-before 알고리즘을 결합한 ThreadSanitizer 런타임 라이브러리를 씁니다. 여러 고루틴을 띄우는 단위 테스트는 이 탐지기를 적용하기에 자연스러운 출발점입니다.
문제는 실행마다 결과가 달라질 수 있다는 점입니다. 탐지기는 분석한 실행에서 드러난 레이스만 찾으며, 스레드 실행이 교차하는 순서인 인터리빙에 따라 입력이 같아도 다른 결과를 냅니다. 레이스를 만든 PR에서는 놓쳤다가, 나중에 아무 관련 없는 PR을 검사하면서 잠복한 레이스를 발견할 수 있습니다. 이 결과로 PR을 막으면 버그를 만들지 않은 개발자의 작업까지 가로막습니다. 이미 5천만 줄 코드에 있던 레이스까지 고려하면, 도입부터 PR 차단을 적용하는 것은 불가능했습니다.
비용도 컸습니다. 동적 탐지기의 오버헤드는 원문 표기대로 공간 2~20배, 메모리 5~10배이며, SLA 위반이나 하드웨어 비용 증가로 이어질 수 있습니다. Uber가 측정한 전체 테스트의 95퍼센타일 실행 시간도 탐지를 끈 상태에서는 25분이었지만, 켜면 약 100분으로 4배 늘었습니다.
주기적 검사가 끝나면 미해결 레이스마다 담당자에게 수정 작업을 등록했습니다. 보고서에는 충돌한 메모리 주소와 두 접근의 호출 스택, 각 접근이 읽기인지 쓰기인지가 담깁니다. 같은 레이스를 거듭 보고하지 않도록 호출 스택을 해시해 중복을 걸렀고, 수정을 맡을 개발자는 휴리스틱으로 추정했습니다. 탐지 결과를 만드는 일에 더해, 그 결과를 누가 고칠지 연결하는 작업까지 운영에 포함한 것입니다.
담당자를 챙길 때 줄어든 미해결 레이스
2021년 4월 도입 뒤 6개월 동안 약 2,000건의 레이스를 찾았습니다. 수백 명의 Go 개발자가 매일 수백 건의 커밋을 올리는 모노레포에서 210명의 엔지니어가 1,011건을 고쳤습니다. 수정에 쓰인 고유 패치는 790개입니다. 이는 레이스 뒤에 서로 다른 근본 원인이 상당수 있었음을 시사합니다.
탐지 뒤에도 팀이 할 일이 있었습니다. 초기 2~3개월 동안 담당자가 레이스를 고치도록 직접 챙겼고, 이 기간에 미해결 레이스 수가 눈에 띄게 줄었습니다. 챙기는 일을 줄이자 다시 서서히 늘었습니다.
미해결 수가 오르내리는 이유를 수정과 새 레이스 유입만으로 설명할 수는 없습니다. 개발자가 테스트를 켜고 끄는 일, 탐지의 비결정성도 수치에 영향을 줍니다. 기존 레이스를 모두 보고한 뒤에는 하루 평균 약 5건의 새 레이스 보고서가 생겼습니다.
배포 약 6개월 뒤 엔지니어 수십 명에게 물은 설문에서는 유용하다는 응답이 52%, 유용하지 않다는 응답이 8%였습니다. 40%는 이 시스템에 관여하지 않았다고 답했습니다.
단위 테스트 너머에 남은 실행
현재 방식은 단위 테스트가 만들어 주는 멀티스레드 실행에 의존합니다. 그 실행이 모든 상황을 다루지는 못할 수 있습니다. 통합·종단간·블랙박스 테스트나 프로덕션 트레이스에서도 탐지를 돌리면 더 많은 레이스를 찾을 가능성이 있습니다.
기존 테스트에서도 실행 순서를 바꿔 볼 여지가 있습니다. 테스트 스케줄을 퍼징하는 도구로 더 다양한 스레드 인터리빙을 드러내는 방향입니다. 레이스가 있는 멀티스레드 실행을 자동으로 만들고 탐지기로 검증하는 방법도 제안했습니다. 단위 테스트가 제공하는 실행에만 기대지 않는 이런 방식은 효과적인 디버깅 도구가 될 수 있다고 봤습니다.
CI에 배치할 수 있는 탐지기를 만들려면 비결정성과 오버헤드를 해결해야 합니다. 저자들은 빌드를 막지 않고 경고만 남기는 방식이나, CI에서도 결과가 결정적으로 나오도록 충분히 정교해진 탐지기라면 CI 적용을 검토할 수 있다고 봤습니다. 그전까지는 레이스의 근본 원인과 담당자를 찾는 알고리즘이 수정 속도를 높이는 데 도움이 될 수 있습니다.
Go에서 레이스를 만드는 코딩 패턴 중 일부는 CI 시점의 정적 분석으로 잡을 가능성이 있다는 판단도 제시했습니다. 이 패턴이 2부작 중 다음 편의 주제입니다. 이 글은 첫 번째 편이며, 더 자세한 내용은 ACM SIGPLAN PLDI 2022에 실릴 예정이라고 소개했습니다.
배포와 효과의 주요 수치
| 항목 | 값 |
|---|---|
| 코드 규모 | 약 5천만 줄, Go 서비스 약 2,100개 |
| 단위 테스트 수 | 10만 개 이상 |
| 배포 시점과 관찰 기간 | 2021년 4월, 6개월 |
| 탐지한 레이스 | 약 2,000건 |
| 수정된 레이스 | 1,011건, 210명 |
| 고유 패치 | 790개 |
| 신규 레이스 리포트 | 하루 평균 약 5건 |
| 테스트 95퍼센타일 시간 | 25분에서 약 100분 |
| 설문 응답 | 유용 52%, 무관 40%, 비유용 8% |