목차
쓸모없는 코멘트를 줄여 신뢰를 쌓은 우버의 uReview (2025-08)
원문 정보
- 원문: uReview: Scalable, Trustworthy GenAI for Code Review at Uber
- 매체 · 게시일: Uber Engineering Blog · 2025-08-12
- 저자: Sonal Mahajan(Staff Engineer), Shauvik Roy Choudhary(Programming Systems 팀 엔지니어링 매니저), Will Bond(Staff Engineer), Joseph Wang(Principal Software Engineer), Akshay Utture(전 소프트웨어 엔지니어)
- 원문 내용을 바탕으로 재구성한 요약입니다.
맞는 말도 소음이 되는 코드 리뷰
성능에 민감하지 않은 코드에 성능 개선을 제안하면, 내용이 맞아도 개발자에게는 쓸모가 적습니다. 이런 지적이 쌓이면 AI 리뷰를 무시하기 시작합니다. 우버가 줄이려던 오탐에는 LLM의 환각으로 생긴 틀린 코멘트와 함께, 맞지만 그 상황에서는 중요하지 않은 코멘트도 포함됐습니다.
사람 리뷰어의 시간은 이미 부족했습니다. 우버에서는 매주 수만 건의 diff, 즉 pull request에 해당하는 변경이 반영됩니다. 시스템이 커지고 AI의 도움으로 작성하는 코드까지 늘면서, 미묘한 버그와 보안 문제를 찾고 사내 규칙을 일관되게 확인하기가 어려워졌습니다. 놓친 오류, 프로덕션 장애, 자원 낭비, 늦어지는 피드백과 릴리스가 그 결과입니다.
uReview는 이 부담을 나누는 두 번째 리뷰어입니다. 중심에 있는 Commenter가 기능 버그, 오류 처리 문제, 보안 취약점, 사내 코딩 표준 위반을 찾아 코멘트를 만듭니다. 코멘트에 맞춰 실제 코드 수정을 제안하는 Fixer도 있으며, 사람과 AI가 남긴 지적을 모두 처리합니다. 이 글의 범위는 Commenter이며, 이후에는 이를 uReview라고 부릅니다.
Phabricator에 맞춰 만든 두 번째 리뷰어
우버가 쓰는 주 코드 리뷰 플랫폼은 Phabricator입니다. 대부분의 서드파티 AI 리뷰 도구가 GitHub를 요구한다는 점부터 맞지 않았습니다. 우버 코드로 시험한 도구들은 오탐과 가치 낮은 지적을 많이 내놓았고, 사내 시스템에도 접근하지 못했습니다.
자체 개발은 이 제약에 대한 선택이었습니다. uReview는 사내 정보를 가져오고 우버의 규칙에 맞춰 검토하며, 개발자 반응을 다음 개선에 반영하도록 설계했습니다. 우버가 비교한 운영 규모에서 uReview의 AI 비용은 일반적인 서드파티 도구 요금의 약 10분의 1 수준이라고 합니다.
게시할 코멘트를 추리는 파이프라인
좋은 모델도 프롬프트 한 번으로는 충분하지 않았습니다. o4-mini-high나 Claude 4 Sonnet을 써도 환각, 중복 지적, 들쭉날쭉한 품질이 나타났습니다. uReview가 택한 방식은 코멘트 생성, 필터링, 검증, 중복 제거를 나눠 각각 개선하는 프롬프트 체이닝입니다. 우버가 경험한 신뢰도 차이는 프롬프트 문구보다 이 단계 구성과 후처리에서 더 크게 나왔습니다.
출발점은 파일 선별입니다. 변경이 올라오면 설정 파일, 생성된 코드, 실험용 디렉터리처럼 유용한 지적을 얻기 어려운 대상은 제외합니다. 남은 파일에서는 주변 함수, 클래스 정의, import 문을 모아 리뷰에 필요한 맥락을 구성합니다.
코멘트 생성은 문제 유형별 어시스턴트가 맡습니다. 각 어시스턴트는 자체 프롬프트와 맥락을 갖고 독립적으로 개발·평가하는 플러그인 방식이며, 운영 중인 구성은 아래와 같습니다.
- Standard Assistant: 기능 버그, 예외 처리 오류, 논리 결함 탐지
- Best Practices Assistant: 공유 스타일 규칙 레지스트리를 참조한 우버 코딩 규약 점검
- AppSec Assistant: 애플리케이션 수준의 보안 취약점 탐지
생성한 코멘트는 그대로 게시하지 않습니다. 별도 프롬프트가 품질과 신뢰도를 채점한 뒤, 임계값에 못 미치는 코멘트를 제외합니다. 평가 프롬프트는 어시스턴트 종류에 맞추고, 임계값은 어시스턴트·언어·코멘트 카테고리별로 개발자 피드백과 평가 결과를 반영해 세밀하게 조정하는 방식입니다.
겹치는 제안은 의미 유사도를 비교해 하나로 합칩니다. 카테고리 분류기는 correctness:null-check, readability:naming 같은 태그를 붙이며, 개발자가 계속 낮게 평가한 유형은 카테고리째 걸러 냅니다.
어떤 지적을 줄여야 하는지는 개발자 반응에서 드러났습니다. 가독성 지적, 사소한 로깅 수정, 효과가 작은 성능 제안, 스타일 지적은 낮은 평가를 받았습니다. 좋은 평가를 받은 쪽은 실제 버그, 누락된 오류 처리, 모범 사례 위반을 짚은 코멘트입니다. 특히 예시나 사내 문서 링크를 함께 제시했을 때 반응이 좋았습니다. 신뢰도가 낮은 지적과 중복을 줄이고 쓸모없는 카테고리를 제외하자, 개발자의 참여와 도입도 늘었습니다.
마지막 커밋까지 확인하는 평가 루프
필터를 통과한 코멘트는 코드 옆에 표시됩니다. 개발자는 “Useful” 또는 “Not Useful"을 고르고, 원하면 이유를 남깁니다. 코멘트와 메타데이터는 Apache Kafka를 거쳐 Apache Hive에 저장되며, 어시스턴트·카테고리·신뢰도·피드백을 연결해 장기 추적과 실험, 대시보드에 활용하는 자료입니다. 유용하지 않다는 평가를 받은 코멘트의 대상 파일은 이후 버전이 같은 지적을 되풀이하지 않는지 볼 벤치마크 사례가 됩니다.
평가 링크만으로 끝내지는 않습니다. uReview는 최종 커밋을 다시 검토해 지적한 문제가 실제로 수정됐는지도 확인합니다. 재실행 횟수는 다섯 번입니다.
LLM의 출력은 확률적입니다. 한 번만 다시 돌리면 남아 있는 문제를 놓치거나, 이미 고친 문제를 다시 지적할 수 있습니다. 우버는 놓침을 사실상 없애면서 비용과 지연을 감당할 수 있는 최소 횟수로 다섯 번을 택했습니다. 어느 재실행에서도 의미가 비슷한 코멘트가 나오지 않아야 반영된 것으로 판정하며, 지적한 코드가 삭제된 경우에는 판정을 보정합니다.
자동 평가는 매일 프로덕션의 수천 건 커밋에서 실행됩니다. 여기에 알려진 문제가 있는 커밋을 모아 사람이 정답 주석을 단 벤치마크를 함께 씁니다. 정밀도·재현율·F1을 비교하며 새 기능을 배포하기 전에 로컬에서 반복 검증하는 자료입니다. 두 평가 결과로 프롬프트와 신뢰도 임계값, 필터링 로직을 고칩니다. 언어와 서비스 범위를 넓혀도 유용성 75% 이상을 유지하는 것이 목표입니다.
모델 선택에도 정답이 있는 커밋 모음을 사용했습니다. golden-comments 데이터셋에서 가장 높은 F1을 낸 조합은 코멘트 생성에 Claude-4-Sonnet, 채점에 OpenAI o4-mini-high를 쓴 구성이었습니다. OpenAI GPT-4.1, O3, O1, Meta Llama-4, DeepSeek R1을 쓴 구성보다 높은 점수입니다. 생성기는 그대로 두고 채점에 GPT-4.1을 쓴 조합이 2위였으며, 차이는 4.5점이었습니다. 새 모델도 주기적으로 평가해 F1이 가장 높은 조합을 선택합니다.
여섯 모노레포로 넓어진 uReview
배포는 팀이나 어시스턴트 단위로 나눠 진행했습니다. 정밀도·재현율 대시보드, 코멘트 반영률 로그, 사용자가 신고한 오탐 수를 보며 확대할지 보류할지 결정했습니다. 초기에는 불필요한 스타일 제안과 놓친 보안 점검이 문제였습니다. 사용자 피드백이 들어오면 수정안을 A/B 테스트하고 임계값을 조정해 하루 안에 개선을 내보냈습니다.
이렇게 도입한 uReview는 Go, Java, Android, iOS, TypeScript, Python의 모노레포 여섯 곳에 배포됐습니다. 모든 커밋을 CI에서 리뷰하며, 소요 시간의 중앙값은 4분입니다. 우버에서 매주 반영되는 약 65,000건의 diff 중 90% 넘게 분석합니다.
개발자 평가에 따른 유용성은 생성기 전반에서 75%를 넘었습니다. 코멘트가 같은 changeset에서 실제 수정으로 이어진 비율은 평균 65%입니다. 비교 대상으로 제시한 사내 감사에서는 사람이 남긴 코멘트 중 코드 작성자가 버그로 인정하고 같은 changeset에서 수정한 비율이 51%였습니다.
시간 절감은 사내 벤치마크를 이용한 추산입니다. uReview가 처리하는 커밋은 설정 파일을 제외하고 주당 1만 건이 넘으며, 사람이 두 번째 리뷰어로 같은 종류의 문제를 찾는 데는 커밋당 약 10분이 든다고 봤습니다. 우버는 이를 주당 약 1,500시간, 연간으로는 개발자 39명이 한 해 동안 일하는 시간에 가까운 규모로 환산했습니다. 피드백이 커밋 제출 후 몇 분 만에 도착하므로, 작성자는 사람의 리뷰를 받기 전에 문제를 고칠 수도 있습니다.
CI와 린터 곁의 AI 리뷰
IDE에 AI 리뷰 기능이 있어도 CI 시점의 리뷰 수요는 남았습니다. 개발자가 로컬 도구를 쓰지 않거나 경고를 무시할 수 있기 때문입니다. 로컬에서 빌드와 테스트를 실행할 수 있어도 CI에서 다시 실행하는 것과 같은 이유입니다.
단순한 구문 패턴은 여전히 린터가 정확하고 저렴하게 찾습니다. LLM이 훨씬 잘하는 쪽은 코드의 의미를 알아야 적용할 수 있는 규칙입니다. 우버 Go 스타일 가이드의 시간 관련 연산에 time 라이브러리를 쓰라는 규칙이 한 예입니다. 이를 검사하려면 먼저 어떤 정수가 시간을 나타내는지 알아야 합니다. 이런 의미 판단에서 LLM의 강점이 드러납니다.
uReview가 아직 보지 못하는 코드 밖의 맥락
uReview가 보는 것은 코드입니다. 과거 PR, feature flag 설정, DB 스키마, 기술 문서까지 읽지는 못합니다. 버그 탐지에는 강해도 시스템 전체의 정확성이나 설계를 판단하지 못하는 이유입니다. MCP 서버가 이런 정보까지 제공한다면 검토 범위가 넓어질 수 있다는 기대가 있습니다.
우버는 더 풍부한 맥락을 제공하고, 성능과 테스트 커버리지로 리뷰 카테고리를 넓힐 계획입니다. 코드 이해와 잠재 위험 파악을 돕는 리뷰어용 도구도 개발하려 합니다. 이 확장에서도 판단의 주도권은 엔지니어에게 둡니다.
원문의 수치와 평가 조건
| 항목 | 값 |
|---|---|
| 분석 대상 | 주당 약 65,000건 diff 중 90% 넘게 분석 |
| 사용자가 유용하다고 표시한 비율 | 75% |
| 코멘트 반영률 | 65% 이상(같은 changeset 기준 평균) |
| 사람 코멘트 반영률 | 51% |
| 적용 범위 | 모노레포 6곳(Go, Java, Android, iOS, TypeScript, Python) |
| 커밋 리뷰 소요 | 중앙값 4분 |
| 주간 처리 커밋 | 설정 파일 제외 1만 건 넘음 |
| 절감 시간 | 주당 약 1,500시간, 연 약 39 개발자 연차(커밋당 10분 기준) |
| 반영 여부 판정 재실행 | 5회 |
| 최고 F1 조합 | 생성 Claude-4-Sonnet, 채점 OpenAI o4-mini-high |
| 2위 조합 | 생성 Claude-4-Sonnet, 채점 GPT-4.1, 1위보다 4.5점 낮음 |
| 어시스턴트 | Standard, Best Practices, AppSec |