본문으로 건너뛰기
LLM이 만든 단위 테스트를 PR까지 잇는 검증 파이프라인
목차

LLM이 만든 단위 테스트를 PR까지 잇는 검증 파이프라인 (2025-09)

원문 정보

카카오 테스트 생성 Agent의 실행 예에서는 테스트 5개 중 4개가 성공하고 1개가 실패했습니다. {-3, -3, -3}의 평균을 검증하는 테스트가 기대값을 -3.3으로 잡았습니다. 올바른 값은 -3.0입니다.

단위 테스트는 코드 품질을 지키고 회귀 오류를 막는 수단이지만, 작성이 어렵고 오래 걸려 누락되기 쉽습니다. LLM은 테스트 작성을 도울 수 있어도, 생성한 코드가 곧바로 실행되고 의미 있는 검증을 하리라는 보장은 없습니다. 생성한 뒤 컴파일하고 실행해 오류를 되돌려 주는 과정까지 필요한 이유입니다.

실패 로그를 다시 입력받는 테스트 생성 루프

검증은 컴파일부터 시작합니다. 생성된 테스트에는 import가 빠지거나 private 메소드를 호출하고, 없는 필드나 메소드를 참조하는 오류가 자주 나타납니다. Java Compiler API나 javac로 사전 컴파일을 시도하고, 실패하면 오류 내용을 AI에 돌려보내야 합니다.

실행 결과도 다시 AI에 전달합니다. JUnit Runner로 테스트를 실행한 뒤 성공한 메소드와 실패한 메소드를 구분해 관리하고, AI가 실패 로그를 분석해 테스트를 다시 생성하는 피드백 루프를 구성해야 합니다. 앞선 평균 계산 예에서 Agent가 내놓은 수정안은 기대값을 -3.3에서 -3.0으로 바꾸는 것이었습니다. 실행 실패가 테스트 자체의 잘못된 기대값을 찾아내는 단서가 된 사례입니다.

의존 클래스까지 함께 분석하는 LLM

생성 단계에서는 무엇을 참고해야 할까요? LLM은 대상 메소드의 시그니처와 본문을 파싱하고, 입력 타입·조건 분기·예외 흐름에서 테스트 시나리오를 도출합니다. 0으로 나눌 때 예외를 던지는 divide라면 정상 입력과 예외 입력을 따로 검증하는 방식입니다. JUnit 같은 프레임워크 템플릿에 맞춰 가상(Mock) 객체, 어서션, 경계값도 구성합니다.

의존 코드가 있으면 분석 범위도 넓어집니다. 예제의 UserService.findUser는 UserRepository.findById를 호출하고, 사용자가 없으면 NotFoundException을 던집니다. 사용자를 찾는 테스트에서는 findById(1L)가 Optional.of(user)를 반환하도록 Mock 동작을 정합니다. 이렇게 의존 클래스까지 분석하면 불필요한 NPE 회피 코드를 줄이고, 실제 호출 관계에 맞는 테스트 흐름을 만들 수 있습니다.

프로젝트 안의 기존 테스트도 참고 대상입니다. Jaro-Winkler와 Levenshtein 같은 문자열 거리 알고리즘으로 클래스명, 클래스명 역순, 기존 테스트 코드의 유사도를 분석할 수 있습니다. 예를 들어 클래스명을 역순으로 비교하는 방식은 OrderService, MemberService, AccountService의 유사한 로직 패턴을 찾는 데 활용합니다. 비슷한 테스트의 구조·경로·패턴을 재사용하면 생성 결과의 일관성을 높이고 프로젝트의 코드 컨벤션을 지키는 데 도움이 됩니다.

테스트가 메운 맹점을 드러내는 PR 리뷰

커버리지 증가량은 가장 신뢰할 만한 품질 지표 중 하나입니다. 테스트가 존재한다는 사실에서 더 나아가, 기존 커버리지의 맹점을 메웠는지 보여 주는 근거가 됩니다. 테스트 실행 뒤 Java 코드 커버리지 측정 도구인 JaCoCo를 연동해 그 변화를 수치화합니다.

이 결과는 PR 리뷰로 이어집니다. 제안된 워크플로에서는 PR을 생성할 때 변경된 클래스를 감지해 테스트 생성을 요청하고, 생성된 코드를 PR에 자동 커밋하거나 코멘트로 제안합니다. JaCoCo와 연동한 커버리지 배지도 갱신합니다. 테스트 생성을 IDE 안에서 끝내지 않고, 리뷰 시점에 코드와 커버리지 변화를 함께 확인하도록 연결하는 구상입니다.

협업과 배포 관리로 이어지는 에이전틱 워크플로

앞선 연재에서 다룬 AI 리뷰와 정적 분석, 테스트 자동 생성은 하나의 품질 관리 흐름으로 연결됩니다. 이를 위한 에이전틱 워크플로에서는 품질 관리 단계마다 전문 에이전트가 자율적으로 판단하고 협력합니다. 카카오가 제시한 코드 퀄리티 통합 에이전트의 구성 예시는 코드 변경 감지에서 시작해 여러 에이전트와 연계하고, 안전한 배포를 위해 동적으로 판단하며 코드를 수정하는 흐름입니다.

협업·배포 도구와의 연계도 시나리오로 제시됐습니다. 각 항목이 실제로 운영 중인지는 밝히지 않았습니다.

  • PR 생성 시 관련 Jira 태스크 자동 추적
  • AI 리뷰 위험도 80% 이상인 경우 카카오워크로 리뷰 결과 요약 알림
  • GitHub PR에 테스트 누락 여부나 배포 차단 기준 표시
  • 커버리지가 낮은 모듈을 Confluence Wiki 문서로 자동 정리
  • 카카오릴리즈에 코드 품질 점수를 제공해 배포 관리
원문에 제시된 분석 요소와 연계 예시
항목값
테스트 생성 시 분석 요소파라미터 타입, 조건문, 예외 처리, 의존성 주입
컴파일 오류 유형 예import 누락, private 메소드 호출, 없는 필드·메소드 호출
실행 결과 예5개 테스트 중 4개 성공, 1개 실패(기대값 -3.3, 실제 -3.0)
유사도 알고리즘Jaro-Winkler, Levenshtein
카카오워크 알림 기준(예시)AI 리뷰 위험도 80% 이상
마지막 수정 일자