본문으로 건너뛰기
CodeBuddy 평가를 흔든 LLM as a Judge의 편향
목차

CodeBuddy 평가를 흔든 LLM as a Judge의 편향 (2025-03)

원문 정보

수만 토큰의 PR을 읽는 평가자

카카오의 AI 코드 리뷰 서비스 CodeBuddy에서는 리뷰 모델의 성능을 확인하는 일도 만만치 않습니다. GitHub PR 기반 태스크의 프롬프트는 수천~수만 토큰에 이르고, 변경 사항을 이해하는 데 필요한 맥락도 코드 패치(diff)로 주어집니다. 사람이 일일이 읽기에는 버겁습니다. 해당 개발 언어나 도메인 전문성이 부족하면 평가 정확도가 떨어질 가능성도 큽니다.

CodeBuddy는 이 평가를 LLM에 맡겼습니다. LLM이 응답의 정확성, 일관성, 창의성 등을 판단하는 LLM as a Judge 방식입니다. 성능이 좋은 최신 LLM을 평가자로 쓰면 사람의 선호와 비슷한 결과를 얻을 수 있습니다. Chatbot Arena처럼 사람이 직접 평가하면 더 정확할 수 있지만, 시간과 비용이 많이 들고 평가 규모를 늘리기도 어렵습니다.

LLM 평가자는 사람의 개입 없이 여러 모델과 복잡한 태스크를 빠르고 일관되게 비교했습니다. 그러나 튜닝과 평가를 거듭하면서, 모델의 성능뿐 아니라 평가자의 판단도 점검해야 할 문제가 드러났습니다.

승패의 근거까지 받는 CodeBuddy 평가

CodeBuddy의 전반적인 모델 성능 평가는 두 후보 응답을 비교하는 Pairwise 방식입니다. PR 요약을 만드는 설명(Describe), 관련 컨텍스트를 분석해 피드백을 주는 리뷰(Review), 변경된 코드와 코딩 규칙을 검토해 개선 코드를 제안하는 개선(Improve)이 평가 대상입니다.

승패만 받지는 않습니다. 두 응답 중 나은 쪽을 고르거나 무승부로 판정하게 하고(Win/Loss/Tie), 선택 이유와 응답별 점수도 함께 받습니다. 상대적인 우열과 개별 응답의 품질을 함께 확인하려는 구성입니다. 응답 하나를 독립적으로 평가하는 Pointwise에서는 True/False나 점수로 정확성·완성도 같은 요소를 측정하지만, 여기서는 두 응답을 직접 비교하며 판단 근거까지 확인합니다.

평가 프롬프트에는 평가자의 역할과 목표, 평가할 태스크, 후보 응답, 평가 가이드라인, 출력 포맷과 예시를 담습니다. 태스크 정의에는 System Message와 User Message를 비롯해 지침, PR 컨텍스트, 태스크의 출력 포맷과 few-shot 예시가 들어갑니다. 후보 모델 이름은 숨기고 응답만 Response 1과 Response 2로 전달합니다. 결과는 YAML로 받아 which_response_was_better, why, 응답별 점수를 확인합니다.

경계 없는 태스크에서 늘어난 무승부

평가 기준을 충분히 적는 것만으로는 부족했습니다. 그 기준을 프롬프트 안에서 어떻게 구분하느냐에 따라 결과가 크게 달라졌습니다.

GPT-4o와 Qwen2.5-Coder-32B-Instruct를 비교한 설명 태스크에서, System Message와 User Message를 구분하지 않았을 때 무승부는 84%였습니다. ### System Message와 ### User Message로 영역을 나누자 GPT-4o 80%, Qwen2.5 20%로 우열을 가렸습니다. 구분하지 않은 경우 리뷰와 개선 태스크에서도 무승부가 각각 79%, 85%에 달했습니다.

메시지를 하나의 흐름으로 이어 붙였을 때는 평가자가 태스크의 기준을 명확히 이해하지 못하고 대부분 무승부로 판단하는 경향이 나타났습니다. 응답의 실제 품질보다 표면적인 유사성에 영향을 받았을 가능성이 있다는 해석입니다. 영역을 나눈 경우에는 평가자가 기준을 더 분명하게 인식하고 응답 간 차이를 판단했습니다. 이 차이는 평가자의 편향과 별개로 발견한 프롬프트 구성의 문제였습니다.

이름을 숨겨도 남은 평가자의 선호

후보 모델명을 감춘다고 선호까지 사라지지는 않았습니다. 같은 평가 프롬프트로 GPT-4o(0513)와 Qwen2-72B-Instruct를 비교한 리뷰 태스크에서, GPT-4o의 승률은 자신이 평가자일 때 62%, Claude-3.5-Sonnet이 평가자일 때 46%였습니다. 설명 태스크에서도 각각 91%, 73%로 차이가 났습니다.

자기 편향(Self-enhancement bias)은 모델이 자신이나 같은 계열 모델의 응답을 더 선호하는 현상입니다. 이 실험에서는 익명 처리 후에도 GPT-4o가 자기 응답을 더 자주 골랐고, Claude-3.5-Sonnet이 더 균형 잡힌 결과를 냈습니다. 후보 모델과 같은 모델을 평가자로 쓰지 않는 것이 가장 간단한 완화책입니다. 여러 평가자 모델로 반복 평가해 평균을 내면 편향을 상당 부분 줄일 수 있지만, 완전히 없애기는 어렵습니다.

긴 답변보다 앞선 태스크 지침

더 짧고 정확한 응답이 있어도 긴 응답을 선호하는 현상은 장황 편향(Verbosity bias)입니다. 최근 LLM은 단순히 길기만 한 응답을 비교적 잘 걸러내는 경향을 보였습니다. CodeBuddy 평가에서도 품질이 높은 긴 응답이 태스크 지침을 벗어나면 낮은 점수를 받았습니다. 길이가 무조건 유리하게 작용하지는 않았습니다.

CodeBuddy는 평가 프롬프트에도 이를 명시했습니다. 길다는 이유만으로 높은 순위를 주지 않고, 더 간결하면서 태스크를 더 잘 해결한다면 짧은 응답을 더 좋게 평가하도록 안내했습니다. 평가 기준을 분명히 적고 길이에 끌리지 않도록 지침을 주는 방식으로 장황 편향에 대응했습니다.

응답의 자리를 바꿔 다시 얻은 승률

CodeBuddy-V2를 훈련하고 평가하던 중에는 개선 태스크의 성능이 이전보다 낮게 나왔습니다. 원인을 살피던 팀은 위치 편향(Position bias)의 영향 가능성을 확인했습니다. 같은 응답도 프롬프트에서 놓인 순서에 따라 평가 결과가 달라지는 현상입니다.

이를 확인하려고 응답 순서를 바꾸는 실험을 진행했습니다. 자기 편향을 피하려고 GPT-4o를 평가자에서 제외하고 Claude-3.5-Sonnet에 판정을 맡겼습니다. 후보 모델은 아래와 같이 두었습니다.

  • A: GPT-4o(2024-11-20)
  • B: Qwen2.5-Coder-32B-Instruct
  • C: Qwen2.5-Coder-32B-Instruct-CodeBuddy-V2
  • D: DeepSeek-R1-Distill-Qwen-32B

A를 기준으로 B·C·D와 각각 Pairwise로 비교한 뒤, 응답 순서를 뒤집어 같은 비교를 여러 차례 반복했습니다. 세 쌍 모두에서 위치 편향이 나타났고, 차이는 개선 태스크에서 가장 컸습니다.

A와 C의 개선 태스크에서는 A를 앞에 뒀을 때 GPT-4o가 79%, CodeBuddy-V2가 19%의 승률을 기록했습니다. 순서를 바꾸자 GPT-4o 51%, CodeBuddy-V2 47%가 나왔고, 무승부는 모두 2%였습니다. 위치 변경에 따른 승률 차이는 최대 28%에 이르렀습니다.

개선 태스크에서 후보 응답의 품질 격차가 작아 평가자가 판단하기 어려웠을 수 있으며, Claude-3.5-Sonnet이 이 태스크에서 위치에 더 민감했을 가능성도 있습니다. 위치 편향의 존재는 확인했지만, 이런 해석을 검증하려면 더 정교한 실험 설계와 반복 실험이 필요합니다.

위치 편향은 응답의 품질 차이가 크면 줄고, 비슷하면 두드러지는 경향이 있습니다. 완화 방법으로는 응답 배치를 무작위로 바꾸거나 반복 평가의 평균을 내는 방법이 있습니다. 태스크에 맞는 평가자를 선택하는 방법도 제시했습니다. 최신성 편향을 줄이기 위해서는 프롬프트 끝에서 두 후보를 같은 기준으로 평가하도록 다시 강조할 수 있습니다.

최종 코드 제안을 고르는 Code Suggestion Reflect

LLM 평가자는 모델 성능 비교 외에 코드 개선 응답을 고르는 데도 쓰입니다. CodeBuddy는 PR 컨텍스트를 바탕으로 개선할 부분을 분석하고 코드 제안 목록을 생성한 뒤, Code Suggestion Reflect에서 이를 다시 평가합니다. 생성한 제안을 곧바로 최종 응답에 넣지 않습니다.

이 단계에서는 제안 목록 전체를 한 번에 보는 Listwise 방식을 씁니다. 각 제안의 점수(Scoring)와 평가 이유(Explanation)를 받아 유효성을 검토하고, 최종 응답에 포함할지를 결정합니다. RAG의 Re-ranking처럼 생성된 후보를 다시 평가해 더 나은 제안을 선택하는 과정입니다.

평가 조건을 바꾼 실험 수치

자기 편향 실험 1, GPT-4o(0513) 대 Qwen2-72B-Instruct (GPT-4o 승률)

태스크GPT-4o 평가자Claude-3.5-Sonnet 평가자
설명91%73%
리뷰62%46%
개선80%70%

태스크 구분 실험, GPT-4o 대 Qwen2.5-Coder-32B-Instruct (GPT-4o / Qwen2.5 / 무승부)

태스크System, User 구분구분 안 함
설명80% / 20% / -16% / 0% / 84%
리뷰73% / 27% / -21% / 0% / 79%
개선73% / 27% / -15% / 0% / 85%

위치 편향 실험, 위치 변경에 따른 승률 차이

쌍설명리뷰개선
A vs B2%3%18%
A vs C변화 없음5%28%
A vs D16%6%21%
마지막 수정 일자