목차
프롬프트마다 달라지는 답을 검증하는 Harness 파이프라인 (2024-11)
원문 정보
- 원문: Harness를 이용해 LLM 애플리케이션 평가 자동화하기
- 매체 · 게시일: LY Corporation Tech Blog · 2024-11-15
- 저자: 이윤환, 김민희, 이형중 (LINE GAME PLATFORM)
- 원문 내용을 바탕으로 재구성한 요약입니다.
이후 공개된 같은 팀의 LLMOps 글(2025-02-14)에서도 테스트 단계의 구현 상세를 다룬 자료로 이 글을 안내합니다.
작은 수정에도 답이 달라지는 프롬프트
모델과 입력이 같아도 답변 품질은 달라집니다. ‘LLM이 무엇인가요?‘라는 질문에 프롬프트만 바꿔 질의한 경우가 그 예입니다. 프롬프트 체이닝과 에이전트로 추론을 여러 번 거치는 애플리케이션에서는 오차까지 누적됩니다. 작은 수정이 전체 응답을 바꾸는 환경입니다.
LINE GAME PLATFORM 팀은 먼저 테스트 단위를 프롬프트 하나까지 나눴습니다. 각 프롬프트를 평가할 질문·답변 데이터 세트를 따로 마련하고, 단일 프롬프트를 시험한 뒤 체인 전체를 테스트하는 방식입니다. 데이터 세트를 각각 만드는 일은 번거롭습니다. 그 수고를 들이면 개별 프롬프트의 성능을 독립적으로 확인하면서, 프롬프트를 수정한 뒤에도 전체 테스트를 계속 돌릴 수 있습니다.
팀은 프롬프트별 테스트와 애플리케이션 전체 테스트에 각각 데이터 세트와 지표를 설정했습니다. 원하는 지표가 나올 때까지 테스트와 수정을 반복하는 과정입니다. 아직 정석적인 테스트 방식이 없는 영역에서, 작은 구성 단위와 전체 애플리케이션을 함께 평가하며 성능을 개선하고 있습니다.
테스트 조합을 바꿔 가며 실행하는 Harness
반복할 조합도 많았습니다. 프롬프트마다 적합한 지표가 다르고, 수천, 수만 개 이상의 데이터를 담은 세트를 골라 프롬프트와 동적으로 결합해야 했습니다. 여러 하이퍼 파라미터와 데이터로 파인튜닝한 모델이나 여러 모델로 구성된 RAG 애플리케이션도 비교 대상입니다. 개발자가 프롬프트, 데이터 세트, 모델을 일일이 바꿔 가며 테스트하기에는 복잡하고 시간이 오래 걸리는 작업입니다.
팀은 대규모 테스트와 지표 커스터마이징을 지원할 기반으로 Language Model Evaluation Harness를 선택했습니다. 비영리 AI 연구소 EleutherAI가 만든 오픈소스 프레임워크로, GLUE, MMLU, HellaSwag 등 60개 이상의 벤치마크 작업을 지원합니다. Hugging Face의 Open LLM Leaderboard에서도 모델 평가에 사용합니다. 데이터 세트와 프롬프트, 지표를 자유롭게 설정하고 사내 AI 시스템에 맞는 평가를 추가할 수 있다는 점도 선택 이유입니다.
실행 명령 lm_eval에서 모델은 --model, 작업은 --tasks로 고릅니다. --model_args는 모델 실행에 필요한 인자를, --device와 --batch_size는 실행 기기와 평가 배치 크기를 정하는 옵션입니다.
팀이 파인튜닝한 모델이나 RAG 애플리케이션은 Harness에 등록돼 있지 않습니다. 이때는 추상 클래스 LM을 상속해 모델 클래스를 만들고, 생성자에서 --model_args로 전달받은 인자로 모델을 특정하거나 하이퍼 파라미터를 설정합니다. 초기화가 끝나면 데이터 세트의 요청에 답할 메서드를 구현하는 순서입니다.
생성한 문자열을 비교하려면 generate_until을 구현합니다. 문자열 목록을 반환하므로 정확한 매칭이나 유사도 계열 지표를 계산할 때 쓰는 메서드입니다. loglikelihood는 타깃 문자열이 생성될 로그 확률을 반환해 퍼플렉시티와 정확도 등을 구하는 데 쓰이고, loglikelihood_rolling은 입력 문자열 전체의 로그 확률을 계산해 단어·바이트 퍼플렉시티를 구하는 데 쓰입니다. 모두 구현할 필요는 없습니다. 평가할 지표에 맞는 메서드만 구현하면 됩니다.
모델에 무엇을 물어보고 어떻게 채점할지는 작업(task)에 정의합니다. 데이터 세트, 프롬프트, 지표를 묶은 YAML 파일입니다. dataset_path로 데이터를 고르고, doc_to_text로 입력을 전처리하며, doc_to_target으로 기대 출력을 후처리합니다. 지표와 집계 방식은 metric_list와 aggregation에 지정합니다. output_type에는 앞선 메서드 이름이나 multiple_choice를 설정하는데, multiple_choice는 정해진 레이블 후보의 loglikelihood를 비교하는 유형입니다. 원문에서 보여 준 lambada_openai도 이런 항목으로 구성한 작업입니다.
같은 뜻의 문장과 GET이 빠진 명령어
도메인에 특화된 LLM 애플리케이션에는 전문가의 정성 평가가 필수입니다. 프롬프트나 모델을 수정할 때마다 성능을 비교하려면 도메인 담당자의 추가 리소스가 듭니다. 팀은 사람이 개입하지 않아도 빠르게 결과를 얻는 정량 평가로 이 부담을 줄이고자 했습니다. 우수한 모델은 정량 평가에서도 대체로 좋은 성능을 보인다는 경향을 바탕으로, 지표로 성능을 1차 검증하는 파이프라인을 설계했습니다.
그렇다고 단어가 얼마나 겹치는지만 볼 수는 없습니다. 정답이 ‘The cat sleeps on the sofa.‘일 때 ‘The cat is sleeping on the sofa.‘는 높은 유사도 점수를 받습니다. 같은 뜻의 ‘A feline is resting on the couch.‘는 어휘와 문장 형태가 달라 점수가 낮습니다. 소파에서 잠든 고양이를 달리 표현했을 뿐인데 평가가 달라지는 것입니다.
팀은 서술형 응답의 의미를 비교하려고 코사인 유사도를 추가했습니다. 문장을 벡터로 임베딩한 뒤 두 벡터의 각도를 이용해 유사성을 재는 방식입니다. 단순한 N-그램 지표가 놓치는 동의어와 단어 간 연관성을 반영하려는 선택이었습니다. 여기에 METEOR를 함께 사용했습니다. METEOR는 정확한 일치, 동의어 일치, 형태소 일치를 바탕으로 문장을 정렬하고, 정밀도와 재현율의 조화 평균에 단어 연속성에 따른 페널티를 결합해 코사인 유사도를 보완합니다.
명령어나 경로는 요구가 다릅니다. 예시의 정답은 curl -X GET http://example.com/data이고, 틀린 응답은 curl -X http://example.com/data입니다. 이 예에서 코사인 유사도와 METEOR는 GET이 빠졌는데도 높은 점수를 줍니다. Rouge-L은 가장 긴 공통 부분 수열을 기준으로 토큰의 순서와 포함 여부를 살펴, 메서드가 누락된 응답에 낮은 점수를 줍니다. 코드나 경로처럼 같은 토큰도 배치 순서에 따라 뜻이 달라지는 응답을 평가하려고 추가한 지표입니다.
팀은 명령어·경로 응답에는 ROUGE-L과 METEOR를 선택했습니다. 숫자나 카테고리처럼 응답 유형이 명확하면 정확한 매칭을 사용합니다. 예측과 정답이 온전히 일치하는 경우가 드물어 활용 범위는 좁지만, 유형이 정해진 응답에서는 빠르고 직관적인 평가입니다.
사람의 평가를 보완하려고 더한 GPT-4
로직 기반 지표만으로 다양한 출력을 유연하게 판단하기는 어렵습니다. 사람의 평가를 완전히 대체하기에는 부족하다고 본 팀은 GPT-4를 사용하는 지표도 추가했습니다. GPT 유사도는 정답과 예측 문장의 유사도를 0~1 점수로 산출하고, GPT 정확도는 유사성 여부를 0(상이) 또는 1(유사)로 분류합니다.
Chiang과 Lee는 ChatGPT로 시험한 결과 평가가 대부분 인간 전문가와 일치했다고 보고하며, LLM이 인간 평가를 대체할 가능성을 제시했습니다. 팀이 고려한 장점은 재현 가능성과 평가의 독립성, 비용과 속도입니다. 모델과 랜덤 시드, 하이퍼 파라미터를 명시하면 같은 결과가 재현될 가능성이 높고, 각 샘플의 평가는 서로 독립적입니다. 사람이 직접 평가할 때보다 비용이 적게 들고 결과도 빠르게 얻습니다.
팀은 GPT 유사도와 GPT 정확도를 로직 기반 지표와 함께 사용했습니다. 이 조합으로 평가의 객관성을 높이고 모델 성능을 여러 관점에서 파악할 수 있기를 기대했습니다.
데이터와 프롬프트에 맞춰 생성하는 YAML
Harness는 기본적으로 YAML 파일로 작업을 정적으로 관리합니다. 설정을 직관적으로 관리하기에는 좋지만, 팀의 자동화 파이프라인에는 실행할 때마다 데이터 세트와 프롬프트를 선택하는 기능이 필요했습니다. 팀은 테스트 시작 시 외부에서 데이터 세트, 프롬프트, 지표 정보를 받아 YAML을 생성하고, Harness가 이 파일을 참조해 테스트하도록 구현했습니다.
평가 지표는 데이터 세트의 루트에 둔 metric_output_info.json에서 관리합니다. 데이터 세트마다 필요한 지표가 다르기 때문입니다. YAML을 만들 때는 이 파일에 지정된 지표 중 generate_until, loglikelihood 같은 아웃풋 유형에 맞는 것만 골라 metric_list에 넣습니다.
실행 시점에 고르는 프롬프트
프롬프트를 동적으로 적용하는 지점은 doc_to_text입니다. Harness는 YAML로 정의한 작업을 ConfigurableTask 클래스로 관리하며, 이 클래스에서 doc_to_text 설정도 처리합니다. 팀은 이를 오버라이드한 CustomConfigurableTask를 만들어 프롬프트 매니저를 호출하도록 바꿨습니다.
프롬프트 매니저는 실행할 때 전달받은 prompt_id에 맞는 프롬프트를 미리 내려받습니다. 이후 doc_to_text가 데이터 세트의 각 데이터를 받아 해당 프롬프트와 결합합니다. 프롬프트를 바꿔 가며 테스트하려던 요구를 작업의 입력 처리 지점에 반영한 것입니다.
한 응답에서 필요한 값을 뽑는 Filter
응답 하나를 통째로 채점하는 데서도 멈추지 않았습니다. 가상의 ‘API Test Bot’이 JSON으로 답한다고 가정하면, method, path, expected_status_code, purpose는 서로 성격이 다른 값입니다. 팀은 각 키를 하나의 아웃풋으로 보고 서로 다른 지표를 적용하려고 Harness의 Filter를 사용했습니다.
예시 설정에서는 method와 expected_status_code를 정확한 매칭인 em으로 평가합니다. path에는 gpt_similarity, meteor, rougeL을 지정하고 각 임곗값을 1로 설정했습니다. purpose에는 gpt_similarity 0.7과 cosine_similarity 0.5를 임곗값으로 둡니다. 이 값들은 해당 예시의 설정이며, 아웃풋별 지표와 threshold를 metric_output_info.json에서 함께 관리하는 방식입니다.
YAML을 생성할 때는 아웃풋 이름마다 필터도 동적으로 설정합니다. OutputAbstractionFilter가 응답에서 지정된 키의 값만 뽑아 반환하면, 그 값을 해당 지표로 평가하고 집계합니다. 한 번의 모델 응답에서도 명령이나 경로, 서술형 설명을 구분해 점수를 확인할 수 있습니다.
도메인별 정답 기준을 담은 임곗값
지표마다 점수 범위가 다르면 결과를 읽기도 어렵습니다. 팀은 각 점수를 정답과 오답으로 바꿔 해석할 수 있도록 이진화했습니다. 지정한 임곗값보다 높으면 1(정답), 그렇지 않으면 0(오답)입니다.
같은 지표라도 정답으로 인정할 기준은 도메인마다 다를 수 있습니다. 그래서 도메인별 지표 평균 정답값의 분포를 바탕으로 지표별 임곗값을 입력하면 자동으로 계산하도록 구현했습니다. 앞서 본 출력별 설정의 threshold가 이 판단 기준입니다.
대규모 배치 테스트를 실행한 뒤에는 집계된 지표와 각 테스트 케이스의 점수를 확인합니다. 테스트 세트마다 필요한 지표와 집계 기준도 조정할 수 있습니다. 결과를 내려받는 형식은 Excel(.xlsx)과 JSON입니다.
평가 지표와 설정 예
| 항목 | 값 |
|---|---|
| 로직 기반 지표 | 정확한 매칭, 코사인 유사도, METEOR, Rouge-L |
| LLM 기반 지표 | GPT 유사도(0~1), GPT 정확도(0 또는 1), 둘 다 GPT-4 사용 |
| 문장 응답 | 코사인 유사도, METEOR, GPT 유사도, GPT 정확도 |
| 명령어, 경로 응답 | ROUGE-L, METEOR |
| 숫자, 카테고리 응답 | 정확한 매칭 |
| 지원 벤치마크 | 60개 이상 (GLUE, MMLU, HellaSwag 등) |
output_type | generate_until, loglikelihood, loglikelihood_rolling, multiple_choice |
| 출력별 임곗값 예 | purpose에 gpt_similarity 0.7과 cosine_similarity 0.5, path에 세 지표 모두 1 |
| 결과 내보내기 | Excel(.xlsx), JSON |