본문으로 건너뛰기
Genie의 정책 답변을 바꾼 Enhanced Agentic RAG
목차

Genie의 정책 답변을 바꾼 Enhanced Agentic RAG (2025-05)

원문 정보

  • 원문: Enhanced Agentic-RAG: What If Chatbots Could Deliver Near-Human Precision?
  • 매체 · 게시일: Uber Engineering Blog · 2025-05-29
  • 저자: Arnab Chakraborty(Senior Applied Scientist, Engineering Security 팀), Christopher Settles(전 Machine Learning Engineer, AI Platform Feature Store 팀), Adi Raghavendra(Senior Engineering Manager, 엔지니어링 보안·프라이버시 AI/ML 팀), Paarth Chothani(Staff Software Engineer, Uber AI Gen AI/CoreML 팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

100개 넘는 질문 앞에서 드러난 Genie의 빈틈

우버의 사내 온콜 코파일럿 Genie는 보안·프라이버시 정책 PDF를 40개 넘게 연결하고도, 필요한 세부 내용을 놓치거나 부정확하게 답했습니다. 분야 전문가(SME)들이 경험을 바탕으로 만든 100개 넘는 골든 테스트 질문에서 드러난 문제입니다. 엔지니어링 보안·프라이버시 도움말 채널로 적용 범위를 넓히기에는 답변 품질이 부족했습니다.

봇을 띄우는 일은 훨씬 간단합니다. Genie는 도메인 팀이 설정만으로 하룻밤 사이에 봇을 배포하도록 만든 프레임워크입니다. 엔지니어링 위키, Terrablob의 PDF, Google Docs, 직접 만든 문서까지 거의 모든 사내 지식원에 연결하고, 문서를 읽고 처리하는 단계부터 벡터 저장, 검색, 답변 생성까지 RAG 파이프라인 전체를 지원합니다. 여러 Slack 도움말 채널의 수천 건에 이르는 질문에 사내 문서를 인용해 답하면서, 온콜 엔지니어와 SME의 지원 부담을 줄여 왔습니다.

그 봇을 전문가가 대부분의 질문을 믿고 맡길 수준으로 높이는 일은 어려웠습니다. 프롬프트와 검색 설정을 고치고 LlamaParse 같은 파서를 써도 개선 폭은 작았고, 곧 정체됐습니다. 우버가 택한 EAg-RAG(Enhanced Agentic RAG)는 오프라인 문서 처리부터 거의 실시간으로 이루어지는 답변 생성까지 함께 손보는 설계입니다. 문서의 내용과 맥락을 보강하고, 검색 앞뒤에는 LLM 에이전트를 배치합니다.

몇 주짜리 평가를 몇 분으로 줄인 LLM-as-Judge

개선을 시험하기 전에 평가 속도부터 해결해야 했습니다. Genie의 모듈식 프레임워크 덕분에 구성 요소를 바꾸며 실험하기는 쉬웠지만, 답변이 나아졌는지 판단하려면 SME가 시간을 내어 검토해야 했습니다. 실험 평가에 몇 주씩 걸리는 상황이었습니다.

이 반복 평가를 맡은 것이 LLM-as-Judge입니다. 먼저 SME가 답변을 한 차례 직접 검토하고, 이상적인 답변이나 피드백을 남깁니다. 이후 실험에서는 현재 버전의 챗봇이 테스트 질문에 일괄 답하고, 평가 LLM이 사용자 질문과 SME 응답, 평가 지침을 참고해 그 답변을 판정합니다.

평가할 때는 정책 문서도 함께 봅니다. 최신 RAG 파이프라인이 원문서에서 가져온 내용을 추가로 제공해, 평가 LLM이 복잡한 보안·프라이버시 정책의 맥락을 이해하고 더 신뢰할 만한 판단을 내리도록 했습니다. 판정 결과에는 정오 판단과 피드백, 근거를 붙인 0~5점의 점수가 포함되며, 5점이 최고입니다. 이 근거와 피드백은 다음 실험에 쓰입니다.

자동 평가로 실험 평가 시간은 몇 주에서 몇 분으로 줄었습니다. 에이전트를 추가하며 점진적인 개선을 시험하는 작업도 이 평가 과정과 함께 진행했습니다.

행과 열을 잃어버린 정책 문서의 표

답변 오류의 한 출발점은 표였습니다. 정책 문서에는 다섯 쪽이 넘는 복잡한 표와 중첩된 셀이 있었는데, LlamaIndex의 SimpleDirectoryLoader나 LangChain의 PyPDFLoader로 PDF를 읽으면 서식이 사라졌습니다. 셀의 값은 남아도 어느 행과 열에 속하는지 알 수 없게 된 것입니다. 문서를 작은 조각인 청크로 나누는 과정에서 표까지 잘리면, 의미 검색도 올바른 셀 값을 찾지 못했습니다.

PdfPlumber, PyMuPDF, LlamaParse도 시험했습니다. 일부 문서에서는 나았지만, 모든 정책 문서를 제대로 읽는 파서는 없었습니다. 우버는 PDF를 Google Docs로 옮겨 HTML 서식을 활용하기로 했습니다.

Google Docs에는 보안 문서를 다룰 때 유용한 접근 제어도 기본으로 제공됩니다. 접근 권한 메타데이터를 색인해 답변 생성 때 적용하면, 해당 문서를 볼 권한이 없는 사용자에게 제한된 정보가 나가는 일을 막을 수 있습니다.

문서 형식을 바꾸는 것만으로 표 문제가 끝나지는 않았습니다. html2text와 LangChain의 Markdownify로 Google 문서를 마크다운으로 바꿔 봐도, 특히 표 서식에서 개선할 여지가 컸습니다. 중첩 표로 만든 예시에서도 html2text로 변환한 뒤 MarkdownTextSplitter로 나누자 셀의 행·열 맥락이 빠졌습니다.

결국 Google Python API로 전용 로더를 만들었습니다. 이 로더는 문단, 표, 목차를 재귀적으로 추출합니다. 표와 글머리표는 LLM이 마크다운 표로 바꾸고, 메타데이터 식별자로 표가 있는 부분을 표시해 청킹할 때 표를 온전하게 유지하는 방식입니다. 표 청크에는 두 줄 요약과 키워드 몇 개도 붙여 의미 검색에서 더 잘 찾도록 했습니다. 서식과 구조를 보존해야 하는 다른 텍스트에도 같은 방식을 적용할 수 있습니다.

문서와 청크에 붙이는 정보도 늘렸습니다. 제목, URL, ID에 더해 LLM이 문서 요약, FAQ, 키워드를 생성합니다. 문서 요약은 같은 문서의 모든 청크가 공유하지만, FAQ와 키워드는 청킹이 끝난 뒤 각 청크의 내용에 맞춰 만듭니다. 검색에 쓸 정보를 청크와 맞추기 위한 구분입니다.

FAQ와 키워드는 검색에 직접 쓰입니다. 보강한 메타데이터는 검색 전후에 맥락을 다듬어 답변 LLM이 내용을 이해하기 쉽게 만드는 데도 사용합니다. 완성한 청크는 임베딩해 벡터 저장소에 넣고, 문서 제목과 요약을 모은 목록 및 FAQ는 오프라인 feature store에 보관합니다. 답변을 생성할 때 에이전트가 참고할 자료입니다.

닮은 정책 앞에서 검색을 좁히는 에이전트

표를 제대로 읽어도 검색 문제는 남습니다. 보안·프라이버시 정책은 같은 문서 안에서도, 서로 다른 문서 사이에서도 내용의 차이가 미묘합니다. 데이터 보존, 데이터 분류, 공유 규칙이 대상(persona)과 지역에 따라 달라지기 때문입니다. 질문의 맥락이 부족하거나 모호한 상태에서 의미가 가까운 청크만 가져오면, 답에 쓸 수 없는 내용이 섞이고 오류나 환각으로 이어집니다.

검색에 앞서 Query Optimizer가 질문을 다듬습니다. 모호하거나 맥락이 부족한 질문을 다시 쓰고, 복잡한 질문은 더 단순한 여러 질문으로 나눕니다. Source Identifier는 답이 있을 법한 정책 문서들을 골라 검색 범위를 제한하는 역할입니다.

이때 두 에이전트가 참고하는 자료가 feature store에 저장한 문서 제목, 요약, FAQ입니다. Source Identifier에는 퓨샷 예시도 제공합니다. 이 단계를 거치면 다듬어진 질문과 검색할 문서 제목 목록이 나오고, 검색기는 그 문서들만 대상으로 삼습니다.

검색 방식도 벡터 검색 하나에 머물지 않습니다. BM25 검색기를 추가해 청크별 요약, FAQ, 키워드가 담긴 보강 메타데이터에서 관련 청크를 찾습니다. 벡터 검색과 BM25 검색 결과를 합친 합집합이 최종 검색 결과입니다.

이 결과는 Post-Processor Agent로 넘어갑니다. 에이전트는 중복 청크를 제거하고, 원래 문서에서의 위치에 맞춰 맥락을 정돈합니다. 답변을 작성하는 LLM에는 사용자가 처음 보낸 질문과 최적화한 보조 질문, 정돈한 맥락, 답변 구성 지침을 함께 전달합니다. 이렇게 생성한 답변이 Slack에 도착합니다.

대부분의 구성 요소는 Michelangelo 안의 LangChain 기반 사내 서비스인 Langfx로 구현했습니다. 에이전트 개발과 워크플로 오케스트레이션에 사용한 도구는 LangGraph입니다.

여러 도움말 채널로 넓어진 Genie

보안·프라이버시 골든 테스트 세트에서 EAg-RAG는 전통적인 RAG보다 허용 가능한 답변 비율을 상대적으로 27% 높이고, 잘못된 조언을 상대적으로 60% 줄였습니다. 답변의 정확도와 관련성이 개선되면서 Genie를 여러 보안·프라이버시 도움말 채널로 확대할 수 있었고, 온콜 엔지니어와 SME의 지원 부담도 줄었습니다.

이 개선 사항은 Michelangelo Genie 프레임워크에서 설정 가능한 컴포넌트로 제공됩니다. 다른 도메인 팀도 자신의 봇에 적용할 수 있는 구성입니다. 문서를 더 정확하고 쓸모 있게 다듬는 일이 봇의 답변 품질로 이어진다는 결과는, 팀들이 사내 문서를 관리할 동기도 높였습니다.

답변 품질 개선 수치와 구성값
항목값
골든 테스트 세트SME가 만든 100개 이상 질문
정책 문서보안·프라이버시 PDF 40개 이상
허용 가능한 답변 비율상대 27% 상승
잘못된 조언상대 60% 감소
실험 평가 시간몇 주에서 몇 분으로 단축
LLM-as-Judge 점수0~5점
검색 방식벡터 검색과 BM25의 합집합
사전 처리 에이전트Query Optimizer, Source Identifier
사후 처리 에이전트Post-Processor Agent

EAg-RAG에 남은 확장 과제

현재 답변 생성 워크플로는 순차 흐름입니다. LangGraph를 사용한 구성은 더 복잡한 에이전트 흐름으로 넓힐 여지가 있으며, 우버는 이번 작업을 에이전트형 AI의 초기 단계로 봅니다. 이후 개선으로 검토하는 방향에는 자료의 형태, 질문의 복잡도, 답변 생성 이후의 검토가 포함됩니다.

  • 텍스트만 다루는 Google Docs 로더와 문서 보강을 이미지 등 멀티모달 콘텐츠로 확장
  • 여러 단계의 추론이 필요한 질문에 한 번의 질문 최적화 대신 반복적인 Chain-of-RAG 적용
  • 답변 생성 뒤 자기 비평 에이전트를 두어 답변을 다듬고 환각을 줄이는 방식 도입
  • 각 기능을 도구로 제공해 에이전트가 질문의 종류와 복잡도에 따라 사용할 도구를 선택하는 구성
마지막 수정 일자