본문으로 건너뛰기
데이터 조회를 넘어 업무의 맥락을 잇는 물어보새 Agent
목차

데이터 조회를 넘어 업무의 맥락을 잇는 물어보새 Agent (2025-10)

원문 정보

데이터 조회 밖으로 번진 구성원의 질문

“회사 주소 알려줘”, “IT 보안 담당자는 누구고 어떤 일을 해?” Text-to-SQL과 Data Discovery 중심이던 물어보새에 사내 업무 전반을 묻는 질문이 들어오기 시작했습니다. 질문의 범위가 달라진 것입니다. ChatGPT, Claude, Gemini가 빠르게 발전하면서 구성원은 물어보새에도 데이터를 찾아주는 도구를 넘어 업무 맥락을 이해하는 비즈니스 어시스턴트를 기대했습니다.

우아한형제들 BADA(Baemin Advanced Data Analytics)팀은 2024년 물어보새를 공개했습니다. 시리즈 1부에서는 RAG와 Text-to-SQL을, 2부에서는 Data Discovery를 소개했습니다. 그 뒤의 변화를 담은 3부에서 2025년의 목표는 지식의 탐색, 연결, 확산으로 넓어졌습니다.

이제 Zeppelin 같은 데이터 추출 환경의 정보만으로는 답하기 어려웠습니다. 흩어진 사내 지식을 찾아 연결하고, 이전 대화를 잇는 multi-turn을 지원하며, 답변이 만족스럽지 않을 때 원인을 찾아 개선해야 했습니다. 필요한 도구를 골라 실제 업무를 처리하는 능력도 요구됐습니다. 기존 RAG 기반 서비스로 충족하기 어려운 요구였고, 팀이 향한 곳은 2부에서 소개한 3단계 업무 협업 수준의 ‘부분 업무 지능화’에 가까웠습니다.

다음 행동을 스스로 고르는 ReAct

BADA팀의 최근 프로젝트 진행 상황과 관련 문서를 정리하는 요청을 생각해 봅니다. 내부 정보를 검색하고 Confluence의 상세 문서를 읽은 뒤, Jira에서 이슈 상태를 확인하고 결과를 종합해야 합니다. 검색 한 번으로 끝날 일이 아닙니다.

초기에는 이런 요청을 RAG → 요약 → RAG → 답변처럼 정해진 순서로 처리했습니다. 흐름을 개발자가 모두 설계하다 보니 새로운 질문이 나올 때마다 코드를 고쳐야 했습니다. 유지보수를 이어가기 어려운 방식이었습니다.

방향을 바꾼 계기는 AWS의 도움으로 만난 Anthropic AI 개발자와의 대화였습니다. “LLM에게 믿고 위임하세요”라는 조언을 바탕으로, 팀은 다음 행동을 결정하는 일을 LLM에 맡기는 ReAct 기반 Agentic Workflow를 도입했습니다. 질문을 분석해 필요한 도구를 실행하고, 실행 결과를 관찰한 뒤 다음 행동을 정합니다. 목표에 도달할 때까지 추론과 행동, 관찰을 반복하는 방식입니다.

도입 뒤 답변의 정확성과 일관성이 눈에 띄게 향상됐습니다. 이 판단을 뒷받침하도록 지식의 범위를 넓히고, 대화 맥락을 저장하며, 실행 과정을 추적하는 기능도 갖췄습니다. 전문화된 에이전트들이 협력하는 현재의 아키텍처는 구성원의 업무 문제를 하나씩 풀어 가며 점진적으로 만들어졌습니다.

저장한 문서 너머까지 찾는 Knowledge Discovery

지식 확장은 테이블 DDL, 메타데이터, SQL few-shot 예시를 다루던 범위에서 출발했습니다. 사내 포털, Confluence Wiki, Jira, Slack, Google Drive의 비정형 데이터를 수집하는 파이프라인을 구축해 업무 지식까지 검색 대상으로 넓혔습니다.

검색에는 BM25s를 썼습니다. 인덱싱할 때 문서 토큰의 BM25 가중치를 미리 계산해 희소 행렬로 저장하므로, 질의 시점의 계산을 줄이는 방식입니다. BM25s는 기존 대비 최대 500배 빠른 검색 성능을 제공합니다. 실제 Retriever 성능 테스트에서 확인한 검색 품질 향상은 기존 대비 약 15%였습니다.

정보를 모아도 검색되지 않는 내용이 있었습니다. 이미지로 게시된 복지 제도와 사내 정책입니다. 멀티모달 LLM으로 이미지를 텍스트로 바꾸면서 표 구조와 제목 같은 계층 정보도 추출해 벡터화했습니다. 텍스트 검색에서 빠져 있던 시각 자료가 지식 자원에 포함됐습니다.

Wiki에는 문서가 너무 많았습니다. 수백 개 공간에서 자주 쓰이는 문서를 관리하려고 공간별 문서 생성 수와 최근 2주 조회수를 기준으로 핵심 문서를 자동 선별했습니다. 저장 단위도 문서의 성격에 맞췄습니다. 정책은 섹션, 프로젝트 문서는 단락, 공지사항은 전체 단위로 저장하고 제목·팀명·생성일·라벨을 함께 남겨 검색의 정밀도와 문맥 일관성을 높였습니다.

방금 올라온 정보를 찾는 Atlassian MCP 서버

선별해서 저장하는 방식에는 빈틈이 있었습니다. 수집 대상이 아닌 문서나 저장 주기 밖에 등록된 Jira 티켓은 찾을 수 없었습니다. 이를 보완한 것이 LLM과 외부 시스템을 표준화된 방식으로 연결하는 MCP(Model Context Protocol)입니다.

Atlassian MCP 서버를 연결한 뒤에는 Confluence Wiki와 Jira의 최신 정보, 저장하지 않았던 데이터까지 실시간으로 가져올 수 있게 됐습니다. “이 내용으로 Wiki 문서 만들어줘”, “이 버그를 티켓으로 만들어줘” 같은 요청도 처리합니다. 조회에서 문서 생성과 티켓 등록으로 기능이 넓어진 것입니다.

외부 서버 연결이 실패하는 상황도 대비했습니다. Connection Manager가 주기적으로 연결 상태를 점검하고, 실패하면 벡터 스토어 검색으로 자동 전환하는 fallback을 적용했습니다.

도구 선택은 ReAct가 맡습니다. 변화가 적은 정책 문서는 벡터 스토어로 찾고, 최신 Jira 티켓이나 프로젝트 상황은 MCP 서버로 확인합니다. 예를 들어 복지 정책 담당자를 묻는 질문에는 벡터 스토어에서 조직도를 검색한 뒤 MCP로 최신 담당자 정보를 확인하고, 이름과 연락처, 소속팀을 종합하는 식입니다. 새로운 데이터 소스도 최소한의 설정 변경으로 연결하도록 구성했습니다.

Knowledge Discovery 도입 뒤에는 업데이트된 문서를 찾아 정리하는 데 도움을 받았다는 신규 입사자의 피드백이 나왔습니다. 주간 보고와 연말 평가 작성, 담당자 탐색에서도 시간을 아끼고 실수를 줄였다는 의견이 이어졌습니다.

후속 질문에서 사라지던 매출의 맥락

검색 범위가 넓어져도 대화는 끊겼습니다. 지난 분기 푸드 서비스 매출을 물은 뒤 작년 동기 대비 증감률을 요청하면, 물어보새는 무엇의 매출인지 잊어버렸습니다. LLM API 호출에 직전 질문만 담겼기 때문입니다. 사용자는 대화를 이어 갔지만 시스템은 매번 처음부터 해석했습니다.

대화 메모리는 이 흐름 전체를 저장하도록 설계했습니다. 사용자 질문과 첨부 파일, 에이전트의 판단 근거, 도구 호출 내역과 실행 결과, 최종 답변을 데이터베이스에 남깁니다. 다음 질문에는 최근 몇 개의 질문–답변 쌍을 불러와 새 질문과 결합합니다. 과거 대화는 요약하거나 필요한 내용만 압축해 입력 문맥의 한계인 context window를 관리합니다.

이제 “푸드 서비스 매출을 보여줘” 다음에 “그리고 일자별로 알려줘”라고 요청하면, 앞서 다룬 매출을 기준으로 도구를 호출해 일자별 데이터를 조회합니다. 생성한 답변도 다시 저장해 다음 대화에 반영합니다.

Langfuse에 남긴 답변의 생성 과정

대화가 이어지자 질문이 늘었고, 오답과 불만족스러운 답변도 늘었습니다. 만족도 피드백으로 문제의 존재는 알 수 있었습니다. 그러나 답변이 왜 그렇게 나왔는지 찾으려면 LLM 결과를 수동으로 정제해야 했고, 같은 질문에도 결과가 달라지는 비결정성 때문에 로그가 있어도 동일한 과정을 재현하기는 거의 불가능했습니다.

팀은 Langfuse 기반 Tracing으로 질문부터 최종 답변까지의 실행 과정을 추적했습니다. 호출한 도구와 참고한 검색 결과, 중간 판단 흐름을 확인하고 LLM 호출 비용과 처리 지연도 실시간으로 살핍니다. 결과만 보고 추측하던 문제를 실행 과정에서 확인할 수 있게 됐습니다.

이 기록은 평가에도 쓰입니다. 온라인 평가는 실시간 질문과 답변 품질을 모니터링하고, A/B 테스트나 특정 질의 유형의 문제 진단에 활용합니다. 사용자 질문을 오프라인 평가 데이터로 재사용할 수도 있습니다. 오프라인에서는 평가 데이터 생성과 품질 측정, 모델별 성능 비교, 서비스 품질 지표 개발을 진행합니다. Tracing은 이렇게 답변 품질을 진단하고 개선할 근거를 남깁니다.

반복 문의를 맡은 Support Channel Automation

2025년 10월 기준 우아한형제들에는 수백 개의 활성 서포트 채널이 있었습니다. 데이터베이스 권한 신청, VPN 연결, 장비 수령 같은 문의가 반복됐고, 담당자가 회의 중이거나 업무 시간이 지나면 답변은 늦어졌습니다.

키워드 매칭 기반 FAQ로는 충분하지 않았습니다. “재택근무 신청”, “원격근무 방법”, “집에서 일하려면?”은 같은 뜻이어도 다르게 인식됐습니다. “로그인이 안 돼요”라는 말만으로는 어느 시스템에서 어떤 오류가 났는지도 알 수 없었습니다. FAQ를 계속 갱신하기도 어려웠습니다. 팀은 Slack 서포트 채널에 쌓인 실제 질문과 답변을 자동 응대의 지식 소스로 삼았습니다.

해결 과정까지 담는 PCSO

Slack 스레드에는 질문과 답변, 제3자의 의견이 섞여 있습니다. VPN 연결 문의 하나에도 운영체제 확인과 오류 로그, 해결 시도, 최종 피드백이 이어집니다. 이 흐름을 PCSO(Problem-Cause-Solution-Outcome), 즉 문제·원인·해결책·결과로 요약해 저장했습니다.

예를 들어 VPN 연결 실패 스레드는 ‘연결 불가 → 리디렉션 오류 → PanGPS 설정 변경 → 연결 성공’으로 정리합니다. 채널의 주제와 담당 팀, 답변 톤도 메타데이터로 함께 남깁니다.

답변을 만들 때는 PCSO 요약에서 후보를 찾고, 맥락이 더 필요하면 전체 Slack 대화로 검색을 넓힙니다. 이 progressive retrieval에서는 환경·버전·오류 메시지를 포함해 먼저 검색하고, 결과가 부족할 때 조건을 완화합니다. ‘Mac VPN 연결 안 됨’에서 ‘VPN 연결 실패’, ‘네트워크 문제’로 범위를 넓히는 것이 한 예입니다. 마지막에는 Cross-Encoder 리랭킹으로 질문과 사례의 의미적 유사도를 평가해 관련성이 높은 사례를 고르고, 현재 상황에 맞는 답변을 생성합니다.

자동 응답을 멈추고 담당자를 부르는 기준

질문은 ‘자동 해결 가능’과 ‘담당자 확인 필요’로 구분합니다. 예를 들어 데이터베이스 접근 권한 신청 방법은 자동 응답할 수 있지만, 특정 테이블의 데이터 불일치처럼 세부 검토가 필요한 문의는 담당자에게 바로 전달합니다.

생성한 답변도 평가를 거칩니다. G-Eval은 LLM이 평가자를 맡는 LLM-as-a-judge 방식으로, 답변이 문제를 해결할 수 있는지와 필요한 정보를 충분히 담았는지를 검사합니다. 기준에 못 미치면 자동 응답을 중단하고 담당자에게 넘깁니다. Slack 사용자 그룹, 개별 담당자, Opsgenie 스케줄로 담당자를 호출할 수 있으며, 사용자도 “문제 해결이 어려워요” 버튼으로 언제든 연결할 수 있습니다.

도입은 Slack 워크플로우 기반 셀프 신청으로 처리합니다. 채널명, 워크플로우 이름, 담당자 정보, FAQ 문서 등을 입력해 제출하면 10분 이내에 기능이 활성화됩니다. FAQ 문서가 없어도 기존 Slack 대화로 연결할 수 있습니다. 모든 답변에는 출처와 관련 문서 링크를 제공하며, 평균 응답 시간은 1분 이내입니다.

팀과 개인의 에이전트로 넓혀 갈 협업 생태계

물어보새는 전사 구성원 4명 중 1명이 업무에 쓰는 서비스가 됐습니다. 구성원의 기대도 응답을 받는 데서 상황에 맞는 해결책과 실제 조치로 옮겨 갔습니다. 이에 Grafana와 사내 시스템 등의 MCP 서버를 연결해 원인을 분석하고 조치하는 테스트를 진행하고 있습니다. 시스템 오류나 데이터 파이프라인 실패 같은 일부 상황에서 진단하고 도구를 호출해 해결을 시도하는 단계입니다.

Agent Ecosystem은 BADA팀이 직접 지식을 수집하고 연결하던 방식에서 팀과 개인이 참여하는 방식으로 전환하려는 계획입니다. 셀프 서비스 ‘물어보새 에이전트 키트’로 팀은 배포 로그·장애 이력·디자인 가이드 같은 도메인 지식을 연결하고, 개인은 필요한 프롬프트와 도구를 조합해 자신에게 맞는 에이전트를 만드는 구상입니다.

Analytics Assistant는 데이터 탐색에서 인사이트 도출, 시각화, 모델링까지 이어지는 분석 경험을 목표로 합니다. 새로운 마케팅 캠페인의 효과를 묻는다면 사업 조직은 분석 대상과 지표를, 마케팅 조직은 가설과 인사이트를, 데이터 조직은 실험 설계와 모델 기반 분석을, 플랫폼 조직은 자동화 파이프라인과 대시보드를 제공하는 식입니다. 물어보새가 이를 연결해 가설 검증부터 리포트 생성까지 수행하도록 발전시킬 계획입니다.

글이 공개된 2025년 10월에는 Delivery Hero 글로벌 생태계로 확장하기 위한 논의도 진행 중이었습니다. 각 조직이 자체 에이전트를 구축하고 운영하는 AaaS(Agent as a Service) 형태의 협업 플랫폼을 준비하며, 같은 해 12월 AWS re:Invent 2025에서 개발 사례를 공유할 예정이었습니다.

검색과 운영에서 제시된 수치
항목값
BM25s 검색 속도기존 대비 최대 500배 빠름
Retriever 검색 품질기존 대비 약 15% 향상
Wiki 핵심 문서 선별 기준공간별 문서 생성 수, 최근 2주 조회수
서포트 채널 수2025년 10월 기준 수백 개
서포트 채널 기능 활성화신청 후 10분 이내
서포트 채널 평균 응답1분 이내
사용 규모전사 구성원 4명 중 1명
마지막 수정 일자