본문으로 건너뛰기
사내 지식과 RAG로 Text-to-SQL을 다듬은 물어보새
목차

사내 지식과 RAG로 Text-to-SQL을 다듬은 물어보새 (2024-07)

원문 정보

데이터를 쓰면서도 SQL이 어려웠던 구성원

업무에 데이터를 쓰는 사람은 많았습니다. 물어보새 TF가 전 구성원을 대상으로 진행한 설문에서 응답자의 약 95%가 데이터를 활용하고 있었지만, 절반 이상은 SQL을 배울 시간이 부족하거나 비즈니스 로직과 추출 조건을 쿼리에 담는 데 어려움을 겪었습니다. 데이터를 뽑은 뒤에도 제대로 추출했는지 확신하기 어렵다는 고민이 있었습니다.

물어보새의 출발은 사내 해커톤 우아톤 2023입니다. 코드 없이 데이터를 추출하고 시각화하는 서비스로 1등을 차지했고, 이후에도 구성원들의 요구와 관심이 이어졌습니다. 2024년 1월에는 본격적인 개발을 위한 언지니어 TF가 꾸려져 6개월 동안 개발을 이어 갔습니다.

설문을 마친 TF는 목표를 ‘구성원의 데이터 리터러시 상향 평준화’로 잡았습니다. 데이터를 추출하고 해석하는 데서 나아가 신뢰성을 검증하고, 분석한 내용으로 소통하며 의사결정을 내리는 능력을 높이려는 목표입니다. 이를 위해 데이터 카탈로그의 테이블 메타 정보, 비즈니스 표준 용어, 검증된 데이터 마트를 바탕으로 정보의 체계를 잡고 사내 지식을 빠르게 검색하는 방향을 택했습니다.

업무에 쓸 쿼리를 위한 Text-to-SQL

처음 두 달은 자연어를 SQL로 바꾸는 Text-to-SQL에 집중했습니다. GPT-4는 SQL을 잘 작성하는 모델입니다. 그러나 사내 도메인과 데이터 정책을 이해하지 못하면 그럴싸한 모양의 쿼리를 만들어도 실제 업무에 쓰기 어렵습니다. 기본 retriever가 불필요한 데이터를 가져오는 문제와 허위 생성까지 겹쳐 답변 품질도 일정하지 않았습니다.

모델의 일반적인 답변 능력만으로 채우기 어려운 부분이었습니다. GPT-4o 같은 대규모 언어 모델(LLM)도 직접 학습하지 않은 회사 내부의 질문에는 제대로 답하지 못합니다. 물어보새는 필요한 사내 정보를 검색해 답변에 쓰는 RAG를 적용하고, Langchain의 DocumentLoader, Vectorstore, RAG QA로 도메인 지식에 근거한 쿼리를 생성하도록 만들었습니다.

설명과 예제를 보강한 사내 데이터

검색할 문서부터 달라져야 했습니다. “Garbage in Garbage Out”은 LLM에도 적용됩니다. TF는 데이터의 모호성을 문서화로 개선하는 방법을 다룬 NeurIPS 2023 논문 “Data Ambiguity Strikes Back: How Documentation Improves GPT’s Text-to-SQL”을 참고해 테이블 메타데이터를 보강했습니다.

테이블의 목적과 특성, 칼럼의 상세 설명, 주요 값과 키워드에 더해 자주 쓰이는 서비스와 질문까지 기록했습니다. 이 정보로 테이블 DDL을 생성하니 쿼리 작성에 참고할 내용도 풍부해졌습니다. 이미 구축된 사내 데이터 카탈로그에 정보를 추가하고 API로 최신 내용을 수집할 수 있었습니다.

질문에 쓰이는 비즈니스 용어도 정리했습니다. 서비스나 조직에 따라 용어가 달라 혼동이 생길 수 있었으므로, 데이터 거버넌스 조직이 관리하던 표준 용어 사전을 바탕으로 Text-to-SQL 전용 용어집을 만들었습니다.

쿼리 예제에는 분석가의 도메인 지식을 담았습니다. 프롬프트에 예시 답변을 넣는 few-shot 기법을 쓰기 위해, 분석가가 작성한 고품질 SQL과 주요 비즈니스 질문에 맞춰 새로 작성한 SQL에 각각 질문을 붙였습니다. 이렇게 모은 쿼리-질문 데이터셋은 추출 기준과 비즈니스 상황이 바뀔 때마다 도메인 분석가가 관리해야 합니다. 이를 위한 협업 체계 구축은 향후 계획으로 남아 있었습니다.

데이터는 매일 자동으로 수집합니다. 양이 늘어도 전체를 다시 갱신하지 않도록 VectorDB에 인덱싱을 적용해 변경된 부분만 업데이트했습니다.

질문의 뜻부터 맞추는 검색 과정

짧거나 모호한 질문은 먼저 구체화합니다. 이때는 질문의 의도에 맞는 비즈니스 용어를 찾는 일이 우선입니다. 비슷해 보인다는 이유로 관련 없는 용어를 가져오면, LLM이 질문 자체를 잘못 바꿀 수 있기 때문입니다.

질문이 구체화된 뒤에는 쿼리 작성에 필요한 테이블·칼럼 메타 정보, DDL, few-shot SQL을 찾습니다. 이 단계에서는 문맥에 따른 유사도 검색과 특정 단어가 포함된 정보를 고르는 방법 등을 조합해 질문에 가장 적합한 정보를 추출합니다. few-shot SQL도 질문과 가장 가까운 예시를 골라야 하며, 비슷한 예시가 없다면 예제 데이터에 새로 추가해야 합니다.

추론과 검색을 결합한 쿼리 생성 프롬프트

질문 구체화와 쿼리 생성 프롬프트에는 모두 데이터 분석가의 페르소나를 부여했습니다. 어떤 역할을 맡기고 어떤 결과물을 기대할지 논의한 뒤 프롬프트에 반영했습니다.

쿼리 생성에는 ICLR 2023의 ReAct 논문 아이디어를 응용했습니다. 단계별 추론인 chain-of-thought를 거치면서 질문에 맞는 데이터를 동적으로 검색하고 선별하는 방식입니다. 추론과 검색을 결합한 결과, 추론만 사용한 경우보다 훨씬 더 정확한 답변을 얻었습니다.

2주 스프린트에서 강점을 찾아간 TF

LLM 제품 개발은 TF 구성원 모두에게 처음이었습니다. 누구에게 어떤 일이 잘 맞을지 알기 어려워 업무를 컴포넌트로 나누고, 각자가 하고 싶은 일을 선택해 스프린트마다 순환했습니다. 개발 로드맵은 세 단계로 나눴으며, 각 단계 안에서 2주 단위로 작업했습니다.

초기에는 업무가 겹쳐 진척이 더딜 수 있는 방식입니다. 스프린트를 반복하면서 각자가 몰입할 수 있는 영역이 드러나고 강점을 살린 일이 주 업무로 자리 잡으면서 속도가 붙었습니다. 여러 업무를 경험한 덕분에 기술의 폭이 넓어졌고, 서로의 일을 이해하는 데도 도움이 됐습니다.

아이디어의 성능을 겨룬 사내 리더보드

개선 여부를 판단할 기준도 직접 만들었습니다. Yale Spider와 Alibaba BIRD 같은 공개 리더보드, RAGAS 스코어를 참고했지만 사내 도메인에 특화된 문제를 평가하기에는 한계가 있었습니다. 비즈니스 상황에 따라 중요해지는 지표를 새로 반영하기도 어려웠습니다.

TF는 이를 벤치마킹해 사내용 평가 지표와 데이터를 구축했습니다. 테스트 범위는 쿼리 문법 이해도부터 복잡한 도메인 지식을 반영한 쿼리의 실행 결과 정확도까지 나눴습니다. 원문 작성 시점에는 후자를 평가하고 있었으며, 사용자의 질문도 평가 데이터에 추가하며 개선 중이었습니다.

실험은 자동화했습니다. 구성원은 평가 데이터, 프롬프트, retriever, 체인 등을 선택해 실험하고 수십 개의 지표로 세부 성능을 측정했습니다. 사내 리더보드에서 수행한 A/B 테스트는 500번을 넘었습니다. 각자의 아이디어가 순위로 나타나면서 실험에 게임 같은 재미도 생겼습니다.

성능이 가장 좋은 결과는 주 단위 싱크 업에서 승인받은 뒤 운영에 배포했습니다. 프롬프트나 체인을 바꾼 효과를 빠르게 확인할 때는 Langserve Playground도 활용했습니다.

질문마다 알맞은 체인을 찾는 Router Supervisor

우아톤 때의 물어보새는 프롬프트와 Azure OpenAI의 GPT-3.5 API로 간단히 만든 서비스였습니다. 사내 지식을 체계적으로 다루고 다양한 데이터 질문에 답하려면 더 넓은 구성이 필요했습니다.

새 아키텍처에서는 비즈니스 용어, 테이블 메타 정보, 데이터 추출 코드 같은 비정형 데이터를 수집해 임베딩한 뒤 VectorDB에 저장했습니다. 데이터 영역별 임베딩 인덱스도 적용했습니다. 이렇게 준비한 지식을 질문 유형에 맞게 검색하는 RAG 멀티 체인이 답변을 맡습니다.

질문이 들어오면 Router Supervisor 체인이 의도를 분류합니다. 이어 쿼리 생성·해설·문법 검증, 테이블 해설, 로그 데이터 활용 안내, 칼럼과 테이블 활용 안내 등에 맞는 체인으로 연결합니다. 각 체인의 retriever는 해당 기능에 맞는 검색 알고리즘으로 필요한 데이터를 선별합니다.

질문 창구는 구성원이 업무에 쓰던 Slack입니다. 데이터 담당자가 없어도 365일 24시간 질문할 수 있는 서비스를 지향했습니다. 사용자는 답변에 긍정·부정 평가를 남길 수 있고, 그 결과는 GPT 캐시에 반영되어 다른 사용자에게도 표준화된 데이터 지식을 전달하는 데 쓰입니다. 생성한 쿼리는 실행 가능 여부와 오류를 검증해 부가 설명을 제공합니다.

운영에는 LLM의 배포·관리·모니터링을 다루는 LLMOps를 적용했습니다. API 로드 밸런싱, GPT 캐시, 피드백 루프, 운영 모니터링 대시보드로 응답 안정성과 속도, 오류 대응을 관리하고 CI/CD로 배포를 자동화했습니다.

대화 상대의 모습에도 의도가 담겼습니다. 디자인실과 만든 물어보새는 펠리컨과 폴더를 합친 너드 이미지의 캐릭터입니다. 넓은 우아한 데이터 바다에서 질문에 답할 것을 찾아오는 친구로, 적절한 답을 얻지 못하더라도 함께 문제를 푸는 동료처럼 느끼게 하려는 디자인입니다.

테이블 탐색으로 넓어진 물어보새의 답변

쿼리 생성과 해설 기능은 두 달 만에 개발했습니다. 답변에는 30초에서 1분 이내가 걸리며, 제공하는 쿼리는 업무에 참고할 수 있는 수준입니다. 입사한 지 얼마 되지 않았거나 다른 서비스 도메인을 맡은 구성원은 업무를 이해하는 데 큰 도움이 된다고 평가했습니다.

비즈니스 로직의 정확성과 질문 이해도를 더 높여야 한다는 의견도 있었습니다. TF는 사용자 의견과 질문 이력을 참고하며 성능 개선을 이어 갔습니다.

테스트 참가자와 대상 조직을 늘리자 데이터 디스커버리 질문도 상당한 비중을 차지했습니다. 테이블 칼럼·구조·유형을 탐색하고 이해해 인사이트를 얻고, 이를 BI 리포트로 작성하는 영역입니다. 이런 질문에 답하려면 쿼리 작성 외에도 다양한 데이터를 안내해야 했습니다.

물어보새는 이 수요에 맞춰 Text-to-SQL에서 데이터 디스커버리로 기능을 넓혔습니다. 프로덕트 소개와 Text-to-SQL 구현을 다룬 1부에 이어, 2부에서는 데이터 디스커버리 기능과 향후 계획을 다룹니다.

개발 과정의 수치와 조건
항목값
설문 결과응답자 약 95%가 업무에 데이터 활용, 절반 이상이 SQL 학습·작성에 어려움
TF 구성2024년 1월, 이후 6개월 개발
스프린트로드맵 3단계, 단계 안에서 2주 단위
Text-to-SQL 집중 기간처음 2개월
A/B 테스트사내 리더보드에서 500회 이상
쿼리 생성·해설 응답 시간30초~1분 이내
초기 버전 모델Azure OpenAI GPT-3.5 API
마지막 수정 일자