본문으로 건너뛰기
그럴듯한 SQL을 믿고 실행하기 위한 A2A 대화형 BI 설계
목차

그럴듯한 SQL을 믿고 실행하기 위한 A2A 대화형 BI 설계 (2026-10)

원문 정보

실행 성공 뒤에 숨은 그럴듯한 오답

활동 유저를 물었는데 로그인 유저 수가 돌아옵니다. 테스트 계정이나 특정 채널을 제외하지 않아 숫자가 커지고, 복잡한 JOIN에서 생긴 중복이 합계와 카운트를 부풀리기도 합니다. 실행만 보면 성공입니다. LY Corporation Game Platform실이 대화형 BI 애플리케이션 ChatGamesight를 운영하며 부딪힌 문제는 이런 ‘그럴듯한 오답’이었습니다.

ChatGamesight는 자연어 질문을 받아 SQL을 생성하고, 실행 결과를 시각화해 답하는 애플리케이션입니다. 출발점은 반복되는 확인 작업이었습니다. 지표 정의와 배경 맥락이 여러 곳에 흩어져 있어, 질문이 들어올 때마다 담당자가 정의를 다시 확인하고 쿼리를 작성해야 했습니다. 데이터에 익숙하지 않은 사용자는 답을 얻기 어려웠고, 데이터 담당자는 같은 문의에 답하느라 하던 일을 자주 바꿔야 했습니다.

LLM에 스키마(DDL)와 컬럼 설명을 주는 것만으로는 이 간격을 채우기 어려웠습니다. 같은 매출이라도 환불·취소를 반영하는지, 결제일과 정산일 중 어느 날을 기준으로 삼는지, 일·주·월 중 어떤 단위로 집계하는지에 따라 값이 달라집니다. JOIN 키가 있다고 언제나 그 관계를 써도 되는 것은 아닙니다. 중복 제거, 최신 스냅샷, 유효 기간 같은 조건이 붙고, 대시보드 안의 필터와 계산식이 사실상의 표준 정의가 되기도 합니다.

팀은 처음에 프롬프트를 보강했습니다. 스키마에 SQL few-shot 예시를 더하고 금지 규칙도 늘렸지만, 운영 중 바뀌는 지표 정의와 예외를 따라가기에는 한계가 있었습니다. 정의의 근거도 문서, 대시보드, 운영 관례에 흩어져 있었습니다. 이들을 한 프롬프트에 넣으면 오답이 나왔을 때 정의를 잘못 해석했는지, 근거를 못 찾았는지, SQL 작성이 틀렸는지 구분하기 어려웠습니다.

필요한 것은 지식의 양만이 아니었습니다. 질문에 맞는 근거를 찾아 공급하고, 잘못된 답을 어느 단계에서 고칠지 구분해야 했습니다. 여기에 SQL을 실제로 실행할 때의 권한과 민감정보, 리소스 문제까지 더해졌습니다. 팀은 의미를 해석하는 일과 실행을 통제하는 일을 나눠 설계했습니다.

질문에 빠진 조건을 찾는 Ontology DB

“A 이벤트 효과 어땠어?”라는 질문에는 SQL에 필요한 조건이 빠져 있습니다. 이벤트의 시작과 종료, 대상 게임이나 서비스, 전환·매출·잔존 같은 평가 KPI를 알아야 집계할 수 있습니다. 사용자에게 매번 이 조건을 모두 적게 하면 질문만으로 답을 얻는 장점이 줄어듭니다. ChatGamesight는 이벤트나 캠페인의 메타데이터를 먼저 조회해 기간과 대상 조건을 도출하고 SQL에 반영하도록 했습니다.

수치를 얻은 뒤에도 설명은 남습니다. 회고나 리뷰에서 궁금한 것은 숫자 한 줄보다 그 숫자가 나온 배경일 때가 많습니다. 그래서 온톨로지 기반 RAG는 쿼리를 구체화하는 데 그치지 않고, 용어 정의와 프로모션·이벤트 문서, 대시보드 설명을 함께 검색합니다. 필요하면 외부 시장 자료도 찾습니다. 지표를 계산할 조건과 결과를 해석할 근거를 한 질문에서 함께 구하는 방식입니다.

이를 뒷받침하는 지식 기반이 Ontology DB입니다. 분석에 필요한 정보는 형식도, 저장 위치도, 갱신 주기도 제각각이었습니다. 그대로 LLM에 넣으면 노이즈가 커지고, 소스마다 따로 처리하면 정보 사이의 연결을 잃기 쉬웠습니다. 팀은 Tableau, OpenMetadata 등에서 데이터를 수집해 공통 스키마로 정규화하고 한곳에 모았습니다. 지표가 어느 대시보드에서 어떻게 정의됐는지, 어떤 이벤트와 게임에 연결되는지도 함께 정의했습니다.

검색은 먼저 위치를 정하는 데서 시작합니다. Ontology Routing 단계에서 Intent Parser가 질문의 의도와 주요 용어를 추출하면, Ontology Router가 Ontology Metadata의 Entity-Relation Mapping을 참조합니다. 여기서 검색할 데이터 도메인과 인덱스를 정한 Retrieval Plan이 나옵니다. 질문에 필요한 정보를 무작정 모으기 전에 어디를 찾아야 할지 결정하는 과정입니다.

이 계획을 받은 Retriever 에이전트는 Dual-track Retrieval을 수행합니다. OpenSearch의 하이브리드 검색으로 키워드와 의미가 맞는 문서를 모으고, 질문이 지표 계산을 요구하면 검색된 맥락에서 기간·게임·지표 정의 같은 집계 조건을 구체화해 SQL 생성에 전달합니다. Grounded Answer 단계에서는 Answer Composer가 검색 컨텍스트와 집계 결과를 결합합니다. 답변에 사용한 데이터 소스도 함께 제시하므로 사용자가 근거를 확인하고 직접 검토할 수 있습니다.

2~3홉의 관계에서 드러난 Vector DB의 한계

관계를 정의하는 작업이었지만, 저장소는 Vector DB로 시작했습니다. Graph DB는 노드와 엣지로 관계를 명시하기에 적합해 보였습니다. 그러나 스키마 설계와 관계 정의에 드는 초기 투자가 컸고, 어떤 관계가 실제 질의 품질을 좌우하는지도 충분히 검증하지 못한 시점이었습니다. 이때 그래프 모델부터 확정하는 데에는 위험이 있었습니다.

팀이 택한 방법은 공통 스키마로 정규화한 문서에 연관 노드 참조를 텍스트로 넣고 임베딩하는 것이었습니다. 빠르게 시작하면서 의미적 연결도 어느 정도 표현할 수 있었습니다. 한계는 간접 관계에서 나타났습니다. 관계를 명시적으로 표현하지 않은 탓에 2~3홉 떨어진 연결을 LLM이 추론으로 채워야 했고, 이 과정에서 답변 정확도가 불안정해졌습니다.

이 경험으로 먼저 정의해야 할 관계를 판단할 기준이 생겼습니다. Graph DB 도입은 이후의 계획이며, Vector DB로 운영하며 얻은 기준을 그래프 스키마 설계의 토대로 삼을 예정입니다.

실패 지점을 나눠 맡은 A2A 에이전트

근거를 마련해도 모든 판단을 한 에이전트에 맡기면 개선할 지점이 뒤섞입니다. 지표 정의와 해석 규칙, SQL 작성, 운영 정책이 한데 모일수록 프롬프트가 커지고, 작은 수정이 전체 회귀로 이어졌습니다. 팀은 운영에서 관찰한 실패 유형을 기준으로 책임을 나눴습니다. 정의 해석, 근거 부족, SQL 작성, 정책 위반, 결과 전달의 문제를 각각 다룰 수 있도록 한 것입니다.

에이전트맡은 책임
Domain Agent지표·세그먼트 정의와 해석 규칙 관리, 결과 해석에서 지킬 기본 조건 제안
Retrieval Agent온톨로지와 메타데이터 인덱스에서 근거 구성, 근거 부족의 명시적 반환
SQL Agent근거를 반영한 SQL 후보 생성, 중복·필터·기간 규칙의 일관된 적용
Guardrail/Policy 에이전트실행 전 권한·민감 컬럼·리소스 정책 강제, 위반 시 수정 힌트 반환
Report Agent결과를 요약과 리포트로 정리해 커뮤니케이션 비용 절감

나눈 역할은 A2A(Agent-to-Agent) 오픈 프로토콜로 연결했습니다. 각 에이전트가 무엇을 입력받고 어떤 출력에 책임지는지 계약으로 정한 것입니다. 질문 요약, 근거 묶음, SQL 후보, 검증 결과, 사용자 메시지를 입출력 스키마에 담고, 근거 부족·정의 충돌·권한 위반·리소스 위험은 서로 다른 실패로 표현했습니다. 결과뿐 아니라 그렇게 해석한 근거도 다음 단계에 전달합니다. SQL 실행 전 승인 같은 개입 지점도 두어 사람이 단계별 결과를 검토하거나 수정할 수 있게 했습니다.

계약이 유지되면 한 에이전트의 프롬프트나 도구 체인을 교체할 때 전체 시스템의 회귀를 줄일 수 있습니다. 각 분야의 전문가가 전체 구현을 알지 못해도 자신이 맡은 에이전트를 개선하고 배포할 환경도 마련했습니다. 역할 분리는 오류를 고칠 범위와 배포할 범위를 함께 나누는 기준이 됐습니다.

운영에는 개발부터 배포까지의 흐름도 필요했습니다. 팀은 Langflow에서 프롬프트, 도구 연결, 출력 스키마를 시각적으로 구성하고 샘플 질문 세트로 최소 품질을 확인했습니다. 실에서 운영하던 UI 기반 AI Admin에서는 flow ID로 버전을 관리하고 런타임에서 호출하도록 했습니다. 코드 배포와 플로우 배포의 주기를 분리한 덕분에, 자주 바뀌는 지표 정의와 예외 규칙을 작은 개선 단위로 더 자주 반영할 수 있었습니다.

실행 직전 정책을 강제하는 Query Guardrail

의도한 지표를 계산하는 SQL도 그대로 실행할 수는 없습니다. 사용자가 허용받지 않은 서비스 범위를 조회하거나, SELECT *와 컬럼 선택 실수로 개인 식별자 계열 컬럼을 노출할 수 있습니다. 기간을 지나치게 넓게 잡거나 큰 테이블을 JOIN하면 실행 비용과 서비스 안정성에도 영향을 줍니다. 프롬프트만으로 안정적으로 통제하기 어려운 위험입니다.

팀은 쿼리 실행 직전에 독립 서비스가 SQL을 검증하도록 Query Guardrail을 만들었습니다. 검증 결과에 따라 실행을 차단하거나 수정에 필요한 피드백을 반환합니다. 의미를 해석하는 에이전트와 별개로, 실행 경로에서 정책을 강제하는 장치입니다.

RLS(Row-Level Security)는 사용자가 허용된 리소스 범위만 조회하는지 확인합니다. 단순한 문자열 매칭은 우회하기 쉬웠습니다. 그래서 SQL을 파싱한 뒤 접근 리소스 목록을 반환하는 쿼리로 재작성하고, 그 쿼리의 실행 결과를 사용자 권한과 대조하도록 했습니다. SQL에 어떤 문자열이 들어 있는지만 검사하는 방식으로는 부족했던 것입니다.

CLS(Column-Level Security)는 최종적으로 노출되는 컬럼 집합을 계산합니다. SELECT *를 확장하고 별칭과 서브쿼리까지 고려한 뒤, 개인 식별자 계열 등 민감 컬럼이 포함되는지 판단합니다. 이 역시 문자열 매칭만으로 처리하면 누락이 생기기 쉬운 영역입니다.

차단 뒤의 응답도 설계 대상이었습니다. ‘권한 없음’만 반환하면 사용자도 에이전트도 고칠 부분을 알기 어렵습니다. Guardrail은 위반한 정책이 RLS, CLS, 리소스 중 무엇인지, 어떤 리소스나 컬럼이 문제였는지 요약해 반환합니다. 필수 필터 키나 금지 컬럼 계열 같은 수정 방향도 함께 제공합니다.

이 검증 로직은 REST와 MCP 도구로 호출할 수 있습니다. 애플리케이션 서버는 실행 직전에 REST로 검증을 강제하고, 에이전트는 MCP 도구로 검증을 요청한 뒤 실패 피드백을 읽어 SQL을 수정할 수 있습니다. 실행을 통제하는 경로와 에이전트가 스스로 수정하는 경로에서 같은 로직을 재사용하는 방식입니다. 차단만으로 대화를 끝내지 않고 수정에 필요한 정보를 돌려주는 이유도 여기에 있습니다.

반복 문의가 줄기 시작한 ChatGamesight

이벤트 KPI를 묻는 질문이 들어오면 A2A로 이벤트 내용을 검색하는 에이전트와 쿼리를 작성하는 에이전트를 함께 호출합니다. 온톨로지 기반 RAG가 기간과 대상, 지표의 맥락을 보강하고, 생성된 SQL은 실행 전에 Query Guardrail의 검증을 거칩니다. 사용자는 수치와 배경을 결합한 분석 답변을 받습니다. 개인정보나 보안 정책을 위반하는 질문은 실행을 차단하고 이유를 전달합니다.

정식 릴리스 뒤에는 매주 같은 지표를 뽑아 정리하던 작업과 담당자에게 되풀이하던 질문 중 일부가 대화 한 줄로 해결되기 시작했습니다. 팀이 먼저 체감한 변화는 반복 문의와 수작업 리포팅 부담의 감소였습니다. 일부 작업에서 나타나기 시작한 변화라는 점이 이 결과의 범위입니다.

결과를 믿고 검토할 수 있게 한 장치도 있었습니다. 분석 답변과 함께 쿼리를 숨기지 않고 보여 주고, 사람이 직접 확인하고 수정할 수 있도록 한 점이 사용자 신뢰를 높이는 데 기여했습니다. ChatGamesight의 개발은 아직 진행 중입니다. 팀은 사용자 피드백을 반영하며 계속 발전시킬 계획입니다.

마지막 수정 일자