목차
SQL을 쓰기 전에 검색 범위부터 좁힌 우버의 QueryGPT (2024-09)
원문 정보
- 원문: QueryGPT – Natural Language to SQL Using Generative AI
- 매체 · 게시일: Uber Engineering Blog · 2024-09-19
- 저자: Jeffrey Johnson(Staff Software Engineer, Data Platform 팀), Callie Busch(Software Engineer II, Data Platform 팀), Abhi Khune(Principal Engineer, Data Platform 팀), Pradeep Chakka(Senior Software Engineer, Data Platform 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
데이터 사전에서 시작하던 쿼리 작성
우버에서 SQL을 쓰는 일은 데이터 사전에서 시작합니다. 필요한 데이터셋을 찾은 뒤 에디터에서 쿼리를 작성하는 순서입니다. SQL 문법만으로는 부족합니다. 엔지니어와 운영 담당자, 데이터 사이언티스트가 매일 테라바이트 규모의 데이터를 다루려면 사내 데이터 모델이 비즈니스 개념을 어떻게 표현하는지도 깊이 알아야 합니다.
한 달에 실행되는 대화형 쿼리는 약 120만 건이고, Operations 조직이 그중 약 36%를 차지합니다. QueryGPT는 이 쿼리들을 작성하는 시간을 줄이려고 만든 서비스입니다. 영어로 질문하면 SQL을 생성합니다. 우버는 데이터셋을 찾고 쿼리를 쓰는 시간을 보수적으로 건당 약 10분, QueryGPT를 쓸 때는 약 3분으로 추정했습니다.
Operations와 Support 일부 팀에 한정 공개한 단계에서 일일 활성 사용자는 평균 약 300명이었습니다. 이 중 약 78%는 생성된 쿼리가 처음부터 직접 작성할 때보다 시간을 줄여 주었다고 답했습니다. 이 결과에 이르기까지, 처음의 단순한 검색 방식은 여러 차례 바뀌었습니다.
샘플이 늘자 빗나간 RAG
QueryGPT는 2023년 5월 우버의 Generative AI Hackdays에서 나온 제안으로 출발했습니다. 초기 Hackdayz 버전에 준비한 자료는 tier 1 테이블 7개와 SQL 쿼리 20개였습니다. 첫 버전에서 프로덕션 설계로 넘어가는 사이에만 알고리즘을 20번 넘게 바꿨습니다.
처음에는 관련 자료를 검색해 LLM에 제공하는 RAG 방식을 썼습니다. 사용자 질문을 벡터화한 뒤 벡터 데이터베이스에서 k-최근접 이웃 검색으로 관련 테이블 3개와 SQL 샘플 7개를 찾았습니다. 이 예시들로 작업 방식을 보여 주는 few-shot 프롬프트를 구성했습니다.
스키마는 컬럼 정보를 알려 주고, SQL 샘플은 그 스키마를 어떻게 쓰는지 보여 줍니다. 날짜 처리나 우버 특유의 용어를 설명하는 맞춤 지침도 필요했습니다. 스키마와 SQL 샘플, 사용자 질문, 비즈니스 지침을 시스템 프롬프트로 묶어 보내면 SQL 쿼리와 설명이 돌아오는 방식입니다.
작은 자료 묶음에서는 잘 맞았습니다. 테이블과 SQL 샘플을 더 넣자 정확도가 떨어졌습니다. “어제 시애틀에서 완료된 트립 수를 구하라”는 자연어 질문을 CREATE TABLE 스키마나 SELECT 샘플에 바로 대조하는 유사도 검색에서 관련 없는 결과가 나왔습니다. 질문에서 곧장 필요한 스키마를 찾으려던 접근이 어려움에 부딪힌 것입니다.
검색 반경을 좁힌 워크스페이스
우버는 질문과 스키마 사이에 질문의 의도를 분류하는 단계를 넣었습니다. 먼저 비즈니스 도메인을 고릅니다. 그 선택의 단위인 워크스페이스는 Ads, Mobility, Core Services 같은 도메인별로 SQL 샘플과 테이블을 골라 묶은 모음입니다. LLM이 살펴볼 자료의 범위를 여기서 좁힙니다.
Mobility 워크스페이스에는 트립, 드라이버, 문서 세부 정보에 관한 데이터가 들어갑니다. “어제 시애틀에서 Tesla 차량으로 완료된 트립 수” 같은 질문을 다루는 범위입니다. 우버는 자주 쓰는 도메인을 System Workspaces로 제공하면서 Mobility 외에도 Core Services, Platform Engineering, IT, Ads 등 11개를 내놓았습니다. 사용자가 직접 자료를 고르는 Custom Workspaces도 만들 수 있습니다.
모든 질문은 먼저 Intent Agent를 거칩니다. 이 에이전트는 LLM 호출로 질문의 의도를 추론하고, 기본 제공 또는 사용자 워크스페이스 가운데 하나 이상에 연결합니다. 이후 검색은 선택된 워크스페이스의 테이블과 SQL 샘플을 대상으로 진행합니다. 자연어 질문을 전체 자료와 곧바로 비교할 때보다 RAG의 검색 반경이 크게 줄었습니다.
테이블 선택에는 사용자 확인도 넣었습니다. QueryGPT가 잘못된 테이블을 골랐다는 피드백에 따라, Table Agent가 사용할 테이블을 선택해 목록으로 보여 주도록 했습니다. 사용자는 “Looks Good”으로 확인하거나 목록을 수정한 뒤 쿼리 생성에 쓸 테이블을 확정합니다.
128K 토큰으로도 담지 못한 스키마
관련 테이블을 찾아도 입력 크기 문제가 남았습니다. 일부 tier 1 테이블은 컬럼이 200개를 넘었고, 스키마를 담은 요청은 40~60K 토큰에 이르렀습니다. 이런 테이블을 3개 이상 넣으면 당시 가장 큰 모델의 32K 토큰 한도 때문에 호출이 실패했습니다.
모델의 한도가 커져도 끝나지 않았습니다. 토큰 한도가 128K인 OpenAI GPT-4 Turbo(1106)를 쓰면서 더 많은 사용자에게 서비스를 열었지만, 큰 테이블을 포함한 일부 요청에서는 여전히 간헐적으로 한도를 넘었습니다.
Column Prune Agent는 LLM으로 질문과 관련 없는 컬럼을 골라 스키마에서 제거합니다. 쿼리에 필요한 컬럼을 남겨 스키마를 더 날씬하게 만든 것입니다. 토큰 수와 LLM 호출 비용이 크게 줄었고, 입력이 작아지면서 지연도 줄었습니다.
LLM은 이처럼 좁은 일을 맡겼을 때 훌륭한 분류기였습니다. 의도 분류, 테이블 선택, 컬럼 축소를 각각 맡긴 중간 에이전트들이 첫 버전보다 정확도를 크게 높였습니다. 내부 과정은 길어졌지만 사용자가 받는 결과는 그대로입니다. SQL 쿼리와 그 설명이 돌아옵니다.
같은 실패를 다시 찾아내는 평가
LLM이 정답 SQL과 비슷하다고 평가한 쿼리가 반복해서 실행에 실패하는 사례가 있었습니다. 빠진 것은 파티션 필터였습니다. 이런 실패가 일회성인지 되풀이되는 문제인지 구분하고, 알고리즘 변경이 전체적으로 도움이 됐는지 판단하려면 표준 평가 절차가 필요했습니다.
평가 세트는 QueryGPT 로그에 남은 실제 질문에서 만들었습니다. 질문마다 올바른 intent와 필요한 스키마, 비교 기준이 될 정답 SQL인 golden SQL을 사람이 확인했습니다. 여러 데이터셋과 비즈니스 도메인을 다루도록 질문을 골랐습니다.
프로덕션과 스테이징에서는 입력 조건을 달리해 성능을 측정했습니다.
| 흐름 | SQL 생성에 쓰는 정보 | 평가 목적 |
|---|---|---|
| Vanilla | 질문과 QueryGPT가 추론한 intent·데이터셋 | 기본 성능 측정 |
| Decoupled | 질문과 사람이 확인한 실제 intent·데이터셋 | 사람이 개입한 흐름의 성능 측정과 컴포넌트별 평가 |
Decoupled에서도 intent와 데이터셋 추론은 수행합니다. SQL을 생성할 때는 그 추론값 대신 확인된 값을 쓰므로, 앞 단계의 선택에 의존하지 않고 컴포넌트별 성능을 평가할 수 있습니다.
질문별 Intent 지표는 의도를 제대로 분류했는지 확인합니다. 테이블 선택은 0과 1 사이의 Table Overlap 점수로 잽니다. 필요한 테이블이 fact_trip_state와 dim_city인데 dim_city와 fact_eats_trip을 골랐다면, 하나만 맞혔으므로 점수는 0.5입니다.
실행 성공과 결과 유무도 따로 봅니다. Successful Run은 쿼리가 성공적으로 실행됐는지, Run Has Output은 결과가 1건 이상인지 확인하는 신호입니다. 예를 들어 실제 값이 status = "Completed"인데 LLM이 "Finished"라는 필터를 만들면, 실행에 성공해도 결과는 비어 있을 수 있습니다.
Qualitative Query Similarity는 생성된 쿼리와 golden SQL의 유사도를 LLM이 0과 1 사이로 매긴 점수입니다. 문법 오류로 실행하지 못한 쿼리라도 컬럼, 조인, 함수 선택은 올바른 방향인지 살펴보는 데 씁니다. 앞서 파티션 필터가 빠진 사례처럼, 유사도와 실행 결과를 함께 봐야 드러나는 문제가 있습니다.
질문별 화면에는 생성 SQL과 오류 이유, 성능 지표를 표시합니다. 평가 실행마다 정확도와 지연도 집계하고, 시간에 따른 변화를 시각화해 개선된 부분과 다시 나빠진 부분을 찾습니다.
정답 하나로 재기 어려운 SQL
평가 점수가 조금 올랐다고 바로 개선으로 판단하지는 않았습니다. LLM은 비결정적이어서 서비스를 바꾸지 않아도 실행마다 결과가 달라집니다. 대부분의 지표에서 실행 간 5% 안팎의 변동에 의사결정을 걸지 않고, 더 긴 기간에 걸쳐 반복되는 오류 패턴을 봤습니다.
평가 질문의 범위에도 한계가 있습니다. 우버에는 문서화 수준이 제각각인 데이터셋이 수십만 개여서, 사용자가 던질 모든 비즈니스 질문을 평가 세트에 담을 수는 없습니다. 현재 사용 양상을 대표하는 질문을 고르고, 정확도가 높아지거나 새 버그가 발견되면 평가 세트도 바꾸는 방식입니다.
SQL의 정답은 하나가 아닙니다. 같은 질문에 다른 테이블이나 다른 작성 방식으로 답할 수 있습니다. 따라서 golden SQL과 생성 SQL을 나란히 보고 LLM 유사도 점수를 참고해, 표현 방식이 다른 쿼리도 같은 의도를 충족하는지 판단합니다.
사용자가 기대한 ‘그냥 돌아가는’ SQL
사용자 질문에는 충분한 맥락이 담겨 있지 않을 때가 많았습니다. 검색 범위를 좁힐 키워드를 자세히 적는 사용자도 있었지만, 오타가 섞인 다섯 단어로 질문하는 사용자도 있었습니다. 여러 테이블을 조인해야 하는 범위 넓은 질문도 이렇게 짧게 들어왔습니다. 좋은 입력만 기대해서는 정확도와 신뢰성을 유지하기 어려워, LLM에 보내기 전에 질문을 보강하는 “prompt enhancer”가 필요했습니다.
SQL에 거는 기대치는 높았습니다. 많은 사용자는 생성된 쿼리가 매우 정확하고, 그대로 실행되기를 바랐습니다. 우버 팀이 이런 제품을 시험할 때 적절한 페르소나를 초기 사용자로 골라야 한다고 본 이유입니다.
검색 범위와 입력을 다듬어도 환각은 남았습니다. 존재하지 않는 테이블이나 해당 테이블에 없는 컬럼을 사용하는 경우입니다. 팀은 프롬프트를 실험하고, 사용자가 생성된 쿼리를 대화로 다듬는 채팅 모드를 넣었습니다. 원문 공개 시점에는 환각을 재귀적으로 고치는 Validation agent도 넣는 방안을 알아보는 중이었지만, 문제를 완전히 해결한 단계는 아니었습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 월간 대화형 쿼리 | 약 120만 건 |
| Operations 조직 비중 | 약 36% |
| 쿼리 작성 시간 추정 | 약 10분에서 약 3분 |
| 첫 버전 검색 결과 | 테이블 3개, SQL 샘플 7개 |
| 첫 버전 샘플 데이터 | tier 1 테이블 7개, SQL 쿼리 20개 |
| 대형 스키마 | 컬럼 200개 이상, 요청당 40~60K 토큰 |
| 당시 최대 모델 한도 / 이후 사용 모델 | 32K 토큰 / GPT-4 Turbo(1106) 128K 토큰 |
| 기본 제공 시스템 워크스페이스 | Mobility 외 11개 |
| 평가 지표 변동 허용 | 실행 간 약 5%는 과대 해석하지 않음 |
| 한정 공개 후 일일 활성 사용자 | 약 300명 |
| 시간 절감 응답 비율 | 약 78% |