목차
최신 문서와 ReAct로 답을 찾는 Flava AI 어시스턴트 (2026-03)
원문 정보
- 원문: 엔터프라이즈 LLM 서비스 구축기 2: 에이전트 엔지니어링
- 매체 · 게시일: LY Corporation Tech Blog · 2026-03-09
- 저자: 한우형
- 시리즈: 엔터프라이즈 LLM 서비스 구축기 2편. 1편은 컨텍스트 엔지니어링, 3편은 프롬프트 엔지니어링을 다룰 예정이라고 원문이 밝힙니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
실전에서 받아 든 FAA 성적표
Flava AI 어시스턴트(FAA)는 현재 Flava 관련 문의의 약 96.1%에 답변을 제공합니다. 정확도가 96.1%라는 뜻은 아닙니다. 별도 평가 모델이 매 대화를 분석해 실질적인 답변을 했는지 자동으로 판정한 응답률이지요. 팀은 릴리스 뒤에도 사용자 질문 패턴과 답변 결과를 추적하는 인텔리전스 리포트를 직접 만들어 운영하고 있으며, 답변 품질은 별도 체계로 평가합니다.
이 응답률 뒤에는 제한된 비용과 속도 안에서 기술을 고른 과정이 있습니다. 파인 튜닝도, 사전 계획도, 전문가 에이전트도 검토 대상이었습니다. 시험해 보니 복잡해진 설계가 그만큼의 이득을 주지는 않았습니다.
지난 1편은 도구 260개와 수백 페이지의 문서 가운데 LLM에게 필요한 정보만 골라 주는 점진적 공개 전략을 다뤘습니다. 이번 2편의 과제는 그렇게 정제한 맥락을 받는 에이전트를 만드는 일입니다. FAA가 남긴 행동 방식부터 보면, 문서를 다루는 선택도 이해하기 쉽습니다.
계획과 전문가 분업을 거쳐 남은 ReAct
FAA는 추론과 행동을 반복하는 ReAct(reasoning and acting)로 작동합니다. 한 걸음 걷고, 결과를 확인한 뒤 다음 걸음을 정하는 방식입니다. 처음부터 이 루프만 검토한 것은 아닙니다.
초기에 구현한 계획 후 실행(plan-and-execute)은 복잡한 질문을 하위 태스크로 나누고, 계획을 세운 뒤 순서대로 실행하는 방식이었습니다. 계획 수립에 재계획 로직까지 더해지자 시스템 복잡도가 크게 늘었습니다. 그에 비해 답변 품질이 좋아졌는지는 체감하기 어려웠습니다.
전문가를 나눠 두는 방식에는 응답 시간이라는 비용도 붙었습니다. VM 전문가, 쿠버네티스 전문가처럼 역할을 나누는 멀티 에이전트를 검토하면서 쿠버네티스 API 전문가를 실제로 분리해 테스트했습니다. 단순한 질문인데도 응답 시간이 9초에서 14초로, 약 50% 늘었습니다. 질문을 위임하고 결과를 조립하는 데 LLM 호출이 2회 더 들어간 결과입니다.
시간보다 더 큰 문제는 도메인을 넘나드는 질문이었습니다. VM에서 오브젝트 스토리지로 데이터를 옮기는 방법을 물으면 어느 전문가에게 맡겨야 할지 모호해집니다. 각 전문가는 자기 도메인만 알고 있어, 전체 맥락이 필요한 질문에서 정보를 빠뜨렸습니다.
FAA에서는 좋은 도구와 충분한 맥락을 제공하자 모델이 별도의 계획 단계 없이도 논리적인 순서를 만들어 냈습니다. 점진적 공개로 260개 도구를 정리하고 검색 후 자르기로 필요한 문맥을 주니, 복잡한 트러블슈팅에서도 필요한 도구를 순서대로 호출하며 답을 찾았습니다. 원문은 코딩 에이전트에서도 매 단계 추론과 행동을 반복하는 루프를 택하는 추세라며 Anthropic의 How Claude Code works를 참고 자료로 듭니다.
단순한 루프를 택할 수 있었던 바탕에는 이렇게 도구와 문맥을 준비한 작업이 있었습니다. 그렇다면 모델에게 건넬 지식은 어디에 두어야 하는지가 남습니다.
교과서를 펴 놓고 답하는 RAG
FAA는 사내 문서를 학습하지 않고 참조합니다. 교과서를 외운 뒤 기억만으로 시험을 보는 방식이 파인 튜닝이라면, RAG(retrieval-augmented generation)는 교과서를 펴 놓고 답을 찾는 오픈북 시험입니다. 수시로 바뀌는 제품 문서에서 최신 정보를 전해야 했던 FAA는 후자를 택했습니다.
직접 해 본 파인 튜닝 실험부터 보면 이유가 드러납니다. 팀은 ‘Flava란 무엇인가’처럼 변하지 않는 기초 개념만 골라 약 40개의 학습 데이터를 만들었습니다. 자주 바뀌는 제품 스펙도 제외했습니다. 그런데 학습에 쓴 질문을 그대로 물을 때는 정확히 답하던 모델이, 질문을 조금 바꾸자 잘못된 답을 냈습니다. 수십 개의 학습 데이터로 대규모 텍스트에서 형성된 기존 지식을 완전히 덮지는 못한 것입니다.
데이터를 400개나 4,000개로 늘리는 길도 있습니다. 그만큼 도메인 전문가가 질문을 설계하고 정답을 작성한 뒤 교차 검수해야 합니다. 제품 문서가 갱신되면 관련 학습 데이터를 찾아 함께 고치는 일도 계속 생깁니다. RAG에서는 원본 문서를 갱신하면 됩니다.
연구 결과도 이 선택을 뒷받침했습니다. UC Berkeley와 Google Research의 From Style to Facts(Zhao et al., 2025)는 Gemini 모델 700개를 대상으로 실험했습니다. 위키백과 형식의 데이터로 새 지식을 학습시킨 뒤 QA 형식으로 평가했을 때 정확도는 약 11%였고, 말투를 바꾸는 성공률은 약 97%였습니다. 학습과 평가의 형식을 맞추면 지식 주입 정확도도 올라가지만, 그에 맞는 양질의 데이터를 구성하기도 어려워집니다.
파인 튜닝이 성과를 낸 의료·법률 분야의 사례는 있습니다. 그 성과는 도메인 특화 추론 패턴과 용어 체계를 학습한 결과입니다. FAA가 해결해야 할 문제는 달랐습니다. 계속 바뀌는 제품 정보를 정확하게 안내하려면, 지식을 모델에 주입하는 비용을 감수하기보다 최신 문서를 직접 찾아보는 편이 적합했습니다.
임베딩 전에 자르지 않은 FAA 문서
FAA는 문서를 통째로 검색한 뒤 필요한 부분만 추리는 검색 후 자르기(post-split)를 택했습니다. 이 순서를 선택할 수 있었던 것은 참조 문서의 특성 덕분입니다. 각 문서는 VM, Redis 같은 한 제품의 생성·삭제·설정 가운데 하나의 주제를 다루며, 대부분 A4 수 페이지 분량입니다. 이미 짧고 주제가 명확한 문서였습니다.
일반적인 RAG가 검색 전에 문서를 잘게 쪼개는 데도 이유는 있습니다. 텍스트를 벡터로 바꾸는 임베딩에서는 의미가 비슷한 텍스트의 벡터값도 비슷합니다. 조각이 작으면 벡터가 특정 의미를 더 정교하게 가리킵니다. 오브젝트 스토리지의 최대 용량을 묻는 경우, 그 내용만 담은 200토큰 청크는 같은 정보가 한 줄로 들어 있는 5,000토큰 가이드보다 질문과의 벡터 유사도가 높게 나옵니다.
검색에 유리해진 작은 조각에서 문맥이 빠질 수 있다는 점이 문제입니다. “이 경우에는 아래 설정을 적용하세요”라는 문장을 청크 경계에서 나누면, ‘이 경우’의 조건과 ‘아래 설정’의 내용이 떨어집니다. 문장을 찾아도 무엇을 적용해야 하는지 알 수 없게 됩니다.
보완책은 있습니다. 청크 사이에 겹치는 구간을 두거나, contextual retrieval로 원본 문맥을 붙일 수 있습니다. late chunking은 문서 전체를 먼저 읽어 단어 사이의 관계를 파악한 뒤 나눕니다. 모두 문서를 자르면서 생기는 문맥 손실을 보완하려는 접근입니다.
FAA에서는 잘 정리된 문서를 굳이 먼저 나누면 완결된 문맥을 깨뜨릴 우려가 있었습니다. 법률 문서처럼 수십 페이지에 걸쳐 맥락이 이어지는 데이터라면 청킹이 필수지만, FAA의 문서는 그 조건에 해당하지 않았습니다. 그래서 통째로 임베딩해 검색하고, 질문을 받은 뒤에 자르기로 했습니다.
질문을 알고 자르는 VM 가이드
“VM을 만들고 삭제하는 방법 알려줘”라는 요청이 들어왔다고 가정해 보겠습니다. FAA는 먼저 질문의 대상 제품을 파악하고, 해당 제품의 문서군 안에서만 검색합니다. 이때 VM 가이드는 개요, 생성, 사양 변경, 삭제 등의 내용을 담은 채 통째로 검색됩니다.
그대로 메인 LLM에 넘기지는 않습니다. 검색한 마크다운 문서를 ## 헤더 기준으로 나눈 뒤, 경량 LLM에게 헤더 목록을 보여 줍니다. 경량 LLM이 할 일은 질문과 관련 있는 조각의 인덱스를 고르는 것입니다.
질문이 “VM을 만들고 삭제하는 방법 알려줘”일 때, “다음 섹션 중 질문과 관련 있는 인덱스를 골라줘”라는 프롬프트에 LLM은 [1, 3]을 반환합니다.
이 예에서는 5개 섹션 가운데 [1] VM 생성 방법과 [3] VM 삭제 방법만 메인 LLM에 전달됩니다. 문서를 찾을 때는 온전한 상태를 유지하고, 답변을 만들 때는 질문에 필요한 조각만 쓰는 흐름입니다.
LLM을 한 번 더 호출하는 부담도 따져 봐야 합니다. 호출 시간에는 입력 토큰을 처리해 첫 토큰을 내놓기까지의 시간(TTFT)과 이후 출력 토큰을 생성하는 시간이 있습니다. 필터는 이 가운데 출력 부분이 특히 가볍습니다. 보통 출력 토큰이 입력 토큰보다 수 배 비싼데, 이 필터는 문서 내용을 다시 쓰지 않고 인덱스만 출력합니다. 출력 시간은 짧고 토큰 비용도 거의 들지 않습니다.
임베딩 전에 문서를 자를 때는 어떤 질문이 들어올지 모릅니다. 검색 후 자르기는 질문을 이미 알고 있다는 차이가 있습니다. 메인 LLM은 수천 토큰의 원문 전체나 문맥이 끊긴 청크 대신, 질문에 맞춰 추린 조각들을 받습니다. 이 방식이 맞는지는 문서의 크기와 구성, 주제의 명확성에 달려 있습니다.
미답변 리포트로 보강하는 교과서
실제 운영에서 답하지 못한 질문을 분석하자, 미답변 원인의 약 50%는 참조할 문서가 없는 문서 부재(Doc Gap)였습니다. 나머지는 대부분 일시적인 API 호출 실패나 FAA의 답변 범위를 벗어난 질문이었습니다. 팀은 이 결과를 문서가 있는 영역에서는 높은 응답률을 보인다는 증거로 읽었습니다.
이제 보강할 대상은 AI에게 건네줄 교과서입니다. 팀은 인텔리전스 리포트에서 발견한 미답변 질문을 각 제품 팀에 공유하고 있습니다. 제품 팀이 보강한 문서는 다시 임베딩되어 다음 리포트에 반영됩니다. 답하지 못한 질문이 문서의 빈자리를 드러내고, 그 자리를 채운 문서가 다시 FAA의 답변 근거가 됩니다.
다음 3편에서는 이렇게 만든 에이전트의 답변 품질을 끌어올린 프롬프트 엔지니어링을 다룰 예정입니다.
선택을 뒷받침한 실험과 문서 조건
| 결정 | 선택 | 근거 |
|---|---|---|
| 1. 지식 주입 | 파인 튜닝 제외, RAG | 인용 연구의 QA 정확도 약 11%(말투 변경 약 97%), 약 40개 학습 데이터 실험에서 질문이 달라지면 오답 |
| 2. 검색 | 청킹 대신 검색 후 자르기 | 문서가 단일 주제에 A4 수 페이지 분량, 헤더 분할 후 경량 LLM이 인덱스만 선택 |
| 3. 행동 구조 | 계획 후 실행·멀티 에이전트 대신 ReAct | 쿠버네티스 전문가 에이전트 분리 시 응답 시간 약 50% 증가(9초에서 14초), 크로스 도메인 질문에서 정보 누락 |