본문으로 건너뛰기
필요한 정보만 골라 쓰는 Flava의 컨텍스트 엔지니어링
목차

필요한 정보만 골라 쓰는 Flava의 컨텍스트 엔지니어링 (2026-01)

원문 정보

서버의 현재 상태까지 확인하는 Flava

기업용 챗봇에서 가장 흔한 접근은 사내 문서를 검색해 답하는 RAG(Retrieval-Augmented Generation)입니다. LY Corporation의 프라이빗 클라우드 Flava용 AI 어시스턴트는 여기서 더 나아갔습니다. 공식 가이드와 과거 사용자 Q&A를 참고하면서, 사용자 권한으로 API를 호출해 현재 리소스 상태까지 읽어 옵니다.

서버에 접속하지 못하는 이유를 묻는 상황을 예로 들면 차이가 드러나죠. 일반적인 RAG 챗봇은 네트워크 상태나 VPC ACL을 확인해 보라고 안내합니다. Flava의 답은 사용자의 상황에서 출발합니다. API로 확인한 결과 서버가 속한 네트워크의 VPC ACL이 열려 있지 않다면, 그 상태를 짚고 ACL을 여는 방법까지 안내하겠다고 제안합니다. 사용자가 콘솔을 뒤지며 상황을 파악하던 일을 어시스턴트가 대신하는 셈이죠.

다뤄야 할 정보도 늘어났습니다. VM, Kubernetes, Object Storage 등을 포함한 27개 제품군, 260여 개 API, 수백 페이지의 문서가 대상입니다. 아무리 유능한 비서라도 이 자료를 한꺼번에 건네받고 알아서 처리하라는 요구에는 성과를 내기 어렵습니다. Flava 개발 경험을 다루는 시리즈가 1편의 주제로 삼은 것도, 필요한 정보를 골라 제공하는 컨텍스트 엔지니어링입니다.

검색 원칙을 밀어낸 UI 안내 지침

정보를 추가하는 일부터 뜻대로 되지 않았습니다. 사용자가 VM 삭제 방법을 묻자, 어시스턴트가 문서를 검색하지 않고 UI 조작법을 지어낸 사례가 있었습니다. 시스템 프롬프트에는 반드시 문서 검색 도구를 쓰고 검색 결과로만 답하라는 원칙이 들어 있었습니다.

문제는 상황별 절차를 담은 ‘응답 가이드라인’을 시스템 프롬프트에 덧붙이면서 생겼습니다. 추가한 내용은 리소스를 삭제할 때 UI를 먼저 안내하라는 것이었습니다. 기대한 순서는 문서에서 VM 삭제 방법을 찾은 뒤 UI 절차를 안내하는 것이었지만, LLM은 UI를 먼저 안내하라는 지침에 지나치게 집중했습니다. 검색을 거치라는 대원칙이 깨진 것입니다.

팀은 추가 정보를 넣는 메시지 형식을 바꿨습니다. 도구 메시지(ToolMessage)는 원래 LLM이 실행한 도구의 결과를 담는 형식입니다. 여기에 가이드라인을 넣어, 실제 도구 실행 결과는 아니어도 가이드라인을 조회한 결과처럼 인식하게 했습니다. ‘모의 도구 메시지’ 방식입니다.

이렇게 주입하자 시스템 프롬프트는 행동 강령으로, 가이드라인은 판단에 쓸 참고 정보로 읽혔습니다. 검색 결과에 근거해야 한다는 원칙을 지키면서 UI를 먼저 안내하라는 절차도 전달할 수 있었습니다. 어떤 정보를 주느냐에 더해, 그 정보를 어떤 메시지로 건네느냐까지 다뤄야 했던 사례입니다.

긴 컨텍스트에서 흐려지는 LLM의 판단

메시지 형식을 바꿔도 정보의 양은 여전히 문제입니다. 컨텍스트 윈도우가 수십만 토큰까지 커졌다고 해서 문서와 API 정보를 모두 넣어도 괜찮은 것은 아닙니다. 신입 개발자에게 10년 치 문서를 건네기보다 필요한 순간에 필요한 문서를 집어 주는 사수가 낫듯, LLM에도 정보를 선별해 줄 과정이 필요합니다. 어떻게 답할지를 지시하는 프롬프트 엔지니어링과 구별되는 지점입니다.

64K 토큰은 A4 약 70페이지에 해당합니다. 넉넉해 보이지만 대화에서는 금방 쌓입니다. LLM은 상태가 없어 이전 대화를 스스로 기억하지 못하므로, 맥락을 유지하려면 누적된 대화와 정보를 매번 다시 입력해야 합니다. Flava처럼 API 응답을 다룬다면 소모 속도는 더 빠릅니다. 서버 목록을 알려 달라는 요청에 수백 개의 JSON 데이터가 돌아오는 경우, 대화를 몇 번만 주고받아도 64K 토큰을 사용할 수 있습니다.

길이 자체가 성능을 떨어뜨린다는 연구도 있습니다. 2025년 10월 발표된 Context Length Alone Hurts LLM Performance Despite Perfect Retrieval은 답에 필요한 정보를 모두 제공한 채 무의미한 공백이나 관련 없는 텍스트를 추가했습니다. 모델이 지원하는 컨텍스트 길이 안에서도 입력이 길어지자 성능이 최대 13.9%에서 85%까지 하락했습니다. Databricks의 Long Context RAG Performance of LLMs에서도 GPT-4나 Llama-3.1 같은 모델은 컨텍스트가 32K~64K 토큰 구간을 넘으면 RAG 성능이 떨어지기 시작했습니다.

정보의 질도 영향을 줍니다. Context Rot: How Increasing Input Tokens Impacts LLM Performance는 정답과 비슷하지만 관계없는 정보를 섞었을 때, 컨텍스트가 길어질수록 방해 정보에 이끌려 오답을 내는 비율이 급격히 늘었다고 보고했습니다. 특히 GPT 계열에서는 틀린 내용을 자신 있게 생성하는 오류도 나타났습니다.

질문에 맞춰 고르는 도구와 가이드

Flava 팀이 택한 방식은 점진적 공개입니다. 사용자의 질문을 분석해 도구를 고르고, 그 질문과 도구에 필요한 가이드를 제공한 뒤, 실행 결과를 해석할 정보를 붙입니다. 개발자가 필요한 모듈만 import 하듯, 어시스턴트에도 그 순간에 쓸 정보만 제공하려는 설계입니다.

도구부터 좁힙니다. 예를 들어 Redis 클러스터 상태를 묻는 질문이면 27개 제품 가운데 Redis 관련 도구 8개만 LLM에 보여 줍니다. 나머지 252개는 컨텍스트에 넣지 않습니다. 260개 API를 효율적으로 다루기 위해 검토한 접근과 구체적인 선별 방법은 시리즈의 다른 글에서 다룰 예정입니다.

제품별 사용법도 필요한 시점이 있습니다. Object Storage는 내부용(private)과 외부용(CDN)의 설정 방법이 다릅니다. 이런 차이는 Object Storage API를 호출하려 할 때 알려 주면 됩니다. 모든 제품의 주의사항을 처음부터 제공할 이유가 없는 것입니다.

응답 가이드라인 역시 조건에 맞을 때만 불러옵니다. 각 가이드라인은 적용 조건과 내용의 쌍으로 관리합니다. LLM에는 먼저 사용자 질문과 가이드라인의 조건만 보여 주고, 필요한 가이드라인을 선택하게 한 뒤 그 내용만 컨텍스트에 추가합니다. 앞서 겪은 충돌을 피하기 위해, 선택한 내용을 전달할 때는 모의 도구 메시지를 사용합니다.

리소스 생성·삭제·변경 방법을 묻는 경우에는 콘솔 UI를 먼저 안내하고 CLI 사용법도 필요한지 묻도록 했습니다. UI와 CLI 중 어느 쪽을 원하는지 되묻는 핑퐁을 줄이고, 권장하는 UI 방식부터 바로 안내하려는 의도입니다. 모든 질문에 적용되는 검색 원칙은 시스템 프롬프트에 남고, 이 절차는 해당 조건에서만 제공됩니다.

사내 지식을 연결하는 가이드도 있습니다. DB 쿼리 방법을 묻는 사용자에게는 Query Runner가 가장 간편한 방법임을 먼저 안내하도록 했습니다. LLM은 사내 도구인 Query Runner를 모르므로, 가이드라인에서 이름을 알려 줘야 검색 도구로 사용법을 찾아 안내할 수 있습니다.

API 응답이 도착한 순간의 스키마

도구를 실행한 뒤에는 응답을 해석할 정보가 필요합니다. JSON 필드 이름만으로 뜻을 알기 어려운 경우가 있지만, 260개 API의 응답 스키마를 처음부터 모두 넣으면 토큰을 낭비합니다. Flava는 실제 응답이 돌아온 시점에 그 데이터를 해석하는 데 필요한 스키마를 붙였습니다.

스키마에는 모든 필드를 적었습니다. 값이 null이면 응답 JSON에서 필드 자체가 빠지는 경우가 있어, 데이터만 봐서는 원래 존재하는 필드인지 알 수 없기 때문입니다. 필드명 뒤의 !와 ?로 필수 여부를 표시하고, 뜻을 보충해야 하는 필드에는 주석을 달았습니다. name처럼 이름만으로 의미가 드러나는 필드에는 토큰을 아끼려고 설명을 붙이지 않았습니다.

데이터 형식은 YAML을 골랐습니다. 처음에는 공백을 제거한 minified JSON을 고려했으나, 비교해 보니 데이터에 따라 차이가 있더라도 토큰 수 격차가 생각보다 크지 않았습니다. 가독성이 더 좋은 YAML을 택해 # Schema 뒤에 # Data를 붙인 형태로 전달합니다.

이 형식에서는 데이터에 빠진 status도 스키마에 선택 필드로 남습니다. flavor_ref가 서버 사양 ID라는 설명도 함께 전달됩니다. 응답에 필요한 정보만 붙여, 적은 컨텍스트로 API 데이터의 의미를 파악하도록 한 것입니다.

다음 2편에서는 모델 파인튜닝과 에이전틱 워크플로라는 두 영역에서 마주한 세 갈림길을 다룰 예정입니다. 실제 서비스에 적용해 성능을 높인 방법과 제외한 기술, 그 이유도 예고했습니다. 3편의 주제는 프롬프트 엔지니어링입니다.

원문의 주요 수치
항목값
제품군 · API · 문서27개 제품군, 260여 개 API, 수백 페이지
도구 선별 예시Redis 질문 시 8개 노출, 나머지 252개는 미로드
길이에 따른 성능 하락(논문 인용)최대 13.9%~85%
RAG 성능 하락 시작 구간(Databricks 인용)컨텍스트 32K~64K 토큰 이상
64K 토큰 환산A4 약 70페이지
API 응답 형식스키마(! 필수, ? 선택) + YAML 데이터
마지막 수정 일자