본문으로 건너뛰기
LINE GAME PLATFORM의 도메인 전문가를 위한 LLMOps
목차

LINE GAME PLATFORM의 도메인 전문가를 위한 LLMOps (2025-02)

원문 정보

조금 다른 질문에 엉뚱한 답을 낸 챗봇

LINE GAME PLATFORM은 30개 이상의 게임을 지원합니다. 게임마다 필요한 플랫폼 기능만 골라 도입하므로 출시와 운영에 일괄적인 절차를 적용할 수 없었습니다. 게임별 상황에 맞춘 절차에는 많은 인력이 들었고, 이를 줄이려고 여러 API를 제공했지만 충분하지 않았습니다.

GPT-3.5가 출시되고 사내에서 LLM을 자유롭게 활용할 수 있게 되자 새로운 시도가 시작됐습니다. 기존 지식 베이스를 활용한 검색 증강 생성(RAG)과 에이전트로 인하우스 도구를 만들어 문의 대응과 프로세스 개선에 써 봤습니다. 여러 PoC 중 하나가 개발사 가이드인 LINE Game Developers를 벡터 데이터베이스에 임베딩하고, RAG로 개발사 문의에 답하는 챗봇이었습니다.

데이터셋에 담긴 내용에는 잘 답했습니다. 문제는 질문이 그 내용에서 조금만 벗어날 때였습니다. 챗봇은 엉뚱한 답을 내놓았고, 이 할루시네이션을 줄이려는 과정에서 작업 방식의 어려움도 드러났습니다. LLM 개발자는 전문 지식이 담긴 답변의 품질을 판단하기 어려웠으며, 정작 그 지식을 갖춘 사람은 개발에 참여하기 어려웠습니다.

작은 수정에도 답변이 크게 달라졌습니다. 프롬프트를 여러 개 연결하는 프롬프트 체이닝은 프로젝트를 복잡하게 만들었고, 생소한 LLM 작업의 노하우도 쉽게 공유되지 않았습니다. PoC마다 같은 문제가 반복되자 전체 워크플로를 정의하는 LLMOps를 함께 개발하기 시작했습니다.

전문가의 개입 지점을 시각화한 LLMOps

LLMOps는 데이터셋 준비와 모델 학습·평가, 배포와 모니터링을 관리하며 데이터 사이언티스트와 소프트웨어 엔지니어의 협업을 돕습니다. 관리 범위는 프롬프트 엔지니어링과 에이전트 제작, 종합적인 테스트 환경까지 넓어지고 있습니다. 모델뿐 아니라 LLM 애플리케이션을 만드는 컴포넌트도 함께 다뤄야 하기 때문입니다.

아직 정해진 답이 없는 분야입니다. LINE GAME PLATFORM이 우선한 것은 도메인 전문가가 작업 과정을 보고 개발에 참여할 수 있는 환경이었습니다. 그렇다고 모든 과정을 시각화하면 비효율적이라고 판단했습니다. 전문가의 개입이 필요한 부분만 시각화하고, 나머지는 플랫폼 내부에 감추거나 컴포넌트로 제공하는 것을 목표로 삼았습니다.

작업은 데이터 준비, 프롬프트 작성, 애플리케이션 제작, 배포, 테스트의 다섯 단계로 나눴습니다. 도메인 전문가가 처음부터 끝까지 직접 작업하고 결과를 확인하도록 환경을 구성했으며, 별도의 관리자용 콘솔도 구축했습니다.

도메인 전문가의 데이터 검토를 돕는 Streamlit

‘Garbage In, Garbage Out’이라는 말처럼 학습 데이터가 부실하면 성능을 보장할 수 없습니다. 그런데 도메인 지식이 집약된 데이터는 정적인 방법만으로 품질을 판단하기 어렵습니다. 전문가의 검토가 필요하지만, 대규모 데이터를 다루는 일반적인 AI/ML 환경을 전문가가 직접 설치해 확인하기도 어려웠습니다.

그래서 먼저 만든 것이 Streamlit 기반의 웹 시스템입니다. 전문가는 웹에서 데이터를 수집하고 검토합니다. 여기서 제공하는 데이터셋은 학습과 테스트에 쉽게 마운트하도록 설계해, 도메인 전문가와 데이터 엔지니어가 데이터 정합성을 따로 소통해야 하는 부담을 줄였습니다. RAG 문서 검색을 비롯한 여러 컴포넌트에도 연동해 검증된 데이터로 다양한 작업을 진행하도록 했습니다.

복잡한 프롬프트 흐름을 보여 주는 LangFlow

프롬프트는 자연어로 쓰지만 LLM이 잘 이해할 형태로 구성해야 합니다. 여기에도 작성 노하우가 필요합니다. 프로젝트 구분 없이 프롬프트를 공유하고 쉽게 적용하도록 프롬프트 스토어를 구축했으며, 즉시 실행해 볼 환경도 마련했습니다. 모델마다 잘 처리하는 프롬프트가 달라 프로젝트에 맞는 모델을 빠르게 확인하려는 목적도 있었습니다.

프롬프트가 여러 개가 되면 로직을 파악하는 일도 어려워집니다. 이때는 LangFlow로 로직을 그래프로 시각화했습니다. 도메인 전문가가 흐름을 직관적으로 이해하고 재사용하면서 개발에 직접 참여할 수 있게 한 것입니다.

배포에는 쿠버네티스를 사용했습니다. 전문가는 복잡한 인프라 설정 없이 애플리케이션을 빠르고 안정적으로 배포하고, 실제 환경에서 어떤 답변이 나오는지 확인할 수 있습니다. 이 통합 환경의 자세한 구현은 앞서 발행한 「모두를 위한 LLM 애플리케이션 개발 환경 구축 사례」에서 다룹니다.

작은 수정 뒤의 답변을 평가하는 Harness

LLM 애플리케이션은 ML처럼 입력, 전처리, 모델 질의, 후처리 순서로 추론하되 RAG와 프롬프트 엔지니어링을 추가합니다. MLOps와의 차이는 평가에도 있습니다. ML은 0 또는 1이나 기준에 따른 점수로 평가하지만, 자연어로 답하는 LLM에는 유창성·관련성·일관성처럼 사람이 개입해야 하는 평가 항목이 더해집니다.

반복 검증의 부담도 큽니다. 프롬프트를 조금만 바꿔도 결과가 크게 달라질 수 있고, 여러 프롬프트를 쓰면 변화의 폭이 더 커질 수 있습니다. 데이터가 많은 환경에서 요청을 하나씩 보내 확인하기는 어렵습니다. 프롬프트와 애플리케이션이 늘면 테스트 비용도 곱절로 늘어날 것으로 봤습니다.

LINE GAME PLATFORM은 Harness로 애플리케이션의 결과를 지표로 어느 정도 정량화했습니다. 도메인 전문가가 결과를 쉽게 파악하도록 돕는 방식입니다. 자세한 구현은 앞서 발행한 「Harness를 이용해 LLM 애플리케이션 평가 자동화하기」에 소개돼 있습니다.

컴포넌트와 함께 커진 Python 프로젝트

LLMOps를 구축한 뒤에는 도메인 전문가가 자신의 분야에 맞는 애플리케이션을 직접 활용하고 개선하기 쉬워졌습니다. 직군에 상관없이 아이디어를 인하우스 툴로 구현할 수 있게 됐고, 중복 개발도 줄어 개발자가 신규 기능에 집중할 수 있었습니다. 처음 LLMOps를 구상하며 기대했던 변화였습니다.

이 워크플로를 지원하는 컴포넌트가 하나씩 늘면서 프로젝트 자체도 커졌습니다. Python AI/ML 라이브러리를 많이 사용해 주 언어도 Python이었는데, 순수 Python 개발 환경으로는 커진 프로젝트를 지탱하는 데 한계가 있었습니다. 이에 Poetry와 의존성 주입기(dependency injector)를 도입해 프로젝트와 종속성을 관리하기 시작했습니다. 구체적인 관리 방식은 앞서 발행한 「Poetry를 이용한 멀티 프로젝트 Python 애플리케이션 개발 방법」에서 다룹니다.

마지막 수정 일자