본문으로 건너뛰기
도메인 전문가도 직접 배포하는 Langflow 개발 환경
목차

도메인 전문가도 직접 배포하는 Langflow 개발 환경 (2025-02)

원문 정보

Game Platform Dev 팀은 조직의 업무 효율을 높이기 위해 LLM 애플리케이션을 개발하고 LLMOps 시스템을 구축했습니다. 목표 중 하나는 직군에 상관없이 누구나 업무에 필요한 애플리케이션을 직접 만드는 환경이었습니다. 이를 위해서는 프롬프트를 고치는 일부터 배포까지, 개발 과정 곳곳의 장벽을 낮춰야 했습니다.

같은 팀의 LLMOps 글(2025-02-14)은 전체 워크플로를 다루며, 이 글을 개발·배포 환경의 구현 상세로 가리킵니다.

프롬프트 수정을 가로막은 Python 코드

가장 큰 문제는 자연어 프롬프트와 정적인 Python 코드가 한곳에 있다는 점이었습니다. 프롬프트는 보통 서비스의 도메인 전문가가 수정합니다. 프로그래밍 지식이 없는 사람이라면 프롬프트를 고치려고 코드에 접근하는 일부터 어려울 수 있습니다.

수정한 뒤의 확인도 문제였습니다. 프롬프트를 애플리케이션 안에서만 실행할 수 있다면 {} 변수의 값을 바꿨을 때 결과가 어떻게 달라지는지 개별적으로 확인하기 어렵습니다. 모델에 따라서도 결과가 크게 달라지는데, 모델을 바꿔 비교하기 어려우면 개발이 늦어집니다. 프롬프트 작성 기법이 코드 곳곳에 흩어져 있어 노하우를 공유하기도 어려웠습니다.

프롬프트 실험은 개발에서 큰 비중을 차지합니다. GPT나 Claude 같은 상용 모델을 그대로 쓰는 방식에서는 모델을 직접 학습하거나 파인튜닝하는 대신 프롬프트를 다듬어 결과를 개선합니다. 수정하기 쉽고 비용도 훨씬 저렴한 방법입니다. 새로운 데이터에 답하게 하려면 프롬프트에 정보를 넣는 인 컨텍스트 러닝, 예시 답변으로 패턴을 익히게 하는 퓨 샷 러닝을 쓰고, 이것만으로 부족한 부분은 외부 데이터베이스에서 필요한 정보를 찾아 넣는 RAG로 보완합니다.

이 과정은 코드도 복잡하게 만듭니다. RAG는 데이터를 임베딩해 벡터로 저장한 뒤, 요청이 들어오면 질문과 유사한 데이터를 검색해 프롬프트에 넣는 방식입니다. 이런 기법으로 결과를 최적화하는 프롬프트 엔지니어링에는 주로 LangChain을 사용합니다. 벡터 데이터베이스와 프롬프트 체이닝을 연결하다 보면 반복해서 작성하는 보일러플레이트 코드가 많아지고, 코드 간 관계도 복잡해져 이해와 디버깅이 어려워집니다. 팀의 PoC에서도 프로젝트가 방대해지면서 관리 비용이 늘었습니다.

코드를 열지 않고 실험하는 Prompt Store

팀은 도메인 전문가가 프롬프트 하나를 바로 실행하고 결과를 확인할 수 있도록 Prompt Store를 만들었습니다. 프롬프트에 이름과 관리용 태그를 붙여 저장하고, {}로 표시한 변수에는 화면에서 값을 지정합니다. Playground에서는 OpenAI 모델부터 조직에서 만든 커스텀 모델까지 선택해 여러 파라미터로 실행 결과를 확인할 수 있습니다.

실험한 프롬프트는 함께 관리합니다. 한곳에 모아 다른 사람과 공유하고 재사용하게 해, 코드에 흩어져 있던 작성 노하우를 보존하려는 설계입니다. 저장한 프롬프트는 Langflow로 애플리케이션을 구성할 때와 Harness로 테스트할 때도 일관되게 사용할 수 있습니다.

컴포넌트의 연결을 보여 주는 Langflow

프롬프트를 따로 실험할 수 있어도 애플리케이션 안의 복잡한 호출 관계는 남습니다. 프롬프트 엔지니어링에 쓰는 컴포넌트는 대부분 재사용할 수 있지만, 서로 연결되고 반복 호출되면 코드만 보고 실행 흐름을 파악하기 어렵습니다. 팀은 컴포넌트와 호출 관계를 화면에서 확인할 수 있도록 비주얼 스크립팅 도구인 Langflow를 도입했습니다.

Langflow는 드래그 앤 드롭으로 프롬프트와 RAG 컴포넌트를 연결하고 재활용할 수 있으며, 기능을 추가하거나 수정하기도 쉬웠습니다. Python 기반이라는 점도 내부 프로젝트와 잘 맞았습니다. 빠르게 늘어난 기여자와 활발한 유지 보수, 배포 환경을 구축하기 쉽다는 점 역시 선택 이유였습니다. Flowise와도 비교 테스트했지만, TypeScript 기반인 Flowise는 내부 프로젝트와의 호환성이 떨어졌고 팀은 UI/UX도 Langflow 쪽이 낫다고 판단했습니다.

이 도입기와 기능 설명은 Langflow 1.0.5 기준입니다. 빠르게 업데이트되는 프로젝트여서 이후 버전에서는 사용법이나 기능이 달라질 수 있습니다.

Langflow에서 애플리케이션 하나는 Flow입니다. 예를 들어 Chat Input과 Chat Output 사이에 OpenAI 컴포넌트를 놓으면 GPT와 대화를 주고받는 Flow가 됩니다. 컴포넌트의 실행 버튼이나 Playground 버튼을 누르면 바로 동작을 확인할 수 있습니다.

화면의 연결 정보는 실행에도 쓰입니다. 실행 버튼을 누르면 각 컴포넌트가 연결 정보와 자기 코드를 Langflow 백엔드 API에 전달합니다. 백엔드는 연결된 순서대로 컴포넌트를 빌드하면서 Python의 exec로 코드를 메모리에 불러와 실행합니다. 덕분에 UI에서 코드를 수정할 수 있고, Flow 데이터가 있으면 Langflow 백엔드 로직으로 같은 동작을 재현할 수 있습니다. Flow 데이터와 백엔드 의존성을 함께 패키징하면 애플리케이션 배포로도 이어지는 방식입니다.

업그레이드 충돌을 줄이기 위한 포크 원칙

도입 당시 팀이 느낀 완성도는 실무보다는 개인이 LLM 애플리케이션을 가볍게 만들어 보는 수준에 가까웠습니다. 구현돼 있어도 실행하면 동작하지 않는 기능이 있었고, 당연히 있을 법한 기능이 빠진 경우도 있었습니다. 조직에 맞게 바꿀 부분까지 고려해 내부에서 포크하기로 했습니다.

포크한 코드를 많이 고치면 이후 업그레이드에서 충돌이 늘어날 위험이 있습니다. 팀은 수정 범위를 제한하는 원칙을 세웠습니다.

  • Langflow 자체 코드 변경은 최대한 피하기
  • 기능 추가가 불가피하면 기존 코드와 충돌하지 않는 방향으로 구현하기
  • 버그 수정 전 최신 버전에 반영됐는지 확인하고, 직접 수정하기보다 버전 업그레이드를 우선하기

부족한 기능을 보완하는 커스텀 컴포넌트

Langflow를 선택한 중요한 이유 중 하나는 커스텀 기능을 자유롭게 만들 수 있다는 점이었습니다. 컴포넌트를 함수 하나로 보면 이해하기 쉽습니다. 입력과 출력 파라미터, 출력을 만드는 메서드를 정의하고 나머지 구현은 자유롭게 작성합니다. UI에서 바로 코드를 수정할 수도 있고, 여러 곳에서 재사용하려면 컴포넌트 코드를 폴더에 모아 --components-path로 지정합니다.

팀이 추가한 Flow Runner는 Flow 사이의 호출을 담당합니다. 당시 Langflow는 여러 Flow를 만들고 각각 실행할 수 있었지만, 서로 연계해 실행하는 기능은 지원하지 않았습니다. 이 때문에 같은 기능을 여러 Flow에 반복해서 넣거나 Flow가 너무 커져 이해하기 어려워질 수 있었습니다. Flow Runner는 한 Flow 안에서 다른 Flow의 내부 로직을 호출하거나 반복 실행하도록 만든 컴포넌트입니다.

Prompt Store도 컴포넌트로 연결했습니다. 기본 프롬프트 컴포넌트는 매번 프롬프트를 직접 입력해야 해서 재사용이 어려웠습니다. 새 컴포넌트는 DB에 저장된 프롬프트를 가져와, Prompt Store에서 관리하던 프롬프트를 Flow 안에서도 사용할 수 있게 합니다.

편집과 실행의 의존성을 모은 application-core

커스텀 컴포넌트를 재사용하려면 Langflow를 쓰는 프로젝트에 해당 코드가 있어야 합니다. 새 기능에 필요한 의존성도 함께 관리해야 했습니다. 예를 들어 컴포넌트가 openpyxl을 사용한다면 Flow를 편집하는 모듈과 실제 실행하는 모듈 모두 같은 의존성을 가져야 합니다.

팀은 Flow를 편집하는 관리자용 모듈을 admin-langflow, 사용자에게 LLM 애플리케이션을 제공하는 실행용 모듈을 executor로 나눴습니다. 그 사이에 application-core를 두어 공통 의존성을 관리하도록 설계했습니다. 제시한 구성에서는 Langflow v1.0.5와 openpyxl v3.1.3이 여기에 해당합니다.

배포 버튼 뒤에서 만들어지는 API 인스턴스

프롬프트 하나의 결과를 확인하는 데서 끝나서는 애플리케이션 개발이 빨라지기 어렵습니다. 실제 애플리케이션 안에서 어떻게 동작하는지도 빠르게 확인해야 했습니다. 하지만 Langflow는 개별 인스턴스를 배포하는 기능이 충분하지 않았고, 비개발자에게 배포 작업은 또 다른 장벽이 될 수 있었습니다.

팀은 관리자 페이지의 배포 버튼으로 이 작업을 캡슐화했습니다. Flow를 만든 뒤 버튼을 누르면 다른 서비스에서 호출할 수 있는 API 인스턴스가 생성됩니다. 도메인 전문가도 간단한 조작으로 배포까지 마칠 수 있는 환경입니다.

실제 배포는 오케스트레이터 컴포넌트가 맡습니다. 데이터베이스에서 Flow를 읽고 쿠버네티스 API로 디플로이먼트를 생성합니다. 배포한 Flow마다 파드가 하나씩 생기며, 각 파드를 공통 도메인의 서브 경로에 연결해 바로 API를 호출할 수 있도록 했습니다.

파드에서는 Flow를 JSON으로 불러옵니다. 사용자 입력을 Flow의 채팅 입력 컴포넌트에 전달하고, 필요한 경우 일부 매개변수를 수정한 뒤 채팅 출력을 반환합니다. 작업 환경에서 정의한 Flow를 배포 환경에서도 동일하게 호출하도록 만든 방식입니다.

수식을 입력하면 결과를 돌려주는 Flow가 실제 활용 예입니다. 관리자 기능으로 쿠버네티스에 배포하고 Slack 앱과 연동해, Slack에서 호출하고 결과를 받도록 구성했습니다.

이 환경을 갖춘 뒤 조직에서는 직군에 상관없이 많은 사람이 업무에 필요한 LLM 애플리케이션을 직접 만들어 배포하게 됐습니다. 팀은 배포와 피드백 주기가 짧아지면서 개발 과정의 병목을 상당 부분 해소했다고 설명합니다. 줄어든 작업 주기만큼 애플리케이션의 결과를 개선하는 데 더 많은 시간을 쓸 수 있게 됐습니다.

도입 당시의 버전과 모듈 구성
항목값
Langflow 버전1.0.5 (원문 기준)
설치와 실행pip install langflow, python -m langflow run
공통 의존성Langflow v1.0.5, openpyxl v3.1.3
관리자용 모듈admin-langflow
실행용 모듈executor
공통 의존성 관리 모듈application-core
비교한 대안Flowise (TypeScript 기반)
마지막 수정 일자