목차
LLMOps로 실험과 운영을 연결한 AI플랫폼 2.0 (2025-09)
원문 정보
- 원문: LLMOps로 확장하는 AI플랫폼 2.0
- 매체 · 게시일: 우아한형제들 기술블로그 · 2025-09-29
- 저자: 본문에 저자 미표기
- 시리즈: AI플랫폼 1.0(MLOps)을 다룬 「배민 앱에도 AI 서비스가? AI 서비스와 MLOps 도입기」와 「제목은 안정적인 AI 서빙 시스템으로 하겠습니다. 근데 이제 자동화를 곁들인…」의 후속 성격입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
East US에서 응답이 끊긴 GPT-4
2025년 4월, Azure OpenAI East US 리전 장애로 GPT-4 계열 모델이 장시간 응답하지 못했습니다. 서비스에도 영향이 있었습니다. AI플랫폼팀은 같은 모델을 다른 리전에 다시 배포하고 트래픽을 우회해야 했습니다. 장애만 문제가 된 것은 아닙니다. Google Gemini에서는 특정 단어가 안전성 필터에 걸려 PROHIBITED_CONTENT 오류와 함께 응답이 차단되기도 했습니다.
그동안 AI플랫폼 1.0은 머신러닝 모델의 개발·배포·운영을 지원해 왔습니다. LLM의 등장으로 모델을 직접 학습하지 않아도 파운데이션 모델 API를 호출해 프로덕트를 만들 수 있게 됐습니다. 사내에서는 1~2년 사이 AI 프로덕트가 10개 이상 나왔고, 개발 주체도 데이터 사이언티스트와 머신러닝 엔지니어에서 PM, 프론트엔드·백엔드 엔지니어까지 넓어졌습니다.
빠른 실험과 제품화 뒤에는 새로운 운영 과제가 있었습니다. 데이터 준비와 학습, 재학습 운영에 집중하던 플랫폼이 이제는 비용과 지연 시간, 외부 의존성도 다뤄야 했습니다. 팀은 GenAI 중심의 AI플랫폼 2.0을 준비하면서 LLMOps를 공통 기능으로 지원하기로 했습니다. 모델 호출뿐 아니라 프롬프트와 실험, 정책과 보안까지 플랫폼에서 관리하는 방향입니다.
운영 중인 프롬프트를 확인하는 Studio
처음에는 Google 시트나 prompt1.py, prompt2.py 같은 파일로도 프롬프트를 관리할 만했습니다. 운영에 들어가자 사정이 달라졌습니다. 변경 이력이 흩어져 어느 버전이 실제 서비스에 반영됐는지 파악하기 어려웠고, 긴 프롬프트는 버전 사이의 차이를 확인하는 일부터 부담이 됐습니다. 응답 품질과 비용, 지연 시간에 영향을 주는 서비스 로직을 추적하기 어려운 상태였습니다.
서비스 개발자 인터뷰에서도 프롬프트 관리 기능이 91%, Trace 수집으로 요청의 지연·오류·비용을 관찰하는 Observability가 45%로 우선순위가 가장 높았습니다. 같은 프롬프트로 모델을 비교하고, 변경 내용을 추적하며, 수정 이유를 메모하고 싶다는 요구가 나왔습니다. 팀이 먼저 만든 컴포넌트는 이 요구를 다루는 GenAI Studio였습니다.
Studio의 기반으로는 Langfuse를 골랐습니다. 프롬프트 관리와 Trace 기반 Observability를 주 기능으로 설계했고, 운영 중 성능을 모니터링하고 품질을 개선하는 과정까지 지원한다는 점을 높이 평가했습니다. 다른 후보도 검토했지만, 당시 팀이 필요로 한 운영 기능에는 제약이 있었습니다.
| 검토 후보 | 도입 검토 당시 확인한 제약 |
|---|---|
| MLflow | LLM 특화·프롬프트 기능 부족, 최신 버전 업그레이드와 별도 Gateway 배포 필요 |
| PromptFlow | 독립 웹 UI 부재, 운영 대시보드·Trace 뷰어·협업 기능 부족 |
| LangSmith | LangChain 중심 설계로 범용성 제한 |
| Agenta, Opik | 보안·권한 관리·대규모 운영 지원 등 엔터프라이즈 성숙도 부족 |
| Pezzo | 운영 모니터링·피드백 기능 부재 |
| OpenPrompt | 로깅·버전 관리·권한 체계 부족 |
Studio에서는 프롬프트를 텍스트·변수·구성 단위로 작성하고 라벨이나 버전으로 구분합니다. 운영 배포 버전을 지정하고 변경 이력을 살피며, 문제가 생기면 이전 버전으로 돌릴 수 있습니다. 모델별 성능 비교와 A/B 테스트, 데이터셋 관리도 지원합니다.
직접 운영하는 부담은 남았습니다. Langfuse를 self-hosted로 배포하면서 ClickHouse와 Redis도 운영해야 했습니다. 팀은 이 부담을 감수하더라도 대규모 트래픽과 데이터 수집을 고려한 확장 아키텍처가 장기적인 안정성과 확장성에 도움이 된다고 판단했습니다.
지연 원인과 비용을 추적하는 Trace
기존 Grafana 서빙 모니터링만으로는 응답이 느려진 이유를 찾기 어려웠습니다. 평균 응답 시간의 변동폭은 컸고, 최대 응답 시간에서는 클라이언트 타임아웃이 나타났습니다. Langfuse 도입 뒤에는 모델별 응답 속도를 Percentile로 분석하고 요청의 Trace를 따라가며 병목 지점을 확인할 수 있게 됐습니다.
이를 뒷받침하는 파이프라인은 3계층으로 구성했습니다. Application 레이어에서 Studio로 LLM 응답을 모으고, Collection 레이어에서 Trace는 ClickHouse에, 서비스·시스템 메트릭은 Prometheus에 저장합니다. 마지막 계층에서는 수집한 데이터를 바탕으로 프로덕트와 시스템을 관찰하고 분석합니다. 요청의 입력·출력뿐 아니라 재시도, 지연, 비용을 함께 기록해 어느 단계에서 실패했는지도 살핍니다.
비용 관리에도 요청별 기록이 필요했습니다. 벤더 콘솔을 확인하고 시트에 옮기는 방식은 프로젝트가 늘자 한계에 부딪혔습니다. AWS Bedrock에서 여러 프로젝트가 한 모델을 공유할 때는 Application Inference Profile을 수동으로 관리해야 했고, 프로젝트별 비용을 추적하지 못했습니다. 클라이언트 타임아웃 뒤 자동 재시도가 이어져 요금이 폭증한 사례도 있었습니다.
Studio는 요청마다 토큰 사용량과 비용을 기록합니다. 이 데이터를 ClickHouse와 Superset으로 분석해 팀·프로젝트 단위 리포트를 자동 생성하고, 예산 초과나 비정상 패턴을 알리도록 했습니다. 비용이 어디에서 발생했는지 확인하면서 클라이언트 재시도 같은 불필요한 호출도 추적하고 제어할 수 있게 됐습니다.
벤더별 호출 방식을 통합한 SDK와 API Gateway
Azure OpenAI, Google Gemini, AWS Bedrock은 API 스펙이 서로 달랐습니다. 같은 기능을 만들면서도 벤더마다 코드를 다시 작성해야 했고, 서비스가 늘수록 키 관리까지 복잡해졌습니다. 모델 선택과 라우팅, Trace 로깅도 각 서비스에서 반복해서 구현하던 기능입니다.
GenAI SDK는 이 공통 기능을 패키지로 묶었습니다. LiteLLM을 기반으로 모델 이름만 바꿔 여러 LLM을 호출하고, 여러 리전과 벤더 사이의 라우팅·로드밸런싱·Retry/Fallback을 지원합니다. 특정 리전에 장애가 나면 다른 리전이나 모델로 트래픽을 자동 전환할 수 있습니다. Studio에 저장한 프롬프트를 불러와 컨텍스트를 동적으로 주입하는 기능도 제공합니다.
Python SDK를 직접 쓰기 어려운 환경에는 GenAI API Gateway를 제공합니다. ML SDK와 GenAI SDK의 기능을 내장하고 OpenAI-Compatible API로 노출한 컴포넌트입니다. OpenWebUI, Langfuse Playground, LangChain, LlamaIndex와 추가 개발 없이 연동되며, Python 외 언어로 만든 애플리케이션이나 웹·모바일 앱에서도 REST API로 같은 기능을 사용합니다.
보안 검토 뒤 실험에 쓰는 공용 API 키
호출 방식을 통일해도 키가 없으면 실험을 시작할 수 없습니다. 보안 검토와 비용 승인을 기다리던 팀에서는 ‘아이디어는 있지만 첫 호출조차 못 해본다’는 피드백이 나왔습니다. 팀은 PoC와 정식 과제의 키 발급 절차를 나눴습니다. PoC 시작 전에 보안 검토를 거치면 공용 API 키 하나로 여러 벤더 모델을 실험하고, 실제 과제로 전환할 때 필요한 모델에 한해 정식 API 키를 발급받습니다.
발급받은 크레덴셜은 Studio에서 중앙 관리합니다. 이전에는 AWS Secret Manager나 환경 변수에 키를 일일이 등록했고, 팀마다 흩어진 키를 누가 쓰는지도 파악하기 어려웠습니다. 이제는 Studio에 크레덴셜을 등록하면 SDK가 Studio의 단일 API 키로 해당 프로젝트에 등록된 모든 모델을 호출합니다. 운영자는 발급과 사용 현황을 관리하고, 개발자는 벤더별 키를 따로 설정하는 작업을 줄입니다.
외부 API로 나가는 입력에도 공통 절차를 적용했습니다. 자체 개발한 개인 식별 정보(PII) 탐지 모듈이 이름·연락처·계좌번호·주민등록번호 등이 포함된 요청을 전송 전에 차단하고 로그를 별도로 남깁니다. 이 절차를 Studio 수준에서 정책화해 모든 프로젝트에 적용했습니다. SDK와 Gateway를 쓰는 개발자는 별도 필터 로직을 작성하지 않아도 되고, 운영자는 Trace에서 차단 기록과 정책 위반 현황을 확인합니다.
실험 결과를 다음 검증에 남기는 GenAI Labs
프롬프트의 배포 버전을 알아도 실험 결과가 사라지면 비교를 이어 가기 어렵습니다. Google 시트에 기록하던 시절에는 결과 이력이 유실됐고, 다른 팀이 같은 실험을 반복하거나 비슷한 과제의 데이터를 새로 만들곤 했습니다. 팀은 프롬프트 관리부터 실험 실행, 평가, 결과 분석까지 연결하는 GenAI Labs를 직접 만들었습니다.
Studio에도 UI와 코드로 실험하는 기능은 있었습니다. 하지만 UI만으로는 프롬프트에 컨텍스트를 동적으로 넣는 Context Engineering을 적용하기 어려웠고, 당시 Langfuse Playground는 멀티모달 입력을 지원하지 않았습니다. Labs에는 LLM 제공사의 신기능을 빠르게 실험하고, 코드로 평가 함수를 정의하며, Prompt Variables로 컨텍스트를 삽입할 수 있는 유연성을 확보했습니다.
실험의 기준은 데이터셋입니다. Studio에서 사람이 검수한 작고 신뢰도 높은 Golden Dataset을 기준선 검증에 쓰고, 실제 서비스 데이터를 더해 Evaluation Dataset을 만듭니다. 전자는 모델 비교의 기준이 되고, 후자는 더 넓은 범위의 서비스 품질을 평가합니다. Labs는 이 데이터셋과 연결해 실험 단계에 맞는 작업을 지원합니다.
- 단일 테스트: 개발 초기의 특정 사례 검증, Studio 프롬프트 로드, 모델·파라미터 설정, 이미지 입력과 스트리밍 응답
- 배치 실험: Golden Dataset 기반 모델 비교, Studio 데이터셋 연동, 평가 함수와 커스텀 로직 적용
- 데이터셋 업로드: 입력·출력·메타데이터를 매핑해 프로젝트별 Studio에 저장
실험 결과는 Studio에 자동 저장됩니다. 응답 속도와 비용, 정확도를 비교하고 차이가 큰 사례는 개별 결과와 토큰 수까지 살펴봅니다. Studio의 평가는 Manual Annotation, User Feedback으로 직접 수행하거나 LLM-as-a-Judge로 모델이 출력을 평가하도록 설정할 수 있습니다.
실험은 운영으로 이어집니다. 검증한 프롬프트를 Studio에 저장해 라벨 기반 A/B 테스트와 배포에 사용하고, 운영 중에는 Trace로 성능·안정성·비용을 모니터링합니다. 여기서 쌓인 데이터는 다시 Golden/Evaluation Dataset으로 정제해 연구 단계에 돌려줍니다. 시트에 남아 있던 개별 실험을 재현하고 비교하며 다음 검증에 활용하는 흐름입니다.
늘어난 사용자 앞에 남은 셀프 서비스의 장벽
LLMOps 도입 뒤 팀은 Observability와 보안, 안정성을 갖추면서 운영 체계의 신뢰성이 높아졌다고 평가했습니다. 개발·배포의 표준화와 자동화로 생산성과 운영 효율도 개선됐습니다. 2025년 기준 사용자 수는 전년 대비 50%, 프로젝트 수는 69% 늘었습니다. 2022~2024년에는 데이터 사이언티스트와 머신러닝 엔지니어의 활용이 중심이었지만, 2025년에는 기타 직군 비중이 38.3%로 확대됐습니다.
Labs와 Studio의 UI 덕분에 PM과 기획자도 프롬프트만으로 실험할 수 있게 됐습니다. 작은 실험마다 개발자가 개입하지 않아도 되는 환경을 마련한 것입니다. 그렇다고 진입 장벽이 모두 사라지지는 않았습니다. UI에는 시스템 내부 개념이 그대로 드러났고, 정책과 실험 절차도 개발자 관점에 맞춰져 있어 비개발자에게 여전히 어려웠습니다.
팀이 지향하는 흐름은 프로덕트에 필요한 공통 기능을 플랫폼으로 만들고, 이를 활용해 다시 더 많은 프로덕트를 만드는 선순환입니다. 앞으로 Context Engineering과 Agentic Design Patterns 같은 기법의 비중도 커질 것으로 보고 있습니다. 이를 더 많은 직군이 활용하려면 UI 제공에서 더 나아가야 한다는 과제가 남았습니다. Langflow, n8n 같은 시각적 워크플로 도구 도입을 검토하고 있으며, 직군별 이해 수준에 맞는 정책 관리 체계도 새로 설계하려고 합니다.
도입 지표와 인터뷰 수치
| 항목 | 값 |
|---|---|
| 사내 AI 프로덕트 | 지난 1~2년 사이 10개 이상 |
| 인터뷰 우선순위 | 프롬프트 관리 91%, Observability 45% |
| 기반 솔루션 | Langfuse (self-hosted, ClickHouse·Redis 추가 운영) |
| SDK 기반 | LiteLLM |
| 기타 직군 활용 비중 | 2025년 38.3% |
| 사용자 수 | 2025년 기준 전년 대비 50% 증가 |
| 프로젝트 수 | 2025년 기준 전년 대비 69% 성장 |
| 사용자 성장 지수(2022년=100) | 2023년 625%, 2024년 38%, 2025년 50% 추가 성장 |
| 신규 LLM 프로젝트 증가율 | 2023년 대비 2024년 333%, 2025년 633% |