목차
프롬프트 수정을 배포에서 분리한 AI API Gateway (2024-11)
원문 정보
- 원문: 생성형 AI 서비스: 게이트웨이로 쉽게 시작하기
- 매체 · 게시일: 우아한형제들 기술블로그 · 2024-11-07
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
프롬프트 한 줄에 따라붙던 재배포
프롬프트를 고치는 일이 서버 배포로 이어졌습니다. 생성형 AI API를 호출하는 데 필요한 자격증명, 모델 배포명, API 버전, 세부 파라미터를 코드나 리소스 파일로 관리했기 때문입니다. Azure OpenAI에서 AWS Bedrock으로 호출 대상을 바꾸려 해도 코드를 수정하고 배포해야 했습니다.
우아한형제들에서는 생성형 AI를 쓰는 구성원과 서비스가 꾸준히 늘고 있었습니다. 과도하게 확대 촬영된 메뉴 이미지의 배경을 Google VertexAI Imagen으로 넓히는 아웃페인팅도 그 사례입니다. 활용 범위가 넓어지는 만큼, AI플랫폼팀은 서비스를 만드는 구성원들이 어디에서 어려움을 겪는지 인터뷰로 확인했습니다.
인터뷰에서는 Experimental Feedback, Hybrid Search, LLM Serving, Prompt Experiment, RAG Pipeline 등 여러 요구가 나왔습니다. 팀이 먼저 선택한 것은 API Gateway입니다. 이미 AWS Bedrock, Azure OpenAI, GCP Imagen을 함께 쓰고 있었지만 프롬프트와 호출 로직은 서비스마다 흩어져 있었습니다. 실험과 피드백, RAG Pipeline을 지원하기에 앞서 자격증명과 프롬프트를 모아 관리할 허브가 필요하다는 판단이었습니다.
Kong, Dify.ai 같은 솔루션이 있는데도 직접 개발한 데에는 이유가 있었습니다. 특정 AI 워크로드의 요구를 빠르게 지원하고, 변화하는 기술에 맞춰 수정·확장할 수 있어야 했습니다. 장기적인 비용 절감, AI 모델과 데이터에 특화된 보안 요구, 기존 인프라와 워크플로의 통합도 자체 개발을 택한 이유입니다.
서비스마다 되풀이되던 운영 작업
자격증명부터 손이 많이 갔습니다. Azure OpenAI의 endpoint와 API key, GCP VertexAI의 credential json처럼 서비스마다 필요한 값이 달랐고, AI플랫폼은 이를 AWS Secrets Manager로 관리했습니다. 신규 서비스마다 AI플랫폼 개발자에게 보안 암호 생성을 요청해야 했습니다. 값을 수정한 뒤에는 External Secret을 즉시 갱신하려고 Deployment를 배포했습니다. 서비스별로 보안 암호가 늘어나는 데다 변경 이력을 추적하기도 어려운 상태였습니다.
게이트웨이에서는 서비스 개발자가 자격증명을 직접 등록·수정·삭제하고, 변경을 서비스에 즉시 반영합니다. 외부 AI API와의 연동은 게이트웨이가 처리하며, AWS Bedrock 호출은 STS로 제어합니다. 사용자는 Secrets Manager를 직접 다루거나 서비스마다 연동을 구현하는 부담을 줄일 수 있습니다.
이 리소스들을 관리하는 단위가 프로젝트입니다. 요청마다 프로젝트의 api_key를 검증해 리소스 수정·삭제 권한을 제한하고 무분별한 호출을 막습니다. 베타와 운영 환경은 프로젝트를 독립적으로 관리하며 api_key도 따로 발급합니다.
외부 API를 한 번 호출하는 코드는 간단해도 실서비스에 필요한 작업은 길었습니다. 이름이나 전화번호 같은 개인정보(PII)가 들어올 수 있다면, 해당 요청을 거부하거나 민감 정보를 마스킹한 뒤 외부 API에 전달해야 합니다. 디버깅과 품질 개선, 캐싱에 쓸 로그에는 입출력뿐 아니라 temperature 같은 설정값도 필요합니다. 서비스마다 저장소와 적재 로직을 마련하고, Quota나 Call Rate 제한을 다른 예외와 구분해 폴백을 구현하는 일도 반복됐습니다. 팀은 이런 공통 기능을 게이트웨이에서 제공해 중복 개발을 줄이고 일관된 정책을 적용하고자 했습니다.
서버 코드에서 분리한 템플릿과 프록시
재배포 문제는 호출에 필요한 값을 서버 코드 밖에서 관리하도록 풀었습니다. 게이트웨이에 동적 라우팅과 템플릿 등 내부 리소스 관리 기능을 두어, 데이터 과학자나 비즈니스 로직을 담당하는 개발자가 서버 코드를 고치지 않고 설정을 바꾸게 했습니다.
프롬프트도 한 번 작성하고 끝나는 자원이 아닙니다. 자체 학습한 초기 모델이 곧 최적 모델은 아니듯, 프롬프트 역시 실험하며 개선해야 합니다. 게이트웨이의 템플릿은 plain text와 message blocks 형식을 지원하며, plain text는 message block으로 변환해 저장합니다. {style} 스타일로 {user_input}에 대해 설명해줘라는 템플릿에 ‘웃긴’과 ‘파이썬’을 넣으면 요청에 쓸 최종 프롬프트가 만들어집니다.
수정 이력은 버전으로 남습니다. 특정 버전으로 복구할 수 있고, 같은 템플릿을 여러 모델이나 서비스에 적용해 비교 실험하는 것도 가능합니다.
템플릿만 등록해도 호출할 때마다 자격증명과 모델 설정, 파라미터를 지정하는 일은 남습니다. 프록시는 이 정보를 한데 정의해 클라이언트가 보낼 요청을 간소화합니다. 호출 설정을 클라이언트 서버와 독립적으로 관리하므로 데이터 과학자가 엔지니어의 도움 없이 바로 수정할 수 있습니다.
프록시에는 여러 자격증명을 등록할 수도 있습니다. 게이트웨이가 호출에 쓸 자격증명을 선택해, 대용량 트래픽이나 순간적인 요청 쏠림으로 발생하는 Call rate limit 문제를 해소하도록 돕는 기능입니다. Azure OpenAI뿐 아니라 AWS Bedrock과 GCP VertexAI Imagen도 프록시로 등록해 사용합니다.
번역 결과로 이미지를 만드는 파이프라인
한국어로 입력한 ‘꽃’을 영어로 번역한 뒤, 번역 결과를 프롬프트로 이미지를 생성하려면 서로 다른 AI API의 호출을 이어야 합니다. 프롬프트 개선만으로 해결할 수 없는 흐름입니다. 별도 서버가 있다면 게이트웨이에 다시 요청하는 로직을 작성하면 되지만, 게이트웨이만으로 처리하려는 경우에는 프록시만으로 부족합니다.
이때 사용하는 기능이 파이프라인입니다. 모든 시나리오를 지원하지는 않으며, 간단한 순차 호출을 대상으로 합니다. 예시에서는 Azure OpenAI의 번역 결과 필드인 0.response.choices.0.message.content를 다음 프록시의 이미지 생성 입력으로 지정합니다. 클라이언트는 등록된 파이프라인에 입력값을 보내 실행합니다. 자격증명과 템플릿, 프록시, 파이프라인은 모두 프로젝트 안에서 재사용할 수 있습니다.
호출 경로는 작업에 따라 선택합니다. 간단한 프록시·파이프라인 호출이나 다른 서빙 서버와의 연동에는 HTTP를 쓰고, 복잡한 전후 처리나 LangChain 같은 프레임워크와의 결합에는 ML SDK를 사용합니다. 지원 대상은 AWS Bedrock, Azure OpenAI, GCP VertexAI ImageGeneration이며, Naver Cloud Platform은 실험적으로 OCR 서비스를 제공합니다.
LangChain을 쓰는 서비스가 게이트웨이의 프롬프트와 설정을 별도 코드로 다시 옮겨야 한다면 중복 작업은 그대로 남습니다. 이를 피하려고 ML SDK의 게이트웨이 클라이언트는 LangChain의 pipe operator(|)와 호환되도록 만들었습니다. 프록시를 적절히 구성했다면 service 값을 바꿔 AI API 제공자를 교체할 수 있습니다. 클라이언트는 비동기 호출도 지원합니다.
호출 횟수로는 드러나지 않는 비용
API 요청 수만으로는 비용 추세를 알기 어렵습니다. 텍스트 생성 비용은 입출력 토큰 수에, 이미지 생성 비용은 생성된 이미지 수에 비례합니다. 사용하는 모델과 제공자에 따라서도 가격이 달라집니다.
공용 대시보드는 비용에 비례하는 지표를 프로젝트나 모델 단위로 보여 줍니다. (모델, 작업)별 요청량과 함께 LLM 서비스의 (프로젝트, 모델)별 요청량·입출력 토큰 수, Vision 서비스의 (프로젝트, 모델)별 생성 이미지 수를 확인하도록 구성했습니다.
관리 화면을 준비 중인 AI Studio
원문 게시 시점의 게이트웨이는 API로만 기능을 제공합니다. 리소스를 관리하거나 서비스를 호출하려면 Postman 같은 HTTP 클라이언트를 쓰거나 호출 코드를 작성해야 합니다.
팀은 개발 중인 AI Studio에 프로젝트·자격증명·템플릿을 관리하고 서비스를 요청할 웹 화면을 제공할 계획입니다. 구성원들이 프롬프트 노하우를 나눌 템플릿 허브도 준비하려 합니다. 서비스 개발자와 계속 소통하며 NoCode로 생성형 AI 서비스를 만들 수 있는 환경을 갖추는 것이 이후의 목표입니다.
자격증명과 템플릿·프록시 예시 값
| 항목 | 값 |
|---|---|
| Azure OpenAI 자격증명 | AZURE_OPENAI_ENDPOINT, AZURE_OPENAI_API_KEY |
| GCP VertexAI 자격증명 | credential json |
| AWS Bedrock 자격증명 | IAM Role ARN (+ STS) |
| Naver Cloud Platform 자격증명 | invoke_url, secret_key |
| 템플릿 형식 | plain text, message blocks |
| 프록시 선택 정책 예 | random (자격증명 여러 개 중 선택) |
| 프록시 예시 파라미터 | temperature 0.7, max_tokens 50 |
| 지원 서비스 | AWS Bedrock, Azure OpenAI, GCP VertexAI ImageGeneration, Naver Cloud Platform(실험적, OCR) |