목차
사용을 막지 않고 관리하는 AI Gateway와 AI Studio (2026-11)
원문 정보
- 원문: 우아한형제들의 AI 거버넌스, 플랫폼에 담다
- 매체 · 게시일: 우아한형제들 기술블로그 · 2026-11-06
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
총액 뒤에 가려진 과제와 담당자
Agent는 요청 하나에도 LLM과 도구를 반복해서 호출합니다. 우아한형제들에서는 AI 과제와 Agent가 늘면서 호출이 길어지고 많아졌지만, 전체 비용만으로는 어느 과제가 얼마나 쓰고 왜 늘었는지 설명하기 어려웠습니다. 키 발급 방식부터 제각각이었습니다. 과제마다 새로 발급한 키와 여러 과제가 나눠 쓰는 키가 섞였고, 발급 방식이 바뀐 뒤에도 예전 키가 남았습니다. Bedrock은 AIP(Application Inference Profile)로 비용을 나눌 수 있었으나 이전 리소스에는 AIP나 태그가 없었고, 다른 Provider의 비용은 콘솔마다 따로 모아야 했습니다.
공통 호출 경로는 이미 있었습니다. 여러 Provider의 LLM을 같은 방식으로 부르는 AI Gateway를 대체 모델, Langfuse 연동, 비용 집계가 필요한 과제나 공용 크레덴셜로 PoC를 하는 과제가 주로 쓰고 있었습니다. 이 경로를 전사로 넓히기로 했습니다. 민감정보 유출은 되돌리기 어렵고, 사용이 크게 늘어난 뒤에는 흩어진 호출 경로를 모으기도 어렵기 때문입니다.
사용을 막으면 비용과 보안 위험도 낮아지지만, AI로 얻을 성과까지 사라집니다. 원문의 그래프가 그린 목표는 사용 곡선은 계속 올라가고 비용과 보안 위험은 정한 범위 안에 머무는 모습입니다. 플랫폼이 공통 정책을 적용하고, 각 팀은 허용된 자원 안에서 매번 승인을 기다리지 않고 실험하도록 했습니다. 여기서 다루는 범위는 LLM과 Agent의 사용·운영·기록이며, Feature Store나 ML Serving 같은 MLOps 영역은 포함하지 않습니다.
승인 대기를 줄인 AI Studio
Gateway에 예산과 허용 모델을 설정할 수 있어도, 어떤 값을 넣을지는 별도의 판단입니다. 비용 담당 조직은 과제와 예산을, 보안 담당 조직은 데이터와 사용 범위를 검토해야 했습니다. 개인정보보호 가이드라인, 생성형 AI 보안성 검토 가이드, MCP 안전성 점검 가이드도 이미 있었습니다. 부족했던 것은 정책보다 연결이었습니다. Bedrock 키 신청, 외부 Provider 검토, AI Gateway 연동으로 창구가 나뉘어 어느 과제 목록도 전체 사용 현황을 보여 주지 못했습니다.
AI Studio는 이 창구를 하나로 합쳤습니다. 반드시 거쳐야 하는 키 발급 과정에 과제 등록과 정책 평가를 연결한 것입니다. 위키를 보며 사람이 모든 항목을 확인하던 방식도 바꿨습니다. 검토 기준을 구체적인 항목으로 나눈 뒤 정책 파일에 담아, 플랫폼이 판정할 수 있는 항목부터 사람의 검토를 줄였습니다. 같은 신청값에는 같은 기준이 적용되고, 판단에 사용한 정책 버전도 승인 기록에 남길 수 있습니다.
기본 허용 범위 안이면 플랫폼 정책 평가를 통과한 뒤 별도 승인 대기 없이 키를 받습니다. 사내 AI플랫폼 모델이 그 예입니다. 범위 밖 항목에는 필요한 비용·보안 검토만 붙이고, 외부 전송이 금지된 정보나 사용이 금지된 모델은 발급 전에 막습니다. 독립적인 검토는 병렬로 진행하며, 일부 모델이 검토 중이어도 이미 허용된 모델부터 사용할 수 있게 했습니다.
신청 화면에는 항목별 평가 결과와 검토 이유가 바로 보입니다. 예산을 기본 허용 범위로 조정하면 승인 절차에서 빠질 수 있다는 안내도 제공합니다. 신청자는 허용 범위에 맞춰 값을 바꾸거나 필요한 범위를 유지한 채 검토를 요청합니다. 승인 요청은 사내 승인 시스템으로 자동 전달되므로, 별도 문서를 쓰거나 검토할 조직을 찾아다니지 않아도 됩니다.
원본 데이터까지 AI Studio로 옮기지는 않았습니다. 서비스와 담당자, 용도는 서비스 카탈로그에서, 검토 상태는 사내 승인 시스템에서 불러옵니다. 카탈로그에 등록된 기획·설계 문서도 검토에 사용합니다. 예산과 허용 모델, 호출 한도의 원본은 AI Gateway에 두고 승인된 설정을 반영합니다. 필요한 승인이 끝났는지와 필수 설정이 갖춰졌는지를 함께 확인한 뒤 키를 발급합니다.
승인된 범위를 호출마다 확인하는 AI Gateway
신청과 검토를 맡는 AI Studio가 Control Plane이라면, 실제 호출을 처리하는 AI Gateway는 Data Plane입니다. Gateway에는 오픈소스 LiteLLM을 사용했습니다. 여러 Provider를 공통 인터페이스로 부르는 기능에 더해 접근 제어, 예산 관리, 관측 연동을 활용하고, 이를 MCP 도구와 Agent 호출까지 넓혀 가는 방향도 플랫폼의 계획과 맞았습니다. 사내 AI플랫폼이 자체 서빙하는 LLM과 임베딩, OCR 모델도 같은 경로로 제공합니다.
관리 단위는 AI 과제 하나를 등록한 프로젝트입니다. LiteLLM에서는 Team으로 관리하며, 담당자와 예산, 크레덴셜, 정책을 여기에 연결합니다. Virtual Key에는 허용 모델이나 예산을 따로 복사하지 않습니다. 소속 프로젝트의 설정을 상속하므로 프로젝트 정책을 바꾸면 그 안의 키가 모두 같은 기준을 따릅니다. Provider 원본 키는 요청자에게 전달하지 않습니다.
호출이 들어오면 Virtual Key로 프로젝트를 확인하고, 허용된 모델과 도구인지 검사합니다. 예산과 분당 요청 수인 RPM, 분당 토큰 수인 TPM 한도도 확인한 뒤 LLM Provider나 MCP 서버로 전달합니다. MCP는 LLM을 외부 도구와 데이터에 연결하는 표준 프로토콜입니다. Provider 호출이 실패하면 재시도하거나 대체 모델로 넘기며, 처리 과정에는 프로젝트별 비용과 트레이스가 남습니다. 호출 한도는 한 프로젝트의 급증이나 반복 호출이 공용 GPU와 Provider 할당량을 사용하는 다른 서비스에 영향을 주지 않도록, 프로젝트마다 필요할 때 적용합니다.
발급할 때는 AI Studio 프로젝트에 맞춰 Gateway 프로젝트와 Virtual Key, Langfuse 프로젝트를 함께 만들고, 시스템마다 같은 프로젝트 이름을 사용합니다. 신청 목적과 검토 이력에서 실제 비용과 호출 기록까지 이어지는 기준입니다. 사용자는 같은 프로젝트에서 모델·예산 변경을 신청하고 키를 생성하거나 폐기합니다.
기존 과제의 이전에는 별도 수고가 들었습니다. 크레덴셜 이름과 사내 위키, 요청 기록을 뒤져 과제와 담당자를 찾아야 했고, 임베딩처럼 모델 지원 범위나 버전 차이로 바로 옮기기 어려운 경우도 있었습니다. 모델을 호출할 수 있다는 사실만으로 이전이 끝나지는 않았습니다. 서비스별 품질 검증 시간도 필요했습니다.
청구를 기다리지 않는 프로젝트 비용
기존 Bedrock 청구 데이터는 사용 이틀 뒤에야 반영됐습니다. 비용이 늘어도 그동안은 알 수 없었습니다. AI Gateway는 호출할 때 토큰 수와 단가로 비용을 계산하므로, 예산 소진이나 평소와 다른 급증을 먼저 알릴 수 있습니다. 이 값은 빠른 운영 판단에 사용합니다. 정확한 청구 금액과 정산은 Provider의 비용 데이터로 확인합니다.
프로젝트 담당자는 사용자 대시보드에서 비용과 예산, 모델·키별 사용량, 프롬프트 캐싱 현황을 봅니다. AI플랫폼은 별도 대시보드에서 Gateway와 Provider의 상태, 지연, 오류를 확인합니다. 장애나 비용 급증, 예산 소진 경보는 Slack으로 비용 검토 담당, 운영 담당, 프로젝트 담당자에게 전달됩니다. 예산을 다 쓰면 Gateway가 호출을 제한하고, 더 필요하면 AI Studio에서 변경을 신청해 승인된 예산을 다시 반영합니다.
비용을 찾은 뒤 개선하는 일은 서비스 팀과 함께 진행합니다. 플랫폼은 비용이 늘어난 프로젝트와 적용할 방법을 보여 주고, 서비스 팀은 품질을 확인한 뒤 선택합니다. 호출 트레이스와 프롬프트, 응답은 Langfuse에 남아 실제 사용을 확인할 근거가 됩니다.
84% 비용 절감에 따라온 응답 지연
프롬프트 캐싱 사례는 비용과 사용 기록을 연결해 무엇을 바꿀 수 있는지 보여 줍니다. 설명용 대시보드에서 프로젝트 A는 전체 비용의 45%를 쓰고 예산 사용률도 92%였지만 캐시를 전혀 사용하지 않았습니다. 다른 프로젝트는 입력 토큰의 60~80%를 캐시에서 읽고 있었습니다. 여기까지의 프로젝트 이름과 비용, 비율은 모두 가상의 값입니다.
실제 적용 결과는 따로 측정했습니다. 이름만 A로 바꾼 프로젝트에서 요청마다 달라지는 내용을 system 프롬프트에서 user 메시지로 옮기고, system 프롬프트에 cache_control을 붙였습니다. 입력 토큰 중 캐시에서 읽은 비율은 5%에서 97%로 올랐고 요청 1건당 비용은 84% 줄었습니다. 응답은 더 느려졌습니다. LiteLLM이 요청마다 Gemini 캐시를 한 번 더 조회하면서 평균 응답 시간이 0.79초에서 1.33초로 늘었습니다.
모델이나 프롬프트를 바꾸면 캐싱 상태도 달라집니다. 플랫폼은 반복되는 시스템 프롬프트, 도구 설명, 참고 문서가 캐싱되는지 확인하고, 비율이 낮은 프로젝트에 적용 방법을 안내한 뒤 같은 대시보드에서 비용 변화를 다시 확인하고 있습니다.
모델 제공 정책으로 비용을 줄일 여지도 있습니다. Amazon Bedrock의 Global 교차 리전 추론은 Geographic 교차 리전 추론보다 입력·출력 토큰 단가가 약 10% 낮습니다. 데이터 처리 지역 요건을 충족하는 과제라면 Gateway에 Global 추론 경로의 모델만 등록하고, 허용 모델을 그 범위로 제한할 수 있습니다.
외부 전송 전에 나눈 정보의 처리 환경
보안에서는 먼저 요청을 어디로 보낼지 나눴습니다. 민감정보가 담긴 요청은 Gateway를 거쳐 사내 자체 서빙 AI Platform으로 보내고, 일반 업무 정보는 Bedrock, Azure, GCP 같은 외부 Provider로 보낼 수 있습니다. AI Studio는 신청한 데이터의 특성에 맞춰 사용 범위를 연결하고, Gateway는 승인된 모델과 호출 경로를 적용합니다.
가드레일은 탐지 범위와 정확도, 지연을 실험하며 기준을 정하는 영역입니다. AI플랫폼은 모듈을 조사하고 첫 실험 결과를 공유하며, 보안 담당 조직이 같은 실험을 해 볼 환경도 제공합니다. 무엇을 탐지하고 어떤 조건에서 막을지는 보안 담당 조직이 정합니다. Gateway에 가드레일 모듈을 추가하면 서비스 코드를 바꾸지 않고 호출에 공통 검사를 적용할 수 있습니다.
LLM에 보내기 전인 pre_call 단계에서는 항목별로 MASK나 BLOCK을 정합니다. 전화번호를 MASK로 처리하면 LLM에는 가려진 값이 전달되고, 서비스가 받는 응답에는 원래 값이 복원됩니다. BLOCK은 호출 자체를 멈춥니다. 카드 번호처럼 보내서는 안 되는 정보가 들어오면 LLM을 호출하지 않고 바로 오류로 응답하는 방식입니다.
기록은 승인 이후에도 쓰입니다. 개인정보를 보내지 않기로 한 프로젝트의 트레이스에 개인정보가 남거나, 승인하지 않은 서비스가 같은 키로 호출한 경우를 확인할 수 있습니다. 예외 신청이 반복되는 항목이나 실제 사용과 맞지 않는 기본 허용 범위도 검토 기록을 근거로 담당 조직과 다시 논의합니다.
요청자의 권한으로 움직이는 Agent
Agent에는 LLM의 예산, 허용 모델, 트레이스, 가드레일이 그대로 적용됩니다. 여기에 도구 실행이 더해집니다. 모델을 사용할 수 있는지만 확인해서는, 누가 Agent를 부르고 어떤 도구로 어느 데이터까지 조회할지 정할 수 없습니다.
출발점은 빈 허용 목록입니다. AI Studio에서 새 Agent를 만들면 허용 채널과 사용자가 없는 상태로 시작하며, 목록에 넣은 대상의 요청만 받습니다. 이 제한은 기존 Agent에도 넓혀 적용하고 있습니다. 연결할 MCP 서버 역시 보안 검토를 마친 목록에서만 고릅니다. 한 번 검토한 서버를 목록으로 관리하므로 다른 Agent가 같은 서버를 쓸 때 검토를 반복하지 않아도 됩니다.
서버를 연결한 뒤에도 도구별 허용이 남습니다. Text-to-SQL MCP 예시에는 도구가 네 개 있지만, 해당 Agent에는 읽기 도구 두 개만 켜고 쓰기·삭제 도구는 꺼 둡니다. 켠 도구만 목록에 나타나고 호출할 수 있습니다. 서버에 새 도구가 추가돼도 꺼진 상태로 들어오기 때문에, 허용 전에는 Agent의 동작 범위가 넓어지지 않습니다.
데이터 조회 권한은 요청자를 따라갑니다. Slack에서 질문하면 Text-to-SQL MCP가 SQL을 만들고, 쿼리는 요청자의 사내 계정으로 실행됩니다. 계정 정보가 처음부터 끝까지 전달되므로 같은 질문에도 사람마다 결과가 다릅니다. Agent를 거쳤다는 이유로 원래 볼 수 없던 데이터가 조회되지 않도록 한 것입니다.
이 설정을 Agent마다 따로 구현하면 요청자 정보 전달이나 도구 제한이 빠질 수 있습니다. AI Studio에서는 공통 정책을 기본 설정으로 제공하고 공용 Helm 차트로 배포합니다. 차트에는 개발자가 덮어쓸 수 없는 설정이 들어 있어 모델과 MCP 호출 경로를 고정하고, 터미널·파일·코드 실행·브라우저 같은 위험한 도구 묶음을 제한합니다. 필수 설정이 없거나 시크릿을 복호화하지 못하면 Agent는 실행되지 않습니다. 공용 차트는 Agent 취약점 검토도 마쳤습니다.
키와 호출이 모이는 별도 AWS 계정
호출을 모으면 Provider 권한과 크레덴셜도 모이고, 프롬프트와 응답, 도구 실행 결과가 그 경로를 지납니다. 플랫폼이 뚫렸을 때의 영향도 커집니다. 일반 서비스의 취약점이 같은 네트워크를 따라 플랫폼에 닿을 수 있고, 플랫폼 자체가 프롬프트 인젝션이나 인증 우회, 원격 코드 실행, 공급망 공격의 표적이 될 수도 있습니다.
보안 담당 조직은 위협 시나리오를 점검하고 계정·네트워크 분리를 설계했습니다. 크레덴셜 발급·중개, 여러 시스템의 권한 보유, 외부 AI 통신, 여러 서비스의 정책 집행, 둘 이상의 환경 처리 중 하나라도 해당하면 분리 대상으로 보았습니다. AI Gateway(MCP 서버 포함)와 AI Studio가 여기에 해당했습니다. AI를 호출만 하는 서비스는 원래 계정에 남겼습니다.
AI플랫폼은 이 설계를 적용해 별도 AWS 계정과 분리된 VPC로 옮겼습니다. 서비스가 들어오는 길은 AI Gateway 하나이며 기존 Gateway 주소를 유지했습니다. Bedrock에는 IRSA로 Kubernetes 파드에 AWS 권한을 부여하고, GCP는 플랫폼의 고정 IP만 허용합니다. 서비스가 Gateway를 거치지 않고 Provider를 직접 호출하는 경로는 전사 기준으로 막혀 있습니다. 메트릭과 API 문서에도 인증을 요구하고, 관리 화면 로그인은 관리자 SSO 그룹으로 제한했습니다.
로드밸런서에서 빠진 뒤의 30초
모든 호출이 지나는 Gateway는 배포 중에도 요청을 처리해야 합니다. 새 파드가 준비된 뒤 기존 파드를 교체하고, 종료할 파드는 로드밸런서에서 빠진 뒤 30초를 기다려 진행 중인 요청과 스트리밍을 마치도록 했습니다. 이 시간은 타깃을 제외한 뒤에도 요청이 들어오는 시간과 실제 처리 시간을 측정해 정했습니다.
파드는 가용 영역마다 나눠 배치하고 한꺼번에 중단되는 수를 제한하며 자동으로 확장합니다. Provider 오류에는 Gateway가 재시도하거나 대체 모델로 응답하므로, 서비스 쪽에서 별도로 변경하지 않아도 됩니다.
프로젝트 안에서 더 세밀해질 Agent 관리
지금까지 적용한 범위는 LLM 호출 관리, Agent 도구별 허용, 요청자 정보 전달입니다. Agent가 늘면 프로젝트나 키만으로는 충분하지 않습니다. 같은 프로젝트 안에서도 Agent마다 하는 일과 위험도가 다르고, 요청 하나가 반복적인 도구 호출로 이어지기 때문입니다. 앞으로는 Agent 단위로 관리를 더 세밀하게 만들 계획입니다.
- Agent Registry: 사내 Agent와 책임자의 등록·관리
- 세션 비용: 반복 호출이 끝나지 않을 때 요청 하나의 비용과 실행 횟수 제한
- Agent 인증과 인가: Agent 자체의 인증·인가
- 가드레일 확대: 적용 범위 확장
- 자동 승인 확대: 사람이 검토할 항목 축소
품질 평가도 남아 있습니다. 사용량과 비용만으로는 과제가 실제로 도움이 되는지 판단할 수 없습니다. 현재는 Agent의 Slack 피드백을 Langfuse 점수로 모으고, 낮은 평가를 받은 대화에서 평가 대상을 모으는 것부터 시작합니다. 비용을 줄이거나 모델을 바꾼 뒤에도 같은 기준으로 품질을 비교하는 것이 목표입니다.
운영 수치와 프롬프트 캐싱 실측
| 항목 | 값 |
|---|---|
| 캐시 비율 | 5%에서 97% |
| 요청 1건당 비용 | 84% 감소 |
| 평균 응답 시간 | 0.79초에서 1.33초 |
| 응답 시간 증가 이유 | 게이트웨이가 요청마다 Gemini 캐시를 한 번 더 조회 |
| 종료 파드 대기 | 로드밸런서에서 빠진 뒤 30초 |
| Global 교차 리전 추론 단가 | Geographic 대비 입력·출력 토큰 약 10% 낮음 |