목차
검토한 사용 조건을 실제 호출까지 잇는 토스 AI 플랫폼 (2026-10)
원문 정보
- 원문: 서비스 개발에 집중할 수 있는 AI 플랫폼 만들기
- 매체 · 게시일: 토스 기술 블로그 · 2026-10-13
- 저자: 원혜린, 신도현, 명세교, 김태정
- 시리즈: 모델 품질과 비용을 함께 개선하는 평가 기준 이야기를 이어서 소개하겠다고 예고합니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
서비스마다 되풀이하던 AI 운영 준비
모델 호출 자체는 어렵지 않습니다. 실제 서비스에 쓰려면 사용할 모델과 데이터 처리 범위를 정하고, 예상 비용과 필요한 처리 용량을 검토한 뒤 운영 중 호출 실패와 요청 집중에도 대응해야 합니다. 서비스 팀마다 이를 준비하면 공급자별 연동 코드부터 권한 확인, 사용량 집계까지 비슷한 작업을 반복하게 됩니다.
토스 AI Platform 팀은 여러 서비스에 공통으로 필요한 운영 기능을 플랫폼에 모았습니다. 서비스 팀이 사용 목적을 정하면 거버넌스·보안 담당자는 사용 조건을 검토하고, 모델·서빙 담당 팀은 필요한 처리 용량을 살핍니다. 이 검토 결과를 실제 요청에 적용하도록 연결하는 일이 AI Platform 팀의 역할입니다. 모델 사용 신청과 설정은 웹 서비스인 GenAI Portal에서 관리하고, 서비스와 모델 사이에서 요청을 처리하는 GenAI Gateway가 호출을 맡습니다.
여러 API 키의 공통 기준인 프로젝트
권한과 비용의 관리 단위는 프로젝트입니다. API 키를 여러 개 발급해도 같은 프로젝트에 속한다면 모델 권한과 예산을 함께 관리하고, 사용량도 합쳐서 확인합니다. 개별 키마다 서비스의 운영 조건이 흩어지지 않도록 한 것입니다.
프로젝트에 등록할 모델을 비교할 때는 Portal에서 필요한 항목을 골라 가격과 사양을 살펴볼 수 있습니다. 리더보드에서는 가로축과 세로축의 지표를 선택해 가격과 성능을 함께 비교합니다. 공개 벤치마크 점수와 사내 서빙 환경에서 측정한 응답 지연 시간은 구분해 제공합니다.
성능이 충분하다고 바로 쓸 수는 없습니다. 프로젝트에서 사용을 신청할 때 담당자와 실행 환경, 사용할 모델, 예산과 사용량 제한을 등록하고, 처리할 데이터의 등급과 서비스 중단 시 영향도 입력합니다. 데이터 등급의 기준은 실제 다루는 정보 가운데 가장 민감한 항목입니다. 등급이 같아도 목적과 환경이 다를 수 있어, 등급만으로 허가하지 않고 사용할 모델과 실행 환경을 함께 검토합니다.
토스 내부 데이터 등급
| 등급 | 대상 |
|---|---|
| L1 | 주민등록번호, 계좌번호 등 최고 민감 정보 |
| L2 | 일반 개인정보, 개인신용정보, 행태로그 |
| L3 | 영업비밀, 가명화한 개인정보 |
| L4 | 익명화 정보, 집계정보 |
금융 서비스에 필요한 검토도 프로젝트를 기준으로 진행합니다. 담당 조직은 신청한 사용 목적과 데이터 처리 범위가 혁신금융서비스의 허용 범위에 맞는지 확인합니다. 모델을 추가하거나 사용량 한도를 바꿀 때도 승인이 필요합니다. Portal에서 추가할 모델과 변경 전후의 한도·예산, 신청 사유를 함께 검토하고, 승인 결과를 프로젝트 설정에 반영한 뒤 변경 이력을 남기는 흐름입니다.
월 예산으로 보장할 수 없는 처리 용량
예산이 남아 있어도 요청은 막힐 수 있습니다. 짧은 시간에 요청이 몰리면 모델이 감당하지 못할 수 있고, 요청을 원활하게 처리하고 있더라도 호출이 계속 늘면 비용이 예상을 넘어설 수 있습니다. 토스는 누적 비용으로 예산을 관리하면서 요청을 받을 때는 분당 토큰 수(TPM) 등의 한도를 별도로 적용합니다.
예산을 잡을 때는 실제 호출 기록을 참고합니다. Portal은 기록에서 평균 입력·출력 토큰 수를 구하고, 여기에 모델 단가와 예상 요청량을 적용해 월 예상 비용을 계산합니다. 토큰 수를 임의로 가정하는 대신 실제 사용을 출발점으로 삼은 것입니다. 운영 중 누적 비용이 예산의 일정 비율에 도달하면 담당자에게 알리며, 예산 초과 이후의 알림과 유예 기간, 프로젝트 비활성화 조건은 나눠 관리합니다.
처리 용량에는 서비스의 운영 조건을 반영합니다. 잠시 늦어져도 괜찮은 실험과 중단 즉시 사용자에게 영향을 주는 기능에 같은 기준을 적용하기는 어렵습니다. 정보의 민감도를 정하는 데이터 등급과 별도로, 필요한 운영 수준은 사내 SLA(Service Level Agreement) 등급으로 구분했습니다.
SLA 등급
| 등급 | 대상 |
|---|---|
| High | 전용 파이프라인에서 가용성, 응답 시간, 처리량 보장이 필요한 서비스 |
| Standard | 공유 모델에서 필요한 최소 처리량을 확보하는 서비스 |
| Flex | 처리량을 보장하지 않는 실험이나 지연을 허용할 수 있는 작업 |
High와 Standard는 플랫폼팀이 용량을 검토하며, 등급이나 요청량이 바뀌면 다시 살펴봅니다. 모델 전체 한도를 적용한 경우에는 요청이 몰릴 때 우선순위가 낮은 요청부터 제한합니다.
승인 조건을 호출마다 확인하는 GenAI Gateway
Portal에 등록한 조건은 요청을 받을 때 다시 확인합니다. GenAI Gateway는 API 키로 프로젝트를 인증하고 활성 상태와 모델 사용 권한을 검사하며, 사용량 한도와 입력 가드레일을 통과한 요청만 모델로 보냅니다.
서비스가 지정하는 모델과 요청을 처리하는 배포는 구분했습니다. 같은 모델이라도 공급자와 배포 환경에 따라 호출 조건이 달라지므로, Gateway는 혁신금융서비스 정책에 따른 공급자 설정과 배포 상태를 보고 호출할 곳을 고릅니다. 공급자마다 다른 인증과 요청 형식 변환은 어댑터에 두고, 권한 확인과 사용량 제한은 공통 로직으로 분리했습니다. 공급자가 늘어날 때마다 서비스 팀이 같은 제어를 다시 구현하지 않도록 한 설계입니다.
사내 GPU의 모델도 같은 Gateway로 호출합니다. 이때 서빙은 자체 플랫폼인 Toss Dynamo가 담당합니다. 호출 형식을 통일했다고 모델의 기능까지 같아지지는 않습니다. 도구 호출이나 구조화된 출력 지원 여부는 서비스에서 모델을 선택할 때 따로 확인해야 합니다.
도구 이름까지 확인하는 MCP Gateway
모델 호출 권한을 확인했어도 사내 도구의 실행 권한은 따로 검사합니다. 도구 호출 요청이 거치는 곳은 MCP Gateway입니다. 하나의 MCP(Model Context Protocol) 서버에는 여러 도구를 등록할 수 있으며, 등록 과정에서 기술적 보안 요건과 개인정보 처리 등급, 데이터 처리 방식을 검토합니다.
등록을 마친 도구도 프로젝트에서 사용을 신청해야 목적에 맞는 권한을 받습니다. MCP Gateway는 호출마다 프로젝트와 서버, RPC 메서드, 도구 이름을 확인해 실행 허용 여부를 판단합니다. 여기서 허용하는 것은 도구 실행입니다. 검색 도구를 실행할 수 있다고 모든 문서를 읽을 수 있는 것은 아니므로, 데이터 접근 권한은 연결된 서비스가 별도로 확인해야 합니다.
개발 중 필요한 정보는 GenAI CLI에서도 조회합니다. 터미널이나 코딩 에이전트에서 모델 목록과 등록된 MCP 도구를 찾아볼 수 있어 웹 화면을 열지 않아도 됩니다.
본문과 분리해 남기는 호출 기록
승인 당시 검토한 범위와 실제 입력이 늘 같지는 않습니다. 사용자가 자유롭게 쓴 글이나 외부 문서에는 예상하지 못한 정보가 섞일 수 있어, 외부 모델을 호출하기 전에 가드레일로 입력을 검사합니다. 그런데 요청을 차단하더라도 본문이 일반 로그에 그대로 남으면 다른 경로로 정보가 노출될 수 있습니다. 기록을 모두 없애면 이번에는 장애 원인을 찾기 어렵습니다.
토스는 모델로 보내는 경로와 로그를 남기는 경로를 나눴습니다. 모델 호출 전에는 프롬프트 공격과 개인정보를 검사합니다. 개인정보 탐지에는 규칙과 문맥 판단 모델을 사용하며, 탐지 결과가 프로젝트의 차단 조건에 해당하면 호출을 중단합니다. 응답 검사를 지원하는 API에서는 차단 대상 응답도 반환하지 않습니다.
일반 운영 로그는 전송 전에 탐지된 개인정보 영역을 마스킹합니다. 프로젝트 설정에 따라 본문을 기록하지 않을 수도 있습니다. 본문을 가려도 호출 상태와 지연 시간, 사용량, 실패 단계는 따로 확인하도록 했습니다. 무엇을 탐지했는지와 실제로 차단했는지도 나눠 기록합니다. 같은 유형을 탐지해도 프로젝트 설정에 따라 처리 결과가 달라질 수 있기 때문입니다. 보안 검토용 기록은 일반 운영 로그와 목적, 처리 경로를 구분해 관리합니다.
개별 호출 너머의 흐름을 담는 Langfuse
문서를 검색한 뒤 모델을 여러 번 호출하는 서비스라면 개별 모델 호출의 기록만으로는 부족합니다. 어느 단계에서 시간이 오래 걸렸는지 보려면 전체 처리 흐름이 있어야 합니다. 이 흐름은 Langfuse 트레이스로 확인하고, Gateway 로그에도 서비스가 전달한 추적 식별자를 남깁니다. 전체 흐름을 보다가 특정 모델 호출을 더 살펴보고 싶으면 같은 식별자로 상세 기록을 찾는 방식입니다.
연동 과정은 사내 배포 환경에 맞췄습니다. Portal에서 배포 파이프라인을 선택하면 Langfuse 프로젝트를 만들고 발급된 키를 해당 파이프라인의 시크릿에 등록해, 키를 복사해 옮기는 작업을 줄입니다. 서비스 내부의 각 단계는 서비스에서 직접 계측해야 합니다. Langfuse에 남길 데이터 범위와 접근 권한 역시 별도로 관리합니다.
아직 끝나지 않은 요청의 토큰 예약
요청 한도를 적용하려면 처리 중인 호출도 계산에 넣어야 합니다. LLM 호출의 최종 토큰 수는 응답이 끝나야 알 수 있습니다. 완료된 요청만 집계하면 아직 처리 중인 요청이 빠져, 실제로는 여유가 없는데 새 요청을 계속 받을 수 있습니다.
토큰 단위로 요청량을 제한할 때는 입력과 예상 출력에 필요한 토큰 수를 먼저 예약합니다. 응답이 끝나면 실제 사용량으로 보정하는 방식입니다. 최종 사용량을 받지 못한 스트리밍 응답에는 추정치를 쓰고, 캐시에서 응답을 반환해 모델을 호출하지 않았다면 예약분을 뺍니다. 이는 요청 한도를 관리하는 계산이며 비용 청구와는 별개입니다.
보정 시점도 맞아야 합니다. 응답이 늦게 끝나더라도 처음 예약한 시점의 값을 고쳐야 하며, 완료 시점의 사용량에서 빼면 엉뚱한 시간대의 한도가 늘어날 수 있습니다. 스트리밍과 호출 실패, 재시도에서도 이 계산이 맞도록 관리하는 일을 Gateway가 담당합니다.
PAYG 전환 뒤에도 복구를 확인하는 PTU 배포
외부 모델에 미리 확보한 약정 용량이 있다면 이를 먼저 쓰고, 부족할 때는 사용한 토큰만큼 비용을 내는 종량제(PAYG) 경로를 이용할 수 있습니다. PTU(Provisioned Throughput Unit)는 미리 확보하는 처리 용량의 단위입니다. PTU 우선 라우팅을 설정한 모델은 확보한 용량부터 사용하다가 요청을 처리하기 어려워지면 같은 모델의 PAYG 경로로 전환합니다.
전환만으로 처리가 끝나지는 않습니다. 일시적인 용량 제한이 풀렸는데도 PTU를 계속 제외하면 확보한 용량을 쓰지 못한 채 PAYG 비용이 발생합니다. 그렇다고 장애가 난 배포에 계속 요청을 보내면 실패와 지연이 늘어납니다.
Gateway는 오류 유형에 따라 해당 배포로 보내는 요청을 잠시 중단하거나 재시도 간격을 늘립니다. 다른 경로를 사용하는 동안에도 기존 배포가 복구됐는지 확인합니다. 다시 사용할 수 있게 되면 확보한 용량을 활용하는 방식입니다.
이 전환에서 바뀌는 것은 같은 모델의 호출 경로입니다. 모델 자체를 바꾸면 응답 품질도 달라질 수 있으므로, 별도 평가를 거친 뒤 서비스 담당자가 전환 여부를 판단해야 합니다. 어떤 모델이 서비스에 맞고 그 결과가 사용자에게 충분히 좋은지는 여전히 서비스 팀과 함께 풀어야 할 문제입니다.
AI Platform 팀은 모델의 응답 품질과 비용을 함께 개선하는 방법도 고민하고 있습니다. 토스 서비스에 맞는 평가 기준을 세우고 그 결과를 모델 선택과 운영 최적화에 활용하는 과정은 이어서 소개하겠다고 예고했습니다.