목차
검증된 요청부터 LLM 호출을 줄여 나가는 토스의 SNAP (2026-10)
원문 정보
- 원문: 손가락 튕기기로 LLM 비용 줄이기
- 매체 · 게시일: 토스 기술 블로그 · 2026-10-27
- 저자: 김형찬, 박민우, 임민섭
- 원문 내용을 바탕으로 재구성한 요약입니다.
대용량 호출에서 만난 토큰 먹는 하마
토스의 서비스와 내부 업무에서 LLM은 정책을 읽고 상품을 비교하며, 문서를 요약하거나 정해진 형식의 값을 추출하는 일을 맡고 있습니다. 시작은 빠릅니다. 데이터 레이블링과 모델 학습에 시간을 들이던 방식과 달리, 프롬프트에 예시를 넣고 응답 형식을 고정하면 동작하는 Workflow가 나옵니다. 부담은 호출이 늘면서 드러났습니다. 프롬프트 튜닝을 마치고 대용량 호출을 시작하자 이 ‘토큰 먹는 하마’의 비용과 Latency가 문제가 됐습니다.
상용 LLM을 내재화하는 방법은 이미 쓰고 있었습니다. 토스에도 LLM Fine-Tuning으로 비용을 크게 줄인 사례가 있습니다. 작업 목표에 따라 LoRA 같은 Adapter 학습을 쓰거나, 더 큰 품질 개선이나 안정성이 필요하면 Full Fine-Tuning을 검토하는 접근입니다. 그런데 두 상품이 같은지 판단하거나 정해진 카테고리 하나를 고르는 작업에도 범용 LLM의 모든 능력이 필요한 것은 아닙니다. 작업의 복잡도와 요구 품질에 따라서는 전통적인 ML 모델이나 작업에 맞춘 소형 모델로도 충분히 처리할 수 있습니다.
SNAP이 먼저 맡는 검증된 요청
작은 모델은 빠르고 자원을 덜 쓰지만, 풀 수 있는 문제의 범위가 좁습니다. 어려운 요청까지 전부 맡기려고 개발과 학습을 반복하면 투자가 커지고, 목표 품질에 미치지 못해 운영 적용이 미뤄질 수도 있습니다. 실제로 토스에서 유사한 분류 작업을 전체 내재화할 때는 여러 버전의 테스트셋으로 검증을 반복했고, 개발에 1~2개월이 걸렸습니다.
선택적 내재화(SNAP, Selective Native AI Processing)는 모든 요청을 처리할 모델이 완성되기 전에 절감을 시작하는 방식입니다. 작은 모델도 높은 신뢰도로 처리할 수 있는 요청부터 맡깁니다. 고비용 LLM 트래픽 전체를 한 번에 없애기보다, 처리 가능한 구간을 찾아 타노스가 손가락을 튕기듯 줄이자는 뜻을 이름에 담았습니다.
비교적 쉬운 요청은 작업별 소형 내재화 모델이 처리하고, 어렵거나 애매한 요청은 기존 LLM으로 Fallback합니다. 그 기준은 모델이 판단의 자신감을 점수로 나타낸 Confidence와 오프라인 검증 결과로 정합니다. 얼마나 많은 요청을 옮길지에 앞서, 어느 범위까지 요구 품질을 지킬 수 있는지 확인하는 방식입니다.
동일상품 판별에 적용한 99.9%의 기준
첫 적용 대상은 두 상품의 이름과 옵션을 읽고 같은 판매 단위인지 판단하는 작업이었습니다. 브랜드와 모델명뿐 아니라 용량, 색상, 구성품의 차이도 구분해야 합니다. 입력과 출력의 범위가 명확했고 기존 LLM 응답도 충분히 쌓여 있어, 소형 분류 모델을 학습하기에 적합했습니다.
결과를 채택할 기준은 별도로 검증했습니다. Confidence가 0.95라고 해서 정답률이 95%라는 뜻은 아니기 때문입니다. 검증 데이터에서 Confidence가 높은 결과만 골라 기존 LLM 판단과의 일치율인 선택적 정확도(Selective Accuracy)를 확인하고, 전체 검증 요청 중 얼마나 채택했는지를 Coverage로 측정했습니다.
목표 일치율을 먼저 정한 뒤, 결과를 채택할 최소 점수인 Threshold를 바꿔가며 비교했습니다. 목표를 지키면서 가장 많은 요청을 처리하는 지점을 찾는 과정입니다. 학습 중 저장한 모델들도 같은 기준으로 평가해 모델과 Threshold를 함께 골랐습니다.
첫 배포에서는 목표 일치율을 99.9%로 잡았습니다. 검증 요청 100,648건 중 34,963건을 채택해 Coverage 34.74%를 확보했고, 채택한 결과에서 기존 LLM과 판단이 다른 것은 34건이었습니다. 실제 일치율은 99.9028%였습니다. 목표 일치율을 99%로 낮추면 Coverage는 51.59%, 95%로 낮추면 72.35%까지 늘어났습니다. 모두 모델과 Threshold 선택에 사용한 검증 데이터에서 측정한 값으로, 작업이 요구하는 품질에 따라 채택 범위가 달라졌습니다.
운영에서는 클라이언트가 GenAI Gateway로 내재화 모델을 먼저 호출합니다. 반환된 Confidence가 Threshold 이상이면 그 결과를 사용하고, 미만이면 기존 LLM을 추가 호출합니다.
첫 배포에서 줄어든 LLM 트래픽
배포 후 약 6일 동안 내재화 모델은 동일상품 판별 요청의 일별 약 33~37%를 처리했습니다. 오프라인 Coverage 34.74%와 비슷한 비율입니다. 이 기간에 줄어든 LLM 사용량은 입력 토큰 약 76억 개, 출력 토큰 약 4,520만 개였습니다. 전체 요청을 전환하기 전에도 절감은 시작됐습니다.
서빙 성능은 L4 GPU 1장 환경에서 부하 테스트로 확인했습니다. 목표 요청량을 초당 10건부터 1,200건까지 높이며 클라이언트에서 응답 시간을 측정했습니다. 운영 피크인 초당 약 500건을 넘는 초당 598건 처리 구간에서 p50은 7.24ms였습니다. 실제 처리량이 초당 1,203건인 구간에서도 p50은 9.02ms, p99는 15.23ms였으며, 모든 테스트 구간에서 실패하거나 드롭된 요청은 없었습니다.
검증 데이터와 부하 테스트의 측정값
| 항목 | 값 |
|---|---|
| 부하 테스트 환경 | L4 GPU 1장 |
| 테스트 목표 요청량 | 초당 10건 ~ 1,200건 |
| 598건/초 구간 p50 | 7.24ms |
| 1,203건/초 구간 p50 / p99 | 9.02ms / 15.23ms |
| 실패·드롭 요청 | 모든 구간 없음 |
| 검증 요청 수 | 100,648건 |
| 목표 일치율 99.9% 채택 건수 / Coverage | 34,963건 / 34.74% |
| 채택 결과 중 LLM과 불일치 | 34건 (일치율 99.9028%) |
| 목표 일치율 99% Coverage | 51.59% |
| 목표 일치율 95% Coverage | 72.35% |
| 운영 내재화 처리 비율 | 일별 약 33~37% (약 6일) |
| 절감 LLM 토큰 | 입력 약 76억 / 출력 약 4,520만 |
후보 발굴부터 학습까지 이어지는 Airflow 배치
요청을 일부만 전환하는 것과 함께, 그 요청을 맡을 모델을 빨리 준비하는 일도 SNAP의 설계에 들어 있습니다. LLM으로 빠르게 개념 검증을 진행한 뒤 작업을 바꾸거나 프로젝트를 중단하다 보니, 짧은 기간에 작업이 생겼다가 사라졌습니다. 사람이 하나씩 살피며 내재화 후보를 고르기에는 한계가 있었습니다. SNAP은 후보 발굴부터 데이터셋 구축, 모델 학습까지 자동화했습니다.
출발점은 뒤섞인 로그를 같은 작업끼리 묶는 일이었습니다. LLM 요청은 사람에게 말하듯 자유롭게 작성하므로, 같은 API Key와 Endpoint로 호출해도 같은 작업이라는 보장이 없습니다. 팀이 살펴본 로그에서는 System Prompt 앞부분에 역할과 문제, 해결 방식을 정의하는 패턴이 보였습니다. Few-shot 예제가 바뀌어도 역할과 작업 정의는 대체로 유지됐습니다. SNAP은 이 앞부분을 해시해 작업을 구분하는 Fingerprint로 사용합니다.
매일 호출 로그를 Fingerprint별로 묶으면 호출량, 사용 중인 LLM 모델, 입력·출력 토큰 수와 추정 비용을 집계할 수 있습니다. 최근 일정 기간의 추정 비용이 최소 기준을 넘는 작업을 비용순으로 정렬하고, 정해진 수만큼 후속 검증 대상으로 고릅니다.
비용 기준을 넘었다고 바로 학습하지는 않습니다. 요청과 응답을 분석해 응답이 정형화되어 있는지, 학습용 레이블을 안정적으로 추출할 수 있는지 확인합니다. 데이터셋을 구성할 때는 레이블별 데이터가 충분한지와 학습·평가 데이터를 분리할 수 있는지도 검증합니다. 이 조건을 통과한 작업만 학습으로 이어집니다.
이 과정은 Airflow 일일 배치로 연결했습니다. 후보 선정과 데이터 구성 기준을 충족한 작업은 사내 학습 라이브러리로 하루 안에 학습된 모델을 확보할 수 있습니다. 모델은 레지스트리에 등록하고, 운영에 적용할 모델은 서빙 엔진이 불러옵니다. 작업이 빠르게 바뀌는 환경에서 최종 전환율뿐 아니라 적용까지 드는 시간과 자원도 줄이려는 설계입니다.
도메인 팀과 넓혀 갈 적용 범위
SNAP은 지금도 반복되는 LLM 호출을 집계하고 내재화할 작업을 찾아 소형 모델을 학습합니다. 앞으로는 각 도메인 팀과 실제 요청에서 드러난 오류와 요구 품질을 살피면서, 데이터와 모델을 개선해 적용 범위를 넓힐 계획입니다.
모델의 선택지도 실험하고 있습니다. JEV처럼 특정 판단 문제에 맞춘 Decision Engine 형태의 모델을 튜닝해 SNAP에 활용할 수 있을지 확인하는 단계입니다. 실제 운영 결과를 바탕으로 품질과 비용을 함께 고려한 내재화 기준도 다듬어 가려 합니다.