본문으로 건너뛰기
LLM 서빙 장애의 원인을 좇는 토스증권 대시보드
목차

LLM 서빙 장애의 원인을 좇는 토스증권 대시보드 (2026-08)

원문 정보

  • 원문: LLM 서빙, 띄우는 것과 잘 띄우는 것 사이
  • 매체 · 게시일: 토스 기술 블로그 · 2026-08-21
  • 저자: 김민규 (토스증권 ML Engineer)
  • 토스증권 Tech Talk Talk 세션을 바탕으로 재구성한 글이라고 원문에 밝혀 둡니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

원인까지 알려 주지 못한 타임아웃 알림

조용하던 팀의 알림 채널에 100건 가까운 에러가 쏟아졌습니다. 대부분 타임아웃이었습니다. 무엇이 실패했는지는 알았지만, 왜 실패했는지는 알림만으로 파악할 수 없었습니다. 오픈소스 LLM과 직접 튜닝한 모델을 서비스에 쓰는 토스증권이 마주한 문제입니다.

관측 수단은 이미 갖춘 상태였습니다. LLM 서빙을 시작한 2년 전에는 쿠버네티스와 Argo CD 같은 기술 스택 위에서 각자 플랫폼을 구성해 모델을 서빙하고, 자체 대시보드로 로그와 메트릭을 살폈습니다. 배포부터 관찰까지 서비스 개발자 개인의 역량에 달린 일이었습니다. 이 부담을 줄이려고 직접 만든 것이 ML 플랫폼입니다. 로그와 메트릭을 정규화해 한 패널에서 볼 수 있게 하고, Grafana에서는 메트릭의 추이와 이상을, Kibana에서는 개별 로그를 확인하도록 구성했습니다.

LLM에 맞춰 지표도 바꿨습니다. 입력 하나에 출력 한 건을 내놓는 기존 ML 모델과 달리, LLM은 토큰을 순차적으로 생성합니다. 단건 응답 시간과 처리 건수는 변동이 심하고 통제할 수 있는 영역도 아니었습니다. 그래서 처리량은 초당 생성 토큰 수로, 응답 시간은 최종 결과물이 나올 때까지 걸린 시간에서 첫 토큰이 나오기까지의 시간(TTFT)으로 바꿨습니다.

이 정도면 대부분의 문제를 예상하고 쉽게 풀 수 있으리라 기대했습니다. 하지만 장애의 원인을 설명하기에는 부족했습니다. 토스증권은 vLLM·SGLang 같은 서빙 프레임워크가 제공하는 지표를 더 찾아 대시보드에 통합했습니다. 헬스 상태와 오류 건수, 레이턴시를 보던 화면에서 캐시 같은 LLM 내부의 단서까지 확인하게 된 것입니다.

기본값으로 꺼져 있던 Prefix Cache

서비스에 내보내려던 모델에서 종종 타임아웃이 발생한다는 요청이 들어왔습니다. 알림 시각과 트래픽이 몰리는 시각은 일치하지 않았습니다. 트래픽이 원인은 아니었습니다. 대시보드를 살펴보던 중 눈에 들어온 것은 다른 지표와 달리 값이 비어 있는 Prefix Cache Hit Rate입니다.

이 지표를 이해하려면 KV 캐시부터 살펴봐야 합니다. LLM은 토큰을 생성할 때 이전 문자열의 Key와 Value를 계속 참조합니다. 같은 값을 매번 계산하지 않도록 저장해 두는 것이 KV 캐시이며, 재사용 범위는 한 시퀀스 안입니다.

실제 요청에는 시스템 프롬프트처럼 앞부분이 같은 경우가 많습니다. Prefix Cache는 이런 요청 사이에서 공통된 앞부분의 KV 캐시를 재사용합니다. Hit Rate는 얼마나 재사용했는지를 나타내는 값입니다. 높을수록 계산을 덜 하니 빨라집니다.

문제의 모델에서는 그 값이 0이었습니다. 토스증권은 지표 수집 오류와 요청 간 차이를 의심했습니다. 다른 모델에서는 정상적으로 값이 나왔으므로 수집 문제는 제외했습니다. 로그 속 요청들은 많이 다르긴 했지만, 그래도 일부는 캐시를 재사용할 만한 상황이었습니다.

더 살펴보니 해당 모델의 특성상 Prefix Caching이 기본으로 꺼져 있었습니다. 다른 모델에서는 기본으로 켜져 있던 기능입니다. 설정을 다시 활성화하고 재배포하자, 20초 가까이 걸리는 경우도 있던 TTFT가 약 1/10 수준으로 줄었습니다. Prefix Cache Hit Rate는 90% 이상을 기록했습니다.

조치는 단순했습니다. 어려웠던 일은 꺼진 설정을 찾는 쪽입니다. Prefix Cache Hit Rate를 보고 있지 않았다면 발견하기가 훨씬 어려웠을 문제였습니다.

파드 증설 전에 확인한 KV 캐시의 여유

캐시 지표는 처리량 부족을 살필 때도 단서가 됐습니다. 서버 개발자가 트래픽이 몰리는 시간에 요청이 밀린다며 그래프를 보내왔습니다. GPU를 많이 쓰는 LLM은 파드 하나를 더 띄우는 비용도 큽니다. 토스증권은 증설에 앞서 지금 쓰는 GPU부터 충분히 활용하고 있는지 확인했습니다.

얼핏 보면 바쁘게 돌아가는 서버였습니다. 생성 TPS는 1,000에 가까웠고 Prefix Cache도 많이 쓰고 있었습니다. 그런데 KV 캐시 사용량만은 1%에도 못 미쳤습니다. 다른 지표와 함께 살펴보니 메모리에 여유가 있다는 단서였습니다.

토스증권은 더 많은 요청을 받을 수 있겠다고 판단하고, 파드를 늘리기 전에 동시성(Concurrency)을 어디까지 높일 수 있는지 테스트했습니다. 결과는 허용 범위 안에서 동시성 20까지 수용 가능했습니다. 이 테스트에서 얻은 것은 자원을 두 배로 쓰지 않고도 트래픽을 4배까지 받을 수 있다는 힌트였습니다.

완벽한 알리바이 뒤의 length 로그

지표에서 이상을 찾지 못한 장애도 있었습니다. 알림이 쏟아져 vLLM·SGLang 지표를 확인했지만 특이점이 없었습니다. TTFT가 조금 달라지기는 했어도 P99에서 20ms 수준이었습니다. 메트릭만 보면 완벽한 알리바이입니다.

토스증권은 개별 로그로 시선을 옮겼습니다. 로그를 모아 보니 finish_reason이 length인 건들이 있었습니다. 지정한 상한에 걸려 생성이 끊겼다는 뜻입니다. 이 사례에서는 모델이 불필요한 말을 길게 생성하고 있었습니다.

리즈닝(thinking) 모델은 리즈닝을 길게 하는 경향이 있어 이런 일이 꽤 발생합니다. 그런데 토스증권은 이미 리즈닝 토큰 수를 제한하는 옵션을 켜 둔 상태였습니다. 제한을 설정했는데도 생성이 계속된 것입니다.

문제가 된 출력들을 하나씩 열어 보자 끝에 붙은 </think>가 눈에 들어왔습니다. 리즈닝의 끝을 알리는 스페셜 토큰입니다. 이 토큰이 리즈닝 구간을 벗어나, 리즈닝을 끝내고 실제 답을 내야 하는 content 구간에 나타나고 있었습니다.

추가 조사로 확인한 원인은 vLLM 버그였습니다. 다른 사용자들이 이미 보고한 이슈였고, 해당 이슈에는 해결할 수 없다는 답변과 함께 워크어라운드가 제시돼 있었습니다. 이를 적용한 뒤 에러율은 약 0.2%에서 0.02% 수준으로 내려갔습니다. 메트릭에서 찾지 못한 원인을 출력 로그에서 좁혀 간 사례입니다.

장애 추적과 동시성 테스트에서 확인한 수치
사건지표·증상조치결과
Prefix CachePrefix Cache Hit Rate 값 없음(0), TTFT 최대 20초 가까이모델 기본값으로 꺼져 있던 Prefix Caching 활성화 후 재배포TTFT 약 1/10 수준, Hit Rate 90% 이상
length 종료finish_reason=length, </think>가 content 시점에 출력, TTFT P99 차이 20msvLLM 이슈에 제시된 워크어라운드 적용에러율 약 0.2% → 0.02%
처리량생성 TPS 1,000 근처, KV 캐시 사용량 1% 미만증설 전 동시성 테스트동시성 20까지 수용, 자원 2배 없이 트래픽 4배 가능성

예상 밖의 동작에 대비한 검증과 롤백

지표가 늘었다고 모든 문제가 풀리지는 않습니다. 토스증권이 겪는 문제 대부분은 의존 중인 vLLM·SGLang 같은 프레임워크와 연결돼 있습니다. 특정 옵션 조합에서 content가 아예 반환되지 않거나, 설정한 대로 LLM이 동작하지 않는 경우가 그 예입니다. 릴리스 노트에 문제를 해결했다고 적혀 있어 적용했는데, 오히려 CPU 스로틀링으로 느려진 일도 있었습니다.

모델뿐 아니라 서빙 프레임워크와 옵션, 호출 방법까지 계속 바뀝니다. 이 변화를 전부 따라가는 일은 현실적으로 불가능하다는 판단입니다. 토스증권은 모든 문제를 미리 알아내려 하기보다, 여러 지표를 펼쳐 두고 문제가 생겼을 때 원인을 빠르게 추정하고 대응하는 운영 방식을 택했습니다.

대응은 중앙화된 모니터링과 로깅에서 시작합니다. 타임아웃, finish_reason으로 인한 생성 중단, 레이턴시 급증, 메모리 포화 같은 신호를 탐지해 알림을 받습니다. 알림 뒤에는 지표를 살피고, 메트릭에서 이상치를 찾지 못하면 Kibana 등에서 개별 로그를 확인하는 순서입니다.

문제가 생기는 조건과 생기지 않는 조건을 비교해 가설을 세운 뒤에는 옵션·모델·설정을 바꿔 ML 플랫폼으로 배포하고, 스트레스 테스트로 검증합니다. 검증한 변경을 서비스에 반영하는 것으로 대응이 끝나지는 않습니다. 예상하지 못한 부작용에 대비해 빠르게 롤백할 수 있는 시스템까지 갖춰 둡니다.

마지막 수정 일자