목차
GLM-5.3의 성공 응답에 가려진 SGLang KV 캐시 노출 (2026-10)
원문 정보
- 원문: Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang
- 매체 · 게시일: The Cloudflare Blog · 2026-10-26
- 저자: Kevin Flansburg, Michelle Chen
- 원문 내용을 바탕으로 재구성한 요약입니다.
HTTP 200으로 돌아온 다른 고객의 데이터
Workers AI의 GLM-5.3에서 다른 고객의 데이터가 섞인 응답은 겉보기에는 정상이었습니다. HTTP 200이었고, prompt_tokens도 사용자가 보낸 긴 프롬프트의 길이와 일치했습니다. 답변 내용도 앞뒤가 맞았습니다. 하지만 일부 내용은 직전에 같은 모델을 쓴 다른 고객의 요청에서 왔습니다.
2026년 9월 8일, Knostic의 보안 연구자 Gadi Evron이 HackerOne으로 이 문제를 제보했습니다. 노출은 GLM-5.3을 출시한 8월 27일부터 9월 9일 복구까지 이어졌습니다. 확인된 영향은 응답 155개이며, 모두 681,280토큰보다 긴 프롬프트에 대한 응답입니다.
의도적인 악용의 증거는 발견하지 못했습니다. Cloudflare 자체 테스트와 연구자의 요청을 제외하면, 확인된 요청의 시점과 양은 버그를 반복해서 악용한 흔적보다 일반적인 긴 문맥 사용 양상에 부합했습니다.
거부되고도 살아 있던 SGLang 요청
GLM-5.3은 Z.ai의 에이전트 코딩 워크플로용 텍스트 생성 모델입니다. Workers AI는 SGLang으로 이 모델을 실행하면서 프롬프트 처리와 응답 생성을 나눴습니다. Prefill GPU가 프롬프트를 처리해 KV 캐시를 만들면, Mooncake의 RDMA 전송으로 decode GPU에 넘깁니다. 이후 응답을 생성하는 쪽은 decode입니다.
KV 캐시는 GPU 메모리의 고정 크기 페이지에 저장됩니다. 엔진은 요청을 받을 때 페이지를 할당하고, 요청이 끝나면 돌려받습니다. 내용까지 지우지는 않습니다. 다음 요청이 이전 내용을 덮어쓰는 방식은 추론 엔진에서 흔하며, 최상의 성능을 내는 데 필요합니다. 그만큼 엔진이 페이지의 소유권과 수명을 정확히 추적해야 합니다.
이 풀의 크기는 문맥 길이와 별개입니다. SGLang은 시작할 때 모델 가중치를 적재하고 남은 GPU 메모리로 풀 크기를 정하는데, 두 값이 맞는지 강제하는 장치는 없었습니다. 당시 GLM-5.3의 문맥 길이는 1,048,576토큰이었지만 prefill KV 풀에는 681,280토큰만 들어갔습니다.
Cloudflare는 출시 전에 이 차이를 알고 있었습니다. 처리할 수 없는 요청에는 엔진이 오류를 반환하리라 예상했지만, 긴 문맥 시험에서는 성공 상태와 오류 프레임 없는 스트리밍 응답이 돌아왔습니다. 엔진이 스트리밍 등의 방식으로 차이를 처리한다고 추정한 이유입니다. 시험에서 확인한 것은 응답 상태와 성능이었고, 모델 출력의 내용과 일관성은 검증하지 않았습니다.
실제로 스케줄러는 풀에 담기지 않는 요청을 거부하고 있었습니다. 오류를 기록한 뒤 프롬프트를 1토큰짜리 대체 프롬프트로 바꿔, 정상 배치 경로를 따라 처리를 마치게 했습니다. 단일 노드에서는 이 과정이 끝나면 클라이언트에 오류가 돌아갔습니다.
분리 구성에서는 거부된 요청도 계속 진행됐습니다. Prefill과 decode의 admission queue, 즉 요청 수락 큐가 완료 여부만 확인했기 때문입니다. 거부 사유는 finished_reason이 아닌 to_finish에 기록됐고, req.finished()는 여전히 False였습니다. Prefill은 대체 프롬프트를 처리한 뒤 KV 한 페이지를 보내고 전송 완료를 알렸습니다.
원문 그림의 8페이지 예시에서 decode는 원래 프롬프트 길이에 맞춰 8페이지를 예약한 상태입니다. 이번 요청이 새로 쓴 곳은 P0뿐입니다. P1부터 P7까지는 이전 요청의 프롬프트와 부분 생성 결과가 남아 있었지만, decode는 전송 완료를 전체 프롬프트의 KV가 도착했다는 뜻으로 받아들였습니다. 응답을 생성하며 8페이지를 모두 읽었고, 이전 고객의 데이터까지 사용했습니다. 긴 프롬프트를 실제로 처리하지 않았으니 응답은 예상보다 빨리 도착했습니다.
거부된 요청을 전송 전에 끝내는 admission queue
Cloudflare는 제보 다음 날인 9월 9일 문제를 재현하고, 사고 선언 후 40분 안에 GLM-5.3을 비공개로 전환했습니다. 먼저 GLM-5.3 설정을 GLM-5.2 설정에 맞춰 GPU 메모리를 확보했습니다. Prefill 풀은 약 204만 토큰으로 커졌습니다. 설정된 문맥 길이의 약 2배여서, 문맥 안에 들어오는 유효한 요청은 모두 풀에도 들어가게 됐습니다.
이 변경만으로도 이번 버그가 발생하는 조건은 사라집니다. 하지만 풀 크기에만 의존하기에는 변수가 많았습니다. 양자화, tensor parallelism, CUDA graph 크기나 모델 버전이 바뀌면 풀이 달라지고, 다른 사유로 prefill 스케줄러가 요청을 거부할 가능성도 있었습니다.
엔진 수정은 그런 경우를 막기 위한 조치였습니다. 거부 대기 상태의 요청을 admission queue에서 원래 오류와 함께 종료하고, bootstrap이나 메모리 할당, KV 전송까지 진행하지 않도록 바꿨습니다. 연구자의 재현 스크립트와 자체 canary-marker 시험으로 설정 변경과 엔진 수정을 검증한 뒤, 같은 날 서비스를 복구했습니다.
Workers AI의 다른 분리형 모델은 prefill과 decode 모두 KV 풀이 문맥보다 커서 이번 거부 경로에 도달하지 않았습니다. Cloudflare는 엔진 수정과 추가 보완을 SGLang으로 제공하는 모든 모델에 적용했고, 이후 분리형 배포를 바꿀 때마다 실행 중인 엔진에서 풀 크기와 문맥 길이를 직접 비교합니다.
다른 운영자에게는 v0.5.22 이상으로 업데이트하거나 필요한 패치를 backport하도록 권고합니다. 가중치·양자화·병렬화·메모리 비율을 바꿀 때마다 각 prefill·decode 노드의 시작 로그에서 풀 크기를 확인하고, 풀이 작으면 문맥 길이를 줄이라는 권고도 함께 제시했습니다. 프록시가 길이를 제한하거나 엔진이 알아서 거부하리라는 가정에 기대서는 안 됩니다. 엔진의 조기 거부 처리는 이 검사를 놓친 날에도 잘못된 전달을 막는 방어입니다.
요청이 중단된 뒤에도 남는 RDMA 쓰기
이번 사고는 타이밍에 따라 간헐적으로 발생한 경합과는 달랐습니다. 한계를 넘은 요청마다 같은 경로를 탔습니다. 그래도 결과는 Cloudflare가 이전부터 다루던 KV 캐시 메모리 안전성 버그와 같았습니다. Decode가 해당 요청이 쓰지 않은 페이지를 읽었습니다.
노드 안에서도 페이지의 사용 수명은 하나로 끝나지 않습니다. 토큰 생성, 호스트 메모리로의 offload, KV 전송 수신, 중단·오류 처리가 같은 페이지를 사용할 수 있습니다. 어느 작업이 페이지를 먼저 반환하면, 다른 작업이 아직 읽거나 쓰는 메모리를 새 요청에 배정할 수 있습니다.
노드를 건너면 이미 보낸 쓰기가 문제입니다. Prefill이 RDMA로 KV 캐시를 쓰는 도중 요청을 중단해도, 발송한 쓰기는 회수할 수 없습니다. Decode가 곧바로 페이지를 반환하고 다른 요청에 배정하면, 늦게 도착한 쓰기가 새 요청의 캐시를 덮어쓸 수 있습니다.
Cloudflare는 페이지의 지연 반환을 prefill의 원본 페이지까지 확대하고, 중단뿐 아니라 모든 전송 실패 유형에 적용했습니다. 단일 Mooncake 전송 호출이 페이지 반환 대기 시간을 넘지 않도록 전송 배치 크기도 제한했습니다. 로드 밸런서는 클라이언트 연결이 끊겨도 전송 중인 요청을 바로 중단하지 않게 바꿨습니다. Prefill 완료까지 해당 연결을, decode의 첫 토큰까지 나머지 연결을 유지한 뒤 둘 다 닫습니다.
이 보완은 9월 11~19일 모든 production SGLang 배포에 반영됐습니다. 이후 배포 검사에는 양쪽 역할의 지연 반환, 반환 대기 시간 안으로 제한한 전송 배치, 필수 패치 적용 여부도 포함됐습니다.
손상 탐지에는 지원 범위라는 조건이 붙습니다. --disaggregation-enable-kv-checksum과 --kv-canary는 아직 모든 모델 아키텍처를 지원하지 않습니다. Cloudflare는 지원하는 모델에서 기능을 켜고, 로그에서 요청이 실제로 검증되는지 확인하도록 권고합니다. GLM-5.3 등을 포함한 지원 확대는 SGLang 팀과 진행 중입니다.
매번 읽기 전에 확인할 페이지 태그
설정 검사와 수명 관리 수정은 페이지를 잘못 사용할 경로를 줄입니다. 오용 자체를 불가능하게 만들지는 못합니다. Cloudflare가 추진하는 해법은 요청이 소유하지 않은 페이지를 읽으려는 순간 이를 탐지하고, 다른 고객의 데이터를 반환하기 전에 해당 요청을 실패시키는 방식입니다.
여름에 만든 프로토타입에서는 물리 KV 페이지를 재할당할 때마다 태그를 바꿨습니다. 각 요청은 자신이 기대하는 태그를 기록하고, decode가 캐시를 읽기 전에 실제 태그와 대조했습니다. 8월 중순 GLM-5.2 시험에서 처리량과 꼬리 지연 비용은 1% 미만이었습니다. 그러나 신뢰성 문제로 곧 비활성화했습니다. 특정 attention backend와 모델 아키텍처에 묶여 있어 범용 해법으로 쓰기도 어려웠습니다.
현재는 모든 모델에서 쓸 운영용 구현을 SGLang 팀과 개발하고 있습니다. 전송별 checksum은 prefill에서 decode로 캐시를 넘기는 순간을 검증하는 첫 단계입니다. 페이지 태그는 전송 후 한참 지난 읽기까지 매번 검사하려는 접근입니다.
Mooncake 전송의 안전성을 검증할 모델
RDMA 전송에서는 양쪽 노드가 데이터를 쓸 위치와 크기, 완료 시점에 같은 판단을 내려야 합니다. 이번 사고에서는 prefill과 decode가 요청 상태를 다르게 보고 있었습니다. Cloudflare는 이를 분산 시스템의 일관성 실패로 보고, Mooncake를 사용하는 운영 SGLang의 KV 캐시 전송 프로토콜을 모델링해 안전성을 증명하려 합니다.
목표는 보장하려는 안전 속성에서 실제 시스템이 어긋나는 지점을 추적하고 고치는 것입니다. 증명 도구가 다루지 못하는 빈틈은 남을 것으로 예상합니다. 나머지 부분을 증명하면 그 빈틈을 더 집중적으로 검토하고 감시할 수 있다는 접근입니다.
사고 범위·복구 시각·수정 버전과 검증 수치
| 항목 | 값 |
|---|---|
| 노출 기간과 대상 | 2026-08-27 출시부터 2026-09-09 복구까지, @cf/zai-org/glm-5.3 |
| 확인된 영향 | 155개 응답, 모두 681,280토큰 초과 프롬프트 |
| 사고 당시 설정 | 문맥 1,048,576토큰, prefill KV 풀 681,280토큰 |
| 거부 처리와 그림 예시 | 대체 프롬프트 1토큰, 예약 8페이지 중 1페이지만 전송, HTTP 400 대신 200 반환 |
| 수정 후 prefill 풀 | 약 204만 토큰, 설정 문맥 길이의 약 2배 |
| 주요 대응 시각 | UTC 기준 09-08 23:11 제보, 09-09 13:22 사고 선언, 14:00 비공개 전환, 19:40 공개 복구 |
| 추가 보완 배포 | 2026-09-11~09-19, 모든 production SGLang 배포 |
| 최초 차단 수정 | #36988, v0.5.20 포함, 2026-09-06 main 병합 당시 미출시 |
| 수락 단계의 조기 거부 | #38935, v0.5.21 포함, Cloudflare 초안 #38704의 접근 반영 |
| 운영자 권고 버전 | v0.5.22 이상 또는 필요한 패치 backport |
| 버전 공개일 | v0.5.21은 2026-10-02, v0.5.22는 2026-10-19 |
| 전송 무결성 검사 | --disaggregation-enable-kv-checksum, #39500은 v0.5.21 포함, 후속 정리 #39729는 병합 후 출시 대기 |
| 추가 진행 과제 | 페이지 반환 시 초기화 초안 #46435, 매 decode 단계의 검증, KV Canary·KV Checksum 지원 확대 |
| 페이지 태그 프로토타입 | 8월 중순 GLM-5.2 시험에서 처리량·꼬리 지연 비용 1% 미만, 이후 신뢰성 문제로 비활성화 |