목차
200 OK 뒤에 숨어 있던 hyper의 응답 잘림 버그 (2026-06)
원문 정보
- 원문: How we found a bug in the hyper HTTP library
- 매체 · 게시일: The Cloudflare Blog · 2026-06-22
- 저자: Deanna Lam, Diretnan Domnan, Matt Lewis
- 원문 내용을 바탕으로 재구성한 요약입니다.
오류 로그 없이 잘려 온 이미지
상태 코드는 HTTP 200이었습니다. Images 서비스의 로그에도 오류가 없었지만, 2MB여야 할 이미지가 수백 KB만 도착했습니다. 2025년 12월 Cloudflare가 Images 바인딩의 연결 경로를 바꾸고 며칠 지나지 않아 들어온 신고였습니다. 모든 요청이 실패하지도 않았습니다. 큰 이미지를 처리할 때만, 그것도 간헐적으로 응답이 잘렸습니다.
첫 신고 고객은 이미지 처리 파이프라인을 겹쳐 쓰고 있었습니다. 안쪽에서는 worker가 Images 바인딩으로 R2에 있는 큰 원본 이미지들을 합성했습니다. JPEG 배경에 PNG 오버레이들을 합쳐 JPEG 하나를 만든 뒤, 바깥쪽에서는 URL 인터페이스로 그 결과를 다시 압축하고 형식과 크기를 바꾸는 구성이었습니다.
오류가 드러난 곳은 바깥 파이프라인입니다. 안쪽에서 받은 응답에는 HTTP 200과 수 MB를 약속하는 Content-Length가 있었지만, 한 요청에서는 3.3MB 중 약 200KB만 도착했습니다. 바깥쪽에 남은 오류는 “error reading a body from connection: end of file before message length reached"였습니다. 문제를 발견한 곳은 알았어도, 데이터가 사라진 곳은 아직 몰랐습니다. 바인딩과 중개 서비스, Images 서비스, 그 사이의 연결이 모두 조사 대상이었습니다.
브라우저가 이런 응답을 받으면 이미지 형식에 따라 아래쪽이 빠지거나 회색으로 보일 수 있습니다. 아예 디코딩에 실패해 깨진 이미지가 표시되기도 합니다. 서비스가 성공이라고 기록한 응답을 사용자에게는 온전한 이미지로 보여 줄 수 없는 상태였습니다.
이 응답을 보내던 Images는 Workers 위에 Rust로 만든 서비스로, Cloudflare 엣지 네트워크의 모든 머신에서 실행됩니다. 클라이언트 연결은 Rust용 오픈소스 HTTP 라이브러리 hyper가 처리합니다. 팀이 그 안에 숨은 경합을 찾아내는 데는 6주가 걸렸습니다. 최종 수정 분량은 네 줄이었습니다.
프로덕션 요청에만 남은 실패의 흔적
조사는 고객의 구성을 재현하는 데서 시작했습니다. 중첩된 파이프라인을 흉내 낸 worker에서 처리 단계를 하나씩 줄이자, 바인딩만으로도 잘림을 일으킬 수 있었습니다. 고객의 특수한 구성에만 생기는 문제는 아니었습니다. 요청을 묶어서 보내는 작은 스크립트로 시험한 초기 실행에서는 25건 중 19건이 실패했습니다. 도착한 데이터량 약 200KB가 프로덕션 소켓 버퍼 크기와 수상할 만큼 가까웠습니다.
먼저 의심한 타임아웃은 원인이 아니었습니다. 응답이 잘리는 시점과 요청에 걸린 시간 사이에 상관관계가 없었습니다. 라이브러리 버전도 확인했습니다. 신고 당시 사용하던 hyper는 0.14.x였고 최신 버전은 1.8.x 안팎이었지만, 0.14, 1.7, 1.8에서 모두 같은 버그가 나타났습니다. 버전을 올려 가져올 업스트림 수정은 없었습니다.
로컬에서는 상황이 달랐습니다. macOS와 Debian VM에서 통합 테스트에 상당한 부하를 줘도 실패하지 않았고, 바인딩 소켓에 curl로 직접 요청하거나 캡처한 요청을 재생해도 성공했습니다. 실패가 나타나는 곳은 실제 동시성이 있고 소켓 건너편에 실제 Workers 런타임 클라이언트가 있는 프로덕션 경로뿐이었습니다.
자연스럽게 Workers 런타임이 의심받았습니다. 팀은 런타임이 바인딩 소켓으로 Images와 통신할 때 쓰는 HTTP 클라이언트를 살폈습니다. 하지만 연결 양쪽의 트레이스 어디에도 예상치 못한 닫기나 조기 종료를 가리키는 시스템 호출은 없었습니다. 클라이언트는 올바르게 동작했고, 같은 클라이언트를 사용하는 다른 여러 서비스에도 문제가 없었습니다.
분산 트레이싱으로 확인하니 본문은 고객의 바깥 변환 계층에 도착하기 전부터 잘려 있었습니다. 조사 범위가 안쪽 파이프라인으로 좁혀졌습니다. 중개 서비스에도 계측을 추가해 응답을 전달하기 전 본문 크기를 쟀는데, 데이터는 이미 Images 서비스를 나올 때부터 부족했습니다. 중개 서비스가 잘라낸 것도 아니었습니다.
그런데 Images 내부 기록은 여전히 정상이었습니다. 요청을 처리했고, 이미지를 올바르게 인코딩했으며, HTTP 200으로 응답을 보냈다고 나왔습니다. 애플리케이션의 기록만으로는 더 안쪽을 볼 수 없었습니다.
성급한 shutdown을 기록한 strace
팀은 Images 서비스에 strace를 붙였습니다. 프로세스가 커널에 내는 시스템 호출을 기록하면 실제로 몇 바이트를 썼는지, 언제 연결을 종료했는지, 그 전에 클라이언트가 종료 신호를 보냈는지 확인할 수 있습니다. 애플리케이션이 끝냈다고 기록한 일과 소켓에서 실제로 일어난 일을 대조하기로 한 것입니다.
관찰 자체도 조심스러웠습니다. strace는 시스템 호출을 가로채며 조금씩 시간을 더하는데, 추적할 호출을 좁혀 두면 재현되던 버그가 필터를 넓히자 완전히 사라졌습니다. 프로세스가 조금 느려진 것만으로도 버퍼의 데이터를 소켓으로 보내는 flush와 종료 확인 사이의 타이밍이 달라졌습니다. 더 자세히 보려는 순간 문제가 보이지 않게 되는 현상은 타이밍에 민감한 버그라는 가설을 뒷받침했습니다.
재현용 worker로 성공한 요청과 실패한 요청의 시스템 호출을 비교했습니다. 성공한 요청에서는 소켓 버퍼에 자리가 나는 만큼 데이터를 나누어 썼고, 모든 바이트를 보낸 뒤에야 shutdown을 호출했습니다. 실패한 요청에는 쓰기가 단 한 번뿐이었습니다. 14.9MB 응답에서 헤더와 본문 일부인 약 219KB를 쓴 직후, 곧바로 shutdown(SHUT_WR)이 호출됐습니다.
나머지 약 14.8MB는 hyper의 내부 버퍼에 그대로 남았습니다. 쓰기와 shutdown 사이에 클라이언트가 보낸 종료 신호도 없었습니다. Images 서비스가 스스로 연결을 닫았고, 아직 보내지 않은 데이터가 있는데도 전송을 마쳤다고 판단한 것입니다.
그동안의 로그가 틀린 인코딩이나 애플리케이션 오류를 가리키지 않은 이유가 드러났습니다. 문제는 부분적으로 데이터를 내보낸 뒤 연결을 너무 일찍 닫기까지의 짧은 시간에 있었습니다. 애플리케이션 수준의 관측 도구는 자신이 인식하는 계층 아래에서 벌어진 이 실패를 포착하지 못했습니다.
flush의 대기 신호를 버린 let _
Images 서비스가 인코딩을 마쳤다고 전송까지 끝난 것은 아닙니다. 서비스는 완성된 이미지 전체를 메모리 블록 하나로 hyper에 넘기고, hyper는 이를 자체 내부 버퍼에 씁니다. 그다음 이 데이터를 소켓의 송신 버퍼로 옮겨야 합니다. 소켓 양 끝의 버퍼는 커널이 관리하며, 한쪽에서 쓴 데이터가 다른 쪽에서 읽힐 때까지 머무는 공간입니다.
읽는 쪽이 충분히 빠르면 hyper는 한 번에 flush를 끝낼 수 있습니다. 데이터가 도착하는 대로 소비되므로 송신 버퍼에 계속 자리가 나기 때문입니다. 몇 밀리초만 늦어져도 사정이 달라집니다. 송신 버퍼가 가득 차면 hyper는 공간이 생길 때까지 기다려야 합니다.
기다리지 않은 곳은 dispatch.rs였습니다. hyper의 HTTP/1 연결을 관리하는 상태 머신은 루프를 돌며 요청을 읽고, 응답을 쓰고, 버퍼를 flush한 뒤 연결을 끝낼지 판단합니다. 여기서 poll_flush를 호출하는 코드 앞에 붙은 let _가 문제였습니다. Rust의 let _ = expr은 표현식의 결과를 버립니다. flush가 아직 끝나지 않았다는 신호인 Poll::Pending도 함께 사라졌습니다.
hyper는 응답 본문 전체를 내부 버퍼에 넣으면 쓰기 상태를 Writing::Closed로 바꿨습니다. 더 인코딩할 데이터가 없다는 뜻이었습니다. 소켓으로 모두 전송했다는 뜻은 아니었습니다. 실제로 실패한 요청에서는 poll_flush가 약 219KB를 보낸 뒤 소켓 버퍼가 가득 차 Poll::Pending을 반환했고, 나머지 약 14.8MB는 hyper 버퍼에서 기다리고 있었습니다.
하지만 poll_loop는 그 반환값을 버린 채 다음 판단으로 넘어갔습니다. 문제가 난 요청에서는 이미 요청 전체를 받았으므로 wants_read_again()이 false였습니다. 루프는 flush가 끝나지 않았는데도 Poll::Ready(Ok(()))를 반환했고, 이어 poll_shutdown()이 실행되며 SHUT_WR 시스템 호출이 나갔습니다. 14.9MB를 기대하던 클라이언트가 받은 것은 219KB와 스트림이 끝났다는 EOF뿐이었습니다.
대개는 flush가 한 번에 끝나므로 인코딩 완료와 전송 완료의 차이가 드러나지 않았습니다. curl로 재현하지 못한 이유도 여기에 있었습니다. 테스트에서 curl은 데이터가 도착하는 대로 빠르게 읽었고, 소켓 버퍼가 차지 않아 flush가 곧바로 완료됐습니다. 결과를 버려도 손실로 이어지지 않는 조건이었습니다. 프로덕션에서는 읽는 쪽이 이따금 몇 밀리초 멈추면서, hyper가 연결을 끝내려는 바로 그 순간까지 버퍼에 데이터가 남았습니다.
FL 대신 Unix 소켓을 선택한 Images 바인딩
그렇다면 연결 경로를 바꾼 뒤에야 이 문제가 드러난 까닭도 설명해야 합니다. 2025년 12월의 변경이 버그를 새로 만든 것은 아니었습니다. 결함은 여러 메이저 버전에 걸쳐 수년 동안 hyper 안에 있었습니다. 바뀐 것은 응답 소켓의 반대편에서 데이터를 읽는 주체였습니다.
Images 바인딩은 이미지 최적화와 전달을 분리합니다. 개발자는 결과를 HTTP 응답으로 돌려주지 않고도 이미지를 변환하거나 합성할 수 있고, URL 인터페이스가 정한 고정 순서에 따르지 않고 연산 순서를 정할 수 있습니다. 처음 바인딩을 출시했을 때 데이터는 Workers 런타임에서 내부 중개 서비스 FL을 거쳐 Images로 이동했습니다. URL 인터페이스와 같은 경로여서 초기 설계로는 자연스러웠습니다.
시간이 지나자 FL과의 결합이 제약이 됐습니다. 바인딩을 바꿀 때마다 FL의 릴리스 주기를 따라야 했습니다. 요청은 네트워크 소켓으로 FL을 거치며 DNS 조회와 라우팅을 비롯한 전체 처리 파이프라인도 지나갔습니다.
팀은 FL을 같은 머신에서 실행되는 내부 worker 바인딩으로 교체했습니다. 서비스들을 Unix 소켓으로 직접 연결해 FL과 네트워크 스택의 오버헤드를 피한 것입니다. Images까지의 요청 경로가 빨라졌고, 팀은 바인딩 릴리스를 독립적으로 제어하게 됐습니다.
이전 FL은 데이터를 충분히 빨리 소비해 응답 중 소켓 버퍼가 거의 차지 않았을 것이라는 게 팀의 가설입니다. 새 중개 서비스는 큰 응답을 읽을 때 이따금 버퍼가 찰 만큼 소비가 늦어졌다고 보았습니다. 읽는 쪽의 지연 때문에 쓰는 쪽이 기다려야 하는 backpressure가 몇 밀리초 생긴 것입니다. 다른 처리를 더 빠르게 만든 개선이, 오래 숨어 있던 결함을 드러내는 짧은 틈을 열었습니다.
마지막 flush를 기다리는 poll_shutdown
수정에 앞서 운에 기대지 않는 테스트가 필요했습니다. 재현용 worker로 실패를 일으킬 수는 있었지만, 특정 요청이 왜 실패했는지까지 설명할 수는 없었습니다. hyper 내부에서 소켓이 한 덩어리만 받고 막히는 조건을 직접 만들어야 했습니다.
팀은 TCP 스트림을 감싼 테스트용 래퍼를 만들었습니다. 첫 쓰기에서는 8KB를 받고, 이후의 모든 쓰기에는 Poll::Pending을 반환하도록 했습니다. 읽는 쪽이 더는 버퍼를 비우지 않는 상황을 흉내 낸 것입니다. 이 소켓으로 500KB 응답을 보내면 492KB가 버퍼에 남습니다. 테스트는 그 상태에서 hyper가 shutdown을 호출하는지 확인했습니다. 수정 전에는 연결을 닫았고, 수정 후에는 기다렸습니다.
처음 고친 곳은 디스패치 루프였습니다. poll_flush의 결과를 버리는 대신 완료 여부를 확인하고, 아직 끝나지 않았으면 루프도 Poll::Pending을 반환하게 했습니다. 그러면 비동기 런타임이 소켓에 다시 쓸 수 있을 때 태스크를 깨워 flush를 이어 갑니다. 이 수정을 배포한 뒤에는 모든 바이트가 쓰이고 버퍼가 실제로 비었을 때만 shutdown이 호출되는 것을 확인했습니다. 처음 신고한 고객도 문제가 사라졌다고 알려 왔습니다.
서비스의 문제는 해결됐지만, 다른 hyper 사용자에게 그대로 적용하기에는 수정 위치가 적절하지 않았습니다. 루프에서 일찍 Poll::Pending을 반환하면 같은 연결의 읽기를 폴링하는 빈도가 줄어 다른 동작이 느려지거나 의도치 않은 backpressure가 생길 수 있었습니다. 한 연결에서 여러 요청을 이어 처리하는 keepalive도 올바르게 다루지 못했습니다. 이런 연결은 이전 응답을 flush하는 동안에도 재사용할 수 있어야 합니다. Images 서비스는 keepalive를 끄고 사용했고 이 문제들의 영향을 받지 않았지만, 업스트림에 기여할 수정은 다른 사용자의 연결 방식까지 다뤄야 했습니다.
연결의 수명 주기를 더 따라가자 수정할 지점이 좁혀졌습니다. 실제로 소켓을 닫는 poll_shutdown에서, 종료하기 전에 버퍼에 남은 데이터를 먼저 flush하면 됐습니다. ready!(self.poll_flush(cx)?);를 앞에 두어 flush가 완료돼야 소켓의 shutdown으로 넘어가게 했습니다. 디스패치 루프의 동작은 그대로 두면서 데이터가 사라지던 순간 직전에 기다리도록 바꾼 것입니다.
수정과 같은 조건을 확실히 재현하는 테스트는 hyperium/hyper의 PR #4018로 머지됐습니다. 원문이 나온 2026년 6월에는 이후 hyper 릴리스에 포함될 예정이었으며, Cloudflare는 그동안 패치를 적용한 내부 포크를 사용하고 있었습니다. 이 수정으로 바인딩의 연결 경로가 안정됐습니다. 처음에는 원격 이미지 변환만 지원하던 Images 바인딩에 호스팅된 이미지의 연산도 추가됐다는 발표는 2026년 6월 초에 나왔습니다.
재현과 수정에 관한 수치
| 항목 | 값 |
|---|---|
| 추적 기간 | 6주 |
| 수정 분량 | 4줄 |
| 초기 재현 실행 | 25건 중 19건 실패 |
| 고객 보고 사례 | 3.3MB 중 약 200KB 도착 |
| strace 실패 사례 | 14.9MB 응답 중 약 219KB 전송, 약 14.8MB 미전송 |
| 테스트 래퍼 | 첫 쓰기 8KB 수락 후 Poll::Pending, 500KB 응답 중 492KB 버퍼 잔류 확인 |
| 재현된 hyper 버전 | 0.14.x, 1.7, 1.8 |
| 구조 변경 시점 | 2025년 12월(FL을 같은 머신의 내부 worker 바인딩과 Unix 소켓으로 교체) |
| 업스트림 PR | hyperium/hyper #4018 |