목차
워커마다 흩어진 연결을 모은 Rust 프록시 Pingora (2022-09)
원문 정보
- 원문: How we built Pingora, the proxy that connects Cloudflare to the Internet
- 매체 · 게시일: The Cloudflare Blog · 2022-09-14
- 저자: Yuchen Wu, Andrew Hauck
- 원문 내용을 바탕으로 재구성한 요약입니다.
NGINX를 보강하던 Cloudflare의 선택
워커를 늘려 프록시를 확장할수록 이미 맺어 둔 연결을 재사용하기 어려워졌습니다. Cloudflare가 NGINX를 운영하며 부딪힌 문제입니다. 필요한 기능을 추가하려고 NGINX의 제약을 우회하는 데도 시간과 노력을 들였습니다. 오랫동안 잘 써 온 프록시였지만, 커진 규모와 복잡해진 요구를 감당하기가 점점 어려워졌습니다.
이 서비스가 맡는 곳은 Cloudflare 네트워크에서 인터넷의 원본 서버로 이어지는 구간입니다. CDN, Workers fetch, Tunnel, Stream, R2를 비롯한 여러 제품이 이 프록시에 의존합니다. Cloudflare는 이 자리를 Rust로 직접 만든 Pingora로 대체했습니다. 2022년 9월 기준으로 하루 1조 건이 넘는 요청을 처리하는 서비스입니다.
직접 개발이 처음부터 정해진 답은 아니었습니다. Cloudflare는 몇 년 동안 분기마다 NGINX를 계속 보강하거나 포크하는 방안, envoy 같은 다른 프록시로 옮기는 방안, 사내 플랫폼과 프레임워크를 처음부터 만드는 방안을 비교했습니다. NGINX를 고칠 전문성은 있었지만, 워커 모델의 한계까지 해결하려면 대대적인 수정이 필요했습니다. 다른 프록시를 선택해도 몇 년 뒤 같은 고민을 반복할 가능성이 있었습니다.
자체 개발은 초기 엔지니어링 투자가 가장 큰 선택이었습니다. 어느 쪽이 나은지 알려 주는 공식도 없었습니다. 수년간은 NGINX를 보강하는 편이 수월했지만, 어느 시점부터 직접 만드는 데 들일 노력만큼의 효과를 기대할 만하다고 판단했습니다. 그렇게 Cloudflare가 바라던 프록시의 설계가 시작됐습니다.
모든 스레드가 함께 쓰는 연결 풀
Cloudflare에서 가장 큰 문제는 연결 재사용이었습니다. 원본 서버에 요청을 보낼 때 기존 TCP 연결을 다시 쓰면 새 연결에 필요한 TCP·TLS 핸드셰이크를 건너뜁니다. 그만큼 첫 바이트를 받기까지의 시간인 TTFB가 짧아집니다.
NGINX에서는 이 연결 풀이 워커 프로세스마다 따로 있었습니다. 요청이 어느 워커에 도착하느냐에 따라 재사용할 수 있는 연결도 달라집니다. 다른 워커에 연결이 있어도 가져다 쓸 수는 없었습니다. 확장하려고 워커를 늘릴수록 연결이 더 많은 풀에 흩어졌고, 재사용률은 떨어졌습니다. TTFB가 길어지는 데다 유지해야 할 연결까지 늘어 Cloudflare와 고객 모두 자원과 비용을 더 써야 했습니다.
요청이 워커 하나에 묶이는 방식은 CPU 사용에도 영향을 줬습니다. 코어별 부하가 고르지 않았고, CPU를 많이 쓰거나 블로킹 I/O를 수행하는 요청이 다른 요청을 늦추기도 했습니다. Cloudflare는 이런 문제를 우회하는 데 이미 많은 시간을 썼습니다. 이제는 워커·프로세스 모델 자체를 바꾸기로 했습니다.
Pingora는 멀티스레딩을 택했습니다. 모든 스레드가 연결 풀을 비롯한 자원을 함께 쓰도록 설계한 것입니다. 앞서 겪은 부하 불균형 같은 성능 문제를 피하려고 work stealing도 요구 조건에 넣었습니다. 이 조건에 잘 맞는 실행 기반이 Tokio 비동기 런타임이었습니다.
핸드셰이크에서 절약한 매일 434년
Pingora는 캐시 미스처럼 원본 서버와 통신해야 하는 거의 모든 HTTP 요청을 처리하게 됐습니다. 전체 트래픽에서 TTFB 중앙값은 5ms, 95번째 백분위는 80ms 줄었습니다.
코드 실행이 빨라져서 얻은 시간은 아닙니다. 이전 서비스도 요청 자체는 1ms 미만에 처리했습니다. 줄어든 것은 새 연결을 맺느라 TCP·TLS 핸드셰이크를 기다리는 시간이었습니다. 스레드 사이에서 연결을 공유하자 이미 맺어 둔 연결을 훨씬 자주 쓸 수 있었습니다.
전체 고객을 기준으로 Pingora가 초당 만드는 새 연결 수는 이전 서비스의 3분의 1입니다. 한 주요 고객의 연결 재사용률은 87.1%에서 99.92%로 올랐습니다. 이 고객의 원본 서버로 향하는 새 연결은 160배 줄었습니다.
각 요청에서 아낀 시간을 모두 합치면 규모가 달라집니다. Cloudflare가 고객과 사용자의 핸드셰이크 절약 시간을 환산한 값은 매일 434년입니다.
문자열 복사까지 줄인 Rust
같은 트래픽 부하에서 Pingora는 이전 서비스보다 CPU를 약 70%, 메모리를 67% 덜 사용했습니다. 연결 재사용 외에도 절약할 곳이 있었습니다. Rust 코드 자체가 이전 Lua 코드보다 효율적이었고, 데이터를 읽고 공유하는 방식에서도 비용이 줄었습니다.
HTTP 헤더 하나를 읽는 과정부터 달랐습니다. NGINX/OpenResty에서 Lua 코드가 헤더에 접근하려면 NGINX의 C 구조체에서 값을 읽고, Lua 문자열을 할당한 뒤 그 값을 복사해야 했습니다. 나중에는 새로 만든 문자열을 가비지 컬렉션으로 회수하는 일도 남았습니다. Pingora에서는 문자열에 직접 접근하면 됩니다.
요청 사이의 데이터 공유도 가벼워졌습니다. NGINX에도 공유 메모리는 있지만, 구현상의 제약으로 접근할 때마다 뮤텍스 락을 써야 했습니다. 저장할 수 있는 값도 문자열과 숫자뿐입니다. Pingora에서는 원자적 참조 카운터로 관리하는 공유 참조를 사용해 대부분의 공유 항목에 직접 접근합니다.
새 연결을 덜 만드는 효과도 컸습니다. TLS 핸드셰이크는 이미 맺은 연결에서 데이터를 주고받는 것보다 비용이 큽니다. 핸드셰이크 감소는 응답 시간을 줄였을 뿐 아니라 CPU 절감의 큰 부분도 차지했습니다.
인터넷의 거친 환경을 견디는 HTTP 라이브러리
Cloudflare는 프록시와 함께 HTTP 라이브러리도 직접 구현했습니다. hyper 같은 좋은 라이브러리가 있었지만, 인터넷 전체의 트래픽을 다루는 Cloudflare에는 HTTP 처리 방식을 폭넓게 바꿀 자유가 필요했습니다. 규격을 따르지 않는 이상한 요청과 응답도 받아들여야 했습니다.
상태 코드가 한 예입니다. RFC 9110은 HTTP 상태 코드를 세 자리 정수로 정의하며, 일반적으로 기대하는 범위는 100~599입니다. hyper도 이 범위를 따랐습니다. 하지만 실제로는 599~999 범위의 상태 코드를 지원하는 서버가 많았습니다. 이 범위를 허용해 달라는 요청을 놓고 논의가 있었고, hyper 팀은 결국 변경을 받아들였습니다.
Cloudflare는 hyper가 그 요청을 거절했어도 합당한 이유가 있었을 것이라고 봤습니다. HTTP 규격을 엄격히 따르는 일과 오래된 클라이언트·서버의 다양한 동작을 수용하는 일 사이에서 선택하기란 쉽지 않습니다. 상태 코드 범위는 Cloudflare가 지원해야 할 여러 규격 밖 동작 중 하나에 불과했습니다.
필요한 것은 인터넷의 거친 환경에서도 버티면서, 다양한 예외를 허용하고 처리 방식을 바꿀 수 있는 라이브러리였습니다. Cloudflare는 그 유연성을 확보하고 자체 속도로 개발을 이어 가려면 직접 구현하는 편이 가장 확실하다고 판단했습니다.
요청의 일생을 따라 확장하는 인터페이스
NGINX는 웹 서버나 로드 밸런서, 단순한 게이트웨이로는 훌륭했지만 Cloudflare가 원하는 동작을 모두 허용하지는 않았습니다. 요청 재시도나 페일오버가 한 예입니다. 다른 원본 서버로 요청을 보내면서 헤더도 다른 조합으로 바꾸고 싶은 경우가 있었지만, NGINX에서는 할 수 없었습니다. 업스트림 코드베이스와 지나치게 멀어지지 않으면서 이런 제약을 우회하는 일은 쉽지 않았습니다.
Pingora는 새 기능을 계속 개발할 플랫폼으로 설계했습니다. 개발자가 쓰는 인터페이스는 NGINX/OpenResty와 비슷하게 유지했습니다. 요청이 들어와 처리되는 ‘요청의 일생’을 이벤트로 나누고, 각 단계에서 코드를 실행하는 방식입니다. 예를 들어 request filter 단계에서는 요청 헤더를 받았을 때 요청을 수정하거나 거부할 수 있습니다.
이 방식으로 비즈니스 로직과 범용 프록시 로직을 분리했습니다. NGINX를 다뤄 본 엔지니어라면 익숙한 흐름을 따라 Pingora에서도 빠르게 개발을 시작할 수 있었습니다. 익숙한 인터페이스를 제공하면서 기존 제약을 없애자 새 기능을 추가하는 속도도 빨라졌습니다.
HTTP/2 업스트림 지원은 큰 장벽 없이 추가했고, 곧이어 고객에게 gRPC를 제공했습니다. NGINX에서 같은 기능을 만들려면 훨씬 많은 노력이 들었을 것이며, 아예 실현되지 못했을 가능성도 있었습니다. 당시 새로 발표한 Cache Reserve에서는 Pingora가 R2 스토리지를 캐시 계층으로 사용했습니다. 프록시의 기능 확장이 이전에는 구현하기 어려웠던 제품으로 이어진 사례입니다.
서비스 코드 밖에서 찾은 크래시 원인
NGINX를 확장하던 시절에는 언어도 부담이었습니다. 메모리 안전성을 보장하지 않는 C로 작성된 서드파티 코드베이스에서는 경험 많은 엔지니어도 메모리 오류를 만들기 쉬웠습니다. C를 보완하던 Lua는 위험이 덜했지만 성능이 떨어졌고, 복잡한 코드와 비즈니스 로직을 다룰 때는 정적 타입이 아쉬웠습니다. Cloudflare가 Rust를 고른 이유는 성능을 희생하지 않고 C가 하던 일을 메모리 안전하게 처리할 수 있어서였습니다.
초당 수백만 요청을 처리하는 분산 환경에서는 모든 예외 상황을 미리 예상하기 어렵습니다. 퍼징과 정적 분석만으로 줄일 수 있는 위험에도 한계가 있습니다. Rust의 메모리 안전성은 정의되지 않은 동작을 막는 보호 장치가 됐습니다. 엔지니어들은 메모리 오류와 진단하기 어려운 크래시에 관한 부담을 줄이고, 서비스 변경이 다른 서비스나 고객의 원본 서버와 어떻게 상호작용할지에 더 집중할 수 있었습니다.
결과도 확인했습니다. 글이 게시된 시점까지 Pingora는 수백조 건의 요청을 처리했지만 서비스 코드가 원인인 크래시는 한 번도 없었습니다. 크래시 자체가 드물다 보니, 발생한 사건을 조사하면 대개 다른 곳의 문제를 발견했습니다. 서비스가 크래시하기 시작한 직후 커널 버그를 찾은 사례가 있었고, 일부 머신에서는 하드웨어 문제를 발견했습니다. 과거에는 상당한 시간을 들여 디버깅해도 소프트웨어의 드문 메모리 버그일 가능성을 배제하기가 거의 불가능했습니다.
Cloudflare는 개발과 배포 과정에서 만난 문제, 적용한 최적화, 배운 교훈을 후속 글에서 더 자세히 다루겠다고 예고했습니다. 오픈소스 공개 계획도 이후에 소개할 예정이라고 밝혔습니다. Pingora는 시스템을 다시 쓰는 가장 최근의 시도였지만 마지막은 아닐 것이며, 더 큰 시스템 재설계를 이루는 구성 요소 가운데 하나였습니다.
원문의 주요 성능 수치
| 항목 | 값 |
|---|---|
| 일일 처리 요청 | 1조 건 이상 |
| 이전 프록시 대비 자원 | CPU·메모리 3분의 1 수준 (CPU 약 70%, 메모리 67% 절감) |
| TTFB 중앙값 | 5ms 감소 |
| TTFB 95번째 백분위 | 80ms 감소 |
| 초당 새 연결 수 | 이전 서비스의 3분의 1 |
| 한 주요 고객 연결 재사용률 | 87.1%에서 99.92% (새 연결 160배 감소) |
| 핸드셰이크 절약 | 매일 434년 |
| 누적 처리 요청 | 수백조 건, 서비스 코드로 인한 크래시 없음 |