본문으로 건너뛰기
요청마다 할 일을 줄인 Cloudflare의 Rust FL2
목차

요청마다 할 일을 줄인 Cloudflare의 Rust FL2 (2025-09)

원문 정보

요청이 아무리 빨리 도착해도 소프트웨어가 처리 방법을 결정하느라 오래 생각하면 그 자리가 병목이 됩니다. 하드웨어와 피어링에 투자해 온 Cloudflare도 요청을 처리하는 소프트웨어에서 늘어나는 지연을 해결해야 했습니다.

그 중심에 15년 넘게 운영한 FL이 있었습니다. 이를 다시 만든 Rust 기반 FL2가 빨라진 가장 큰 이유는 요청마다 수행하는 작업 자체를 줄였다는 데 있습니다.

제품이 늘수록 무거워진 Cloudflare의 두뇌

Cloudflare에 들어온 요청은 HTTP 및 TLS 계층에서 연결을 종단한 뒤 FL을 거칩니다. 이후 Pingora가 캐시를 조회하거나 원본 서버에서 데이터를 가져옵니다. 이 경로에서 FL은 고객별 설정에 따라 WAF와 DDoS 방어를 적용하고, Developer Platform과 R2로 트래픽을 보내는 Cloudflare의 ‘두뇌’입니다.

FL은 출시 전부터 개발했습니다. 처음에는 NGINX 위에서 PHP로 제품 로직을 실행했지만, 복잡성과 응답 지연을 감당하기 어려워져 3년 뒤 NGINX·OpenResty·LuaJIT 조합으로 거의 전면 재작성했습니다.

이 조합도 오랫동안 제 역할을 했습니다. 그러나 LuaJIT의 난해한 버그를 고치거나 우회하는 데 점점 더 많은 시간을 써야 했습니다. 초기에 빠른 구현을 도왔던 동적이고 비정형적인 Lua 코드는 복잡한 제품 로직이 쌓이자 오류와 개발 지연의 원인이 됐습니다. 새 제품 하나를 추가할 때마다 기존 제품 전체에 미칠 영향을 확인해야 했고, 요청 처리 시간에도 지연이 조금씩 더해졌습니다.

Cloudflare는 2024년 7월 새 구현을 시작했습니다. 이름을 정하는 데 시간을 쓰지 않으려고 FL2라 부르고, 기존 시스템에는 FL1이라는 이름을 붙였습니다.

제품 사이의 경계를 정한 Oxy와 모듈

Rust는 이미 익숙한 선택이었습니다. Cloudflare는 Pingora를 Rust로 만들었고, Rust 프록시 프레임워크인 Oxy도 운영하고 있었습니다. FL2의 기반으로 고른 Oxy는 Zero Trust Gateway와 Apple의 iCloud Private Relay에서 다양한 트래픽과 프로토콜 조합을 처리하던 프레임워크입니다.

Oxy는 계층 3부터 계층 7까지 트래픽을 가로채 분석하고 변경하며, 캡슐화를 해제한 뒤 다른 계층에서 다시 처리할 수도 있습니다. 모니터링, soft reload, 동적 설정 로딩과 교체도 제공합니다. 제품 팀이 공통 기능을 매번 구현하지 않고 제품 로직에 집중할 기반이 마련돼 있었습니다.

그 위에 만든 모듈 체계는 자유롭게 로직을 연결하던 FL1에 명확한 제약을 뒀습니다. 모듈은 직접 IO를 수행하지 않습니다. 각 모듈은 처리 단계인 phase를 선언하고, phase는 모든 요청에 공통으로 정해진 엄격한 실행 순서를 따릅니다. 각 단계에서 플랫폼이 제공할 입력과 모듈이 내보낼 출력도 선언하며, 이 계약은 컴파일 시점에 강제됩니다.

모듈끼리 정보를 주고받을 때는 module value를 사용합니다. 예를 들어 custom error page의 phase는 rulesets 기반 custom errors 제품이 만든 출력 등을 입력으로 선언해 응답을 구성합니다. 제품 간 의존성이 선언에 드러나므로 어떤 제품의 변경이 다른 제품에 영향을 줄지 파악하기 쉬워졌습니다. 제약은 엄격했지만, Cloudflare는 모든 제품 로직을 이 틀 안에서 구현할 수 있었다고 설명합니다.

실행할 로직을 고르는 FL2의 필터

모듈의 경계는 불필요한 실행을 줄이는 데도 쓰입니다. 각 모듈이 제공하는 필터로 실행 여부를 결정해, 요청에 필요한 모듈만 선택합니다. 모든 요청에서 모든 제품 로직을 실행하지 않아도 되면서 새 제품을 추가할 때마다 붙던 처리 비용이 사라졌습니다.

언어 사이를 오가던 데이터 변환도 줄었습니다. FL1은 C로 작성한 NGINX, LuaJIT와 C 인터페이스 계층, Rust 모듈을 함께 사용했습니다. 데이터를 각 언어가 요구하는 표현으로 변환할 때마다 시간과 메모리를 소비했습니다. FL2는 성능을 중시하는 Rust로 코드베이스를 통일했습니다.

내부 측정에서 FL2의 CPU 사용량은 FL1의 절반 미만, 메모리 사용량은 절반보다 훨씬 적었습니다. 고객이 체감하는 응답도 빨라졌습니다. 자체 도구와 CDNPerf 같은 독립 벤치마크로 배포 영향을 측정한 결과, 웹사이트 응답 시간 중앙값이 10ms 줄고 성능은 25% 개선됐습니다.

완성을 기다리지 않고 옮긴 고객 트래픽

고객이 알아차릴 변화는 성능 향상뿐이어야 했습니다. 그렇다고 15년 동안 쌓인 제품 로직을 옮기는 동안 제품 개발을 멈출 수도 없었습니다. 각 팀에 Lua와 Rust 구현을 모두 유지하면서 변경 사항마다 두 번씩 구현하라고 요구하기에는 부담이 너무 컸습니다.

Cloudflare는 먼저 기존 NGINX·OpenResty 기반 FL에서 새 Rust 모듈을 실행하는 계층을 만들었습니다. 제품 팀은 FL2 전체가 완성될 때까지 기다리지 않고 Lua 로직을 Rust로 교체했습니다. 활발히 개발하던 여러 모듈을 이렇게 옮겨, 이관 중에도 개발 속도를 유지했습니다.

동작 검증은 Flamingo가 맡았습니다. production 및 pre-production 시스템에 수천 개의 전체 종단 간 테스트 요청을 병렬로 보내고, FL1과 FL2에 같은 테스트를 실행해 동작 차이를 확인합니다. 배포는 트래픽을 점차 늘리는 여러 단계로 나눴습니다. 각 단계는 전체 테스트를 통과하고 성능과 자원 사용량이 허용 범위 안에 있어야 다음으로 넘어갑니다. 테스트가 실패하면 자동으로 배포를 멈추거나 되돌립니다. 이 체계에서 새 제품 기능을 개발하고 출시하는 시간은 FL1의 수주에서 FL2의 48시간 이내로 줄었습니다.

미완성 기능은 fallback으로 처리했습니다. FL2가 지원하지 않는 요청이나 설정을 만나면 네트워크 수준에서 바이트를 그대로 FL1에 넘깁니다. 이 경로는 비교 검증에도 유용합니다. FL2에서 새 기능을 평가한 뒤 의도적으로 fallback을 일으키면 FL1의 동작과 비교할 수 있습니다.

2025년 초 고객 트래픽을 받기 시작한 뒤, 팀은 서로 다른 방향으로 움직이는 그래프를 지켜봤습니다. FL2로 보내는 트래픽 비율은 올라가고, 처리하지 못해 FL1으로 돌아가는 비율은 내려가는 그래프입니다. 무료 고객부터 적용했고, Cloudflare Community MVP들은 새 플랫폼과 관련이 의심되는 문제를 조기에 알렸습니다. 이후 유료 고객으로 확대했으며, 성능 개선을 일찍 적용받고 싶어 한 일부 대형 고객에게서도 많은 피드백을 받았습니다.

2025년 9월 게시 시점에는 대부분의 고객이 FL2를 사용하고 있었습니다. 엔지니어 100명 넘게 참여해 모듈 130개 이상을 만들었지만, 모든 기능과 고객의 이관을 마친 상태는 아니었습니다.

업데이트 중에도 이어지는 연결

요청을 빨리 처리해도 배포 때 연결을 끊으면 사용자는 중단을 겪습니다. HTTP 요청 하나가 끊겨 페이지가 로드되지 않거나, 연결이 끊겨 영상 통화에서 나갈 수 있습니다. FL1은 업그레이드 때 프록시 프로세스를 종료해 활성 연결도 끊었으므로 WebSocket, 스트리밍 세션, 실시간 API처럼 오래 유지되는 연결에서 특히 문제가 됐습니다.

Oxy에서는 새 인스턴스가 시작되면 이전 인스턴스가 새 연결 수락을 멈추고 기존 연결을 계속 처리합니다. 가능한 경우 세션이 자연스럽게 끝날 때까지 유지하는 방식입니다. 전체 장비군의 배포도 여러 시간에 걸쳐 진행해 사용자가 느끼는 영향을 줄입니다.

새 연결을 받을 소켓은 systemd socket activation으로 관리합니다. systemd가 소켓을 생성하고 소유하므로 Oxy 프로세스가 재시작하거나 비정상 종료해도 소켓은 열린 채 남습니다. 새 프로세스가 실행되면 새 연결을 처리하며, 이 방식으로 FL1 재시작 중 발생할 수 있던 연결 거부 오류를 없앴습니다.

재시작 절차도 확인 가능한 동작으로 바꿨습니다. Go 라이브러리인 tableflip 등을 대신해 만든 Rust 기반 shellflip은 재시작 조정 소켓으로 설정을 검증하고 새 인스턴스를 실행합니다. 새 버전이 정상인지 확인한 뒤 이전 인스턴스를 종료하므로, 자동화 도구가 실패를 즉시 감지하고 대응할 수 있습니다.

Rust 도입 뒤에도 계속되는 오류 조사

Rust의 컴파일 시점 메모리 검사와 타입 시스템은 광범위한 오류를 방지합니다. 엄격한 모듈 계약도 변경의 신뢰도를 높입니다. 그러나 Rust에서도 메모리 손상을 일으키는 코드를 작성할 수 있어, Cloudflare는 컴파일 시점 lint와 검사, 엄격한 코딩 표준, 테스트와 리뷰를 함께 적용합니다.

원인 불명의 비정상 종료를 높은 우선순위로 조사하는 정책도 유지합니다. 게시 시점까지 FL2에서 새롭게 발생한 비정상 종료의 주된 원인은 하드웨어 고장이었습니다. Cloudflare는 비정상 종료 빈도가 크게 줄어든 만큼 원인 조사에 더 많은 시간을 쓸 수 있으리라 기대했습니다.

아직 NGINX에 남아 있던 HTTP·TLS 계층

2025년 9월 당시 계획은 그해 남은 기간에 FL2 이관을 마무리하고 2026년 초 FL1을 종료하는 것이었습니다. 요청 경로 앞단의 HTTP 및 TLS 종단 서비스도 NGINX 기반으로 남아 있었습니다. 이 서비스 역시 Rust로 재작성하는 중이었으며, 2026년 초 완료를 예상했습니다.

이후에는 모듈 간 연결을 재편하고 단순화하며, RPC와 스트림 같은 비HTTP 트래픽 지원을 확장할 계획이었습니다. 모두 모듈화한 Rust 코드로 옮기고 테스트와 규모 검증을 마친 뒤 본격적인 최적화를 이어가려는 구상이었습니다.

이관 시점·운영 규모·성능 비교
항목값
FL 최초 커밋2010-01-06, Lee Holloway의 NGINX 초기 설정
PHP 제거 커밋2013-09-19, Dane Knecht
FL2 최초 커밋2024-07-10, Maciej Lechowski
고객 트래픽 적용 시작2025년 초, 이후 점진 확대
개발 참여 및 모듈 규모엔지니어 100명 초과, 모듈 130개 초과
새 제품 기능 개발·출시 시간FL2는 48시간 이내, FL1은 수주 소요
내부 CPU 사용량 비교FL2가 FL1의 절반 미만
내부 메모리 사용량 비교FL2가 FL1의 절반보다 훨씬 적음
응답 성능 실측자체 도구와 CDNPerf 등 독립 벤치마크에서 중앙값 10ms 단축, 성능 25% 개선
Oxy 트래픽 처리 범위계층 3부터 계층 7까지
전체 장비군 배포여러 시간에 걸쳐 진행
FL1 종료 및 HTTP·TLS 서비스 재작성원문 게시 시점 기준 2026년 초 목표·예상
마지막 수정 일자