목차
Cloudflare가 FL의 제품 로직을 옮기는 Workers (2023-05)
원문 정보
- 원문: Building Cloudflare on Cloudflare
- 매체 · 게시일: The Cloudflare Blog · 2023-05-18
- 저자: Richard Boulton
- 원문 내용을 바탕으로 재구성한 요약입니다.
지연을 줄이려 로직을 모아 둔 FL
Cloudflare에서는 코드를 고친 뒤 프로덕션에 도달하기까지 일주일을 기다리는 일이 드물지 않았습니다. 배포 과정은 여러 해에 걸쳐 크게 개선했지만, 업데이트의 위험이 커서 여전히 신중하게 진행해야 했습니다. 변경을 큰 묶음으로 배포하다 보니 각 변경이 어떤 영향을 줬는지 가려내기도 어려웠습니다.
여러 제품의 로직이 FL에 모인 데는 이유가 있습니다. Cloudflare의 웹사이트·애플리케이션 보안·성능 제품은 초당 4,600만 건이 넘는 HTTP 요청을 처리하며, 그 기반은 HTTP로 연결된 프록시 사슬입니다. 처음에는 NGINX와 Lua로 만든 네이티브 Linux 서비스들이었고, 이후 상당수를 Pingora 같은 Rust 서비스로 교체했습니다. 이 가운데 FL(Front Line)은 고객 설정을 읽고 요청을 어떻게 처리하고 어디로 보낼지 결정하는 서비스입니다.
이 사슬은 10년 넘게 잘 작동했습니다. 각 부분을 독립적으로 개발·배포·확장하고, 부하나 캐시 효율에 따라 다른 노드로 트래픽을 보낼 수 있었습니다. 그러나 Cloudflare가 다루는 지연 수준에서는 서비스 경계를 넘는 비용이 작지 않습니다. 특히 HTTP로 통신하는 단계를 추가할 때마다 지연이 붙으므로, 새 제품을 만들 때마다 서비스를 하나씩 늘릴 수는 없었습니다. 여러 제품의 로직 대부분을 FL 안에 둔 이유입니다.
FL 내부에도 모듈 경계는 있었습니다. 팀마다 어느 정도 독립적으로 코드를 바꾸고 배포하도록 설계했지만, 서비스는 숙련된 엔지니어 팀이 계속 유지·운영에 매달려야 할 만큼 복잡해졌습니다. 로컬에서 시스템을 띄우는 일부터 맞춤 도구와 Linux 커널 설치가 필요했습니다. HTTP 응답 처리 코드 상당 부분에서는 I/O를 수행할 수 없어, 나중에 쓸지도 모르는 자원을 미리 불러오는 우회도 필요했습니다.
코드를 나눠 놓는 것만으로는 부족했습니다. 프로덕션에서는 격리와 샌드박싱이 제한적이어서 예상치 못한 부작용을 추적하기 어려웠고, 디버깅에 시스템 전체의 지식이 필요한 경우가 많았습니다. 그 지식을 익히는 데만 수년이 걸렸습니다.
메모리 참조로 요청을 넘기는 런타임
Workers는 이미 제품을 만드는 도구였습니다. Cloudflare는 Workers를 스택에 도입한 2017년부터 제품 개발에 활용할 방법을 찾았고, 2023년에는 Cloudflare Zero Trust, R2, KV, Turnstile, Queues, Exposed credentials check 같은 제품이 처리하는 모든 요청에 Workers를 사용하고 있었습니다. 내부 대시보드와 챗봇에도 쓰였습니다.
여기에는 사용 방식이 다른 Worker가 섞여 있습니다. 고객 Worker는 고객 사이트의 라우트와 일치하는 요청이 들어오면 실행되며, Cloudflare 엔지니어링 팀도 고객과 똑같은 절차와 도구로 이런 Worker를 만듭니다. 이 글에서 다루는 내부 Worker는 Cloudflare만 배포할 수 있습니다. 특정 고객에 묶이지 않고, 해당 제품이나 로직이 필요한 여러 고객의 요청에 실행됩니다. 기반 기술은 같습니다.
2019년의 첫 통합은 단순했습니다. 고객 스크립트가 실행되기 전에 내부 Worker를 정해진 순서대로 실행하는 사슬을 만들었습니다. 서비스 단계를 늘리면 지연이 커진다는 문제가 여기서는 훨씬 작아집니다. 내부 Worker들과 해당 요청을 처리하는 고객 Worker가 모두 같은 서비스 안에서 실행되기 때문입니다. 다음 단계로 요청을 넘길 때 HTTP로 직렬화할 필요 없이, 런타임이 메모리 참조를 전달하고 가볍게 제어를 옮기면 됩니다. 단계마다 비용은 남지만 HTTP 통신보다 훨씬 작습니다.
샌드박스의 효과도 바로 나타났습니다. 고객이나 요청 사이에서 예상치 못한 부작용이 생길 위험을 없앴고, 팀들은 다른 팀을 기다리거나 방해하지 않고 자기 일정에 맞춰 업데이트를 배포할 수 있게 됐습니다.
대신 실행 위치는 고정돼 있었습니다. 요청 처리 과정의 한 지점에서만 내부 Worker를 실행할 수 있어, 그보다 앞에 있는 Cloudflare WAF 같은 서비스에는 영향을 줄 수 없었습니다. 보안을 위해 특수 자격 증명을 쓰는 내부 API로 게시해야 했으므로, 공개 Workers API를 중심으로 발전한 wrangler 같은 도구도 사용할 수 없었습니다. 지표와 상세 로그가 부족해 동작을 관측하기도 어려웠습니다.
그런데도 열 개 제품이 내부 Worker로 로직 일부를 구현했습니다. Zaraz, Cloudflare 챌린지 시스템, Waiting Room과 Image Resizing, Images, Mirage, Rocket Loader 같은 성능 최적화 제품이 여기에 포함됩니다. WordPress용 Automatic Platform Optimization에서도 내부 Worker가 주요 구성요소를 맡았습니다.
FL 없이 요청을 받은 프로토타입 Flame
다음 실험의 대상은 FL 전체였습니다. NGINX 기반 FL의 로직을 모두 개발자 플랫폼으로 옮길 수 있는지, 불가능하다면 무엇이 부족한지 알아보기로 했습니다. 2021년 말에 만든 Flame은 TLS 인그레스에서 FL을 건너뛰고 Workers 런타임으로 트래픽을 직접 보내는 프로토타입입니다.
작동은 했습니다. 겨우 돌아가는 수준이었지만, 프로토타입에 기대한 성과는 얻었습니다. 내부 서비스를 맡기려면 플랫폼에 무엇을 더해야 하는지가 드러났습니다.
Worker 안에서는 DNS 인프라나 고객 설정 데이터베이스에 접근할 수 없었고, 분석과 과금에 필요한 요청 로그를 데이터 파이프라인으로 보내지도 못했습니다. 요청 사이에 상태를 캐시할 방법도 없었습니다. 고객 오리진이나 캐시에 HTTP 요청을 보내려면 기존 프록시 사슬 전체를 거쳐야 했습니다.
운영할 준비도 부족했습니다. 특수 게시 API 때문에 wrangler의 개발 도구를 활용할 수 없었고, 표준 관측 시스템에 지표와 트레이스를 남길 수 없어 프로덕션에서 무슨 일이 일어나는지 보이지 않았습니다. 코드를 조금씩, 통제된 방식으로 배포할 수단도 없는 상태였습니다.
고객과 같은 도구로 개발하는 내부 Worker
Cloudflare는 가능한 곳마다 고객에게 제공하는 도구를 내부에서도 쓰기로 했습니다. 유지해야 할 도구가 줄어드는 데다, 고객이 겪는 불편을 직접 경험하고 개선할 수 있기 때문입니다. 먼저 내부 Worker에 별도 게시 API가 필요한 이유부터 보안팀과 다시 검토했습니다.
기존 API의 보호 장치는 충분했습니다. 누가 Worker를 게시하는지 식별할 수 있었고, 추가로 필요한 것은 특권 자원을 사용할 수 있는 계정을 안전하게 관리하는 레지스트리였습니다. 처음에는 API 서비스에 권한을 하드코딩했지만, 이후 더 유연한 권한 제어 플레인으로 바꿨습니다.
이 설계에서는 게시와 배포를 구분합니다. 게시는 Worker 코드를 설정 저장소에 올려 필요할 때 불러올 수 있게 하는 작업이며, 게시한 버전마다 새 아티팩트가 생깁니다. Workers 런타임의 보안은 capability, 즉 자원에 접근할 권한을 기준으로 작동합니다. 스크립트를 게시할 때 어떤 자원에 접근할 수 있는지 나타내는 바인딩 목록을 함께 묶고, 게시하는 계정에 그 권한을 부여할 자격이 있는지 확인합니다. 내부 자원에 대한 바인딩을 안전하게 관리하는 것이 내부 서비스 실행의 전제입니다.
배포는 그 코드를 실제 요청에 연결하는 작업입니다. 고객 Worker는 라우트에 연결하고, 내부 Worker는 전역 설정 저장소에 실행할 아티팩트를 지정합니다. wrangler로 내부 서비스를 빌드하고 게시할 수 있게 된 뒤에도, 배포하려면 방금 게시한 아티팩트의 식별자가 필요했습니다. 해결은 간단했습니다. wrangler의 디버그 출력에 그 식별자를 포함하도록 바꿨습니다.
이제 개발 도구도 함께 쓸 수 있습니다. 엔지니어는 코드를 체크아웃한 뒤 wrangler test와 wrangler dev로 실제 환경에 가까운 조건에서 기능 개발을 시작할 수 있게 됐습니다.
내부 자원에 접근하는 바인딩
FL의 로직을 옮기려면 먼저 그 로직이 읽는 데이터에 접근해야 합니다. 설정 저장소 Quicksilver와 DNS 시스템, DoS 방어 시스템 등이 그 대상입니다. Cloudflare는 이미 여러 곳에서 Cap’n Proto를 직렬화와 통신에 사용했고, 접속할 서비스 대부분은 이 프로토콜의 클라이언트 지원이 좋은 Go나 Rust로 구현돼 있었습니다. Workers 런타임에 Cap’n Proto RPC 연결 기능을 추가한 배경입니다.
각 내부 서비스는 런타임의 연결을 받고 통신용 스키마를 제공합니다. Worker를 게시할 때 이 스키마를 함께 묶으면, 런타임이 스키마에 맞춰 JavaScript 데이터를 Cap’n Proto로 변환합니다. Worker 코드는 바인딩에서 인터페이스를 얻어 메서드를 호출하면 됩니다. 원문의 예시는 특정 호스트 이름을 소유한 계정을 DNS 서비스에 조회하는 코드입니다.
컴퓨터는 캐시로 돌아갑니다. Cloudflare의 서비스도 예외는 아닙니다. 같은 호스트 이름으로 요청 1만 건이 연달아 들어온다고 해서 DNS 시스템에 소유 계정을 1만 번 물어보고 싶지는 않습니다. 하지만 Workers는 요청 사이에 상태가 보존된다고 보장하지 않습니다.
이를 위해 휘발성 인메모리 캐시를 제공하는 내부 바인딩을 추가했습니다. 효율적으로 공유할 수 있는 곳에서는 Worker 사이에 캐시를 공유하며, 조회 코드를 캐시 호출로 감싸 사용하는 방식입니다. 외부 자원을 가져오는 호출 수는 크게 줄었습니다. 앞으로는 백그라운드 갱신으로 P99 지연을 줄이고, 캐시 사용량과 적중률 관측도 개선할 가능성이 큽니다.
요청이 나가는 경로도 바꿨습니다. 원래 Workers 런타임은 FL하고만 통신했으므로, Worker 실행 뒤에 처리할 제품 로직이 없어도 요청은 다시 FL을 거쳐야 했습니다. 내부 Worker가 egress 방식을 제어하도록 확장한 뒤에는 경우에 따라 캐시 시스템이나 인터넷으로 직접 요청을 보낼 수 있습니다.
Workers의 동작을 보여 주는 관측 도구
요청을 처리하는 기능만으로는 운영하기 어렵습니다. 관측 도구가 없으면 코드가 어떻게 동작하는지 추측하는 데 시간을 쓰게 되고, 그런 시스템을 운영하는 일은 비효율적일 뿐 아니라 안전하지도 않습니다.
먼저 요청 로그를 기존 데이터 파이프라인에 연결했습니다. 이 파이프라인은 고객에게 사이트의 동작을 보여 주고, 운영팀의 상태 파악과 DoS 방어, 정확한 과금에도 쓰입니다. 네트워크에서 Cap’n Proto 메시지로 시작해 logfwdr 서비스로 들어가는 흐름이므로, Worker가 logfwdr에 임의의 로그 메시지를 보낼 수 있는 바인딩을 추가했습니다. 이 작업은 이후 고객에게 같은 형태의 구조화된 로깅을 제공하는 Workers Analytics Engine 바인딩의 토대가 됐습니다.
운영용 관측 정보도 기존 시스템으로 보냅니다. 비정형 로그는 Kibana 같은 시스템에서 검색하고 시각화하며, CPU 사용량이나 처리 요청 수 같은 메트릭은 대규모 Prometheus 시스템에서 전체 동작을 파악하고 이상을 알리는 데 사용합니다. OpenTelemetry 기반 트레이스는 서비스 사이에 어떤 정보가 오갔고 각 서비스에서 시간을 얼마나 썼는지 보여 줍니다.
관측팀은 내부 Worker가 이 정보를 보낼 엔드포인트를 만들었고, flame-common 라이브러리가 전송 절차를 감쌌습니다. 개발자는 로그를 남기고 카운터를 올리거나 스팬을 시작하면 됩니다. 그러나 이벤트를 낼 때마다 ObservabilityContext를 전달해야 하는 불편이 남았습니다. Workers 런타임에 AsyncLocalStorage 지원을 추가한 이유 중 하나입니다.
관측은 가능해졌지만 구현 효율은 아직 기대에 못 미칩니다. Cloudflare는 런타임이 이벤트·메트릭·트레이스를 네이티브로 내보내는 기능도 개발하고 있습니다. 내부 관측 시스템과 연결하면서 고객 역시 자기 Worker의 관측에 활용할 수 있게 만드는 것이 목표입니다.
상태를 확인하며 한 단계씩 진행하는 배포
코드를 게시할 수 있어도 전 세계 네트워크에 한꺼번에 적용할 수는 없습니다. 드물게 문제가 생기더라도 영향이 전체로 번지기 전에 빨리 발견해야 합니다. 내부 Worker를 쓰는 팀들은 각자 점진 배포 장치를 만들었지만, 식별자를 복사해 옮기고 적절한 시점에 다음 단계로 진행시키는 수작업이 많았습니다.
새 배포 시스템에서는 git으로 배포를 제어합니다. 적절한 검토를 거쳐 스테이징 브랜치에 병합하면 내부 전용 환경으로, 프로덕션 브랜치에 병합하면 프로덕션으로 배포하는 방식입니다. 개발자가 시스템 사이에서 버전 번호를 복사하는 일에 신경 쓰지 않도록 했습니다.
배포는 영향이 가장 작은 시스템부터 시작합니다. 이상적인 출발점은 프로덕션을 재현하면서도 실패해도 고객에게 영향이 없는 사전 프로덕션 시스템입니다. 이후에는 영향이 더 큰 단계로 차례로 진행합니다. 각 단계 사이에서 종단간 테스트와 지표 검토를 수행하고 최소 시간도 기다리며, 조건을 충족하지 못하면 사람의 대응을 기다리지 않고 자동으로 배포를 멈추거나 되돌립니다.
새 제품 개발을 늦춰서는 안 되는 FL 이전
플랫폼은 실제 운영에 들어갔습니다. 2023년 5월 현재, 보완한 기능들을 여러 내부 Worker가 사용하고 있으며 상대적으로 작은 구성요소에서 실제 트래픽을 처리하고 있습니다. Cloudflare는 지금 애플리케이션 보안·성능 제품을 처음부터 만든다면 개발자 플랫폼 위에 구현할 수 있다고 판단합니다.
기존 시스템의 이전은 아직 아주 초기입니다. 앞으로 몇 달 안에 더 많은 로직과 일부 프로덕션 사이트 전체를 FL에 의존하지 않고 실행하기를 기대하는 단계입니다. Worker를 얼마나 잘게 나눌지도 결정하지 못했습니다. 개발 절차에 맞고 코드를 이해하고 유지하기 쉬우면서, 효율과 처리량도 지키는 경계를 찾아야 합니다.
대규모 레거시 시스템을 다뤄 본 사람이라면 처음부터 다시 쓰고 싶어지는 순간을 압니다. 실제로 다시 써 본 사람은 그 일이 예상보다 몇 배 어려우며, 옛 시스템이 오래전에 해결한 문제를 되살릴 위험도 안다는 것이 이 프로젝트의 출발점입니다. 이전으로 얻을 개발자 경험·신뢰성·성능의 이점은 충분히 커야 합니다. 새 제품을 개발하는 속도도 한순간조차 늦춰서는 안 됩니다.
Cloudflare에는 재작성 경험이 있습니다. Quicksilver는 Kyoto Tycoon에서 이전하고 데이터스토어를 LMDB에서 RocksDB로 바꾸는 등 여러 번 근본적으로 다시 만들었으며, HTML 재작성 코드도 새 기술의 안전성과 성능을 얻기 위해 교체했습니다. 지금의 보안·성능 프록시 역시 첫 버전은 PHP였습니다.
2013년에 PHP를 퇴역시킨 작업도 제품 개발을 멈추지 않고 진행했습니다. 새 시스템이 훨씬 만들기 쉬워서 개발자들이 기존 시스템에 추가되는 변경을 따라잡을 수 있었습니다. 준비된 새 시스템이 요청을 받기 시작한 뒤에도, 처리하지 못하는 요청은 기존 시스템으로 폴백했습니다. 충분한 로직을 구현하고 나서야 옛 시스템을 끌 수 있었습니다. 그때 남긴 커밋 메시지가 “remove PHP.”입니다.
이번 시스템은 2013년보다 훨씬 복잡합니다. Cloudflare는 별도의 새 시스템을 통째로 구현하는 대신, 분리할 수 있고 가까운 시일에 구체적인 이득을 얻을 수 있는 부분부터 옮기기로 했습니다. 거기서 얻은 경험으로 플랫폼과 도구를 개선하고 다음 대상을 찾는 방식입니다. 여러 팀이 코드를 바꿀 수 있도록 모듈 사이에 강한 경계를 두고, 전체 시스템을 알아야만 판단할 수 있는 상황을 줄이려 합니다.
용도에 따라 여러 시스템을 만드는 방법도 검토 대상입니다. 개발자 플랫폼에서는 소프트웨어를 단일 버전으로 게시할 필요 없이 필요한 만큼 여러 버전을 함께 실행할 수 있습니다. 어떤 분할이 적절한지는 이전 과정에서 찾아야 할 답입니다.
인터넷은 거친 곳입니다. 표준과 RFC를 따르려 해도 실제로 마주치는 동작은 문서에 없는 경우가 많습니다. 아키텍처를 옮기면서 엣지 케이스의 동작 하나를 바꾸면, 누군가가 그 동작을 전제로 만든 시스템을 깨뜨릴 수 있습니다. 변경을 피할 수 없는 때도 있지만, 그 영향은 알고 바꿔야 합니다.
Cloudflare는 이를 위해 변경 전후의 모든 엣지 케이스 동작을 프로덕션에서 시험할 수 있는 테스트 기능을 만들고 있습니다. 버그까지 기존과 똑같이 재현할지, 동작을 바꾼다면 누군가에게 미리 알려야 할지 판단하려는 것입니다. DNS 파이프라인을 세 배 빠르게 다시 만들 때도 비슷한 도구로 이전 시스템과의 동작 차이를 확인한 경험이 있습니다.
이 규모로 내부 시스템을 실행하면 Workers 플랫폼에 숨어 있던 병목과 확장성 문제를 찾는 데도 도움이 될 것으로 기대합니다. 진행 상황과 개선 사항, 이전 과정에서 얻은 예상 밖의 교훈은 후속 글에서 공유할 예정입니다.
규모와 일정 수치
| 항목 | 값 |
|---|---|
| 처리 요청 규모 | 초당 4,600만 건 이상 HTTP 요청 |
| Workers가 스택에 들어온 해 | 2017 |
| 내부 Worker 사슬 첫 통합 | 2019 |
| 내부 Worker로 로직 일부를 구현한 제품 수 | 10개 |
| Flame 프로토타입 착수 | 2021년 말 |
| 변경이 프로덕션에 닿기까지 걸리는 시간 (기존) | 일주일을 기다리는 일이 드물지 않음 |
| 이전 PHP 프록시 퇴역 | 2013 |
| 점진 배포 단계 사이 검증 | 종단간 테스트, 지표 검토, 최소 경과 시간 |