본문으로 건너뛰기
Cloudflare Pages를 빠르게 한 Workers for Platforms
목차

Cloudflare Pages를 빠르게 한 Workers for Platforms (2023-06)

원문 정보

새 라우팅의 첫 시험대가 된 개발자 문서

Cloudflare 개발자 문서 사이트인 developers.cloudflare.com의 TTFB가 평균 약 600ms에서 60ms로 줄었습니다. 문서 팀이 별도로 개발 작업을 하거나 사이트를 멈출 일도 없었습니다. 달라진 곳은 Pages가 요청을 받아 실행할 파이프라인을 찾는 부분입니다.

이 사이트는 2022년 초부터 Pages에서 운영됐고, 내부 테스트를 마친 새 라우팅을 처음 적용할 실제 사용자로 선정됐습니다. 변화는 TTFB에만 머물지 않았습니다. Web Analytics에서 전체 페이지 로드 시간이 눈에 띄게 줄었고, 평균 78이던 Lighthouse 점수도 만점인 100에 가까워졌습니다.

이처럼 큰 차이를 만든 출발점은 뜻밖에도 배포 횟수였습니다. Pages에서는 배포를 한 번 더 할 때마다 방문자가 기다리는 시간도 조금씩 늘고 있었습니다.

배포할 때마다 커진 라우팅 테이블

2021년 출시한 Pages의 사용량은 예상보다 빠르게 늘었습니다. git 커밋마다 불변의 미리보기 배포를 만드는 활발한 프로젝트에서는 수만 건의 배포도 드문 일이 아닙니다. 문제는 그 배포들이 요청을 처리하는 비용까지 늘렸다는 데 있었습니다.

Pages는 Cloudflare Workers 위에서 동작합니다. 정적 에셋은 고도로 최적화된 Asset Server Worker가 제공하고, 사용자가 Pages Functions로 작성한 동적 콘텐츠는 별도의 Worker로 컴파일됩니다. 배포마다 이 Worker들을 엮은 고유한 파이프라인이 생기는 방식입니다.

어느 파이프라인을 실행할지는 요청 URL의 호스트 이름으로 정합니다. 예를 들어 2b469e16.example.pages.dev에서 2b469e16은 보통 커밋 해시, example은 프로젝트 이름입니다. 이 호스트 이름 전체가 Pages의 모든 배포 가운데 하나를 식별합니다.

기존 방식은 이 이름을 찾는 데 일이 많았습니다. 프로젝트마다 배포별 정규식과 해당 파이프라인을 담은 JSON 라우팅 테이블을 두고, Quicksilver에서 테이블을 가져와 파싱한 뒤 요청에 맞는 정규식이 나올 때까지 순회했습니다. 테이블의 script_hash는 이름과 달리 파이프라인 식별자입니다. 배포가 수만 건 쌓이면 JSON 하나가 수 메가바이트에 이를 수 있었습니다.

실제 사례에서는 JSON 파싱에만 107ms가 들었습니다. 정규식을 차례로 대조하는 데 다시 29ms. 실행할 파이프라인을 고르는 일만으로 요청당 136ms를 쓴 것입니다. 이는 배포가 평균 약 10,000건인 프로젝트의 중앙값 사례였습니다.

더 심한 경우도 있었습니다. 배포가 50,000건을 넘자 지연이 몇 초씩 붙어 사용할 수 없게 된 프로젝트도 나왔습니다. 페이지 하나는 대개 에셋을 여럿 불러옵니다. 요청마다 쌓인 지연은 타임아웃과 오작동으로 이어졌고, Pages를 활발히 쓰던 사용자가 지연이라는 벌을 받는 상황이 됐습니다.

호스트 이름으로 조회하는 Workers for Platforms

해결책은 이미 Cloudflare 안에 있었습니다. Workers for Platforms는 플랫폼이 관리하는 Worker에서 사용자가 작성한 Worker로 요청을 넘기는 파이프라인을 만들 수 있게 해 줍니다. 사용자 코드의 실행 시점과 방법은 플랫폼이 통제합니다. Pages가 호스트 이름에 따라 사용자의 Functions와 Asset Server Worker를 실행하는 방식과도 잘 맞았습니다.

조회 비용도 달랐습니다. Workers for Platforms는 계정의 Worker 수가 늘어도 조회 지연이 따라 늘지 않도록 O(1) 조회를 지원합니다. 배포별 정규식을 차례로 살펴보던 Pages의 O(n) 조회를 바꿀 수 있는 지점입니다.

기본적으로 Workers for Platforms는 Worker 이름을 비밀 값과 함께 해시해 런타임 조회에 씁니다. Pages는 그 이름 자리에 호스트 이름을 사용했습니다. 배포할 때 2b469e16.example.pages.dev 같은 호스트 이름을 해시한 값으로 파이프라인을 등록하고, 요청이 들어오면 URL의 호스트 이름을 같은 비밀 값으로 해시해 해당 파이프라인을 찾습니다.

이제 프로젝트 전체의 라우팅 테이블을 가져와 파싱하고 순회할 이유가 없어졌습니다. 호스트 이름의 해시로 필요한 파이프라인을 찾는 O(1) 조회가 그 자리를 대신합니다. 앞서 개발자 문서에서 확인한 속도 개선은 이 변경의 결과입니다.

되돌릴 경로를 남겨 둔 마이그레이션

개발자 문서의 전환은 새 인프라가 큰 규모의 트래픽을 처리할 수 있다는 증거였습니다. 다음 목표는 지금까지 만들어진 모든 Pages 배포였습니다. 어느 사용자도 기존 방식에 남겨 두지 않으려 했고, 옮길 배포는 이미 1,400만 건을 넘었습니다.

사이트를 중단시키지 않는 것이 전제였습니다. 문제가 생기거나 호환되지 않는 경우에는 사이트별로 되돌릴 수 있어야 했습니다. 작업 자체의 부하도 고려해야 합니다. 이만한 규모를 짧은 시간에 처리하면 API의 평소 처리 용량을 넘어 장애를 일으킬 수 있어, 천천히 실행하면서 지표를 확인하고 실패를 재시도할 수 있어야 했습니다.

Cloudflare는 먼저 기존 방식과 새 방식을 언제든 A/B 테스트할 수 있게 만들었습니다. 배포마다 기존 파이프라인과 갱신된 라우팅 테이블을 유지하면서, Workers for Platforms의 해시 기반 파이프라인도 배포했습니다. 기능 플래그로 사이트별 또는 데이터센터별 경로를 선택하고, 예외 상황에서 작동하지 않는 사이트는 새 방식에서 명시적으로 제외할 수 있게 했습니다.

그 상태에서 모든 배포를 새 파이프라인으로 복제하는 작업을 백그라운드로 실행했습니다. 기존 배포를 남겨 두면 전환을 비교하고 되돌릴 수 있습니다. 마이그레이션 뒤 정리할 일이 늘어나는 선택이었지만, 사용자 사이트의 안정성을 위해 감수한 비용입니다.

며칠 뒤 1,400만 건의 배포를 모두 옮기고 나서야 새 인프라로 트래픽을 보내기 시작했습니다. 비율을 단계적으로 높이며 문제를 찾고, Pages의 모든 런타임 트래픽을 받을 준비가 됐는지 확인했습니다.

스콘 하나를 나눠 먹은 세 마리 새

라우팅을 바꾼 효과는 응답 시간 밖에서도 나타났습니다. 거대한 JSON 파싱과 수천 번에 이를 수 있는 정규식 매칭이 없어지면서, 데이터센터의 수천 대 머신에서 CPU 시간을 절약했습니다.

캐시도 달라졌습니다. Cloudflare는 Quicksilver의 부하를 줄이고 성능을 높이려고 가져온 항목을 LRU 캐시에 보관합니다. 이전에는 큰 라우팅 테이블 하나나 몇 개만으로도 캐시가 찰 수 있었습니다. 이제 항목 하나짜리 작은 JSON을 저장하므로, 모든 Workers의 캐시 적중률이 좋아졌습니다.

Quicksilver에서 라우팅 테이블이 차지하는 저장 공간은 92% 줄었습니다. 수백 개 데이터센터 각각에서 약 12 GiB를 덜 쓰게 된 것입니다.

Cloudflare는 이 변경으로 Pages가 Netlify, Vercel 등을 포함한 서비스 가운데 사이트를 가장 빠르게 제공하는 방식이 됐다고 평가했습니다. 여기에 멈출 계획도 아니었습니다. Flame 같은 프로젝트로 각 요청에 걸리는 시간을 더 줄이겠다는 계획을 밝혔습니다.

개선 전후 수치
항목값
라우팅 테이블 JSON 파싱 (사례)107ms
정규식 순회 매칭 (사례)29ms
요청당 파이프라인 선택 비용 (배포 약 10,000건 중앙값)136ms
심각한 지연이 보인 규모배포 50,000건 이상
developers.cloudflare.com TTFB약 600ms에서 60ms
developers.cloudflare.com Lighthouse 평균78에서 100에 근접
마이그레이션 대상 배포 수1,400만 건 이상
라우팅 테이블 저장 공간92% 감소 (데이터센터당 약 12 GiB)
TTFB 개선 폭 (에셋 서빙, 최대)최대 10배
마지막 수정 일자