목차
연결을 두 번 맺고도 더 빨라진 Hyperdrive의 연결 풀 (2025-04)
원문 정보
- 원문: Pools across the sea: how Hyperdrive speeds up access to databases and why we’re making it free
- 매체 · 게시일: The Cloudflare Blog · 2025-04-08
- 저자: Andrew Repp, Matt Alonso
- 원문 내용을 바탕으로 재구성한 요약입니다.
한 줄만 바꾼 Worker의 데이터베이스 연결
Chicago의 Worker에서 London의 데이터베이스에 레코드를 넣고 다시 읽습니다. 드라이버는 postgres.js입니다. Cloudflare가 만든 이 작은 벤치마크는 실제 서비스용 코드는 아니지만, 흔한 OLTP 작업을 반영합니다. 연결 생성부터 INSERT와 SELECT를 마칠 때까지 직접 연결은 평균 1,200ms가 걸렸습니다.
바꾼 것은 연결 문자열 한 줄입니다. env.HYPERDRIVE.connectionString을 쓰자 같은 작업이 평균 500ms로 끝나, 직접 연결보다 거의 60% 짧아졌습니다. Hyperdrive 캐시를 켜서 SELECT를 캐시에서 제공하면 320ms까지 줄었습니다. 직접 연결 대비 거의 75% 감소입니다. 여기에 안전한 인증·전송과, 사용량이 늘 때 데이터베이스로 연결이 몰리는 것을 막아 줄 연결 풀도 따라옵니다.
Cloudflare는 이 결과를 소개하며 Hyperdrive를 Workers 무료 플랜에도 제공한다고 발표했습니다. 내부에서도 이미 쓰는 서비스입니다. billing, D1, R2, Workers KV 팀의 여러 제어 영역 작업이 Workers에서 자체 Postgres 클러스터에 접근할 때 Hyperdrive를 사용합니다. 기존 SQL 데이터베이스의 연결 문자열을 등록하고 익숙한 드라이버를 쓰면 되므로, 대규모 코드 수정이나 복잡한 설정 없이 도입할 수 있습니다.
Worker와 데이터베이스 곁의 짧은 핸드셰이크
전통적인 SQL 데이터베이스는 가까운 곳에서 오래 실행되는 컴퓨트와 연결하도록 설계됐습니다. 연결에 상태를 많이 유지하는 모델입니다. 전 세계에서 짧게 실행되는 Workers와는 잘 맞지 않는데, 데이터베이스 옆에 기존 연결 풀러를 두는 것만으로도 해결되지 않습니다. Worker가 그 풀러에 접속하려면 여전히 먼 거리를 여러 차례 오가야 하기 때문입니다.
PostgreSQL 연결은 쿼리보다 앞서 할 일이 많습니다. TCP 연결을 맺고, TLS를 협상하고, 특정 사용자와 데이터베이스로 접속하기 위한 인증을 마쳐야 합니다. TLS 1.3의 가장 단순하고 빠른 협상과 빠른 password 기반 인증을 골라도 최소 5회 왕복입니다. 메시지를 보낸 뒤 응답을 기다리지 않아도 되는 반쪽 왕복은 세지 않은 값이며, 조건에 따라 왕복은 더 늘어납니다.
글을 작성하며 간단히 측정한 Chicago–London 왕복 지연은 약 125ms였습니다. 여기에 5를 곱하면 625ms입니다. 아직 쿼리는 보내지도 않았는데 연결을 시작하는 데만 그만큼 기다려야 합니다.
Hyperdrive의 해법은 연결 수립을 두 번 하는 것입니다. 한 번은 Worker와 같은 서버에서, 다른 한 번은 원본 데이터베이스 가까이에서 처리합니다. Worker 옆의 Client가 데이터베이스 서버 행세를 하고, 원본 옆의 Endpoint가 데이터베이스 클라이언트 행세를 맡습니다. 협상 절차는 남아 있어도, 각 절차가 오가는 거리는 짧아집니다.
Worker 런타임이 만든 연결 문자열은 드라이버를 같은 서버의 Hyperdrive 프로세스로 연결합니다. TCP로 원본에 접속하는 대신 RPC 채널을 쓰는 구간입니다. 드라이버는 평소처럼 핸드셰이크를 진행하고 Client는 서버처럼 응답하는데, 이 과정의 관측값은 p50 2ms, p90 4ms였습니다. Client를 Worker와 같은 서버에 두는 배치는 초기 설계부터 유지됐습니다. 미세한 최적화 여지는 있어도, 이미 네트워크 홉이 없는 자리입니다.
긴 구간에는 또 다른 연결 풀이 있습니다. Client가 캐시로 응답하지 못하면 Cloudflare 데이터센터 사이에 준비된 TCP 연결을 받아 Endpoint로 요청을 보냅니다. 연결 풀러 안에 또 연결 풀을 둔 것입니다. 초기화 메시지에는 Worker가 보낸 쿼리 메시지까지 담습니다. SYN과 페이로드를 한데 보내는 모습에 가깝습니다. Endpoint는 결과를 스트리밍하고 Client가 접속을 끊을 때까지 후속 쿼리를 받을 채널을 열어 둡니다. 장거리 구간에서는 쿼리를 보내기 위한 별도 핸드셰이크로 왕복을 낭비하지 않습니다.
트랜잭션이 끝나면 돌아오는 연결
Hyperdrive가 연결을 나눠 쓰는 단위는 트랜잭션입니다. 새 연결마다 데이터베이스 서버의 메모리와 CPU가 들기 때문에, 짧게 접속하는 클라이언트가 많아질수록 기존 연결을 어떻게 돌려 쓸지가 문제가 됩니다.
Session mode는 클라이언트가 접속을 끊을 때까지 전용 연결을 줍니다. 구현이 단순하고 더 넓은 범위의 기능을 지원하기 쉽지만, 처리 가능한 동시 접속 수가 크게 제한됩니다. Statement mode는 SQL 문장마다 연결을 돌려받는 대신 여러 문장으로 구성된 트랜잭션을 허용하지 않습니다. Hyperdrive는 쿼리나 트랜잭션이 끝나면 연결을 반환하는 Transaction mode를 택했습니다. 많은 클라이언트의 짧은 접속을 처리하면서도, 사람들이 관계형 데이터베이스를 선택하는 이유인 트랜잭션 의미론을 유지하려는 선택입니다.
Endpoint가 원본을 조회해야 하면 크기가 제한된 풀에서 연결을 꺼냅니다. 준비된 연결은 마이크로초 단위로 사용할 수 있습니다. 빈 연결이 없으면 상한에 도달하지 않은 경우에 새 연결을 만드는데, 이때도 핸드셰이크는 필요합니다. 다만 매번 Chicago에서 London까지 오가는 대신 Endpoint와 원본 사이의 구간만 왕복합니다. 쿼리나 트랜잭션을 마친 연결은 풀로 돌아가며, 오래 유휴 상태인 연결은 종료해 데이터베이스 자원을 돌려줍니다.
연결을 돌려 쓰려면 양쪽이 기억하는 상태도 맞아야 합니다. 드라이버는 트랜잭션 중이라고 생각하는데 실제 데이터베이스 연결은 그렇지 않다면 오류나 잘못된 결과가 생길 수 있습니다. Hyperdrive는 풀에서 꺼내는 모든 연결을 쿼리를 받을 준비가 된 유휴 상태로 맞춥니다. 서로 다른 머신에 있는 연결의 상태를 조율하면서도 Client와 Endpoint 사이에 상태를 공유할 필요가 없도록 설계했습니다.
Prepared statement처럼 연결에 귀속되는 상태는 더 까다롭습니다. 미리 준비한 SQL 문장은 당시 빌려 쓴 연결에만 존재하지만, 클라이언트에게는 여전히 같은 접속으로 보입니다. 다음 쿼리도 그 문장을 쓰려는데 풀에서 다른 연결을 받으면 문제가 생깁니다. Hyperdrive는 클라이언트가 준비한 문장과 각 원본 연결에 준비된 문장을 따로 추적합니다. 새로 꺼낸 연결에 필요한 문장이 없으면 준비용 wire protocol 메시지를 재생한 뒤 쿼리를 보냅니다. 이런 보정이 있어야 양쪽 모두 자신이 기대한 연결 상태를 유지합니다.
실제로 연결해 보고 고른 Endpoint의 자리
양 끝에서 연결을 맺더라도 Endpoint가 원본과 멀리 떨어져 있으면 새 연결을 만드는 비용은 여전히 큽니다. 초기 Hyperdrive에는 이 거리를 짧게 보장할 방법이 없었습니다. Worker 위치로 사용자 지역을 추정하고, 그 지역의 후보 데이터센터 중 rendezvous hashing으로 Endpoint를 골라 지역마다 풀을 하나씩 두었기 때문입니다.
선택한 데이터센터가 사용자보다 데이터베이스에서 더 멀 수도 있었습니다. Cloudflare의 네트워크 경로를 이용하는 이점은 있어도, 그 경로를 타려고 크게 돌아갈 수 있는 배치였습니다. 원본이 다른 지역에 있으면 새 연결의 핸드셰이크도 필요 이상으로 길어져 해당 쿼리의 지연과 처리량에 영향을 줬습니다.
Worker 요청 시간을 분석해 실행 위치를 고르는 Smart Placement도 이 배치에 묶였습니다. 모든 Hyperdrive 쿼리가 지역별 Endpoint를 지나므로, 원본과 더 가까운 데이터센터가 있어도 그곳을 활용할 수 없었습니다. 가장 잘 배치해도 원본이 있는 지역의 Endpoint 근처까지였습니다.
개선한 설계에서는 지역별 풀을 없앴습니다. Hyperdrive마다 원본에 최대한 가까운 전역 Endpoint 하나를 둡니다. 문제는 연결 문자열의 호스트명만으로 데이터베이스의 실제 위치를 정확히 알아내기 어렵다는 점입니다. Cloudflare는 위치를 추정하는 대신 연결 시간을 재기로 했습니다.
출발점은 이미 있던 Edge Validator입니다. Hyperdrive를 생성할 때 임의의 데이터센터에서 제공받은 정보로 원본에 접속해 보고, 실패하면 생성도 중단합니다. 비밀번호 오타가 있는 채로 Hyperdrive를 만든 뒤 여러 계층을 거슬러 디버깅하게 두지 않으려는 장치입니다.
새로 추가한 Placement는 생성이 끝난 뒤 백그라운드에서 같은 접속 절차를 넓게 실행합니다. 충분한 용량과 적합한 네트워크 경로를 갖춰 Endpoint를 둘 수 있는 모든 데이터센터에서 여러 차례 연결하고, 평균 연결 시간을 수집합니다. 가장 빠르게 접속한 데이터센터 목록을 저장해 실행 시 풀을 둘 위치를 고릅니다. 기존 고객에게 02/22와 02/25에 나눠 적용한 뒤의 그래프에서는 Endpoint와 원본 사이의 쿼리 지연이 줄어든 모습을 확인할 수 있습니다.
Worker 곁에서 응답하는 Client 캐시
Cloudflare가 별도 serverless driver를 만드는 대신 익숙한 Postgres 드라이버를 지원한 이유에는 캐시도 있습니다. 전용 드라이버로 왕복 수와 시간을 줄이는 접근도 있지만, Cloudflare는 기존 생태계의 드라이버를 살리면서 자사 네트워크 안에서 쿼리 결과를 캐시할 위치를 유연하게 정하는 방향을 택했습니다. Hyperdrive의 Alpha 시절 이름도 sql-query-cache였습니다.
풀을 원본 가까이 옮기면 캐시에는 다른 문제가 생깁니다. 전역 Endpoint에만 캐시가 있다면 다른 지역의 사용자는 캐시에 적중해도 원본에 접근할 때만큼 멀리 다녀와야 합니다. Cloudflare 캐시는 데이터센터마다 별도로 존재하므로 Client 가까이에도 캐시가 있지만, 기존에는 캐시 처리와 연결 풀 관리가 밀접하게 붙어 있어 이를 충분히 활용하지 못했습니다.
전역 Endpoint로 전환하면서 이 로직을 분리했습니다. 쿼리를 실어 나르기만 하던 Client가 이제는 프로토콜 메시지를 충분히 모아 캐시로 응답할 수 있는지 판단합니다. 적중하면 트래픽은 Worker의 데이터센터를 벗어나지 않습니다. 이 경로의 쿼리 지연은 기존 20~70ms에서 평균 약 4ms로 줄었고, 쿼리를 처리하는 데 쓰는 네트워크 대역폭도 크게 감소했습니다.
Client에서 놓쳤다고 곧바로 원본을 조회하지는 않습니다. 전 세계 여러 Client의 요청을 받는 Endpoint에 결과가 남아 있을 수 있습니다. 이때 Endpoint는 결과와 만료까지 남은 시간을 함께 보내고, Client는 이를 응답하면서 자체 캐시에도 저장합니다.
원본까지 조회했다면 결과를 양쪽 캐시에 저장합니다. 같은 Client 데이터센터에서 오는 후속 쿼리는 가까운 캐시를 이용하고, 다른 Client의 쿼리도 Endpoint 캐시에서 처리할 기회를 얻습니다. Tiered Cache처럼 Endpoint의 캐시가 원본 앞의 마지막 보호 계층이 되어 데이터베이스 부하를 줄이는 방식입니다.
측정 조건과 세부 성능 수치
| 항목 | 값 |
|---|---|
| 벤치마크 조건 | Chicago의 Worker → London의 원본 데이터베이스, postgres.js, INSERT 후 SELECT, 연결 생성부터 소요 시간 측정 |
| 직접 연결 | 평균 1,200ms |
| Hyperdrive 연결 | 평균 500ms, 직접 연결 대비 거의 60% 감소 |
| Hyperdrive 캐시 활성화 | SELECT를 캐시에서 제공할 때 320ms, 직접 연결 대비 거의 75% 감소 |
| PostgreSQL 신규 연결 | 원문이 선택한 빠른 협상·인증 경로에서도 최소 5회 왕복, 더 늘어날 수 있음 |
| TLS 협상 예시 | TLS 1.3의 가장 단순하고 빠른 경우 1회 왕복 |
| Chicago–London 왕복 측정 | 글 작성 중 간단한 측정에서 약 125ms, 5회 왕복 적용 시 연결 시작에 625ms |
| Worker–Client 연결 수립 | 같은 Cloudflare 서버에서 p50 2ms, p90 4ms |
| 준비된 원본 연결 사용 | 마이크로초 단위 |
| Client 캐시 적중 경로 | 기존 20~70ms에서 평균 약 4ms로 감소 |
| Placement 측정 | Endpoint를 둘 수 있는 각 데이터센터에서 여러 차례 연결 후 평균 수집 |
| 기존 고객 Placement 적용 | 원문 그래프 설명상 02/22와 02/25에 단계적으로 적용 |
| 연결 풀 제한 | 연결 수 상한과 유휴 연결 유지 제한을 관리하며, 구체적인 설정값은 본문에 미기재 |