목차
쿼리 경로의 중앙 병목을 줄인 D1 컨트롤 플레인 (2026-10)
원문 정보
- 원문: Under the hood, off the hot path: How D1 scales to millions of databases
- 매체 · 게시일: The Cloudflare Blog · 2026-10-13
- 저자: David Laban, Lambros Petrou
- 원문 내용을 바탕으로 재구성한 요약입니다.
사용자마다 하나씩 늘어나는 D1 데이터베이스
애플리케이션마다 큰 데이터베이스 클러스터 한두 개를 두고 커넥션 풀링을 붙이는 모델이 바뀌고 있습니다. AI 보조 개발과 바이브 코딩 플랫폼에서는 사용자, 애플리케이션, 프리뷰 환경, 테넌트마다 작은 데이터베이스를 하나씩 만드는 방향으로 움직입니다. SQLite 기반의 관리형 서버리스 데이터베이스인 D1에 잘 맞는 사용 방식으로, 데이터베이스를 수백만 개 만들어도 비용은 쓴 만큼 냅니다.
늘어나는 속도도 빨랐습니다. 2026년 10월 8일 기준으로 삭제되지 않은 D1 데이터베이스는 1년 전의 15배, 2년 전의 65배로 늘었고, 하루에 쿼리를 한 번 이상 실행한 일간 활성 데이터베이스는 1년 새 18배가 됐습니다. ChatGPT Sites도 D1을 쓰는 플랫폼입니다. 사용자가 만드는 대시보드·게임·도구에 맞춤형 지표와 리더보드, 댓글 같은 기능을 추가하는 데 D1을 사용합니다.
Cloudflare가 지원해야 할 규모는 생성된 데이터베이스 수백만 개와 어느 시점이든 활성 상태인 데이터베이스 수십만 개였습니다. 관리 대상이 늘어난다고 모든 쿼리가 중앙 시스템에 더 의존하게 만들 수는 없었습니다. D1 팀은 예상 성장치를 훨씬 웃도는 목표로 주기적으로 부하 테스트를 진행하면서, 드러난 병목을 기준으로 최적화할 곳을 골랐습니다.
엣지에서 실행하는 쿼리와 Core의 관리 작업
D1 데이터베이스 하나는 SQLite Durable Object(DO) 하나가 받칩니다. 수백만 개를 만들기 쉬운 기반입니다. 여기에 필요한 작업을 요청의 성격에 따라 나눴습니다.
| 구분 | 처리 대상 | 실행 위치와 허용 조건 |
|---|---|---|
| 데이터 플레인 | 데이터베이스 쿼리 관련 요청 | 항상 엣지에서 최대한 빠르게 실행 |
| 컨트롤 플레인 | 생성·삭제 등 쿼리 외 관리 요청과 관련 내부 처리 | 중앙 단일 리전 컴포넌트에 의존 가능 |
| 백그라운드 비동기 플레인 | 분석·과금 워크플로 | 위치 제약 없이 실행, 최종 일관성 허용 |
대시보드, Wrangler, Cloudflare CLI에서 들어오는 HTTP API 요청은 Cloudflare 엣지 게이트웨이를 거쳐 D1 Edge API Worker가 처리합니다. 여기에는 SQL 쿼리 엔드포인트뿐 아니라 생성·삭제·목록 조회, 가져오기·내보내기, 타임 트래블을 위한 CRUD 엔드포인트도 포함됩니다. 관리 작업에 필요한 메타데이터는 중앙 데이터 센터인 Core의 Postgres에 있습니다.
Postgres 접근에는 Hyperdrive를 씁니다. 커넥션 풀링과 라우팅·캐싱을 맡기되, 캐시를 켠 구성은 읽기 복제본을 향하고 캐시를 끈 구성은 프라이머리를 향하도록 나눴습니다. 읽기가 많은 메타데이터는 모든 D1 Worker가 접근할 수 있는 Workers KV에도 둡니다.
DO가 처리해야 하는 요청은 D1 Eyeball Worker를 거칩니다. 이 Worker는 DO 앞의 프록시로, 관측과 자동 재시도, 오류 처리 같은 쿼리 관련 동작을 한곳에서 담당합니다. 사용자 Worker의 D1 바인딩은 Edge API Worker를 거치지 않고 Eyeball Worker로 바로 연결됩니다.
이 구분을 바탕으로 쿼리 경로에서는 중앙 단일 리전 컴포넌트를 피하고, 강한 일관성이 필요 없는 작업에는 큐와 최종 일관성을 사용했습니다. 실패와 멱등성도 설계 전반의 원칙이었습니다. 여러 저장소를 갱신하다 중간에 실패하더라도, 가능한 곳에서는 시스템이 스스로 상태를 바로잡고 계속 진행해야 했습니다.
엣지 캐시가 비어도 라우팅 정보를 내주는 Workers KV
쿼리를 실행하려면 먼저 어느 DO로 보낼지 알아야 합니다. HTTP API 요청을 받은 Edge API Worker는 Workers KV에서 D1 UUID에 대응하는 메타데이터를 읽고, 관련 ID를 서비스 바인딩으로 Eyeball Worker에 넘깁니다. Eyeball Worker가 요청을 검증해 해당 DO에 전달하면, SQL 실행 결과는 같은 Worker들을 거쳐 사용자에게 돌아갑니다.
이 경로에서 Edge API Worker는 HTTP API 인증, 리소스 기반 인가, 계정·데이터베이스별 요청 빈도 제한, 요청 검증과 계정 권한 확인을 담당합니다. 사용자 Worker의 D1 바인딩은 이 검사를 반복할 필요가 없습니다. 바인딩 자체가 내부적으로 Eyeball Worker에 대한 서비스 바인딩이며, 특정 D1 데이터베이스스 하나에 접근할 권한을 나타내는 인코딩된 정보를 담고 있기 때문입니다. Eyeball Worker는 그 정보를 검증하고 자체 요청 빈도 제한을 적용합니다. 바인딩에는 라우팅 메타데이터도 들어 있어 UUID 매핑을 따로 조회하지 않습니다.
HTTP API 경로에서 Workers KV를 쓰는 이유는 캐시 적중률만이 아닙니다. Hyperdrive에도 캐시가 있지만, Workers KV는 내구성 있는 저장소입니다. KV의 엣지 캐시에서 항목이 빠져도 KV 자체 스토리지가 읽기를 처리하므로 Postgres까지 갈 필요가 없습니다. 캐시가 대규모로 비워진 뒤 수백만 데이터베이스가 라우팅 정보를 한꺼번에 조회하면 metastable failure로 이어질 수 있습니다. 캐시 뒤에 무엇이 남아 있는지가 중요한 차이입니다.
Workers KV에서 항목 자체를 찾지 못하는 드문 경우에는 다른 경로가 있습니다. 생성 중 KV 쓰기가 실패했거나 가용성 문제로 매핑을 얻지 못하면, Postgres 읽기 복제본을 향하는 Hyperdrive로 조회합니다. 여기서도 바로 Postgres에 닿지는 않습니다. Hyperdrive는 호출 위치의 캐시와 Postgres 클러스터 근처의 캐시를 차례로 확인하고, 둘 다 비어 있을 때만 복제본을 읽습니다.
DO를 이름으로 찾지 않고 newUniqueId()로 만든 ID를 쓰는 것도 조회 경로와 관련이 있습니다. 이름을 쓰면 이름에서 DO ID로 바꾸는 중앙 매핑 조회가 필요합니다. D1에는 Eyeball Worker가 사용할 DO 네임스페이스를 고르기 위한 메타데이터도 필요하므로, 이름 방식으로 바꿔도 기존 조회를 없애지 못하고 조회 하나가 둘로 늘어납니다.
이 선택을 모든 애플리케이션에 적용하라는 뜻은 아닙니다. Cloudflare는 자사 애플리케이션을 포함해 대부분의 경우 이름 방식이 잘 맞는다고 설명합니다. 자체 ID를 DO ID로 바꾸는 조회가 필요 없어지는 만큼, 이름으로 시작하고 꼭 필요할 때만 고유 ID로 옮기라는 권고입니다.
Postgres 기록으로 확정하는 데이터베이스 생성
D1에서 생성 완료의 기준은 Postgres에 기록한 메타데이터 한 행입니다. 최종 응답이 사용자에게 닿지 않았더라도 이 기록을 마쳤다면 데이터베이스는 생성된 것으로 봅니다. 이후 컨트롤 플레인 작업에 포함되며, Worker에 바인딩해 쿼리를 실행할 수 있습니다.
그 한 행을 쓰기까지는 서로 멀리 있는 시스템을 오가야 합니다. 요청이 들어오면 사용자와 가장 가까운 엣지의 Edge API Worker가 먼저 계정의 생성 한도를 확인합니다. 캐시를 켠 Hyperdrive로 Postgres 읽기 복제본에서 삭제되지 않은 데이터베이스 수를 가져오며, 이 조회의 캐시 TTL은 몇 초입니다.
Postgres와 여러 번 왕복해야 하는 관리 요청은 Postgres 클러스터 가까운 데이터 센터로 넘깁니다. 멀리서 왕복하면 수백 밀리초가 걸리지만 가까이서는 몇 밀리초면 됩니다. 생성 엔드포인트는 Postgres를 적어도 두 번 조회하므로 이 배치가 유리합니다. Postgres 쿼리가 한 번 이하인 엔드포인트는 Hyperdrive가 이미 Cloudflare 네트워크 안에서 효율적으로 라우팅하므로 실행 위치를 따로 옮기지 않습니다.
그렇다고 데이터베이스까지 Postgres 근처에 만들지는 않습니다. 옵션 없이 생성한 D1 데이터베이스는 원래 요청 위치 가까이에 놓여야 합니다. 이를 위해 DO를 초기화할 때는 원래 요청과 가까운 데이터 센터로 실행을 넘기고, 그곳에서 DO를 호출합니다. 위치 힌트나 jurisdiction을 지정했다면 Durable Object가 지원하는 해당 옵션을 초기화에 그대로 전달합니다. 비슷한 라우팅은 명시적인 Worker 배치 힌트와 런타임의 서비스 바인딩으로 구현할 수 있습니다.
생성 요청의 배치는 어느 한쪽만 보고 정하기 어렵습니다. Postgres를 여러 번 조회하면서 요청마다 위치가 다른 DO에도 장거리 호출을 해야 하기 때문입니다. D1은 이 조건에서 최초 요청을 Postgres 근처로 넘기는 쪽을 택했습니다.
실제 생성 단계에서는 데이터베이스 UUID와 newUniqueId()로 만든 DO ID를 발급한 뒤, 새 DO 스텁의 init(options) RPC를 호출합니다. DO는 계정과 데이터베이스 정보를 자신의 내구성 스토리지에 저장합니다. 이후 요청을 처리할 때 연결된 데이터베이스의 메타데이터를 이미 갖고 있도록 하기 위해서입니다. 초기화 응답을 받은 Edge API Worker가 Hyperdrive를 거쳐 Postgres 프라이머리에 메타데이터와 DO ID 매핑을 한 행으로 씁니다.
순서를 뒤집으면 안 됩니다. Postgres에 매핑을 먼저 저장하면 초기화가 끝나지 않은 DO로 쿼리가 들어가 거부될 수 있습니다. DO 초기화와 Postgres 쓰기는 재시도 루프로 감싸며, 어느 쪽이든 실패하면 데이터베이스 UUID와 DO ID를 모두 바꿔 다시 시도합니다.
Postgres 기록을 마친 뒤에는 waitUntil()에서 DO에 생성 확인 RPC를 보냅니다. DO는 데이터베이스가 활성 상태임을 확인하고 Workers KV에 메타데이터를 써서 후속 쿼리가 바로 읽게 합니다. 이 마지막 호출은 실패해도 생성 완료를 되돌리지 않습니다. 뒤에서 상태를 맞출 하트비트가 있기 때문입니다.
전체 과정을 Postgres 트랜잭션 하나로 묶으면 절차는 단순해집니다. 하지만 세계 반대편에 있을 수 있는 DO를 초기화하는 동안 Postgres 커넥션을 계속 잡아 두게 됩니다. D1이 지원하려는 규모에서는 이 방식으로 확장할 수 없었습니다.
실패한 생성과 낡은 상태를 바로잡는 하트비트
생성 요청이 끝난 뒤에도 DO는 컨트롤 플레인에 하트비트를 보냅니다. 기본 간격은 30초에 데이터베이스별 지터를 더한 값입니다. 데이터베이스나 계정별로 간격을 바꾸거나 하트비트를 끄는 조절 장치도 있습니다. 응답에는 데이터베이스의 활성·삭제 상태와 계정 한도가 담깁니다.
하트비트는 약간 오래된 정보를 허용합니다. 그래서 Hyperdrive의 여러 캐시 층이나 Postgres 읽기 복제본으로 처리할 수 있습니다. DO는 이 응답을 기준으로 자신의 상태를 Postgres에 맞춰 갑니다. 생성과 삭제의 기준이 되는 저장소는 Postgres입니다.
생성 중 DO A를 초기화한 뒤 Postgres 쓰기에 실패한 상황을 보겠습니다. Worker가 재시도하면서 새 UUID와 DO ID로 B를 초기화하고, 이번에는 Postgres 기록까지 성공합니다. 초기화된 DO는 둘이지만 사용자가 쿼리할 수 있는 것은 Postgres에 매핑이 남은 B뿐입니다. A는 다음 하트비트에서 자신의 데이터베이스가 존재하지 않는다는 응답을 받고 스스로 삭제 상태로 바뀝니다. 재시도 중 남은 고아 객체를 이렇게 정리합니다.
UUID와 DO ID를 모두 새로 만드는 이유도 여기에 있습니다. 데이터베이스 UUID를 재사용하면서 DO ID만 바꾸면 여러 DO가 같은 데이터베이스를 자신의 것으로 인식합니다. 하트비트로 상태를 맞추는 과정도 디버깅하기 어려워집니다.
생성 확인 RPC가 실패해 Workers KV를 갱신하지 못한 경우도 하트비트가 복구합니다. 다음 하트비트에서 DO는 KV 항목이 올바른 상태를 반영하도록 갱신합니다. Workers KV는 최종 일관성을 제공하며 일관된 읽기를 할 방법이 없으므로, 해당 항목에 대한 쓰기는 DO가 직렬화합니다.
삭제도 같은 방식입니다. DO가 자신의 삭제 상태를 Workers KV에 쓰고, 삭제 처리 중 이 갱신에 실패하면 하트비트가 나중에 바로잡습니다. DO는 활성·삭제 상태를 자신의 스토리지에도 보관합니다. KV에 예전 활성 상태가 남아 요청이 통과하더라도, 삭제된 DO는 쿼리를 즉시 거부할 수 있습니다. 외부 저장소와 DO 양쪽을 갱신하는 작업에서 하트비트가 상태 복구를 맡는 것입니다.
계정 하나에 쌓이는 수백만 데이터베이스의 사용량
스토리지 제한에는 약간의 지연을 허용했습니다. 글이 게시된 시점의 계정별 한도는 Free 플랜 5GB, Workers Paid 1TB이며, Workers Paid 한도는 요청하면 높일 수 있습니다. 사용량이 급증했다고 그 변화를 모두 동기로 처리하다 Postgres를 과부하에 빠뜨려서는 안 됐습니다.
각 DO가 보고하는 사용량은 엣지 서버별로 로컬에서 집계한 뒤 Kafka 유사 큐에 발행합니다. Core에서 실행되는 컨슈머가 이를 묶어 비동기로 처리합니다. 컨슈머 수를 제한하면 Postgres에 가해지는 쓰기 부하도 제한할 수 있습니다. 사용량 정보가 잠시 뒤처지는 것을 허용하고, 큐로 중앙 Postgres에 들어가는 쓰기를 분산하고 묶는 방식입니다.
컨슈머는 데이터베이스별로 가장 최근에 보고된 크기를 database_stats에 저장합니다. 하지만 한도를 판단할 때 필요한 값은 계정 전체의 합입니다. 그때마다 SELECT sum(storage) FROM database_stats WHERE account_id = ?를 실행하면 조회 비용이 계정의 데이터베이스 수에 비례해 늘어납니다. 데이터베이스가 수백만 개인 계정에서 계속 실행할 쿼리로는 맞지 않습니다.
D1은 계정 ID로 총사용량을 바로 찾는 account_database_stats 테이블을 두고 합계를 미리 계산합니다. 여기에 매번 직접 더하는 것도 문제가 됩니다. 컨슈머가 사용량 갱신마다 데이터베이스별 행과 계정별 합계 행을 함께 수정하면, 큰 계정의 합계 한 행에 쓰기 락 경합이 집중됩니다.
그래서 변경분을 먼저 쌓습니다. 컨슈머가 database_stats를 갱신하면 트리거가 이전 크기와 새 크기의 차이를 계산해 account_database_stats_changes에 한 행으로 넣습니다. 이 테이블에는 같은 계정의 변경분이 여러 행으로 쌓일 수 있습니다. 예약 작업은 1초마다 대기 중인 변경분을 모아 계정별로 합산한 뒤 account_database_stats에 반영합니다.
이때 DELETE ... RETURNING을 쓰는 CTE가 변경 행을 원자적으로 소비하고, 삭제하면서 꺼낸 행을 다음 CTE로 넘깁니다. Postgres는 데이터를 변경하는 CTE를 정확히 한 번, 끝까지 실행합니다. 이어서 변경분을 계정별로 묶어 계정당 한 번의 집계 갱신을 적용하므로, 사용량 보고가 들어올 때마다 같은 합계 행을 갱신하던 경합을 피할 수 있습니다.
이 합계는 최종 일관성을 갖습니다. DO에서 Postgres로 사용량을 보내는 단계부터 이미 큐의 지연을 허용했으므로 집계에도 같은 조건을 적용했습니다. Cloudflare의 다른 팀들도 이 패턴을 사용합니다. 계정에 리소스가 늘어날 때마다 공통 조회 비용까지 커지는 문제를 줄일 수 있기 때문입니다.
같은 계정의 하트비트가 공유하는 Hyperdrive 캐시
미리 계산한 합계는 DO의 하트비트에서 읽습니다. SELECT storage FROM account_database_stats WHERE account_id = ?로 계정 사용량을 가져와 권한과 등급별 한도에 비교합니다. 합계가 한도를 넘으면 데이터베이스 크기를 늘리는 쓰기를 모두 막습니다.
이 조회도 Hyperdrive 캐시와 Postgres 읽기 복제본을 사용합니다. 캐시 키에는 쿼리와 모든 매개변수 값이 들어갑니다. 계정 ID만 매개변수로 받으면 같은 계정의 모든 데이터베이스가 캐시 값을 공유합니다. 수백만 개의 활성 데이터베이스가 있는 계정에서도 대부분의 하트비트가 캐시된 계정 정보를 읽고 끝나며, Postgres까지 가지 않습니다.
더 정확한 허용량을 구할 방법은 있습니다. 계정 ID와 데이터베이스 ID를 함께 받아 계정 총합에서 현재 데이터베이스의 크기를 빼면, 해당 데이터베이스가 얼마나 더 커져도 되는지 계산할 수 있습니다. 그러면 제한을 더 일찍 적용할 수 있지만 데이터베이스 ID도 캐시 키에 들어갑니다. 같은 계정의 데이터베이스끼리 캐시를 공유하지 못해 적중률이 크게 떨어집니다. D1은 계정 단위 캐시를 유지하고, 사용량 변화에 제한이 약간 늦게 반응하는 것을 받아들였습니다.
캐시 만료에도 작은 조정이 들어갑니다. Hyperdrive의 기본 만료 시간은 60초이고 캐시 설정은 모든 쿼리에 적용됩니다. 특정 쿼리만 더 짧은 간격으로 새 값을 읽도록 D1은 dynamic_ttl 매개변수를 추가합니다.
계정 ID를 $1에, Math.floor(Date.now() / (X * 1000)) 값을 $2에 넣어 SELECT storage, $2 as dynamic_ttl FROM account_database_stats WHERE account_id = $1을 실행합니다.
X초마다 매개변수 값이 바뀌면 캐시 키도 달라집니다. 캐시 설정 전체를 바꾸지 않고도 해당 쿼리가 더 일찍 새 값을 읽도록 만드는 방법입니다. 데이터베이스 ID를 추가하지 않으므로 같은 시간 구간의 계정별 캐시 공유도 유지합니다.
스토리지 과금 기록은 별도로 남깁니다. Postgres의 사용량 정보를 주기적으로 ClickHouse 클러스터에 스냅숏으로 저장해 시간에 따른 변화를 조회합니다. 이 ClickHouse 이벤트가 스토리지 사용량 과금의 기준입니다.
하루치 행 사용량을 계산하는 ClickHouse와 Limiter
무료 등급의 일일 실행 사용량 제한은 Postgres를 거치지 않습니다. DO는 SQL 쿼리를 실행할 때 읽고 쓴 행 수를 추적하며, 필요한 경우 인덱스 갱신도 포함합니다. 실행이 끝나면 사용량 이벤트를 발행해 스토리지 기록과는 다른 ClickHouse 클러스터에 저장합니다. 이 이벤트는 행 사용량에 따른 과금에도 쓰입니다.
Core에서 실행되는 중앙 컴포넌트 Limiter는 ClickHouse에서 그날 시작 이후의 읽기·쓰기 사용량을 주기적으로 합산합니다. 이런 분석 쿼리는 ClickHouse가 Postgres보다 잘 처리합니다. Postgres에 분석 부하를 주지 않는 이점도 있습니다.
Limiter는 한도를 넘긴 계정의 권한과 등급을 확인합니다. 제한 대상인 무료 계정이면 같은 날 중복 발송되지 않도록 이메일을 보내고, 내부 전역 KV 저장소인 Quicksilver에 제한 키를 기록합니다. 키는 그날이 끝날 때 만료됩니다. Quicksilver는 초 미만 단위로 데이터를 복제하며, DO는 엣지에서 이를 주기적으로 확인합니다. 계정이 제한된 상태라면 제한이 풀릴 때까지 이후의 쿼리 실행을 거부합니다.
계정이 Workers Paid로 업그레이드하면 큐 메시지를 받아 Quicksilver의 키를 지웁니다. 사용량 분석부터 제한 상태 전달과 해제까지, 이 흐름 전체에서 리전 Postgres에 부하를 주지 않습니다. Developer Platform 이용자도 Quicksilver 기반의 Workers KV Instant를 사용할 수 있습니다.
이 패턴은 Cloudflare 안에서 널리 쓰이지만, D1의 스토리지 제한은 앞서 설명한 Postgres 집계와 하트비트 방식을 사용합니다. D1 팀은 향후 다른 사용량 제한도 ClickHouse와 전역 KV를 사용하는 방식으로 옮길 가능성을 열어 두고 있습니다.
성장 수치와 주기·한도 설정값
| 항목 | 값 |
|---|---|
| 살아 있는 데이터베이스 수 증가 (2026-10-08 기준) | 1년 15배, 2년 65배 |
| 일간 활성 데이터베이스 증가 | 1년 18배 |
| 하트비트 간격 | 30초 + 데이터베이스별 지터 |
| 생성 흐름의 계정 데이터베이스 수 조회 캐시 TTL | 몇 초 |
| 스토리지 한도 | Free 계정당 5GB, Workers Paid 1TB (요청 시 상향) |
| 변경 집계 예약 작업 주기 | 1초 |
| Hyperdrive 캐시 기본 만료 | 60초 (dynamic_ttl로 쿼리별 조정) |
| 행 사용량 제한 대상 | 무료 등급, 하루 단위 |
| 생성 예시 (wrangler d1 create) | 총 1.614초, 리전 WEUR |