본문으로 건너뛰기
복제본 사이에서도 읽기 순서를 지키는 D1 Sessions
목차

복제본 사이에서도 읽기 순서를 지키는 D1 Sessions (2024-04)

원문 정보

  • 원문: Building D1: a Global Database
  • 매체 · 게시일: The Cloudflare Blog · 2024-04-01
  • 저자: Vy Ton, Justin Mazzola Paluska
  • 원문 내용을 바탕으로 재구성한 요약입니다.

한곳의 D1까지 왕복하는 Workers

Workers는 사용자와 가장 가까운 데이터 센터에서 실행됩니다. 데이터까지 가까워지는 것은 아닙니다. 애플리케이션은 전 세계 요청에 맞춰 확장되지만, 중앙에 있는 데이터베이스를 읽으려면 그 위치까지 왕복해야 합니다. 2024년 4월 정식 출시된 Cloudflare의 서버리스 관계형 데이터베이스 D1도 데이터베이스 하나를 한 위치에 둡니다.

Smart Placement는 데이터베이스처럼 자주 접근하는 중앙 백엔드 가까이에서 Worker를 실행해 지연을 줄입니다. Worker를 어디서 실행할지는 해결했지만, 데이터를 어디에 둘지는 여전히 남은 문제입니다. Cloudflare는 D1의 다음 단계로 비동기 읽기 복제를 준비하고 있습니다.

한곳에 있는 현재의 D1은 SQLite가 제공하는 snapshot isolation을 유지합니다. 활성 사본을 최대 하나로 제한하고 모든 HTTP 요청을 그 사본으로 보내는 방식입니다. 전 세계에서 활성 사본이 하나뿐임을 보장하는 일은 까다롭지만, D1은 전역 유일성을 보장하는 Durable Objects 위에 구축했습니다. 요청은 해당 D1 Durable Object로 보내면 됩니다.

읽기 복제본을 늘리면 이 방식도 바뀌어야 합니다. 일반 HTTP 요청만 보고 관련 요청을 언제나 같은 복제본으로 보낼 확실한 방법은 없기 때문입니다.

두 번째 조회에서 되감긴 시간

읽기 복제본은 기본 DB의 업데이트를 비동기로 전달받는 읽기 전용 사본입니다. 여러 복제본에 부하를 나누면 처리량을 높일 수 있고, 사용자 가까이에 복제본을 두면 조회 지연도 줄일 수 있습니다. 대신 업데이트가 도착하기 전까지 복제본은 기본 DB보다 뒤처집니다. 이 차이가 복제 지연(replica lag)입니다.

업데이트가 끝날 때까지 기다리는 동기 복제를 쓰면 어떨까요? 쓰기가 모든 복제본의 확인을 기다리므로 시스템은 가장 느린 복제본의 속도에 맞춰집니다. 복제본에 장애가 나면 멈추기도 합니다. 전 세계에서 성능을 높이려는 Cloudflare가 가능한 한 동기 복제를 피하려는 이유입니다.

비동기 복제에서 애플리케이션을 곤란하게 만드는 것은 단순히 오래된 데이터를 읽는 일만은 아닙니다. 복제본 A는 기본 DB보다 100ms, B는 2초 뒤처진다고 가정합니다. t=10s에 A로 보낸 첫 질의는 t=9.9s의 상태를 읽습니다.

애플리케이션이 그 결과로 0.5초 동안 계산한 뒤, t=10.5s에 두 번째 질의를 B로 보냅니다. 이번에 읽는 상태는 t=8.5s입니다. 나중에 보낸 질의가 더 오래된 데이터를 읽었습니다. 애플리케이션이 보기에는 데이터베이스의 시간이 거꾸로 흐른 것입니다.

커밋된 데이터만 읽는다는 read committed 보장은 남습니다. 하지만 자신이 쓴 데이터를 다음 조회에서 읽을 수 있다는 보장조차 없습니다. 허용되는 경쟁 상태가 많아 애플리케이션의 동작을 추론하기 어려워집니다.

한 서버에 계속 질의한다면 복제본의 데이터가 조금 오래됐더라도 그 DB가 제공하는 일관성 모델은 유지됩니다. 문제는 세션 도중 복제본이 바뀌는 순간입니다. D1은 같은 복제본에 머무르는 데 의존하지 않고도 질의의 순서를 지킬 방법이 필요했습니다.

마지막 질의의 순서를 이어 받는 D1 Sessions

Cloudflare가 제안한 방법은 요청에 앞서 본 커밋의 정보를 담는 것입니다. 어느 복제본에 도착하든 그 정보를 기준으로 읽을 시점을 정합니다. 이를 위해 추가할 Sessions API는 한 브라우저나 모바일 앱의 요청처럼 논리적으로 이어지는 질의를 Session으로 묶고, 그 안에서 순차 일관성(sequential consistency)을 보장하도록 설계했습니다.

기준이 되는 값은 Lamport 타임스탬프 역할을 하는 단조 증가 commit token입니다. 모든 쓰기는 기본 DB로 보내 커밋의 전체 순서를 정합니다. 읽기는 어느 복제본으로 가도 되지만, 해당 token과 같거나 더 최신인 커밋을 반영한 복제본에서 실행해야 합니다. 아직 그 상태에 도달하지 않았다면 업데이트를 기다립니다.

이 설계에서는 Session 안에서 자신이 쓴 데이터를 읽을 수 있고, 읽기 뒤에 수행한 쓰기의 순서도 지킵니다. 모든 복제본이 트랜잭션 커밋을 보는 순서 역시 같습니다. 읽기가 많은 워크로드가 늘 같은 복제본에 도착하는 흔한 경우에는 빠르게 처리하면서, 도중에 복제본이 바뀌는 경우도 지원하는 방식입니다.

순차 일관성이 모든 복제본의 최신 상태를 보장하지는 않습니다. 개별 복제본은 임의로 오래된 상태에 머물 수 있습니다. D1은 이 단서를 API에 드러내 개발자가 세션의 시작 조건을 고르도록 했습니다. 제안된 db.withSession(<condition>)의 인자는 첫 질의의 기준을 정하며, 이후 질의에는 순차 일관성이 적용됩니다.

조건 인자세션의 시작 방식
commit token지정한 token 시점부터 시작
first-unconditional첫 질의가 읽기면 도착한 복제본의 현재 상태를 읽고 그 token을 기준으로 사용. 쓰기면 기본 DB에서 실행하고 쓰기의 token을 기준으로 사용
first-primary첫 질의를 읽기·쓰기 구분 없이 기본 DB에서 실행
인자 없음 또는 nullfirst-unconditional로 처리

Session을 하나의 HTTP 요청 안에 가둘 필요도 없습니다. 예제에서는 x-d1-token 요청 헤더로 받은 마지막 token을 env.DB.withSession(token)에 전달합니다. 성공한 응답의 헤더에는 session.latestCommitToken을 담아 브라우저로 돌려보냅니다. 브라우저가 다음 요청에 이 값을 보내면 이전 요청에서 이어진 순서를 유지할 수 있습니다.

주문을 추가하는 INSERT 뒤에 SELECT COUNT(*)를 실행하는 경우도 같은 원리입니다. 두 질의 사이에 복제본이 달라져도 개수를 세는 질의가 새 주문의 삽입 뒤에 실행되도록 합니다.

이 API는 개발자가 명시적으로 선택해야 합니다. 기존 API는 snapshot isolation을 유지하고, 새 Sessions API로 보낸 질의만 복제본을 사용하도록 할 계획입니다. 일관성 모델이 바뀌는 만큼 기존 애플리케이션의 동작을 그대로 바꾸지는 않습니다.

읽기 복제 자체의 운영은 Cloudflare가 맡을 예정입니다. D1 트래픽을 관찰해 사용자 가까운 여러 서버에 복제본을 자동으로 만들고, 개발자가 복제본을 구성하거나 관리하지 않아도 되게 하려는 계획입니다. 복제에 따른 추가 사용량·저장 비용도 받지 않을 예정입니다. 2024년 4월에는 이 설계를 구현하는 작업이 진행 중이었으며, Discord #d1 채널에서 피드백을 받고 있었습니다.

프로덕션 워크로드를 위한 D1 GA

읽기 복제를 개발하는 동안, D1은 한곳의 데이터베이스로 프로덕션 워크로드를 운영할 기반을 다졌습니다. 2022년 말 알파에서 시작해 2023년 10월 오픈 베타를 거쳤고, GA까지 신뢰성과 확장성, 개발자 경험을 개선했습니다.

D1은 SQLite의 SQL 방언을 사용하며 Workers나 HTTP API로 접근합니다. Drizzle ORM 같은 도구와 통합되고, Prisma ORM 5.12.0도 Workers와 D1을 지원합니다. 별도 프로비저닝 없이 사용량에 따라 비용을 내며, Time Travel을 기본 재해 복구 수단으로 제공합니다. 무료 구간에서 실험한 뒤 프로덕션으로 옮겨 갈 수도 있습니다.

GA에서는 데이터베이스 크기가 최대 10GB로 늘었고, Workers Paid 요금제에서 DB 5만 개를 사용할 수 있게 됐습니다. 비즈니스 개체마다 DB를 따로 두는 방식으로 수평 확장할 수 있습니다. 베타 이후의 새 D1 DB는 알파 DB보다 같은 기간 40배 많은 요청을 처리합니다.

데이터를 옮기는 작업도 손봤습니다. DB 마이그레이션 시험, 로컬 개발·테스트용 사본, 규정 준수 요건에 따른 수동 백업에는 대량 가져오기와 내보내기가 쓰입니다. Cloudflare는 큰 가져오기가 DB를 중간 상태로 남기지 않는 원자적 작업이 되도록 wrangler d1 execute --file을 개선 중이라고 밝혔습니다. wrangler d1 execute의 기본 실행 대상은 로컬로 바뀌어 원격 프로덕션 DB를 보호합니다.

wrangler d1 export는 스키마와 데이터를 SQL 파일로 내보냅니다. 단일 테이블을 지정하거나 스키마만, 데이터만 내보내는 것도 가능합니다. 느린 질의를 찾을 때는 실험 기능인 wrangler d1 insights로 평균 실행 시간 상위 질의 등의 성능 지표를 분석할 수 있습니다. 같은 지표는 GraphQL API에서도 제공합니다.

수치와 제약
항목값
알파 시작2022년 말
오픈 베타2023-10
GA2024-04
최대 DB 크기10GB
Workers Paid당 DB 수5만 개
베타 DB 대 알파 DB 요청 처리량40배
Prisma ORM 지원 버전5.12.0
Sessions 읽기 복제 상태설계 실현 작업 중
마지막 수정 일자