본문으로 건너뛰기
Cloudflare 데이터를 잇는 Town Lake와 Skipper
목차

Cloudflare 데이터를 잇는 Town Lake와 Skipper (2026-05)

원문 정보

질문 하나에 따라붙던 사내 지식

“오늘 가입한 도메인 중 트래픽 상위 100개에 든 도메인은 몇 개입니까?”

Cloudflare에서 이 질문에 답하려면 꽤 많은 사내 지식이 필요했습니다. 초당 10억 건이 넘는 이벤트를 처리하는 회사였지만, 데이터를 찾아 쓰는 일은 별개였습니다. 분석가는 어느 시스템에 어떤 인증 정보로 접속해야 하는지, 무슨 쿼리 언어를 써야 하는지부터 알아야 했습니다. 찾은 데이터가 샘플링된 것인지, 방금 들어온 것인지, 일주일 전 것인지도 확인해야 했습니다.

데이터는 production 데이터베이스, ClickHouse 클러스터, Kafka 스트림, Google Cloud 버킷, BigQuery 데이터셋에 흩어져 있었습니다. 계정별 청구 대상 Workers 요청을 찾으려면 특정 ClickHouse 테이블과 Postgres 테이블을 알아야 했고, 조인에는 잘 알려지지 않은 고객 ID 변환까지 필요했습니다. 일부 중요 데이터는 외부 클라우드에 의존했습니다. 데이터 인프라를 중요한 기반 시설보다 업무 지원 기능으로 보던 문화도 과제였습니다.

데이터를 모으기만 해서 끝날 문제도 아니었습니다. 대시보드를 빨리 띄우기 위한 다운샘플링으로는 고객에게 청구할 사용량을 정확히 계산하지 못합니다. Cloudflare가 원한 것은 질문의 성격에 맞는 데이터였습니다. 청구·보안 조사에는 최신의 정확한 비샘플링 데이터를, 대시보드·탐색에는 빠른 다운샘플링 데이터를 제공해야 했습니다.

이 요구에서 단일 SQL 인터페이스인 Town Lake가 출발했습니다. 적절한 권한과 업무상 필요가 있는 직원이라면 SQL을 몰라도 질문하게 하자는 목표는 AI 데이터 에이전트 Skipper로 이어졌습니다.

여러 저장소를 한 번에 읽는 Town Lake

Town Lake는 객체 스토리지 위에 메타데이터 계층과 쿼리 엔진을 둔 레이크하우스입니다. 쿼리 엔진으로 선택한 Apache Trino는 Postgres, ClickHouse, R2의 Iceberg 테이블을 하나의 SQL로 조인합니다. 중간 결과를 다른 시스템에 옮겨 담을 필요가 없습니다.

예를 들어 이번 주 Workers 요청 수가 가장 많은 유료 고객 100곳을 찾는 쿼리는 ClickHouse에 필터를 적용하고, Postgres의 계정 정보와 조인한 뒤, R2의 청구 집계 데이터를 함께 사용해 순위를 구합니다. 저장소가 달라도 질문을 여러 작업으로 나눌 필요가 없어진 것입니다.

오래되었거나 접근 빈도가 낮아진 데이터는 관리형 Apache Iceberg 서비스인 R2 Data Catalog에 둡니다. Iceberg는 스키마 변경, 과거 시점 조회, 파티션 변경을 지원하며, 데이터가 오래되면 집계 단위를 넓혀 저장 비용을 줄이도록 합니다. 지난주의 분 단위 사용량을 시간 단위로, 지난 분기의 시간 단위 사용량을 일 단위로 합치는 식입니다. 데이터는 계속 조회할 수 있고, R2의 Parquet 파일은 같은 데이터를 OLAP 데이터베이스에 유지하는 것보다 저렴합니다.

운영 시스템에서 R2로 데이터를 옮기는 수집 계층은 Kubernetes에서 실행합니다. 장기 실행 배포인 오케스트레이터가 파이프라인 설정을 읽고 단기 작업을 생성합니다. 작업은 Postgres나 ClickHouse에서 데이터를 추출해 Parquet으로 변환한 뒤 R2의 Iceberg 테이블에 적재하며, 각 파이프라인은 전체 교체 또는 증분 추가 방식으로 동작합니다.

첫 사용처는 청구였습니다. 고객용 Billable Usage Dashboard와 청구서 발행 시스템은 R2의 Iceberg 테이블을 기준으로 삼고, 같은 (date, account_id, metric_name, usage) 행을 읽습니다. 대시보드에 표시한 수치와 청구서의 수치가 일치하는 이유입니다. 최근 측정 기간에는 직원 324명이 청구 관련 쿼리 91,760건을 실행했으며, 이는 Town Lake 전체 쿼리의 53%였습니다. 고객별 매출을 집계하던 기존 200~300줄 SQL도 5줄로 줄었습니다.

검토를 마쳐야 열리는 테이블

여러 저장소를 한곳에서 조회하게 만들면 민감한 데이터에 접근하는 범위도 넓어집니다. Town Lake는 기본값을 차단으로 정했습니다. 새 데이터베이스를 연결하거나 테이블을 만들면 Skimmer가 검사한 뒤 중앙 허용 목록에 검토 대기 상태로 등록합니다. 테이블과 개별 컬럼을 검토자가 승인하기 전까지는 조회가 막힙니다.

Skimmer는 모든 테이블의 각 컬럼에서 행을 샘플링하고 Workers AI로 개인정보인 PII를 탐지합니다. 먼저 빠른 컬럼별 분류를 수행하고, 의심 항목이 나오면 에이전트가 테이블 전체 맥락을 읽고 Trino에 직접 쿼리해 확인합니다. 이메일·IP·이름·전화번호뿐 아니라 특정 접두사의 API 토큰이나 사용자를 추적할 수 있는 불투명한 ID도 탐지 대상입니다. 결과는 DataHub와 Lifeguard의 허용 목록으로 보내 사람이 검토하게 합니다.

Lifeguard는 실제 접근 정책을 관리합니다. D1에 저장한 규칙과 내부 권한 관리 시스템의 사용자·그룹 정보를 합쳐 JSON 정책을 만들고, Trino가 이를 HTTP로 읽습니다. Skipper와 Gateway에도 기본 접근 정보를 제공하므로 권한이 없는 요청은 쿼리를 실행하기 전에 차단됩니다.

매번 검토를 기다려야 한다면 사용하기 불편할 수밖에 없습니다. 이를 줄이는 장치가 자동 탐지와 셀프서비스 요청입니다. 검토자는 탐지 결과를 보고 승인하거나 판정을 수정하거나 거부하며, 대부분의 검토는 수초 안에 끝납니다. 사용자가 접근할 수 없는 테이블을 조회하면 단순한 권한 오류 대신 검토 요청 경로를 안내합니다. Skipper는 가입을 요청할 RBAC 그룹과 링크까지 제시합니다.

테이블의 존재를 아는 권한과 데이터를 읽는 권한도 분리했습니다. 미검토 컬럼은 DESCRIBE, SHOW COLUMNS, SELECT *에서 숨깁니다. 덕분에 승인된 테이블에 새 컬럼이 들어와도 기존 컬럼을 쓰던 대시보드는 계속 작동합니다. 민감한 컬럼은 Trino가 기본적으로 가리며, 원본 PII가 필요한 사용자는 세션에서 접근을 명시적으로 활성화하고 권한 검사를 통과해야 합니다. 이 전환과 모든 쿼리는 로그에 남습니다.

Skipper 역시 호출한 사용자의 권한으로만 동작합니다. 저장한 쿼리를 동료에게 공유해도 열람 시점에 권한을 다시 확인합니다. 저장 이후 그룹 소속이 바뀔 수 있기 때문입니다. 내부 도구에 삽입한 대시보드에도 같은 원칙을 적용합니다. CSP의 frame-ancestors로 회사 도메인 밖의 삽입을 막고, Cloudflare Access가 iframe 내부 인증을 맡습니다. 소유자가 아닌 열람자는 원본 테이블의 접근 권한도 확인받습니다.

어려운 작업은 이런 기반을 갖추는 데 있었습니다. Trino와 Iceberg 자체는 새로운 기술이 아닙니다. 행별 접근 제어, 기본 차단 허용 목록, 쿼리 감사, 유효기간이 있는 자격 증명, PII 탐지에 더해 멱등적 수집과 스키마 변경까지 처리해야 실제로 안심하고 쓰는 플랫폼이 됩니다.

틀린 숫자를 확신하던 Skipper

Skipper에 지난 30일간 R2 저장 비용이 가장 큰 고객 10곳과 이전 30일 대비 변화를 물으면, DataHub에서 테이블을 찾고 스키마·계보를 읽어 SQL을 작성합니다. Trino에 쿼리를 제출하고 결과를 받아 표나 차트로 보여 줍니다. 이어서 지역별로 나누고 Cloudflare 내부 계정은 제외해 달라고 요청하면 앞선 맥락을 유지하며 쿼리를 고칩니다. 조인 결과가 비거나 필터가 예상과 다르게 작동하면 원인을 조사하고 다시 실행합니다.

이 흐름을 만드는 데 가장 까다로웠던 것은 맥락이었습니다. 초기 실험에서 모델은 테이블 이름과 SQL 프롬프트만 받고 조인을 지어내거나 컬럼을 잘못 썼습니다. 틀린 숫자도 확신했습니다.

출발점은 DataHub에 모은 정보였습니다. 테이블·컬럼 설명, 타입, 기본키와 외래키, 소유 팀, 상하위 데이터 계보에 과거 쿼리에서 자주 쓰인 조인 관계까지 제공합니다. 담당 팀이 적은 “계정당 한 행이며, 각 계정은 고객 하나에 속한다”는 설명은 행의 단위를 알려 줍니다. curated 태그는 검증된 테이블을 우선하도록 돕습니다.

정확도가 크게 나아진 계기는 테이블을 만드는 SQL까지 참고하기 시작한 때였습니다. Transformer는 실행에 성공할 때마다 노드별 .meta.json 문서를 DataHub에 보냅니다. Skipper는 스키마에 더해 계산 규칙을 읽습니다. 예를 들어 fct.billings_allocated의 alloc_amount는 연간 청구라면 billed_amount / 12, 월간 청구라면 billed_amount입니다.

컬럼의 값만 보아서는 놓치는 조건도 있습니다. customer_type에 contract, paygo, free가 들어간다는 사실만으로는 Salesforce 데이터가 없을 때 paygo를 기본값으로 쓴다는 규칙을 알 수 없습니다. 그 의미는 SQL에 담겨 있습니다.

사람이 작성한 짧은 데이터 모델 문서도 MCP 리소스로 제공합니다. 청구·고객·계정·zone을 어떻게 이해해야 하는지, 어떤 테이블을 선호하거나 피해야 하는지, 어떤 용어로 검색해야 하는지를 설명합니다. 그래도 판단이 어려우면 Skipper가 Trino에서 스키마, 고유값, 행 수를 직접 확인합니다. 이런 실행 시점 쿼리는 비용이 커서 제한적으로 사용합니다.

이제 매출 상위 100개 고객을 찾거나, 글 앞에서 물었던 당일 가입 도메인의 트래픽 순위를 확인하는 데는 Skipper에서 약 3초가 걸립니다. 지출액 100달러 초과 고객의 청구 지원 티켓 상위 100개를 찾는 일도 며칠짜리 작업에서 한 번의 질문으로 바뀌었습니다. Bot Management는 최근 48시간의 점수 0.9 초과 ML 이벤트를 ASN과 지역으로 좁혀 조사합니다. 위협 연구자는 자체 쿼리 도구를 만들었고, Trust & Safety는 악용 대응에 필요한 신호를 조회합니다.

도구 호출을 코드로 묶은 Code Mode

초기 Skipper는 도구를 쓰는 순서까지 자세히 지시받았습니다. 먼저 검색하고, 엔터티 정보를 가져오고, 필요하면 필드를 나열하라는 식이었습니다. 오히려 품질이 떨어졌습니다. 상위 수준의 지침만 남기고 모델이 분석 경로를 선택하게 하자 결과가 나아졌습니다.

도구의 역할이 겹치는 것도 문제였습니다. 결과 조회 도구만 별도로 3개를 제공하자 모델이 잘못 고르는 일이 생겼습니다. 지금은 fetch_results 하나에 mode를 inject / display / both로 지정합니다. 반복해서 교정하던 필터 조건과 테이블 선택 규칙은 기억 계층에 남겨, 대화가 바뀔 때마다 같은 내용을 다시 배우는 일을 줄였습니다.

MCP 서버에서는 호출 방식도 바꿨습니다. 도구를 하나씩 호출하면 도구 5개를 쓰는 흐름에 모델 왕복도 5번이 필요하고, 매번 맥락을 다시 구성해야 합니다. Code Mode는 개별 도구 30개 대신 search와 execute를 노출합니다. 모델은 전체 도구 집합을 프로그램으로 호출하는 JavaScript를 작성하고, WorkerLoader가 이를 격리된 Dynamic Worker 환경에서 실행합니다. 여러 단계의 작업을 한 번의 모델 왕복에 담아 처리 속도를 높이고 비용을 줄였으며, 작업 흐름 자체를 코드로 감사하도록 했습니다.

Skipper는 Workers AI 기반 에이전트 실행 환경을 갖춘 Worker에서 제공됩니다. 로컬 에이전트 작업에는 MCP 서버로 연결하며, MCP를 지원하는 IDE에서도 이미 사용합니다. 도구의 범위도 조회에 그치지 않습니다. 차트를 내부 공유용 대시보드로 묶거나 Transformer의 변환 그래프를 만들고 Lifeguard에서 권한을 확인하는 작업까지 지원합니다.

셀프서비스 데이터 엔지니어링을 향한 Transformer

현재 Transformer는 Workflows 기반 ELT 엔진입니다. 사용자가 SQL 변환과 YAML frontmatter로 대상 테이블, 구체화 방식, 의존성, 일정을 정의하면 이를 DAG로 구성해 Trino에서 실행합니다. 상태는 Durable Objects, 정의는 R2, 실행 이력은 D1에서 관리합니다.

Cloudflare는 이 과정을 각 팀이 스스로 데이터셋을 만드는 환경으로 확장하려 합니다. 목표는 SQL 파일 몇 개와 .meta.json 설명을 작성하면 Workflow로 배포하고, 일정 설정과 모니터링을 자동으로 처리하며, 추가 작업 없이 DataHub와 Skipper에서 찾게 하는 것입니다. 소프트웨어를 셀프서비스로 개발하듯 데이터셋도 만들게 하려는 방향입니다.

Skipper는 내부 채팅·티켓 시스템과 더 깊게 통합할 계획입니다. 장애를 조사하거나 프로젝트 범위를 잡거나 가설을 확인할 때 데이터를 묻는 일을 자연스러운 출발점으로 만들려 합니다. Cloudflare의 서버리스 분산 분석 쿼리 엔진인 R2 SQL도 기능이 확대되면 Town Lake 작업 흐름의 여러 부분을 이전할 계획입니다.

처리 규모·측정 결과·설정 예시
항목값
Cloudflare 전체 이벤트·네트워크 규모초당 10억 건 초과, 120개 이상 국가의 330개 이상 도시
다운샘플링하는 분석 파이프라인 규모초당 7억 건 이상 처리
데이터 노후화에 따른 집계 예시지난주 분 단위 사용량을 시간 단위로, 지난 분기 시간 단위 사용량을 일 단위로 집계
청구 관련 쿼리 비중·이용 규모전체 쿼리의 53%; 최근 측정 기간 쿼리 91,760건, 직원 324명
고객별 매출 집계 SQL 길이기존 200~300줄에서 5줄
대표 비즈니스 질문 응답 시간매출 상위 100개 고객, 당일 가입 도메인 중 트래픽 상위 100개 포함 수 등의 질문에 약 3초
Bot Management 조사 조건최근 48시간의 점수 0.9 초과 ML 이벤트를 ASN·지역으로 필터링
고객 지원 검색 예시지출액 100달러 초과 고객의 청구 지원 티켓 상위 100개
MCP Code Mode 도구 구성개별 도구 30개 대신 search, execute 제공
결과 조회 도구 통합별도 도구 3개 대신 fetch_results의 mode를 inject / display / both로 지정
실행 시점 고유값 확인 예시SELECT DISTINCT col LIMIT 20
마지막 수정 일자