목차
읽지 않는 파트가 과금 집계를 늦춘 ClickHouse (2026-05)
원문 정보
- 원문: Our billing pipeline was suddenly slow. The culprit was a hidden bottleneck in ClickHouse
- 매체 · 게시일: The Cloudflare Blog · 2026-05-14
- 저자: James Morrison, Christian Endres
- 원문 내용을 바탕으로 재구성한 요약입니다.
2025년 3월 말, Cloudflare 과금 팀의 일일 집계가 점점 느려지고 있었습니다. 청구 마감도 다가왔습니다. 그런데 I/O와 메모리는 정상이었고, 개별 쿼리가 읽는 데이터와 파트 수도 그대로여서 평소 살피던 지표에서는 원인을 찾지 못했습니다.
집계가 끝나지 않으면 청구서도 나가지 않습니다. Cloudflare는 매일 ClickHouse를 수백만 번 호출해 사용량별 요금을 계산하며, 이 파이프라인은 수억 달러 규모의 사용량 매출과 사기 탐지 시스템 등을 뒷받침합니다. 조사 끝에 드러난 병목은 데이터를 읽기 전, 읽을 파트를 고르는 단계에 숨어 있었습니다.
모두에게 31일뿐이던 Ready-Analytics
문제의 출발점은 보존 기간이었습니다. Cloudflare가 2022년 초 만든 Ready-Analytics는 내부 팀이 테이블을 새로 설계하는 대신 하나의 거대한 공통 테이블에 데이터를 넣도록 한 분석 플랫폼입니다. 수백 개 애플리케이션이 사용했고, 2024년 12월에는 저장량이 2PiB를 넘었습니다.
데이터셋은 namespace로 구분하고 각 레코드는 표준 스키마를 따릅니다. 기본 키는 (namespace, indexID, timestamp)입니다. 문자열 필드인 indexID 덕분에 각 팀은 자신이 실행할 쿼리에 맞는 순서로 해당 namespace의 데이터를 정렬할 수 있습니다.
보존 기간에는 이런 유연성이 없었습니다. ClickHouse에 기본 TTL 기능이 없던 시절에 만든 보존 작업이 일별 파티션 중 31일이 지난 것을 삭제했기 때문입니다. 법률이나 계약 때문에 수년을 보관해야 하는 팀도, 며칠이면 충분한 팀도 Ready-Analytics를 쓰지 못하고 훨씬 복잡한 기존 도입 절차를 택해야 했습니다.
namespace마다 테이블을 만들면 보존 기간 문제는 해결됩니다. 대신 수천 개 테이블을 필요에 따라 관리할 새 자동화가 필요했습니다. Cloudflare는 파티셔닝 키를 (day)에서 (namespace, day)로 바꾸는 쪽을 택했습니다. 기존 파티션 삭제 시스템을 유지하면서 namespace별로 보존 기간을 정할 수 있는 방법이었습니다.
파트 총수가 늘어날 것은 알고 있었습니다. 그래도 모든 쿼리가 특정 namespace로 필터링되므로 개별 쿼리가 읽는 파트 수는 달라지지 않고, 성능에도 영향이 없으리라는 판단이었습니다.
새 구성에서는 max-min fairness 알고리즘으로 저장 공간도 배분했습니다. 공정하게 배정된 공간보다 적게 쓰는 namespace의 여유 용량을 더 필요한 namespace가 사용하도록 했고, 실제 클러스터의 디스크 사용률은 90%까지 높일 수 있었습니다. 마이그레이션은 2025년 1월에 시작됐습니다. Merge 테이블로 기존 테이블과 새 테이블을 묶어 새 데이터는 새 테이블에 쓰고, 기존 데이터는 보존 기간이 지나면 사라지게 하는 방식입니다.
CPU 그래프 밖의 긴 대기열
과금 팀의 신고는 마이그레이션 시작 약 두 달 뒤였습니다. 며칠간 조사한 끝에 쿼리 시간과 클러스터 전체 파트 수를 한 그래프에 놓자 뚜렷한 상관관계가 나타났습니다. 쿼리가 읽지 않는 파트도 존재하는 것만으로 비용을 만들고 있었습니다.
Cloudflare는 ClickHouse의 trace_log에서 leaf SELECT 쿼리를 골라 flame graph를 만들었습니다. 실행 코드의 트레이스에 사용자와 쿼리 ID 같은 메타데이터가 붙어 있어 조사 대상을 좁힐 수 있었습니다. CPU 그래프에서는 읽을 파트를 결정하는 쿼리 계획 단계가 두드러졌습니다. 샘플링된 CPU 시간의 45%가 filterPartsByPartition 함수에 쓰인 것입니다.
처음에는 파트를 제외하는 조건의 평가 순서를 바꿨습니다. 성능은 5% 좋아졌지만 큰 병목은 남았습니다. CPU 트레이스는 활성 스레드만 샘플링하므로, 대기 중이거나 비활성 상태인 스레드까지 포함하는 Real 트레이스로 다시 들여다봤습니다. 그제야 쿼리 시간의 절반 이상을 차지하던 잠금 대기가 보였습니다.
대기 장소는 파트 목록을 보호하는 MergeTreeData mutex였습니다. 계획 스레드마다 배타 잠금을 얻어 테이블의 전체 파트 목록을 복사하고, 잠금을 해제한 뒤에야 복사본에서 필요한 파트를 골랐습니다. 파트는 수만 개, 동시 쿼리는 수백 개였습니다. 이 쿼리들이 모두 한 줄로 서서 차례를 기다리고 있었습니다.
공유 잠금 뒤에 남은 복사 비용
계획기는 목록을 읽기만 합니다. 파트 목록을 수정하지 않는 작업에 배타 잠금을 걸 이유가 없으므로, Cloudflare는 이를 std::shared_lock으로 바꿔 여러 계획기가 임계 구역에 함께 들어가도록 했습니다. 잠금 경합이 사라졌고 쿼리 시간도 즉시 크게 줄었습니다.
이전 성능까지 돌아오지는 못했습니다. 다시 만든 Real flame graph에서는 leaf 쿼리 시간의 약 4분의 1이 전체 파트 벡터를 복사하는 데, 또 약 4분의 1이 추가 복사를 포함한 필터링에 쓰였습니다. 벡터 복사 자체는 저렴해 보여도, 원소가 수만 개인 목록을 초당 수백 번 복사하면 비용이 쌓입니다.
해법은 목록의 공유 복사본을 두는 것이었습니다. 쿼리 계획처럼 읽기만 하는 작업은 이 복사본을 참조하고, 삽입처럼 파트 집합을 바꾸는 작업이 생기면 캐시를 다시 생성하도록 했습니다. 계획기가 직접 복사하는 대상은 필터링을 마친 필요한 파트 목록뿐입니다. 성능은 다시 크게 개선됐습니다.
공유 잠금과 목록 복사 개선은 Cloudflare 내부에만 머물지 않았습니다. ClickHouse Inc. 유지관리자들과 설계를 조금 조정한 뒤 PR #85535로 upstream에 병합됐으며, ClickHouse 25.11부터 제공됩니다.
namespace 순서로 좁힌 탐색 범위
몇 달이 지나자 SELECT 쿼리 시간이 최적화 전 수준으로 돌아왔습니다. 파트 수가 계속 늘면서 성능이 나빠지는 속도는 느려졌지만, 파트 수와 지연의 관계는 남아 있었습니다. 새 flame graph가 가리킨 곳은 처음 손댔던 필터링 코드였습니다. 여전히 전체 파트를 선형으로 훑으며 하나씩 조건을 평가하고 있었습니다.
목록에는 활용하지 않은 정렬 순서가 있었습니다. 파트 목록은 파티셔닝 키 순서로 정렬돼 있고, 맨 앞의 namespace는 대부분의 쿼리가 필터링하는 항목입니다. Cloudflare는 파티션 ID의 namespace 부분을 기준으로 이진 탐색을 수행해 후보 범위부터 좁혔습니다. 그 범위 안에서는 기존 로직대로 각 파트에 나머지 조건을 적용합니다.
2026년 3월 이 패치를 배포하자 쿼리 시간이 50% 줄었습니다. 파트 수와 쿼리 시간 사이의 상관관계도 끊어졌습니다. 최초 지연 보고 때 replica당 30,000개였던 파트는 약 일 년 뒤 160,000개까지 늘었지만, 최적화를 거친 쿼리 시간은 안정적으로 유지됐습니다.
적용 범위에는 제약이 있습니다. namespace in (5,10) 같은 임의의 쿼리 조건으로까지 이 최적화를 일반화하기는 어렵습니다. Cloudflare는 query condition cache를 파트 필터링까지 확장하는 등 더 범용적인 방법을 검토하고 있습니다.
SELECT 밖에 남은 ZooKeeper의 부담
파트가 많아진 대가는 SELECT 지연에만 나타나지 않았습니다. ClickHouse의 모든 파트 메타데이터를 추적하는 ZooKeeper에도 문제가 생겼습니다. Cloudflare는 100GB ZooKeeper 클러스터의 사연을 언젠가 별도 글로 소개할 수도 있다고 덧붙였습니다.
패치로 당장의 과금 위기를 넘기고 숨을 돌릴 여유는 확보했습니다. 그러나 (namespace, day) 파티셔닝이 장기적으로도 적절한 선택인지, 결국 다른 아키텍처로 옮겨야 할지는 아직 열린 문제입니다.
운영 규모와 패치별 측정값
| 항목 | 값 |
|---|---|
| ClickHouse 전체 운영 규모 | 수십 개 클러스터에 100PB 이상 저장, 과금 계산을 위해 매일 수백만 회 호출 |
| Ready-Analytics 도입 | 2022년 초 |
| 표준 스키마 예시 | float 필드 20개, string 필드 20개, timestamp, indexID |
| Ready-Analytics 성장 규모 | 수백 개 애플리케이션 사용, 2024년 12월 기준 2PiB 초과, 초당 수백만 행 수집 |
| 기존 보존 기간 | 일별 파티션에서 31일 초과 데이터 삭제 |
| 저장 공간 관리 | 목표 디스크 사용률의 예시는 90%, 실제로도 90% 사용률로 클러스터 운영 |
| 마이그레이션과 지연 보고 | 2025년 1월 시작, 2025년 3월 말 지연 보고 |
| 최초 CPU 샘플링 결과 | leaf 쿼리의 샘플링된 CPU 시간 중 45%가 filterPartsByPartition에 사용 |
| 조건 평가 순서 변경 | 성능 5% 개선 |
| Real 트레이스의 잠금 대기 | leaf 쿼리 시간의 절반 이상이 파트 목록 보호 mutex 획득 대기 |
| 공유 잠금 적용 후 병목 | leaf 쿼리 시간의 약 4분의 1이 전체 벡터 복사, 다른 약 4분의 1이 추가 복사를 포함한 필터링에 사용 |
| 공유 잠금·복사 개선의 upstream 반영 | PR #85535에 병합, ClickHouse 25.11부터 제공 |
| 이진 탐색 패치 결과 | 2026년 3월 배포 후 쿼리 시간 50% 감소 |
| 이진 탐색의 일반화 제약 예시 | namespace in (5,10) 같은 조건 |
| replica당 파트 수 변화 | 최초 문제 보고 시 30,000개, 약 일 년 뒤 160,000개 |
| 별도 과제로 언급한 ZooKeeper 규모 | 100GB 클러스터 |