본문으로 건너뛰기
Cloudflare의 Prometheus를 지키는 시계열 한도
목차

Cloudflare의 Prometheus를 지키는 시계열 한도 (2023-03)

원문 정보

49억 시계열을 지탱하는 Prometheus

어떤 메트릭에서 레이블 값이 갑자기 늘어나면 Prometheus가 메모리 부족으로 멈출 수 있습니다. 피해는 그 메트릭에서 끝나지 않고, 해당 서버로 관측하던 서비스들의 상태까지 볼 수 없게 됩니다. Cloudflare도 카디널리티 문제와 Prometheus 과부하를 여러 차례 겪었습니다.

Cloudflare는 글로벌 네트워크의 하드웨어와 소프트웨어 상태를 살피고, 서비스 문제가 커지기 전에 담당 팀에 알리는 데 Prometheus를 사용합니다. 2023년 3월 원문 작성 당시 규모는 916개 인스턴스와 약 49억 개 시계열이었습니다. 인스턴스당 평균은 약 500만 개입니다. 하지만 작은 인스턴스와 큰 인스턴스의 차이가 커서, 가장 큰 인스턴스 하나에는 약 3,000만 개가 들어갑니다.

수백 개 데이터센터마다 전용 Prometheus 서버가 있고, 각 서버는 수백 대 서버에서 실행되는 수백 개 애플리케이션을 스크레이프합니다. 이 환경에서 Cloudflare가 택한 대응은 수집 한도를 넘겼다고 관측을 전부 멈추는 대신, 새 시계열 생성을 제한하면서 기존 시계열의 수집을 이어 가는 것입니다. 그 선택의 이유는 시계열이 메모리에 머무르는 시간에 있습니다.

0시 25분의 샘플이 3시까지 메모리에 남는다

00:25에 앱을 띄워 prometheus_build_info{version="2.42.0"} 1을 한 번 수집하고, 곧바로 버전을 2.43.0으로 올리면 이전 버전의 시계열에는 더는 샘플이 들어오지 않습니다. 그런데 메모리에서는 바로 사라지지 않습니다. 03:00까지 남습니다. 값 하나를 보관하느라 두 시간 반 넘게 메모리를 차지하는 것입니다.

Prometheus에서 시계열은 메트릭 이름과 레이블 조합 하나에 쌓이는 관측 기록입니다. 특정 시각의 값 하나가 샘플이고, 같은 시계열에 속한 샘플들이 시간 순서로 이어집니다. 위 예에서는 version 값이 바뀌었으므로 새 시계열을 만들어야 합니다. 이전 버전의 기록을 갱신하는 일이 아닙니다.

수집은 HTTP 요청으로 시작합니다. 이 과정을 스크레이프라고 부르며, 설정에는 요청을 보낼 곳과 주기, 요청·응답에 적용할 추가 처리를 지정합니다. Prometheus는 응답에서 샘플을 읽고, 위 예처럼 타임스탬프가 없는 샘플에는 수집을 시작한 시각을 붙입니다.

샘플을 받은 TSDB, 즉 시계열 데이터베이스는 이름과 레이블 집합이 같은 시계열이 이미 있는지 확인합니다. 내부에서 메트릭 이름도 __name__이라는 레이블이므로, 레이블 전체를 해시한 값으로 시계열을 찾습니다. Head라는 자료구조의 맵이 이 해시를 키로, 시계열 정보를 담은 memSeries를 값으로 보관합니다. memSeries에는 레이블 사본과 샘플을 담은 청크가 있습니다.

레이블 사본은 memSeries마다 한 번 저장합니다. 샘플은 시계열에 맞춘 무손실 압축 방식인 varbit 인코딩으로 청크에 쌓습니다. 새 샘플을 추가할 수 있는 청크는 가장 최근 구간을 담당하는 Head Chunk 하나뿐입니다. 과거 구간의 청크는 읽기 전용입니다.

기본 청크 구간은 실제 시각에 맞춘 2시간 단위입니다. 00:00~01:59, 02:00~03:59처럼 나뉩니다. 청크 하나의 샘플 상한은 120개로, 그보다 많아지면 varbit의 압축 효율이 떨어집니다. 기본 스크레이프 간격인 1분으로 수집하면 2시간에 120개를 채우므로 구간마다 청크 하나면 됩니다. 더 빨리 차면 같은 2시간 구간 안에서 청크를 추가합니다.

과거 구간의 청크는 디스크에 기록하고 메모리 매핑해, 쿼리가 읽을 때만 메모리를 쓰도록 합니다. Head Chunk는 항상 메모리에 둡니다. 이런 방식으로 Cloudflare의 가장 큰 인스턴스는 초당 55만 개 샘플을 추가하면서 메트릭 쿼리도 처리합니다.

청크를 memSeries에서 제거하는 시점은 별개입니다. Prometheus는 2시간마다 청크를 디스크의 블록으로 기록하는데, 이 작업은 청크 구간보다 1시간 늦춰 실행합니다. 00:00~01:59 데이터를 블록으로 쓰는 시각이 03:00인 이유입니다. 블록으로 쓴 청크는 memSeries에서 빼고, 블록은 설정한 보존 기간 동안 디스크에 남깁니다. 이후 여러 블록을 합치는 compaction 과정에서 인덱스를 재사용해 디스크 사용량을 줄입니다.

블록을 쓴 직후에는 Head의 가비지 컬렉션이 실행됩니다. 이때 청크가 하나도 남지 않은 memSeries를 찾아 지웁니다. 샘플을 계속 받는 시계열에는 새 청크가 있지만, 이전 버전처럼 더는 수집되지 않는 시계열은 마지막 청크가 빠져나간 뒤에야 제거 대상이 됩니다.

Prometheus에 잘 맞는 데이터는 관측값이 몇 개의 선으로 끊김 없이 이어지는 모습입니다. 가장 비효율적인 데이터는 서로 다른 속성을 한 번씩 관측한 점들입니다. 기본 동작에서는 한 번만 수집된 시계열도 수집 시점에 따라 반드시 1~3시간 메모리에 남습니다. 짧게 나타났다 사라지는 시계열을 계속 수집하면, 다음 가비지 컬렉션까지 memSeries가 쌓입니다.

숨은 플래그로 단기 시계열에 맞춰 동작을 조정하는 방법도 있습니다. 하지만 테스트용 플래그이며 다른 부분에 악영향을 줄 수 있어, Cloudflare는 이 방법을 권하지 않습니다.

요청 경로와 오류 문자열 속의 카디널리티

메트릭은 ‘마신 머그컵 수’처럼 숫자로 관측할 속성의 정의입니다. 여기에 content로 커피와 차를, temperature로 뜨거움과 차가움을 구분하면 음료별로 수를 셀 수 있습니다. 뜨거운 커피, 차가운 커피, 뜨거운 차는 각각 별도 시계열입니다.

카디널리티는 이런 레이블 값의 고유 조합 수입니다. 위 예에서는 각 레이블의 값이 둘이므로 최대 4개(2×2) 시계열이 생깁니다. 값이 둘인 레이블을 하나 더 붙이면 최대 8개입니다. 메트릭 하나에 차원을 보탤 때마다 가능한 시계열 수가 곱셈으로 늘어나는 것입니다.

애플리케이션이 레이블 값을 통제한다면 가능한 조합을 셀 수 있습니다. HTTP 요청 경로를 그대로 레이블 값으로 받기 시작하면 사정이 달라집니다. 누군가 무작위 경로로 요청을 1,000번 보내면 시계열도 1,000개 생깁니다. 요청의 메서드, IP, 헤더 등으로 레이블을 더 만들면 수백만 개까지 늘어날 수 있습니다. 신뢰할 수 없는 외부 값을 레이블로 받지 말라는 권고는 이 때문입니다.

공격자가 없어도 같은 문제가 생깁니다. 흔한 실수는 error 레이블에 오류 객체를 그대로 넘기는 것입니다. 오류가 늘 Permission Denied처럼 일반적인 문자열이라면 괜찮습니다. 하지만 file not found: /myfile.txt와 file not found: /other/file.txt는 서로 다른 값입니다. 연결 오류에 주소와 포트가 들어가도 작업마다 레이블 값이 달라집니다. Prometheus 클라이언트 라이브러리 자체에도 이런 문제를 일으킬 수 있는 버그가 있었습니다.

문제는 그렇게 생긴 시계열이 모두 메모리에 남는다는 점입니다. 클라이언트 라이브러리는 자기 앱의 메트릭만 관리하지만, Prometheus 서버는 여러 앱에서 나온 시계열을 모읍니다. 모든 메트릭에 값이 둘인 레이블을 더하는 것만으로 시계열 수와 메모리 사용량이 두 배가 될 수 있습니다.

고유한 레이블 값이 짧은 시간에 쏟아지고, 가비지 컬렉션보다 빠르게 시계열이 쌓여 물리 메모리를 소진하면 서버가 멈춥니다. 이것이 카디널리티 폭발입니다. 앱에서 해당 값을 더는 내보내지 않더라도 이미 만들어진 시계열의 메모리를 곧바로 돌려받지는 못합니다.

101번째 샘플 앞에서 멈추는 스크레이프

표준 Prometheus에서 sample_limit을 100으로 설정했는데 응답에 샘플이 101개 들어 있으면, 100개만 받는 일이 일어나지 않습니다. 하나도 수집하지 않습니다. 한도를 넘긴 스크레이프 전체를 실패로 처리합니다.

이는 Prometheus 개발자들이 의도한 동작입니다. 부분적으로 수집한 메트릭을 다루기 어려우니 실패한 스크레이프를 장애로 취급하는 편이 낫다는 판단이 주된 이유로 보입니다. 메모리를 보호하는 대가로 해당 스크레이프의 관측을 통째로 잃을 수 있는 선택입니다.

스크레이프 설정에는 샘플 수 외의 한도도 있습니다. body_size_limit은 압축을 푼 응답 본문의 크기를, target_limit은 타깃 수를 제한합니다. 레이블에는 개수를 제한하는 label_limit, 이름과 값의 길이를 제한하는 label_name_length_limit, label_value_length_limit을 적용합니다.

길이 제한도 이유가 있습니다. 오류 레이블에 수백 줄짜리 스택 트레이스가 들어가면 시계열 하나가 수 MB를 차지할 수 있습니다. 쿼리를 처리할 때 레이블을 복사하므로 이런 긴 값은 메모리 사용을 더 늘립니다. 레이블 개수만 제한해서는 충분하지 않습니다. 레이블 하나에도 서로 다른 값이 얼마든지 들어올 수 있기 때문입니다.

sample_limit은 앱 인스턴스마다 한 번에 수집할 시계열 수에 직접 상한을 거는 수단입니다. Cloudflare도 이 설정을 사용하지만, 한도 초과를 처리하는 방식은 바꿨습니다.

기존 시계열의 수집을 남기는 Cloudflare 패치

Cloudflare가 유지하는 자체 패치는 Prometheus 전체의 시계열 총수와 개별 스크레이프의 수집량을 제한합니다. 원문 작성 당시 이 패치 묶음을 제안한 풀 리퀘스트가 Prometheus 저장소에 열려 있었습니다. 아래 동작은 당시 표준 Prometheus에 기본으로 들어 있던 기능이 아닙니다.

먼저 TSDB가 보관할 시계열 총수에 한도를 둡니다. 샘플을 추가할 때 총수가 한도 아래라면 평소처럼 처리합니다. 이미 한도에 도달했다면 그 샘플이 기존 시계열에 속하는지 확인합니다. 기존 시계열이면 계속 받고, 새 memSeries를 만들어야 한다면 건너뜁니다. 스크레이프 로직에는 일부 샘플을 건너뛰었다는 사실을 알립니다.

이 한도를 정하려면 시계열 하나의 메모리 비용을 어림잡아야 합니다. memSeries는 레이블 사본과 청크 외에도 Prometheus 내부에서 쓰는 필드를 갖습니다. 레이블은 개수와 길이에 따라 비용이 달라지고, 청크는 샘플이 쌓이는 동안 메모리 사용량이 늘어납니다. 모든 시계열에 똑같은 고정 비용을 적용할 수는 없습니다.

Cloudflare는 go_memstats_alloc_bytes / prometheus_tsdb_head_series 쿼리로 시계열당 평균 메모리를 추산합니다. 이 쿼리가 동작하려면 Prometheus가 자기 자신을 스크레이프해야 합니다. 분자에는 시계열 외에 Prometheus가 쓰는 메모리도 포함되므로 정확한 시계열 크기를 구하는 식은 아닙니다. Go 런타임이 아직 회수하지 않은 메모리도 있어 실제 필요한 물리 메모리는 보통 더 큽니다.

이 오버헤드를 고려하면서 Prometheus가 쓸 수 있는 메모리 / 시계열당 바이트로 대략적인 수용량을 잡습니다. Prometheus의 모든 메모리 사용을 설명하는 계산은 아니지만, 서버별 시계열 총한도를 정하는 기준이 됩니다. Cloudflare는 이 총한도를 메모리 부족으로 서버가 멈추는 일을 막는 마지막 방어선으로 사용합니다.

다른 패치는 sample_limit 초과 시 스크레이프 전체를 실패시키는 동작을 바꿉니다. 한도가 200이고 앱이 201개 시계열을 내보내더라도 수집 전체를 버리지 않습니다. 한도까지는 샘플을 받고, 그 뒤에는 TSDB에 이미 저장된 시계열의 샘플만 받습니다. 마지막 하나가 새 시계열이라면 그 샘플만 건너뜁니다.

기존 시계열에 샘플을 추가하는 일은 타임스탬프와 값 한 쌍을 더하는 비교적 저렴한 작업입니다. 새 시계열은 레이블을 복사한 memSeries를 할당하고 최소 한 시간 동안 메모리에 둬야 합니다. 이 비용 차이 때문에 한도를 넘은 뒤에도 기존 시계열의 샘플은 계속 받습니다.

개별 스크레이프의 제한은 한 앱이 Prometheus 용량을 지나치게 차지해 다른 앱의 새 시계열까지 막히는 일을 줄입니다. 총한도는 서버 전체를 보호합니다. 각 스크레이프가 자기 한도를 지키더라도 스크레이프 자체가 계속 늘어나면 전체 용량은 바닥날 수 있으므로, 어느 한쪽만으로는 충분하지 않습니다. 이미 TSDB에 들어간 시계열은 바로 제거할 수 없습니다. 그래서 샘플을 추가하는 시점에 새 시계열 생성을 막습니다.

200개에서 시작하는 수집 용량

자체 패치가 과부하를 막는 동안, 기본 설정과 CI는 평소의 용량 관리를 맡습니다. Cloudflare는 모든 스크레이프에 기본 한도를 적용합니다. 메트릭을 내보내는 애플리케이션의 99%가 넘지 않을 수준으로 정한 값입니다.

제한 대상Cloudflare 기본값
시계열당 레이블 수64개
레이블 이름 길이128자
레이블 값 길이512자
sample_limit200

더 많은 시계열이나 긴 레이블이 필요하면 앱의 스크레이프 설정에 명시하면 됩니다. 이 값들은 모든 앱을 같은 크기에 묶어 두려는 상한이 아닙니다. 실수로 시계열이 늘어나는 일을 잡고, 200개를 넘겨 내보내는 경우 담당 팀이 그 규모를 알도록 하는 장치입니다. 필요하지 않은 시계열을 수천 개씩 수집하는 상황을 피하려는 목적도 있습니다.

설정을 추가하거나 수정하는 풀 리퀘스트에서는 CI가 여유 용량을 검사합니다. 타깃이 10개인 스크레이프의 sample_limit을 500에서 2,000으로 올린다고 가정하면, 타깃마다 최대 1,500개씩 더 수집할 수 있습니다. 합계는 15,000개입니다. CI는 모든 Prometheus 서버에 최소 15,000개 시계열을 추가로 받을 여유가 있는지 확인한 뒤 병합을 허용합니다.

운영 중 한도를 넘기는 스크레이프는 Prometheus가 추가로 내보내는 메트릭으로 확인하고 담당 팀에 알립니다. 용량을 승인하는 별도 팀을 기다릴 이유도 없습니다. CI 검사를 통과했다면 요청한 용량이 있다는 뜻이므로, 앱을 운영하는 팀이 직접 설정을 바꿀 수 있습니다.

Prometheus 전문가를 기다리지 않는 배포

Cloudflare가 수집 전체를 중단하는 대신 일부 새 시계열을 받지 않는 방식을 선호하는 이유는, 엔지니어가 Prometheus 전문가가 아니어도 메트릭을 배포할 수 있게 하려는 것입니다. 경험이 적은 엔지니어에게도 배포할 때마다 “이게 사고를 낼까”를 걱정하지 않을 환경이 필요했습니다.

메트릭과 레이블을 너무 많이 만들지 않으면 된다는 말은 간단합니다. 앱이 CPU와 메모리를 덜 쓰도록 계산과 할당을 줄이면 된다는 말도 마찬가지입니다. 실제로 해 보면 쉽지 않습니다. 앱이 하는 일이 많아지고 사용자의 요구가 달라지면 필요한 자원도 변합니다. 한 번 정한 사용량의 선은 결국 여러 번 다시 그어야 합니다.

관측에도 같은 문제가 있습니다. 복잡한 앱을 이해하려면 레이블이 더 필요하고, 가능한 레이블 조합이 늘 한꺼번에 나타나는 것도 아닙니다. 예를 들어 errors_total은 오류가 나기 전에는 아예 없을 수 있으며, 오류가 생겨도 한두 종류만 기록할 수 있습니다. 앱이 잠재적으로 내보낼 시계열 수와 실제로 내보내는 수는 전혀 다른 숫자입니다. 여러 팀이 각자 맡은 부분에서 메트릭을 내보내는 큰 앱이라면 용량 계획은 더 어려워집니다. Cloudflare가 메모리 비용이 큰 단기 시계열도 일정 비율 허용하는 이유입니다.

내부 문서는 이런 운영 방식을 엔지니어가 직접 사용할 수 있도록 돕습니다. Prometheus와 PromQL은 개념적으로 단순하지만, 메트릭 파이프라인의 요소들이 만나는 곳에는 복잡성이 숨어 있습니다. 앱에서 이름과 레이블을 정하고, 스크레이프를 설정해 알맞은 Prometheus 서버에 배포한 뒤, recording·alerting 규칙과 대시보드를 만드는 과정마다 실수할 여지가 있습니다.

Cloudflare는 내부 환경에 맞춘 기본 사항과 자주 하는 작업을 문서로 유지합니다. 앞선 글인 「Prometheus - Monitoring our monitoring」에서는 기본적인 함정과 유효한 알림 규칙 작성을 돕는 도구도 소개했습니다. 엔지니어가 필요한 작업 방법을 직접 찾으면 전문가의 답을 기다리지 않고 진행할 수 있고, 전문가도 같은 질문에 거듭 답하는 일을 줄일 수 있습니다.

규모와 한도 수치
항목값
Prometheus 인스턴스 수916
전체 시계열 수약 49억
인스턴스당 평균 시계열 수약 500만
가장 큰 인스턴스의 시계열 수약 3,000만
가장 큰 인스턴스의 샘플 추가 속도초당 약 55만
기본 청크 단위벽시계 2시간 (청크당 최대 120 샘플)
기본 스크레이프 간격1분
Cloudflare 기본 한도, 시계열당 레이블 수64
Cloudflare 기본 한도, 레이블 이름 / 값 길이128자 / 512자
Cloudflare 기본 sample_limit200
용량 계산식Prometheus가 쓸 수 있는 메모리 / 시계열당 바이트
시계열당 메모리 근사 쿼리go_memstats_alloc_bytes / prometheus_tsdb_head_series
한 번만 스크레이프된 시계열의 메모리 체류시점에 따라 1~3시간
마지막 수정 일자