목차
조용히 멈춘 Prometheus 알림 규칙을 찾아내는 pint (2022-05)
원문 정보
- 원문: Monitoring our monitoring: how we validate our Prometheus alert rules
- 매체 · 게시일: The Cloudflare Blog · 2022-05-19
- 저자: Lukasz Mierzwa
- 원문 내용을 바탕으로 재구성한 요약입니다.
익스포터 변경 뒤에 남은 낡은 규칙
Cloudflare는 node_exporter를 업그레이드하는 등의 변경 뒤에 알림 규칙을 함께 고치지 못한 일을 몇 차례 겪었습니다. 메트릭 이름이나 레이블이 바뀌면 기존 쿼리가 아무 결과도 내지 못할 수 있습니다. 문법이 맞아도 소용없습니다. 장애를 알려야 할 규칙이 조용해집니다.
Cloudflare는 2017년 커스텀 Nagios 기반 시스템에서 Prometheus로 옮겼습니다. 인프라가 커지고 제품이 늘어나는 동안에도 처음 아키텍처는 사실상 그대로입니다. 그동안 알림 규칙은 계속 쌓였고, 제품을 추가하거나 바꾸면서 메트릭도 달라졌습니다. 서버의 OS 메트릭을 수집하는 node_exporter처럼 커뮤니티가 관리하는 익스포터에서도 메트릭의 폐기·삭제·이름 변경이 일어납니다.
규칙 단위 테스트만으로는 이 변화를 잡지 못합니다. Prometheus의 단위 테스트는 모의 데이터로 쿼리 로직을 검증하는 데 주로 유용하지만, 규칙이 참조하던 메트릭이 실제 서버에서 사라졌는지는 알려 주지 못하기 때문입니다. 테스트에 쓰는 데이터가 멀쩡해도 모니터링은 멈출 수 있습니다.
정상과 오타를 구분하지 않는 빈 결과
Prometheus는 서비스에서 메트릭을 수집해 TSDB에 저장하고, PromQL로 조회합니다. 규칙도 쿼리입니다. Prometheus가 반복 실행한 쿼리의 결과를 새 메트릭으로 저장하면 recording rule이고, 결과마다 알림을 발생시키면 alerting rule입니다. 알림 규칙이 아무 결과도 반환하지 않으면 알림도 없습니다.
HTTP 요청 수를 세는 http_requests_total로 이 동작을 따라가 볼 수 있습니다. http_requests_total{status="500"} > 0은 HTTP 500 응답이 하나라도 있으면 알림을 만듭니다. 문제는 그다음입니다. 이 메트릭은 요청이 들어올 때마다 증가하는 카운터여서, 오류를 고친 뒤에도 알림이 사라지지 않습니다. 이 규칙이 확인하는 것은 “500 오류가 한 번이라도 있었는지”입니다.
지금도 오류가 발생하는지 보려면 rate(http_requests_total{status="500"}[2m]) > 0처럼 최근 2분 동안의 초당 오류 발생률을 계산합니다. 오류가 발생하면 알림이 울리고, 오류가 멈추면 알림도 해제됩니다. 단순한 누적 횟수보다 원하는 동작에 가까워졌습니다. 여기서 오류 비율이나 에러 버짓을 기준으로 더 발전시킬 수도 있습니다.
그런데 메트릭 이름 끝에 s 하나를 더해 http_requests_totals로 적어도 Prometheus는 오류를 내지 않습니다. 문법상 유효한 쿼리이기 때문입니다. 해당 이름의 시계열이 없으니 빈 결과를 돌려줄 뿐입니다. 서비스가 정상이라 조건을 만족하지 않을 때도 결과는 비어 있습니다. 알림이 없다는 사실만으로는 어느 쪽인지 구분할 수 없습니다.
시간 범위도 결과를 비게 만듭니다. 인스턴트 쿼리는 특정 시점의 값을 구할 때 가장 최근 샘플을 찾으며, 기본으로 최대 5분 전까지 거슬러 올라갑니다. 마지막 값이 그보다 오래됐으면 stale로 보고 반환하지 않습니다. 레인지 쿼리는 지정한 범위 안에서 수집한 값 목록을 반환합니다. 이때는 인스턴트 쿼리처럼 최대 5분 전까지 추가로 찾아보지 않으므로, 범위 안에 값이 없으면 결과도 없습니다.
rate()에는 값이 있어도 부족할 수 있습니다. 변화율을 계산하려면 시계열마다 최소 2개의 데이터 포인트가 있어야 하는데, 수집 간격이 1분인 예에서 http_requests_total[1m]은 값 하나만 찾습니다. 따라서 rate(http_requests_total[1m])은 아무것도 반환하지 않고 알림도 울리지 않습니다. 범위를 얼마나 잡을지는 Prometheus의 수집 간격과 연결된 문제입니다.
이름이 맞고 시간 범위가 충분해도 끝이 아닙니다. 레이블 필터가 어떤 시계열과도 일치하지 않거나, 메트릭을 더는 내보내지 않거나, 처음부터 내보낸 적이 없어도 결과는 비어 있습니다. 두 메트릭 사이의 연산에는 같은 레이블 집합이 필요하다는 조건도 있습니다. Prometheus 메트릭에는 엄격한 스키마가 없고 서비스가 내보내는 값이 수집되므로, 쿼리의 문법만 검사해서는 이런 문제를 구분할 수 없습니다.
알림 하나를 위해 길어진 규칙의 사슬
Cloudflare는 당직 엔지니어의 알림 피로를 줄이려고 가능한 한 알림을 집계합니다. 조치가 필요할 때 울리고, 해결할 문제를 분명히 설명하며, 런북과 대시보드 링크도 갖추도록 합니다. 많은 알림이 서비스 인스턴스마다 발생하지 않고 데이터 센터당 한 번, 또는 전역에서 한 번 발생하는 이유입니다.
가령 데이터 센터의 HTTP 오류율이 전체 요청의 1%를 넘을 때 알린다고 해 보겠습니다. 먼저 모든 서버 인스턴스에 걸쳐 전체 요청과 HTTP 500 응답의 초당 발생률을 각각 합산해야 합니다. recording rule로 계산한 결과를 job:http_requests_total:rate2m과 job:http_requests_status500:rate2m에 저장하면, 알림 규칙은 이 메트릭들의 비율이 0.01을 넘는지 확인하면 됩니다. 데이터 센터 전체에 문제가 생겨도 알림은 하나입니다.
대신 관리할 규칙이 늘었습니다. 알림 규칙뿐 아니라 앞에서 값을 만드는 recording rule 두 개도 제대로 결과를 내는지 확인해야 합니다. recording rule이 다른 recording rule의 결과를 사용하면 의존 관계는 더 길어집니다. 그 규칙들을 서로 다른 팀이 관리하고, 한 팀의 필요에 따라 중간 규칙의 이름이 바뀐다면 뒤의 알림까지 영향을 받습니다.
이때도 고장의 신호는 고요함입니다. 운이 좋으면 누군가 대시보드에서 메트릭이 비어 가는 모습을 발견하겠지만, 거기에 기대기에는 위험합니다. Cloudflare에는 누군가 알아채 주리라는 기대보다 확실한 수단이 필요했습니다.
실제 Prometheus 서버를 조회하는 pint
Cloudflare가 만든 pint는 규칙을 실제 Prometheus 서버에 대조하는 린터입니다. 누락된 메트릭과 오타를 찾고, Prometheus 내부 동작에 익숙하지 않은 엔지니어도 경험 많은 동료의 피드백을 기다리지 않고 규칙을 작성하도록 돕는 것이 목적입니다. Prometheus 커뮤니티에서도 쓸 수 있도록 오픈소스로 공개했으며, 소스는 GitHub의 cloudflare/pint에 있습니다.
설정 없이 실행해도 문법을 비롯한 정적 분석은 가능합니다. 하지만 실제 메트릭의 존재 여부는 알 수 없습니다. 이를 확인하려면 설정 파일에 검증 대상 Prometheus 서버를 지정해야 합니다.
서버에 연결한 pint는 알림 규칙과 recording rule의 쿼리를 실행합니다. 결과가 비었다고 곧바로 잘못된 규칙으로 판정하지는 않습니다. 쿼리를 개별 메트릭으로 나눠 각각 존재하는지 확인하고, 메트릭이 없거나 필터에 사용한 레이블이 그 메트릭의 어느 시계열에도 없으면 보고합니다. 정상이라 비어 있는 쿼리와 참조 대상이 사라진 쿼리를 구분하려는 검사입니다.
규칙을 작성할 때부터 배포한 뒤까지 실행할 수 있도록 방식도 나눴습니다.
- 파일 검사: 파일이나 디렉터리의 모든 규칙을 읽고 기본 문법과 각 규칙을 검사
- CI 검사: git 기반 풀 리퀘스트에서 수정된 규칙만 검사하고, 수정된 줄에 영향을 주는 문제만 보고
- 사이드카 데몬: Prometheus 서버 옆에서 모든 규칙을 정기적으로 검사하고, 발견한 문제를 메트릭으로 노출
예를 들어 새 규칙에 http_requests_totals라는 오타가 들어가면 CI에서 발견해 머지를 막습니다. 배포 뒤에는 데몬이 내보낸 문제 메트릭을 Prometheus가 수집하고 알림을 만들도록 구성할 수 있습니다. Prometheus로 Prometheus의 모니터링 상태를 감시하는 방식입니다.
새 규칙의 비용이 보이는 풀 리퀘스트
규칙이 결과를 낸다는 것만으로 검토가 끝나지는 않습니다. 지나치게 민감한 알림은 당직 엔지니어에게 알림을 쏟아낼 수 있습니다. pint는 알림 발생 횟수를 추정해 풀 리퀘스트에서 이런 규칙을 알아볼 수 있게 합니다.
recording rule에는 메모리 비용도 있습니다. Cloudflare 환경에서 고유 시계열 하나는 평균 4KiB를 사용하므로, 새 시계열 1만 개를 만드는 규칙은 약 40MiB를 더 사용합니다. 이 수치만 보면 작아 보입니다. 하지만 글이 쓰이기 전 1년 동안 단일 Prometheus 서버의 시계열 수는 한때 약 3천만 개에 이르렀습니다. Cloudflare가 시계열을 많이 추가하는 규칙을 유심히 보는 이유이며, pint는 규칙을 추가하기 전에 새 시계열 수를 알려 줍니다.
운영 정책도 검사 대상입니다. Cloudflare는 알림마다 런북을 작성하고 annotation에 링크를 넣도록 요구하며, 우선순위 레이블도 필수로 둡니다. 우선순위가 높은 알림으로는 담당 팀을 호출합니다. 낮은 알림은 karma 대시보드로만 보내거나 jiralert로 티켓을 만듭니다.
이 필드들은 빠뜨리기 쉽습니다. 쿼리 로직을 검증하는 단위 테스트로는 강제할 수 없는 요건이지만, pint에서는 몇 줄의 설정으로 누락 여부를 검사할 수 있습니다.
닫는 괄호 다음에 드러난 누락 메트릭
실제 검사 과정에서도 문법 통과는 시작에 불과합니다. 예제는 rules.yml에 앞서 설명한 recording rule 두 개를 넣고 pint lint rules.yml을 실행하는 것으로 시작합니다. 첫 검사에서는 sum(rate(...)의 닫는 괄호 하나가 빠져 promql/syntax 오류가 납니다. 괄호를 고치면 기본 검사는 통과합니다.
이제 규칙을 배포할 Prometheus 서버와 맞춰 볼 차례입니다. 예제에서는 pint.hcl에 로컬 테스트 서버인 http://localhost:9090을 지정하고, pint -c pint.hcl lint rules.yml을 실행합니다. 이번에는 promql/series 문제가 두 건 나옵니다. 지난 1주일 동안 http_requests_total 시계열이 없었다는 보고입니다.
쿼리의 문제가 아니었습니다. 테스트용 Prometheus에 메트릭 수집 설정을 하지 않은 상태였습니다. 로컬 서버를 8080 포트에서 실행하고 localhost:8080을 scrape 대상으로 추가한 뒤 다시 검사하면 통과합니다. 문법 검사만으로는 드러나지 않았던 차이입니다.
여기에 오류 비율을 비교하는 알림 규칙을 추가하면, 아직 Prometheus에 없는 메트릭을 참조하게 됩니다. 앞서 작성한 recording rule을 배포하지 않았기 때문입니다. pint는 같은 파일에 그 메트릭을 생성하는 규칙이 있다는 것을 알아봅니다. 이 경우에는 존재 여부를 더 조회하지 않고 정보성 결과를 남기므로, 새 규칙을 배포하기 전에도 의존 관계를 검사할 수 있습니다.
서버의 새 버전에서 status 레이블을 code로 바꾸면 검사 결과가 다시 달라집니다. pint는 http_requests_total은 있지만 지난 1주일 동안 status 레이블을 가진 시계열은 없었다고 보고합니다. 규칙을 새 이름에 맞춰 고칠 근거가 생깁니다. 규칙을 배포한 뒤에 이런 변경이 일어나는 경우에는 pint watch를 데몬으로 실행해 모든 규칙을 주기적으로 검사합니다.
아직 오류가 없어서 비어 있는 시계열
존재 여부 검사는 오탐도 만듭니다. 예제의 서버는 HTTP 500 응답을 한 번이라도 내보내기 전까지 status="500" 시계열을 내보내지 않을 수 있습니다. 오류가 한 번도 없어서 비어 있는 메트릭을 누락으로 보고할 수 있다는 뜻입니다.
promql/series 검사에는 이런 상황을 다루는 방법이 마련돼 있습니다. 대개는 주석으로 pint에 특정 누락 메트릭을 무시하도록 지시하거나, 레이블 값 검사를 끄도록 합니다. 후자를 택하면 status 레이블의 존재는 확인하되 status="500"인 시계열까지 요구하지 않습니다. 메트릭 자체가 사라진 경우를 찾으면서도, 오류가 발생해야 비로소 나타나는 시계열을 구분하는 설정입니다.
원문의 주요 설정값과 수치
| 항목 | 값 |
|---|---|
| Prometheus 사용 시작 | 2017년 (Nagios 기반 시스템에서 이전) |
| 인스턴트 쿼리 되돌아보기 | 기본 최대 5분 |
rate() 최소 데이터 포인트 | 시계열당 2개 |
| 예시 수집 간격 | 1분 ([1m] 범위에서는 포인트 1개만 찾아 rate 불가) |
| 예시 알림 조건 | 500 오류율 rate(...[2m]), 데이터 센터 오류율 1% 초과 |
| 시계열 하나의 평균 메모리 | 4KiB |
| 시계열 1만 개 추가 시 메모리 증가 | 약 40MiB |
| 지난 1년간 단일 Prometheus 서버 시계열 정점 | 약 3천만 개 |
| pint 실행 방식 | 파일 대상, CI 파이프라인, 사이드카 데몬(pint watch) |
| 예시의 메트릭 존재 확인 기간 | 지난 1주일 |