본문으로 건너뛰기
팀이 합의한 Redis SLI를 Prometheus 레코딩 룰로 제공하기
목차

팀이 합의한 Redis SLI를 Prometheus 레코딩 룰로 제공하기 (SRE 밋업 4회)

원문 정보

  • 원문: 멋진 운영 경험을 위하여: Prometheus 레코딩 룰로 SLI 정하기 | 당근 SRE 밋업 4회 (23:37)
  • 매체 · 게시일: YouTube 당근 채널 · 2025-10-10 (영상 검색 목록에는 영문 제목으로 나오지만 한국어 발표입니다)
  • 발표자: 이주원 (Ashon, SRE 팀). 영상 설명란과 슬라이드 표지로 확인했고, 클라우드 파트 소속은 자막 자기소개 기준입니다.
  • 근거: YouTube 자동 자막 전체 + 발표 슬라이드
  • 발표 영상의 내용을 바탕으로 재구성한 요약입니다.

장애 판단 기준을 팀의 언어로 맞추기

당근 SRE 팀은 컨테이너·배포, 클러스터·트래픽, 클라우드 인프라를 분야별 전문가가 나눠 맡습니다. 장애가 발생하면 각자는 자기 영역의 언어로 원인을 설명했고, 개발자나 다른 분야 담당자가 그 내용을 이해하기 어려웠습니다. 시스템 맥락과 개인별 노하우가 흩어져 있어 대응 방향과 운영 경험을 한곳에 모으기 힘들었습니다.

모두가 장애 때 같은 기준부터 보게 하려고 SLI를 도입했습니다. 발표에서는 조회 가능한 값을 메트릭, 그중 서비스 상태를 판단하는 데 쓰는 값을 SLI로 구분합니다. 정상 상태에 대한 생각부터 사람마다 달랐기 때문에 SLI 선정은 기술 구현보다 팀 합의에서 시작했습니다.

Redis SLI 합의와 레코딩 룰 구현

첫 대상은 Redis였습니다. 슬랙 설문으로 정상 상태의 기준과 중요한 지표를 물었고, 서로 다른 답을 공유해 토론한 뒤 SLI를 확정했습니다. 슬라이드에는 구동 여부, CPU·메모리 사용률, 네트워크 송수신과 대역폭 초과, 연결 수, 커맨드 유입량과 레이턴시, 퇴거 아이템 수, 복제 지연이 제시됩니다. 이를 제공하는 구현은 자원 API의 동적 쿼리에서 Prometheus 레코딩 룰로 바뀌었습니다.

첫 구현은 개발자 포털 뒤의 자원 API가 자원 ID로 PromQL을 만들어 Prometheus에 질의하는 방식이었습니다. 결과를 가용성 점수와 사용률 점수로 묶어 빠르게 PoC를 만들 수 있었습니다. 그러나 조회하려면 전용 API 스펙을 알아야 했고, 자원이 늘수록 코드와 쿼리가 복잡해졌습니다. 모든 Redis의 SLI를 한꺼번에 조회하면 Prometheus 부하가 커졌고 Grafana와 값이 달라지는 문제도 생겼습니다.

레코딩 룰에서는 회사·담당 팀·자원·지표 분류 스키마와 반복해서 사용할 레이블을 먼저 정했습니다. label_replace로 원본 필드를 원하는 키로 바꾸고 max 같은 집계로 레이블 전용 info 메트릭을 만든 다음, 실제 지표와 조인해 SLI 메트릭을 생성했습니다. 이 PromQL 자체는 복잡해서 발표자도 지속 운영 가능성을 걱정했습니다.

조회와 활용에서 달라진 점

  • 포털이 SLI를 조회하려고 자원 API에서 만들던 쿼리 코드가 사라짐. Prometheus API 스펙만 알면 조회 가능
  • Grafana에서도 같은 쿼리로 SLI 메트릭을 확인하고, 같은 SLI 지표로 알림 규칙 설정 가능
  • 슬라이드의 레코딩 룰 수 그래프에는 4월과 8월의 새 SLI 추가가 반영됨. 발표자는 팀원들이 참여해 주어 지속 가능하다고 설명

적용할 때 확인할 점

레코딩 룰로 옮겨도 PromQL의 복잡성은 사라지지 않습니다. 발표자는 SLI가 새 지표를 만들어 내는 일이 아니라 기존 메트릭을 의사결정 기준으로 합의하는 일이라고 설명했습니다. 필요한 값이 Datadog과 Prometheus 익스포터 모두에 없다면 직접 메트릭을 만들라고 권했습니다.

당근의 로그 운영 환경은 같은 밋업의 당근에서 Loki 1년간 운영기에서 이어서 볼 수 있습니다.

주요 구간

  • 02:00 SRE 팀의 일과 장애 때 겪는 혼란
  • 06:00 메트릭과 SLI의 차이
  • 08:00 팀 설문으로 Redis SLI 합의하기
  • 09:30 시도 1: PromQL과 HTTP API
  • 12:00 시도 2: 레코딩 룰과 스키마
  • 20:00 얻은 교훈
근거와 세부 수치
항목내용근거
발표 구성들어가기 전에, SLI를 찾아가는 여정, SLI를 잘 제공하기 위해서, 마무리슬라이드
Redis SLI 목록구동 여부, CPU %, 메모리 %, 네트워크 송수신, 네트워크 대역폭 초과, 연결 수, 커맨드 유입량, 커맨드 레이턴시, 퇴거 아이템 수, 복제 지연슬라이드
시도 1PromQL + HTTP API. 빠른 구현과 PoC에 적합하지만 API로만 조회 가능. 코드가 복잡해지고 쿼리가 무거우며 재사용성이 낮음슬라이드
시도 2레코딩 룰. 미리 계산해 쿼리가 빠르고 플랫폼 코드가 단순해짐. 재사용성은 높지만 PromQL은 여전히 복잡슬라이드
스키마회사, 담당, 팀, 자원, 지표 카테고리와 이름 순으로 분류하고 자주 사용할 레이블을 포함자막 기준
레코딩 룰 수4월과 8월에 새 SLI를 추가하며 계단형으로 증가. 축에 절대 개수는 표시되지 않음슬라이드
점수포털 차트에서 가용성 점수와 사용률 점수의 추이를 제공슬라이드, 자막 기준
교훈작게 시작하기, 팀 내 합의, 참고 지표를 의사결정 지표로 전환하기, 기술 스택에 맞게 구현하기, 점진적으로 확대하기슬라이드

영상과 슬라이드에는 설문 응답 수와 확정된 SLI의 임계값이 나오지 않아 이 문서에도 싣지 않았습니다.

마지막 수정 일자