본문으로 건너뛰기
Grafana의 장애 신호와 운영 지식을 잇는 SRELens
목차

Grafana의 장애 신호와 운영 지식을 잇는 SRELens (2026-07)

원문 정보

Grafana에 모여도 이어지지 않던 신호

메트릭에는 오른 에러율이, 로그에는 예외 메시지가, 트레이스에는 오래 걸린 요청이 남아 있었습니다. 신호는 있었지요. 하지만 서로 다른 화면의 신호를 머릿속에서 조립해 장애 원인을 판단하는 일은 여전히 사람이 해야 했습니다. LY Corporation Home SRE 팀이 만든 SRELens는 Grafana에서 자연어 질문을 받아 관측성 데이터를 조회하고, 근거와 원인 후보를 함께 제시하는 애플리케이션 플러그인입니다.

출발점은 화면을 오가는 부담이었습니다. 장애를 분석할 때마다 메트릭에서 확인한 시간 범위와 서비스명을 로그 플랫폼으로 옮기고, 다시 트레이스 ID를 찾아 트레이스 도구를 열어야 했습니다. 필요하면 프로파일까지 확인했습니다. 도구를 바꿀 때마다 라벨과 시간 범위 같은 분석 맥락도 함께 옮겨야 했습니다.

팀은 먼저 자체 호스팅형 LGTM-P 스택을 구축했습니다. Loki, Grafana, Tempo, Mimir, Pyroscope를 연결하고, OpenTelemetry Collector가 받은 데이터를 종류에 따라 Mimir·Loki·Tempo·Pyroscope로 보내 Grafana 안에서 이어 볼 수 있게 했습니다. 쿼리 성능과 보관 기간, 샘플링 정책, 라벨 규칙도 직접 조정하게 됐습니다.

데이터만 모으면 끝날 일은 아니었습니다. 같은 서비스도 Prometheus 계열 메트릭에서는 service_name, Tempo에서는 resource.service.name으로 찾아야 할 수 있습니다. Loki에서는 로그 본문을 JSON으로 파싱할지, 구조화된 메타데이터를 직접 필터할지도 알아야 했습니다. 이런 지식은 문서보다 숙련된 SRE의 머릿속에 있는 경우가 많았습니다. SRELens에는 그 지식을 에이전트가 사용할 수 있는 형태로 옮기는 작업이 필요했습니다.

실제 요청까지 따라간 SRELens 분석

400 응답을 되풀이한 메시지

운영 지식이 조회 결과를 바꾼 사례는 스트림 처리 서비스의 재시도 폭풍입니다. 한 메시지를 다운스트림 HTTP API에 보낼 때마다 400 Bad Request가 돌아왔고, 재시도 토픽을 거친 자동 재시도가 이어졌습니다. 결함 있는 메시지 하나가 재시도 체인을 따라 실패를 증폭시키는 포이즌 필 패턴이었습니다. 아래 분석 사례의 서비스명과 식별자는 원문에서 공개 가능한 형태로 일반화한 것입니다.

질문에는 조회 순서까지 담았습니다. dev 환경의 stream-processor-beta에서 16:50~16:55 사이 반복된 실패를 Tempo에서 먼저 찾고, 트레이스 ID와 호출한 다운스트림, HTTP status를 확인한 뒤 같은 시간대의 Loki 로그를 보여 달라는 요청이었습니다.

처음에는 조회부터 막혔습니다. 같은 질문을 프롬프트 개선 단계별로 반복했을 때, 기본 프롬프트에서는 트레이스 검색이 재시도 한도에 걸렸습니다. Tempo 조회에 성공한 단계에서도 Loki는 잘못된 데이터소스와 필터를 선택해 0건을 반환했습니다. 데이터소스 UID와 라벨 후보, 로그 필드 관습을 담은 데이터소스 프래그먼트와 베이스 프롬프트를 개선한 뒤에는 같은 짧은 질문으로 양쪽 모두 정확한 쿼리에 도달했습니다.

개선 후 사용한 쿼리는 이런 형태였습니다.

{resource.service.name="stream-processor-beta" && status=error}

{service_name="stream-processor-beta"} | detected_level="ERROR"

Loki 쿼리에 | json이 없는 데에는 이유가 있습니다. 해당 환경의 에러 레벨은 로그 본문 JSON 필드가 아닌 구조화된 메타데이터에 들어 있었습니다. 이 관습을 알려 주지 않았다면 에이전트는 JSON 파서를 붙여 다시 0건을 받았을 가능성이 높았습니다.

조회가 이어지자 원인도 좁혀졌습니다. SRELens는 같은 트레이스 안의 여러 재시도, 모두 400을 반환한 다운스트림 클라이언트 스팬, 로그의 예외 메시지를 연결했습니다. 업스트림이 발행한 메시지의 필수 필드가 비어 있어 재시도 폭풍이 발생했다는 결론이었습니다. 후속 조치로 메시지 발행 측 검증을 강화하고, 스키마 오류를 DLQ(Dead Letter Queue)로 분류하도록 재시도 정책을 개선하자고 제안했습니다.

CopyMedia 급증 뒤의 비즈니스 에러

다른 사례에서는 대시보드 링크와 함께 beta 환경의 09:50~10:05 오류 급증을 분석해 달라고 요청했습니다. SRELens는 메트릭·로그·트레이스를 조회해 CopyMedia 요청이 늘어난 구간을 찾았습니다.

존재하지 않는 대상을 복사하려는 시도에서는 404(NotFound)가, 이미 존재하는 리소스에 대한 요청에서는 409(AlreadyExists)가 대량 발생했습니다. SRELens는 이 비즈니스 에러들이 ERROR 로그와 error status 트레이스로 집계되면서 오류율이 높아진 것으로 분석했습니다. 인프라 장애보다는 잘못되거나 중복된 복사 요청 패턴이 주된 원인으로 보인다는 판단이었습니다. 에러 증가를 확인하는 데서 더 나아가, 어떤 요청이 어떤 에러를 만들었는지까지 연결한 사례입니다.

Tempo 트레이스만 남은 분석 근거

로그가 없어 분석의 한계를 밝혀야 했던 사례도 있습니다. 한 API 서비스에서 요청 지연이 늘었고, 트레이스에는 약 1~2초 수준의 타임아웃 에러 스팬과 HTTP 500이 반복됐습니다. 질의 시점에는 해당 서비스의 로그가 아직 Loki로 수집되기 전이었습니다.

이때 확보한 근거는 Tempo 트레이스였습니다. SRELens는 다운스트림 호출의 지연 또는 오류를 가장 유력한 원인으로 제시하면서도, Loki 로그를 조회하지 못해 로그 기반 근거는 없으며 추가 확인이 필요하다고 답했습니다. 트레이스로 확인한 현상과 아직 확인하지 못한 부분을 나눠 제시한 것입니다. 베이스 프롬프트와 오케스트레이터의 가드레일은 이런 근거 부족도 숨기지 않도록 설계됐습니다.

직접 구현으로 확보한 SRELens 제어권

팀이 처음부터 SRELens를 직접 만든 것은 아닙니다. Grafana에 LLM을 결합하는 오픈소스 플러그인으로 PoC를 진행해 가능성을 확인했습니다. 운영에 적용하려 하자 자연어 질의 바깥의 문제가 드러났습니다.

Grafana가 인증한 사용자 정보를 기준으로 대화 기록과 사용량 한도, 조회 권한을 관리해야 했지만, 사용자 컨텍스트를 원하는 방식으로 안정적으로 전달받기 어려웠습니다. 조직 공통 정책도 보호해야 했습니다. 도구 호출 순서와 재시도 방식, 대시보드 수정 같은 위험 작업의 제한을 사용자 질의와 한 덩어리로 붙여서는 정책을 안정적으로 유지하기 어려웠습니다.

분석이 끝나기 전에 도구 호출 라운드가 소진되는 문제도 있었습니다. 메트릭의 스파이크에서 에러 스팬으로, 다시 로그의 예외 메시지로 이어지는 분석에는 여러 차례의 호출이 필요했습니다. 여기에 데이터소스별 라벨 차이와 운영·라이선스 부담까지 겹쳤습니다. 팀은 에이전트의 행동을 운영 환경에 맞게 통제할 수 있어야 한다고 판단해 직접 구현을 택했습니다.

SRELens의 프런트엔드는 Grafana 안에서 채팅 UI를 제공하고, 백엔드는 LLM 호출과 프롬프트 합성, 도구 실행, 사용량 제어를 맡습니다. 관측성 데이터는 MCP(Model Context Protocol) 게이트웨이인 FlavaMCP로 조회합니다. 대화 기록과 사용자 프롬프트, 사용량 카운터를 보관하는 곳은 Redis입니다.

Grafana 패널을 다루는 도구는 백엔드에 따로 구현했습니다. 패널을 찾는 find_grafana_panel과 이미지를 가져오는 render_grafana_panel을 업스트림 MCP 툴과 CompositeClient로 묶었습니다. LLM은 같은 인터페이스로 도구를 호출하고, 백엔드가 실제 실행 경로를 처리합니다.

수정 권한과 운영 맥락을 나눈 프롬프트

조직 정책과 개인 선호를 한 프롬프트에 섞으면 누가 무엇을 바꿀 수 있는지 불분명해집니다. SRELens는 프롬프트를 계층으로 나누고 설정 주체와 저장 위치를 구분했습니다.

계층설정 주체저장 위치담는 내용
베이스 프롬프트관리자/SRE플러그인 설정 또는 내장 파일전역 행동 정책과 안전 규칙
데이터소스 프래그먼트관리자/SRE플러그인 설정 YAML데이터소스 UID, 라벨 후보, 조회 관습
사용자 프롬프트각 Grafana 사용자Redis개인·팀 맥락과 응답 선호

베이스 프롬프트에는 도구 호출 순서, 대시보드 생성·수정·삭제의 안전 규칙, 빈 결과에 대한 폴백, 잘린 결과를 다시 조회하는 방식, 응답 형식과 근거 제시 규칙을 담았습니다. 관리자만 수정할 수 있습니다. 설정값이 비어 있으면 코드에 포함된 기본 프롬프트를 쓰고, 관리자가 Grafana 설정에 값을 넣으면 그 값으로 대체합니다.

데이터소스 프래그먼트는 에이전트가 조회를 시작할 지점을 알려 줍니다. 우선 사용할 Mimir·Loki·Tempo 데이터소스 UID와 서비스명 라벨 후보, Loki 필드 처리 관습을 YAML로 제공합니다. 에이전트가 매번 데이터소스와 라벨을 탐색하는 데 라운드를 쓰지 않도록 SRE의 운영 지식을 압축한 것입니다. 팀은 이 지식을 명문화한 뒤 훨씬 적은 라운드로 올바른 쿼리에 도달했다고 설명합니다.

개인화는 별도로 유지합니다. 담당 서비스와 선호하는 응답 형식, 자주 보는 대시보드 이름은 사용자 프롬프트로 저장해 시스템 프롬프트의 Additional Context 영역에 넣습니다. 이 값은 베이스 프롬프트를 덮어쓰지 않습니다. 사용자가 자신의 맥락을 추가해도 조직 공통 안전 규칙은 유지됩니다.

도구 호출과 응답 크기를 제한하는 백엔드

반복 호출을 멈추는 오케스트레이터

시스템 프롬프트 합성은 백엔드 오케스트레이터가 전담합니다. 프런트엔드에서 조립하면 사용자가 정책을 우회할 여지가 있기 때문입니다. 오케스트레이터는 LLM이 요청한 MCP 또는 로컬 툴을 실행하고, 결과를 LLM에 돌려주는 과정을 최종 답변이 나올 때까지 반복합니다.

이 루프에는 상한이 있습니다. 기본 최대 10라운드까지 도구를 호출하고, 도구별 재시도는 기본 2회로 제한했습니다. 같은 도구를 같은 인자로 다시 호출하는 일은 호출 해시(callHash)로 차단합니다. 분석에 필요한 재시도는 허용하되, 반복 호출이 응답 지연과 비용 증가로 이어지지 않게 하는 안전벨트입니다.

개발 중 가장 자주 만난 문제는 라벨 선택이었습니다. 프래그먼트에 라벨 후보와 데이터소스별 주의 사항을 넣고, 베이스 프롬프트에는 결과가 없을 때의 폴백 순서를 명시했습니다. 특정 라벨에서 결과가 없으면 다른 후보를 시도하고, 시간 범위가 너무 좁으면 넓혀 다시 조회하는 식입니다. 빈 결과를 받았다는 이유만으로 분석을 포기하지 않도록 라벨·시간 범위·데이터소스를 바꿔 볼 힌트를 제공합니다.

조회에 성공해도 결과가 너무 크면 문제가 됩니다. 로그와 트레이스 응답은 수십 KB에서 수백 KB를 쉽게 넘기므로, 그대로 넣으면 LLM 컨텍스트가 빠르게 가득 찹니다. 코드는 개별 툴 결과의 크기를 제한하고 잘렸다는 마커를 붙입니다. 베이스 프롬프트는 그 마커를 보고 잘린 결과를 근거로 답하지 말고 집계 쿼리로 다시 조회하도록 정합니다. 예를 들어 count_over_time, topk, sum by 같은 집계를 먼저 사용하도록 유도합니다.

여러 결과가 쌓여 요청 전체가 커지는 경우도 처리했습니다. 오래된 툴 실행 결과부터 플레이스홀더로 치환하되, tool_call_id는 남겨 호출과 결과의 짝을 유지합니다. 결과를 자르는 코드와 잘린 뒤의 행동을 정하는 프롬프트가 함께 작동하는 방식입니다.

실제 토큰 사용량을 쌓는 일일 버킷

사용자 질문 하나가 여러 번의 LLM 호출로 이어지므로 비용도 백엔드에서 제한합니다. 사용자별 일일 토큰 한도와 분당 요청 수 제한을 두고, 한도를 넘으면 HTTP 429를 반환합니다.

사용량은 사후에 반영합니다. 요청 전에는 현재 누적량이 한도를 넘었는지 검사하고, 응답 뒤에는 OpenAI가 반환한 실제 프롬프트 토큰과 출력 토큰을 사용자별 일일 버킷에 더합니다. 추정치 대신 실제 사용량을 기준으로 운영·비용을 모니터링하는 방식이며, 버킷은 Asia/Seoul 기준 자정에 리셋됩니다.

Redis 연결 실패가 전체 기능의 중단으로 이어지지는 않도록 했습니다. Redis를 사용할 수 없으면 대화 기록과 개인화 기능은 제한되지만, 단일 채팅 요청은 계속 처리합니다.

기다리는 동안에도 보이는 분석 과정

분석에는 여러 차례의 도구 호출이 필요합니다. 사용자가 응답을 기다리며 멈춘 것인지 추측하지 않도록, SRELens는 SSE(Server-Sent Events)로 텍스트와 tool_call, image, link, done, error 이벤트를 나눠 보냅니다. Prometheus·Loki·Tempo 등을 호출하는 동안에는 UI에 도구 이름도 표시합니다.

길어지는 생성은 Stop 버튼으로 중단합니다. 이미 받은 답변은 채팅에 남겨 부분 응답도 분석에 활용하도록 했습니다. latency 패널처럼 그래프가 더 직관적인 요청에는 find_grafana_panel로 후보를 찾고, render_grafana_panel로 Grafana 이미지 렌더러를 호출해 PNG를 가져옵니다. 사용자는 대화 안에서 스냅샷을 보고 필요한 경우 첨부 링크로 이동합니다.

보여 주는 답변도 신뢰할 수 없는 입력으로 다룹니다. Markdown과 코드 블록, 표, Mermaid 다이어그램은 지원하지만 원본 HTML은 렌더링하지 않습니다. Mermaid 결과는 정제하고, 링크와 이미지 URL에는 허용된 스킴만 통과시킵니다.

대화 기록과 목록은 Redis에 저장합니다. 30일 동안 사용하지 않으면 자동 정리하며, 대화하거나 목록을 볼 때마다 TTL을 갱신합니다. 사용자 프롬프트에는 이 만료 정책을 적용하지 않았습니다. 담당 서비스나 응답 선호는 오래 접속하지 않았다는 이유로 사라지지 않도록, 사용자가 직접 수정하거나 삭제할 때까지 유지합니다.

기록과 한도의 기준은 Grafana가 인증한 사용자입니다. Home SRE 팀의 운영 환경에서는 Grafana 로그인이 GitHub OAuth와 연동돼 있어 GitHub 계정별로 적용됩니다.

재현 쿼리로 이어질 Grafana Explore

팀은 분석 결과의 근거 링크와 재현 쿼리를 더 충실히 제공할 계획입니다. 사용자가 결론이 나온 이유를 확인하고, 같은 쿼리를 Grafana Explore에서 다시 실행할 수 있게 만드는 것이 목표입니다.

반복되는 분석 흐름도 짧은 질문으로 실행하도록 개선하려 합니다. Kafka 랙, 타임아웃 스파이크, 포이즌 필 재시도처럼 필요한 메트릭·로그·트레이스 조회 순서가 어느 정도 정해진 패턴을 템플릿화할 계획입니다. 사용량과 비용뿐 아니라 실패율, 도구 호출 패턴까지 살펴볼 수 있도록 대시보드도 고도화하려 합니다.

SRELens 구성과 기본 제한값
항목값
프런트엔드TypeScript, React, Grafana UI
백엔드Go, Grafana Plugin SDK
LLMOpenAI의 툴 호출 지원 GPT 계열 모델
MCP 게이트웨이FlavaMCP
저장소Redis (대화 기록, 사용자 프롬프트, 사용량 카운터)
도구 호출 라운드 상한기본 최대 10
도구별 재시도기본 2회
한도 초과 응답HTTP 429
일일 버킷 리셋Asia/Seoul 자정
대화 기록 자동 정리30일 미사용 시
마지막 수정 일자