목차
새벽 3시의 장애 신호를 잇는 SRE Observer (2026-09)
원문 정보
- 원문: 장애 Alert의 원인을 스스로 찾다: SRE Observer 개발기
- 매체 · 게시일: LY Corporation Tech Blog · 2026-09-04
- 저자: 박상기, 강계돈 (LINE Plus Home SRE 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
알림 분류에 쓰이던 최초의 몇 분
새벽 3시, 장애 알림이 울렸습니다. 담당자는 보통 대시보드에서 메트릭을 확인하고, 로그 플랫폼에서 같은 시간대의 에러를 찾은 뒤 트레이스를 열어 문제가 된 요청을 따라갑니다. 필요하면 프로파일도 확인합니다. 원인을 찾을 신호는 이미 있었지만, 서로 다른 화면에 흩어진 신호를 연결하는 일은 사람이 해야 했습니다.
알림부터 하나씩 오는 것도 아닙니다. 업스트림 서비스 하나가 흔들리면 다운스트림 서비스들이 줄줄이 타임아웃을 내고, 하나의 근본 원인이 수십 개의 Alert로 쪼개져 도착합니다. 담당자는 원인을 조사하기에 앞서 이 알림들이 같은 장애인지부터 가려야 했습니다. LINE Plus Home SRE 팀이 자체 관측성 스택 LGTM-P에 데이터를 모아 둔 뒤에도, 신호를 잇는 판단은 여전히 사람의 머릿속에서 일어났습니다.
기존 도구를 쓰는 데도 제약이 있었습니다. Alertmanager grouping은 정적인 라벨 일치에 의존하므로 서비스 의존 관계나 증상의 의미적 유사성까지 고려해 Alert를 묶기 어려웠습니다. 상용 AIOps로는 자체 호스팅 LGTM-P, 사내 인증과 권한, 조직의 심각도 정책과 대응 절차를 원하는 수준으로 반영하기 어려웠습니다. 특히 어떤 근거가 있어야 원인을 확정하고, 어떤 작업부터 사람의 승인을 받을지는 팀이 직접 통제하고자 했습니다.
그렇게 만든 SRE Observer의 목표는 담당자가 개입하기 전에 신호를 연결하고 원인을 찾아 Slack 보고까지 마치는 것이었습니다. LGTM-P와 Slack, Kubernetes 등의 데이터를 바탕으로 LLM과 MCP를 활용해 분석합니다. 도입 후에는 초기 Alert 노이즈의 85~95%를 실시간으로 차단했고, 평균 장애 식별 시간(MTTR)을 50% 줄였습니다.
처리는 Mimir Alertmanager가 PromQL Rule(Mimir Ruler)과 LogQL Rule(Loki Ruler)을 평가해 웹훅으로 보낸 Alert에서 시작합니다. 상관분석과 원인 분석, 위험도 판단, 대응을 거쳐 장애 지식까지 축적하는 흐름입니다. 각 구성 요소는 독립적으로 동작하며, Incident Context Store에 저장한 Incident별 Alert와 분석 결과, 증거로 맥락을 공유합니다.
service-a로 이어진 타임아웃 Alert
service-a를 배포한 직후, 이 서비스에 의존하는 service-b, service-c, service-d에서 타임아웃 Alert가 쏟아졌습니다. 원문에서 서비스명과 식별자를 일반화해 소개한 사례입니다. 담당자가 알림을 하나씩 열었다면 공통 원인을 찾기 전에 같은 장애인지 분류하는 데부터 시간을 써야 했습니다.
SRE Observer는 첫 Alert가 도착한 T+0에 신규 Incident를 만들었습니다. T+1분에는 service-c와 service-d의 Alert가 연이어 들어왔습니다. 이들을 기존 Incident에 붙일지 판단하려면 발생 시각만으로는 부족합니다. 같은 시간에 터진 별개의 장애를 합칠 수도 있고, 시간을 두고 이어진 같은 장애를 놓칠 수도 있기 때문입니다.
새 Alert 그룹이 도착할 때마다 열려 있는 Incident 각각과 비교해 점수를 계산합니다. 판단 기준과 가중치의 우선순위는 아래와 같습니다.
| 분석 축 | 가중치 우선순위 | 판단 근거 |
|---|---|---|
| Semantic | 1 — 높음 | LLM이 판단한 증상의 의미적 유사성 |
| Topology | 2 | Tempo Trace에서 확인한 서비스 의존 관계 |
| Temporal | 3 — 낮음 | Alert 발생 시점의 근접성 |
점수를 가중 합산해 임계치 이상일 때만 기존 Incident에 병합하고, 넘지 못하면 새 Incident로 분리합니다. Topology는 Alert가 발생한 서비스의 통신 내역을 Tempo에서 확인하고, 연관된 업스트림과 다운스트림 서비스를 찾아 계산합니다.
service-a 사례에서는 시간적으로 가까워 Temporal이 높았고, 공통 업스트림이 확인돼 Topology가 중간 이상이었습니다. LLM도 동일한 업스트림 타임아웃 증상으로 보아 Semantic을 높게 판단했습니다. 합산 점수가 임계치를 넘으면서 후속 Alert들이 기존 Incident에 합류했고, T+2분에는 하나의 Incident로 모여 원인 분석을 시작했습니다.
가장 높은 가중치를 준 Semantic에도 제한은 있습니다. LLM이 비교 쌍마다 반환한 신뢰도가 기준에 못 미치면 해당 Semantic 점수는 0점으로 낮춥니다. 애매한 유사성이 병합 판단에 영향을 주지 않게 한 것입니다. 서비스 의존 그래프가 없을 때는 Topology를 0점으로 두고, LLM 가중치도 0이면서 그래프도 없으면 temporal-only fallback으로 판단합니다. 사용할 수 없는 축이 생겨도 나머지 신호로 처리를 이어갑니다.
도구 하나로 끝내지 않는 원인 조사
Incident를 묶은 다음에는 AI Analysis Agent가 근본 원인 분석(RCA)을 시작합니다. 여기서 막으려던 행동은 명확했습니다. 도구 하나의 조회 결과만 보고 그럴듯한 원인을 골라 조사를 끝내는 일입니다.
Agent는 조사 시작 시 아래 5개 가설을 모두 열거해야 하며, 검토 없이 결론을 내릴 수 없습니다.
deployment_change: 배포 변경resource_exhaustion: 자원 고갈external_dependency: 외부 의존성code_bug: 코드 결함infra_platform: 인프라/플랫폼
직접적인 관측 신호가 가설을 뒷받침하면 rule-in, 반박 신호가 있으면 rule-out으로 판단합니다. 모든 가설이 rule-out 또는 cannot-verify로 남으면 원인 미특정인 other를 사용합니다. 근거가 부족한 상태도 분석 결과로 남기는 방식입니다.
조회 순서는 가설과 증상에 맞춥니다. 클러스터 이슈에는 Kubernetes 도구를 1개 이상 사용하고, CPU나 메모리 압박에는 Pyroscope로 hot function을 확인합니다. 배포 후보는 get_annotations, 지연과 타임아웃은 query_prometheus와 tempo_traceql-search로 조사합니다.
증상을 확인하는 데서 멈추지도 않습니다. 지연이라면 어느 다운스트림 호출이나 span에서 발생했는지, CPU 문제라면 어느 컨테이너와 함수, 입력 볼륨이 원인인지까지 좁혀 갑니다. 오류는 예외 클래스나 코드 경로를, 포화는 고갈된 자원과 이를 유발한 워크로드를 설명해야 합니다.
앞서 service-a 사례에서는 Alert 발생 구간에 해당하는 service-a repo의 배포 annotation과 최근 commit을 get_annotations로 확인했습니다. 배포 변경을 뒷받침하는 근거가 나왔습니다. deployment_change를 rule-in으로 판단했고, resource_exhaustion, external_dependency 등 나머지 가설은 반증 신호로 rule-out 처리했습니다.
도구를 호출할 때마다 근거도 남깁니다. Evidence Ledger에 provider_category, tool_name, query_summary, observation_summary, raw_excerpt를 누적하고, 최종 결론을 낼 때 이 기록으로 실제 근거가 있는지 다시 검증합니다. LLM이 원인을 구체적으로 말했다는 이유만으로 그 결론을 받아들이지는 않습니다.
조사를 언제 끝낼지도 정했습니다. Soft timeout에 이르면 추가 수집을 멈추고 확보한 근거로 결론을 준비합니다. Hard timeout은 RCA 전체 실행 시간의 절대 상한이며, Tool budget은 도구 호출 횟수를 제한합니다. 이 값들은 운영 중 조정할 수 있는 설정으로 두어 분석 깊이와 무한 탐색·비용 증가 사이의 균형을 찾아갑니다.
근거가 부족할 때 남겨 둔 other
service-e 사례에서는 원인을 특정할 근거가 부족했습니다. 요청 지연이 증가했고 트레이스에는 1~2초 수준의 타임아웃 span과 HTTP 500이 반복됐지만, 분석 시점에 로그가 아직 Loki로 수집되지 않은 상태였습니다. 여러 원인 가설이 대부분 cannot-verify로 남았습니다.
LLM의 초안은 다운스트림 의존성 문제를 제안했습니다. 하지만 external_dependency를 rule-in할 직접 근거가 부족했습니다. 트레이스가 지목한 업스트림·다운스트림 관계와 대상 서비스 내부 메트릭의 정상 여부 등을 충분히 확인하지 못했기 때문입니다. 앱은 근거 기반 가드레일을 적용해 category를 other로 낮추고 신뢰도도 제한했습니다. 심각도는 확정하지 않은 채 추정으로 남겼습니다.
Slack에는 Tempo에서 확인한 지연과 오류, 유력한 방향인 다운스트림 호출 지연, Loki 로그 근거를 확보하지 못했다는 사실을 함께 보고했습니다. 로그가 수집된 뒤에는 Re-analyze로 근거를 보강해 확정으로 승격할 수 있습니다. 그 전까지 other는 원인을 아직 특정하지 못했다는 뜻입니다. 근거 없는 확신으로 대응을 잘못된 방향에 이끌지 않으려는 선택입니다.
이 제어는 LLM이 제안한 심각도에도 적용됩니다. RCA가 끝나면 LLM은 suggested_severity(p1~p4)와 신뢰도를 제안하고, 앱은 가드레일로 보정한 chosen_confidence를 산출합니다. 근거 없이 code_bug나 external_dependency 같은 원인을 지목하면 분류와 신뢰도를 낮춥니다. resource_exhaustion인데 추세 쿼리나 재시작·OOM 확인이 없을 때도 신뢰도 상한을 더 낮게 둡니다.
신뢰도는 확보한 근거에 따라 제한됩니다.
| 신뢰도 단계 | 근거 수준 |
|---|---|
| 가장 높은 단계 | 직접적이고 구체적인 근거가 있는 상태. 심각도 확정은 이 단계에서만 허용 |
| 높은 단계 | 원인이 증상과 구분되고, 메트릭 외에 보강 신호가 하나 더 있는 상태 |
| 중간 단계 | 기여 요인은 보이지만 근본 원인은 불확실한 상태 |
| 낮은 단계 | 증상만 확인했거나 근거가 부족한 상태 |
심각도를 확정하려면 가드레일의 강등 사유(degrade_reason)가 없고, Incident 자체가 확정 상태(incident_confirmation)이며, 보정된 신뢰도가 확정 기준선 이상이어야 합니다. 하나라도 충족하지 못하면 추정 상태를 유지합니다. service-a 사례는 배포 근거가 명확했고 보정된 신뢰도도 기준선을 넘어 P1으로 확정했습니다.
확정 이후에는 등급을 고정합니다. 미확정 Incident는 재분석이나 새 Alert 합류로 근거가 쌓이면 추정에서 확정으로 승격할 수 있지만, 한 번 확정된 심각도는 재분석해도 추정으로 돌아가거나 다른 등급으로 바뀌지 않습니다. 이 동작이 latch입니다.
자동 보고와 작업 승인을 나눈 Slack
담당자가 마주하는 인터페이스는 Slack입니다. Incident 하나를 스레드 하나로 표현하므로, 알림을 받고 분석을 마칠 때까지의 맥락이 같은 곳에 남습니다. service-a 사례에서는 담당자가 스레드를 열었을 때 이미 십수 개의 알림이 모여 있었고, 최근 배포라는 근본 원인과 영향 서비스, 롤백 권장 대응을 근거 링크와 함께 확인할 수 있었습니다.
첫 Alert로 Incident Created 스레드가 열리면 Close Incident와 Re-analyze 버튼도 표시됩니다. 같은 장애로 판단한 후속 Alert 그룹은 새 스레드를 만들지 않고 Alert Group Joined 답글로 합류합니다. RCA Analyzing 단계에서는 가설 검증과 증거 수집 상황을 실시간으로 보여 주며, RCA Result에는 근본 원인과 영향 서비스, 신뢰도, 권장 대응을 게시합니다.
보고에는 사람의 승인을 기다리지 않습니다. 승인 경계(Approval Gate)는 실제 Operation 실행에 적용합니다. Pod 재시작이나 롤백처럼 시스템 상태를 바꾸는 작업을 실행할 때 사람의 승인을 받는 방식입니다.
승인 없이 즉시 수행하는 1차 대응은 알림과 에스컬레이션 중심입니다.
| 심각도 | 1차 대응 |
|---|---|
| P1(Critical) | 담당팀 알림 채널에 팀 멘션, 대응 채널에 즉시 에스컬레이션, 티켓과 Runbook 링크 제공 |
| P2(Warning) | 담당팀 멘션, 티켓과 Runbook 링크 제공. 1시간 내 대응 |
| P3(Notice) | 티켓 생성. 다음 근무일 대응 |
| P4 또는 P1 미확정 | 스레드 종료 |
승인 후 실행하는 2차 대응에서 P1/P2는 Pod 재시작, 롤백, 스케일 조정, Alert Rule 임계치 조정을 다룹니다. P3에는 코드 수정 PR 자동 생성과 DB 쿼리 최적화 제안이 포함됩니다. 분석 결과를 전달하는 단계와 실제 작업을 실행하는 단계의 승인 범위를 분리한 것입니다.
담당자가 흐름에 개입할 수도 있습니다. 근거가 부족하거나 새 데이터가 생겼다면 Re-analyze로 RCA를 다시 실행합니다. Close Incident를 누르면 Incident를 종료하면서 추가 Alert 그룹의 병합을 막고 진행 중인 RCA도 중단합니다. 포함된 Alert가 모두 Resolved가 되면 자동으로 종료되지만, 문제가 해결된 뒤에도 Alert가 한동안 Firing으로 남을 것으로 판단되면 수동으로 종료해 노이즈를 줄일 수 있습니다.
운영에서 손봐야 했던 관측성 조회
올바른 도구를 골라도 결과를 찾지 못하는 경우가 있었습니다. 같은 서비스명을 조회할 때 Prometheus 계열은 service_name, Tempo는 resource.service.name을 사용합니다. Loki의 에러 레벨은 로그 본문 JSON이 아닌 구조화된 메타데이터에 들어 있기도 합니다. 이 차이를 알려 주지 않으면 Agent는 데이터가 있는데도 찾지 못할 수 있습니다.
첫 조회가 비었다고 데이터가 없다고 단정하지 못하게 했습니다. 데이터 소스와 tenant마다 라벨·필드가 다를 수 있으므로 다른 후보 데이터 소스를 반드시 재시도하도록 했습니다. 여러 tenant를 순회하는 Mimir 조회, Loki tenant 라벨 주입, cAdvisor 라벨 기준 안내 등도 RCA 프롬프트에 계속 반영했습니다.
조회에 성공한 뒤에는 응답 크기가 문제였습니다. 로그와 트레이스 결과는 금세 수백 KB로 커져 LLM의 컨텍스트 창을 채웠습니다. 팀은 개별 도구 결과의 크기를 제한하고, 결과를 잘랐다는 표시를 붙였습니다. 최종 결론을 만들 때도 원본을 길게 다시 넣는 대신 메트릭 위반과 주요 트레이스, 의존성, 로그 유무를 담은 신호 요약을 사용합니다.
신호 계층별로 근거를 고르게 정리하자 Loki 로그가 드문 상황에서도 Prometheus와 Tempo 신호가 결론 입력에서 밀리지 않게 됐습니다. 근거를 수집하는 일에 더해, 모은 근거가 최종 판단까지 남도록 입력을 조정한 것입니다.
심각도 판단에 반영할 Burn Rate
심각도 정책에는 error budget 소모 속도인 Burn Rate를 반영할 계획입니다. Burn-rate-aware severity policy는 소모 속도가 빠를수록 높은 심각도로 매핑하는 방식입니다. 에러율에 더해 대응이 얼마나 급한지도 판단에 넣으려는 계획이며, 현재 적용을 마친 기능으로 소개한 것은 아닙니다.
현재 승인 경계 안에서 제한적으로 동작하는 2차 대응 자동 조치도 안전하게 확대할 예정입니다. 확정된 P1 리포트를 사내 지식 베이스에 발행하는 Post-Incident Knowledge는 반복되는 장애 패턴을 조직 지식으로 축적하도록 계속 강화할 계획입니다.