목차
장애 인지 뒤의 지연을 줄이는 First Action (2026-02)
원문 정보
- 원문: 장애 대응의 성패를 가르는 First Action: 우아한형제들의 장애 관리 라이프사이클
- 매체 · 게시일: 우아한형제들 기술블로그 · 2026-02-03
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
빠른 인지 뒤에도 이어진 고객 영향
우아한형제들의 2025년 장애는 인지가 비교적 빠른 편이었습니다. 그런데 고객 경험에 악영향이 오래 이어진 사례도 적지 않았습니다. 내부 장애 70여 건 이상을 분석하자, 처음 취한 조치가 핫픽스였던 장애는 롤백으로 시작한 경우보다 평균적으로 거의 두 배 가까이 오래 지속되는 경향이 드러났습니다.
롤백은 문제가 된 변경을 바로 되돌립니다. 핫픽스에는 원인을 좁히고 코드를 수정한 뒤 다시 배포할 시간이 필요합니다. 그동안 서비스 상태는 그대로입니다. 원인을 정확히 파악하는 데 시간이 걸릴수록 첫 조치를 실행하기 전까지 고객 영향도 계속 쌓입니다.
차이는 대부분 인지 이후 무엇을 먼저 했는지에서 시작됐습니다. 얼마나 빨리 알아차렸는지와 함께, 고객 영향을 줄일 첫 조치를 얼마나 빨리 실행했는지도 살펴야 했습니다.
First Action의 실행과 효과를 재는 속도계
우아한형제들이 관리 대상으로 정한 First Action(초동 조치)은 롤백이나 스케일 조정처럼 사전에 정의한 기계적 완화 조치입니다. 추가 판단 없이 바로 실행할 수 있는 조치로, 원인을 분석하는 일보다 고객 영향을 빠르게 줄이는 데 초점을 맞췄습니다.
조치 속도는 MTTA(Mean Time to Action, 평균 조치 시간)로 추적합니다. 일반적인 장애 관리 메트릭 가이드에서 정의하는 지표는 아닙니다. 표준화된 대응이 제때 작동하는지 확인하려고 마련했으며, 첫 실행과 실제 효과를 구분하려고 MTTFA와 MTTEA로 나눴습니다.
MTTFA(평균 초동 조치 시간)는 장애 발생부터 사전 정의된 최초의 기계적 조치가 실행되기까지를 잽니다. MTTEA(평균 유효 조치 시간)도 장애 발생을 출발점으로 삼습니다. 끝점은 조치 이후입니다. First Action을 포함한 유효 조치가 실행되고, 비정상 지표가 실제로 개선되기 시작할 때까지의 평균 시간입니다.
MTTFA가 길면 롤백 경로가 복잡한지, 스케일 조정이 수동 작업에 의존하는지, 실행 전에 추가 판단이나 준비가 필요한지 살핍니다. 개선 방향은 자동화와 실행 절차의 단순화입니다. MTTEA가 길 때는 표준 완화 조치만으로 부족한 장애 유형이 반복되는지 점검합니다. 실행이 늦었는지, 실행했어도 효과가 부족했는지에 따라 바꿔야 할 대상도 달라집니다.
MTTFA와 MTTEA의 관계 해석
| 관측 | 해석 |
|---|---|
| MTTEA와 MTTFA가 거의 같음 | First Action이 즉시 실행되고 효과도 바로 나타난 이상적인 상태 |
| MTTEA가 MTTFA보다 김 | First Action만으로 부족해 추가 대응이 필요했던 상태 |
| MTTEA만 있고 MTTFA 없음 | 기계적 초기 조치를 쓰지 못했거나 외부 요인인 경우를 제외하면 핫픽스 등 직접 대응, 운영 리스크 높음 |
| MTTEA가 점점 길어짐 | 표준 대응 시나리오와 자동화에 개선 지점이 있음 |
서로 달랐던 출발점을 맞춘 장애 지도
First Action을 비교하려면 그 앞뒤의 시간도 같은 기준으로 설명해야 했습니다. 실제로는 기준부터 달랐습니다. 대응의 출발점을 장애 영향도를 인지한 시점으로 보기도 했고, 전사에 전파한 시점으로 삼기도 했습니다. 장애마다 맥락도 달라 어느 대응이 빨랐는지 조직 전체가 같은 의미로 받아들이기 어려웠습니다.
이를 맞추기 위해 탐지·인지부터 대응, 복구, 재발 방지까지 이어지는 장애 관리 라이프사이클을 정의했습니다. 잠재적 장애 상태(Potential-Incident Lifecycle) 1단계와 실제 장애 상태(Incident Lifecycle) 6단계를 합친 총 7단계입니다. 라이프사이클이 지도라면 메트릭은 속도계입니다. 각 단계의 시간을 재면 어디에서 지연이 생기고, 어느 구간이 고객 영향에 크게 작용하는지 살필 수 있습니다.
인지했다는 근거가 남는 Anomaly
Anomaly는 서비스나 시스템의 이상을 탐지하고 담당자가 인지하는 단계입니다. 알람만으로는 부족합니다. 온콜 알림 ACK, 고객센터 대응 코멘트, 알람 코멘트처럼 객관적 근거가 남아야 인지한 것으로 봅니다. 탐지 이후 다음 단계까지 자동화된 경우에는 알람 발생 시점을 인지 시점으로 간주할 수 있습니다.
MTTD(평균 탐지 및 인지 시간)는 장애 발생부터 담당자나 시스템이 실제로 인지할 때까지입니다. 우아한형제들이 알람 발생 이후 인지까지 포함하는 이유는 알람만 울려서는 대응이 시작되지 않기 때문입니다. 이 시간이 길면 모니터링 커버리지와 임곗값, 알람 노이즈로 신호를 놓쳤는지, 인지 근거를 기록했는지 확인합니다.
고객 영향이 없다고 판단되면 내부 조치 후 프로세스를 끝냅니다. 주문 과정 중 일부라도 이용하기 어렵다면 실제 장애 상태로 넘어갑니다. Open에서는 전사에 장애를 알리고 대응 채널을 만든 뒤, 기술 대응 조직을 중심으로 관련 조직을 초대해 함께 대응할 상태를 갖춥니다.
효과가 없으면 다시 돌아가는 분석과 조치
Investigating에서는 영향도를 파악하며 최근 배포나 설정 변경 여부, 외부 의존성 장애 등을 우선 점검합니다. Identified에서는 사전 정의된 First Action을 먼저 적용합니다. 이후에도 하나의 원인 규명에 집중하기보다 여러 완화 조치를 병렬로 검토하고 적용해 고객 영향을 줄이는 데 집중합니다.
조치를 실행했다고 복구가 끝나지는 않습니다. Monitoring에서 고객 영향이 실제로 줄었는지 확인하고, 완화되지 않았다면 Investigating과 Identified로 돌아가 다음 대응을 시도합니다. 고객 영향이 모두 완화되고 장애가 해소되면 Resolved에 도달하며, 확인한 사항과 조치 내용을 정해진 절차에 따라 전사에 전파합니다.
담당자가 장애를 인지한 시점부터 정상 복구까지는 MTTR(평균 복구 시간)로 측정합니다. MTTD가 탐지·인지 체계를 보여준다면 MTTR은 이후 대응·복구 체계를 보여주는 지표입니다. MTTR이 길면 First Action 준비 상태, 서비스 가시화 수준, 복구 작업의 복잡성, 의사결정과 커뮤니케이션 지연을 점검합니다.
해소 이후에도 남는 보고서와 후속 조치
Resolved 뒤에는 마지막 단계인 Closure Time이 남습니다. RCA(근본 원인 분석)를 문서화하고 재발 방지를 위한 후속 조치를 정해 실행하는 단계입니다. 우아한형제들은 장애 해소가 실제 운영 개선으로 이어졌는지 확인하려고 장애 보고서 프로세스와 후속대책 실행 프로세스를 분리했습니다.
MTTIR(평균 보고 완료 시간)은 장애 발생부터 보고서 작성 완료까지를 잽니다. 목적은 보고서의 품질과 일관성입니다. SRE팀은 RCA가 검증 가능한 근거에 바탕을 뒀는지, 후속 조치가 실제 재발 방지로 이어질 수 있는지, 다른 원인으로 재발해도 더 빨리 대응할 준비가 됐는지를 추가로 리뷰합니다. MTTIR이 길어지면 작성 부담과 템플릿 복잡도, 리뷰 절차를 함께 살핍니다.
보고서 이후의 실행도 추적합니다. MTTPM(평균 후속 조치 완료 시간)은 장애 회고 이후 정의한 모든 후속 조치가 끝날 때까지를 측정하며, 조치는 단기·중기·장기로 나눠 SLA를 정합니다. 지연이 생기면 책임을 묻기보다 우선순위 합의와 지원 체계부터 다시 점검합니다.
대응 데이터로 넓혀 가는 자동화
라이프사이클의 모든 단계가 측정 대상이지만, 전사적으로 추적하는 메트릭은 대응 흐름을 설명하는 주요 지표로 한정했습니다. 세부 상황은 각 팀이 해석합니다. 조직 전체에서는 공통 기준으로 병목을 찾아 어디에 리소스를 투입할지 정하고, 회고 결과를 다시 대응 방식에 반영합니다. 장애 대응의 성패를 개인의 경험과 역량에 맡기지 않고 시스템과 프로세스로 개선하려는 방향입니다.
현재 운영하는 대응 중심 지표에 더해 MTBF와 MTTF도 검토 중입니다. MTBF는 장애 사이의 간격으로 장기적인 안정성 추세를 살피고, MTTF는 장애 발생까지의 평균 시간으로 예방 활동의 개선 효과를 보려는 지표입니다.
SRE팀은 탐지·조치·복구·이행 추적에서 쌓이는 데이터로 AI Observability 체계를 단계적으로 구축하고 있습니다. 목표는 알람 수를 늘리는 데 있지 않습니다. 신뢰할 수 있는 신호로 이상 원인 후보를 빠르게 좁히고 필요한 조치를 추천해, 사람이 모든 상황을 해석하고 판단해야 하는 부담을 줄이려 합니다. 안전한 영역부터 자동화를 확장하고 있으며, 장기적으로는 완화 조치와 복구까지 자동으로 연결하는 AIOps를 지향합니다.
라이프사이클은 아직 완성형이 아닙니다. 실제 운영에서 얻은 데이터와 경험으로 계속 점검하며, 상황마다 첫 조치를 새로 고민하는 부담을 줄이고 더 빠른 탐지와 안정적인 복구가 가능한 체계로 발전시킬 계획입니다.