목차
주문 흐름에서 장애를 찾는 우아한형제들의 서비스 이상 탐지 (2025-12)
원문 정보
- 원문: 우아한형제들이 장애를 놓치지 않고 탐지하는 방법
- 매체 · 게시일: 우아한형제들 기술블로그 · 2025-12-02
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
치킨 없는 결승전을 막기 위한 서비스 지표
주문 순간의 장애는 기대하던 저녁을 무너뜨릴 수 있습니다. 월드컵 결승전을 치킨 없이 보게 되는 상황처럼 말입니다. 기능 개선과 신규 출시가 이어지는 서비스를 사람이 운영하는 한, 실수 없는 운영은 불가능합니다. 우아한형제들 내부에서 쓰는 “장애는 내는 게 아니라 나는 것이다.”라는 표현에도 이런 현실이 담겨 있습니다.
CPU 사용률이나 메모리 사용량에 임계 조건을 두는 전통적인 모니터링에는 빈틈이 남습니다. 장애가 생길 수 있는 모든 시스템 지표를 빠짐없이 살피기는 어렵습니다. SRE팀은 이 빈틈을 메우기 위해 사용자에게 나타나는 영향에 주목했습니다. 장애가 나면 어디선가 사용자가 영향을 받고, 그 영향은 서비스 지표의 변화로 이어지기 때문입니다.
실시간 로그인 수, 주문 수, 결제 성공률이 그 지표입니다. 사용자 경험을 직접 반영하면서도 종류가 한정적이어서, 수많은 시스템 지표를 살피는 것보다 적은 지표로 효과적인 모니터링이 가능합니다. 이 변화를 감시하려고 도입한 시스템이 서비스 이상 탐지(Service Anomaly Detection)입니다.
Slack 알림에서 이어지는 Opsgenie 호출
탐지의 끝을 경보 발송으로 잡지는 않았습니다. 경보가 울려도 대응이 늦으면 목표 시간 안에 장애를 해소하기 어렵기 때문입니다. 평소 잘 알던 절차도 장애가 막 발생한 순간에는 떠오르지 않을 수 있습니다. 무엇부터 해야 할지 생각하는 사이에도 고객 피해는 커집니다.
서비스 이상 탐지는 Slack 채널에 지표 현황과 긴급도를 담은 경보를 보냅니다. 회의 중이거나 새벽에는 메시지를 놓칠 수 있어, 지표별로 미리 정한 Opsgenie On-Call 담당자도 즉시 호출합니다. 최초 발견자가 담당자를 찾아 전화로 깨우는 수고가 사라졌습니다.
장애 전파와 장애 채널 생성도 자동으로 처리합니다. 담당자가 대응 절차를 떠올리느라 시간을 쓰지 않고 바로 불을 끄러 갈 수 있도록 했습니다. 장애 대응에 얼마나 익숙한지와 관계없이 신속하게 움직이도록, 경보 이후의 절차까지 제공하는 것이 설계 요구사항이었습니다.
점심과 저녁의 흐름을 예측하는 중앙값
이 대응을 제때 시작하려면 경보가 늦어서는 안 됩니다. 팀은 실시간, 늦어도 near-realtime으로 장애를 탐지해야 한다고 봤습니다. 경보가 울린 이유도 알 수 있어야 했습니다. 서비스 이상 탐지가 100% 정확할 수는 없는 만큼, 원인 분석이 어려운 AI 기반 설계보다 오탐의 원인을 빠르게 분석하고 개선할 수 있는 방식을 원했습니다.
배달의민족에는 예측에 유리한 조건이 있었습니다. 주문이 대부분 점심과 저녁에 몰려 흐름이 선명하고 일정합니다. 과거 내역으로 정상 상황의 서비스 지표를 예측하고, 실제 값과의 차이로 장애 여부를 판단할 수 있었습니다.
IQR, 2-sigma 등도 검토했지만 선택한 방식은 중앙값(Median)입니다. 직관적이고 분석하기 쉬우며 이상치에도 강했습니다. 복잡한 기법을 쓰기보다 빠르게 구현하고 검증하며 개선하려는 선택이었습니다.
탐지 속도를 조절하는 임계 도달 횟수
릴리즈한 시스템은 과거 데이터의 중앙값으로 예측 값(Prediction)을 만들고 현재 값(Actual)과 비교합니다. 경보를 낼 때는 현재 값이 임계 값(Warning, Critical)에 도달했는지와 함께, 몇 회 연속으로 도달했는지를 확인합니다. 지표가 갑자기 솟거나 꺼지는 이상 값 때문에 오탐이 생길 수 있어 임계 도달 횟수를 별도로 관리하는 방식입니다.
횟수를 높이면 경보의 정확도는 높아지지만 탐지가 늦어집니다. 낮추면 더 빨리 탐지하는 대신 오탐 가능성이 커집니다. 임계 값과 도달 횟수를 모든 지표에 똑같이 적용할 수는 없습니다. 지표마다 성격이 달라 과거 추이를 살피며 적정값을 찾는 충분한 안정화 기간이 필요했습니다.
오탐에 깨던 주말과 새벽
2025년 6월 도입한 뒤 하반기에도 안정화를 이어가며 장애를 탐지했습니다. 경보 정밀도는 약 11배 향상됐습니다. 이전에는 경보가 울려도 실제 장애인지 반신반의했고, 오탐이기를 바라며 대응하는 일이 잦았습니다. 장애가 아니어서 다행이어도 주말이나 새벽에 갑자기 대응해야 하는 피로는 남았습니다.
이제는 경보 대부분이 실제 장애입니다. 오탐으로 인한 갑작스러운 대응이 줄었고, 경보가 울리면 사실상 장애로 받아들여 빠르게 움직일 수 있게 됐습니다. 장애 탐지율도 약 70% 향상돼 대부분의 장애를 서비스 이상 탐지가 발견했습니다. 인지하지 못한 사이 고객 피해가 커지는 상황에 대한 걱정을 상당 부분 덜었습니다.
자동 전파는 대응을 시작하는 시간도 줄였습니다. 대부분의 장애를 서비스 이상 탐지가 발견하고 곧바로 전파하면서, 장애 전파 시간은 이전 대비 약 74% 단축됐습니다. 장애 해결에 필요한 리소스를 더 일찍 투입하고 해소도 앞당길 수 있었습니다.
서비스팀마다 흩어져 있던 모니터링에도 변화가 생겼습니다. 도입 전에는 팀 내부에서 관리하는 경보가 많아, 전사 장애를 관제하는 SRE팀조차 어떤 지표를 보고 어느 채널로 경보를 보내는지 파악하기 어려웠습니다. 지표 정의와 구조도 달라 정책이나 프로세스를 적용하기 쉽지 않았습니다. 각 팀의 서비스 지표 모니터링 대부분을 통합하면서 SRE팀이 현황을 파악할 수 있게 됐습니다. 팀은 이를 새로운 정책과 프로세스를 더 효율적으로 적용할 기반으로 보고 있습니다.
AI 활용을 구상 중인 장애 원인 추적
빠르게 장애를 발견하고 대응을 시작한 뒤에도 남은 일이 있습니다. 무엇이 장애를 일으켰는지 찾는 과정입니다. 현재는 사람이 전사의 방대한 지표 속에서 원인을 추적하고 있습니다.
SRE팀은 이 과정을 빠르게 개선하려고 AI 활용 방안을 구상 중입니다. 경보가 울린 이유를 쉽게 분석할 수 있어야 했던 서비스 이상 탐지 설계와는 조건이 다릅니다. 장애 원인 추적에서는 광범위한 데이터를 빠르게 분석해야 하므로 AI에서 해결책을 찾으려는 단계입니다.
탐지 설정과 성과 수치
| 항목 | 값 |
|---|---|
| 예측 방식 | 과거 데이터의 중앙값(Median) |
| 임계 구분 | Warning, Critical |
| 도입 시점 | 올해 6월 |
| 경보 정밀도 | 약 11배 향상 |
| 장애 탐지율 | 약 70% 향상 |
| 장애 전파 시간 | 약 74% 단축 |