목차
임계치 아래의 DB 이상 징후를 찾는 대응표본 t검정 (2020-05)
원문 정보
- 원문: 간단하게 만드는 이상한 알람
- 매체 · 게시일: 우아한형제들 기술블로그 · 2020-05-14
- 저자: 이재웅 (우아한형제들 DBA)
- 원문 내용을 바탕으로 재구성한 요약입니다.
알람 없이 지나간 배포 뒤의 3시간
오전 8시 서버 배포 뒤 DB의 CPU 사용률이 전일보다 10% 정도 높아졌습니다. 서비스에는 아직 영향이 없었습니다. 아침 트래픽이 적어 사용률은 알람 임계치인 50%, 70%에 닿지 않았고, 평소보다 조금 높은 부하를 알아채지 못한 상태였습니다.
약 3시간 뒤 상황이 달라졌습니다. 점심 피크에 트래픽이 몰리자 DB 부하가 순식간에 커지며 장애가 났습니다. 임계치 알람을 보고도 조치할 시간이 부족했던 사례입니다. 부하 원인이 슬로우 쿼리라면 쿼리를 튜닝한 뒤 배포하는 데도 시간이 듭니다.
49%와 50%의 차이는 1%입니다. 하지만 임계치 알람이 울리는지는 달라집니다. 배포 직후부터 평소와 다른 사용량을 경고로 받았다면, 유관 부서가 사전에 조치하거나 장애 원인을 더 빨리 찾을 여지가 있었습니다. 우아한형제들 DBA 팀이 알고 싶었던 것은 임계치에 도달하기 전의 이상 징후였습니다.
서비스 트래픽이 모이는 DB
서비스 트래픽 대부분은 DB로 오고, DBA 팀은 모든 DB를 관리하며 모니터링합니다. DB의 변화를 보면 특정 서비스의 이상도 알아챌 수 있지 않을까 하는 시도입니다. 정확한 외부 원인을 몰라도 서비스가 불안정해지는 징후를 먼저 찾으면, 장애에 대비할 시간과 정보를 확보하고 해결 시간을 조금이라도 줄일 수 있으리라는 기대였습니다.
찾으려는 변화가 부하 상승에만 있는 것은 아닙니다. 인터넷 서비스의 리소스 사용량에는 보통 패턴이 있는데, DB 앞단 시스템에 장애가 나서 트래픽이 도착하지 못하면 사용량은 평소보다 낮아집니다. 국가대표 경기가 열려 배달 주문이 늘면 사용량이 조금 높아집니다. 어느 쪽이든 정해 둔 임계치에 닿지 않았다는 이유만으로 지나치고 싶지 않은 변화입니다.
이 시도의 배경에는 인프라 안정성에 대한 신뢰를 기본으로 보는 관점이 있습니다. 매일 왕복 1시간씩 지하철로 출퇴근할 때, 잦은 신호 대기로 5분 늦는 일과 드문 열차 고장으로 1시간 늦는 일은 다른 경험입니다. 장애가 나더라도 고객이 느끼기 어렵게 빠르게 조치해야 한다는 문제의식입니다.
CloudWatch 이후 시도한 대응표본 t검정
이미 써 본 기능도 있었습니다. 팀은 AWS CloudWatch의 Anomaly Detection이 출시되자 여러 메트릭에 적용했지만, 유효하게 쓰인 경우보다 오탐이 더 많았습니다. 당시 오탐을 조정할 수 있는 기능은 특정 날짜를 학습에서 제외하는 것뿐이었습니다.
그래서 현재 시간대의 CPU 사용률을 전일 같은 시간대와 비교하는 간단한 통계 검정을 시도합니다. 비교 방법은 두 집단을 어떻게 보느냐에 따라 달라집니다. A반과 B반의 중간고사 성적처럼 독립된 집단은 각 평균을 구해 비교합니다. 같은 소비자에게 광고를 보여주기 전후의 구매 건수를 비교한다면, 짝지은 값의 차이를 구해 그 평균을 보는 방식입니다.
오늘과 전일의 같은 시간대도 같은 그룹의 전후로 볼 수 있다고 가정했습니다. 두 집단이 완전히 독립적이지 않다는 가정 아래 선택한 방법이 대응표본 t검정입니다. 귀무가설은 “두 집단 간 유의한 차이가 없다”, 대립가설은 “두 집단 간 유의한 차이가 있다”로 둡니다.
Excel과 Python에서 확인한 작은 차이
예시의 A/B 데이터는 00:10 이후부터 CPU 사용률 간격이 벌어집니다. 평균은 9.0과 8.25로, 평균만 보면 큰 차이가 없어 보이는 데이터입니다. Excel에서 대응표본 t검정을 한 결과 유의확률은 0.046으로 나왔습니다. 유의수준 0.05보다 작으므로 두 집단 간 유의한 차이가 있다고 판단합니다.
Python의 scipy ttest_rel로 같은 검정을 해도 p-value는 약 0.0469입니다. 이 검정을 주기적으로 실행해 전일이나 전주와 비교하면 트래픽 변화를 탐지할 수 있습니다. Excel로 먼저 확인해 볼 수 있고, 배치로 계속 실행할 때는 Python이 편합니다.
장애 사례의 수치와 예시 검정 결과
| 항목 | 값 |
|---|---|
| 알람 임계치 (장애 사례) | CPU 사용률 50%, 70% |
| 배포 후 CPU 상승폭 | 전일 대비 약 10% |
| 고부하 지속 시간 | 약 3시간 후 점심 피크에 장애 |
| Excel 대응표본 t검정 유의확률 | 0.046 |
| scipy 평균 (a / b) | 9.0 / 8.25 |
| scipy 분산 (a / b) | 37.9 / 37.1 |
| scipy p-value / 통계량 | 0.046882612987 / 2.0299108413418567 |
| 유의수준 | 0.05 |
실제 알람에 쓰기 전 남은 보완 조건
검정 결과는 판단을 돕는 참고 자료입니다. 오탐은 발생하고, 놓치는 이상점도 있을 수 있습니다. 특히 평균과 분산이 극히 낮으면 사람이 무시할 만한 미세한 차이에도 검정에서는 유의한 차이가 있다는 결과가 나올 수 있습니다.
실제 알람에 쓸 모델을 찾으려면 가능한 많은 사례를 시험해야 합니다. 예를 들어 특정 임계치 아래에서는 유의확률 기준을 달리하거나, 두 집단의 평균 차이가 5% 이상이라는 조건을 둘 수 있습니다. 여기서 5%는 보완 방법의 예입니다.
CPU 사용률만 비교한 이번 예시에서 더 나아가, 다른 변수를 넣고 일원분산분석이나 회귀분석으로 이상점을 살펴보는 방법도 있습니다. 시계열 회귀분석으로 예측치를 구하는 방법 역시 고려 대상입니다. 저자는 보통 장애가 추세를 따라 서서히 부하가 오르면서 발생하기보다, 약간의 이상점 뒤에 급격한 트래픽이 몰리면서 발생한다는 점을 짚습니다. 장기 추세를 보는 데는 좋겠지만, 이런 장애에서 예측치가 얼마나 효과적일지는 의문으로 남깁니다.