목차
밤새 편히 잘 수 있도록 관리하는 3000개의 DB 알람 (2020-03)
원문 정보
- 원문: 알람에 관하여
- 매체 · 게시일: 우아한형제들 기술블로그 · 2020-03-07
- 저자: 이재웅 (우아한형제들 DBA)
- 원문 내용을 바탕으로 재구성한 요약입니다.
태풍 경보 없이 잠들기 어려운 해안가의 밤
DB 알람이 밤낮없이 울리면 쉬는 시간도 끊깁니다. 알람이 없다고 마음이 편한 것도 아닙니다. 해안가에 살면서 태풍이나 해일 경보를 받지 못한다면, 밤에 잠들 때 오히려 불안할 수 있습니다.
알람을 설정해 둔 DB에서 밤새 아무 알람도 울리지 않았다면, 그 밤에는 DB가 안정적으로 동작했다는 증거입니다. 그런데 실제로 문제가 있었다면 누락된 메트릭이 있는지, 임계치가 적절한지 찾아봐야 합니다. 알람을 믿으려면 울리지 않았던 때도 살펴야 하는 이유입니다.
DB 같은 인프라에서 장애를 먼저 알아차리기도 하지만, 고객센터나 외부에서 소식을 듣고서야 인프라를 확인하는 경우도 있습니다. 문제가 있는데도 알람이 오지 않으면 서비스가 정상인지 주기적으로 확인할 수밖에 없고, 큰 장애가 나기 전에는 알아차리기 어렵습니다. 안정적인 서비스에는 서비스 관점의 논리적 알람과 인프라 관점의 물리적 알람이 모두 필요합니다.
서비스별 차이를 담기 어려운 RDS 알람 배치
우아한형제들이 소개한 DB 알람은 운영 환경 기준으로 약 3000개입니다. RDS 인스턴스 하나당 보통 16개 정도를 설정합니다. CPU 사용량, 메모리 잔여량, DB 커넥션, 각종 Latency에 경고와 심각 임계치를 두고, 메트릭에 따라 알람 주기도 조금씩 다르게 잡습니다.
생성은 어느 정도 자동화돼 있습니다. DBA가 새 RDS 인스턴스를 만들 때 일련의 배치로 알람을 일괄 생성하는 방식인데, 서비스별로 임계치를 일일이 맞추기는 어렵습니다. 인스턴스 타입 클래스에 맞게 계산하는 정도입니다. 클라우드에서는 인스턴스가 자주 삭제되거나 바뀌지만, 이런 변화에 맞춘 알람 관리도 제대로 이뤄지지 않는 상태였습니다.
팀은 알람 설정과 임계치 조정을 자동화하려고 개발하고 있었습니다. 새로운 알람 메트릭과 탐지 기능도 꾸준히 시험 중이었습니다.
알람 운영 수치
| 항목 | 값 |
|---|---|
| 운영 환경 알람 수 | 약 3000개 |
| RDS 인스턴스당 알람 수 | 보통 16개 정도 |
| 알람 대상 메트릭 | CPU 사용량, 메모리 잔여량, DB 커넥션, 각종 Latency |
| 임계치 | 경고, 심각 두 단계 |
| 알람 생성 방식 | 인스턴스 생성 시 배치로 일괄 생성, 인스턴스 타입 클래스 기준으로 계산 |
자라면서 이유가 달라지는 아기의 울음
신생아가 의사를 표현하는 방법은 울음뿐입니다. 주로 배고픔과 졸림, 기저귀의 불편함을 알립니다. 처음에는 울음만 듣고 이유를 구분하기 어려워 입 주변을 두드려 배고픈지 확인하고, 재워 보고, 기저귀도 확인합니다. 익숙해지면 상황마다 울음이 다르다는 것도 알아차립니다.
곤란한 때는 이 상태들이 모두 정상인데도 울음이 멎지 않을 때입니다. 아기가 자라면 이앓이나 누워 있는 답답함처럼 새로운 이유로 울기도 합니다. 배가 고프거나 기저귀가 불편한데도 울지 않는다면 부모가 주기적으로 분유를 먹여 보고 기저귀를 확인할 수밖에 없습니다. 그렇지 않으면 영양이 부족해지거나 건강에 문제가 생길 수 있습니다. 아기의 상태와 건강을 지키려면 울음에 대한 대응도 계속 달라져야 합니다.
DB 알람의 목적도 안정적인 동작을 유지하는 데 있습니다. 증상을 알려 주는 것만으로 문제를 해결하지는 못합니다. 알람을 받으면 서비스 상태와 원인을 확인하고, 그에 맞게 대응해야 합니다.
- CPU·Latency 등 부하: 메트릭 확인 → 서비스 가능 여부 확인 → 슬로쿼리·DDL 등 원인 파악 → 스케일 아웃 또는 튜닝
- Failover 등 인스턴스 이상: 서비스 가능 여부 확인 → 에러·이벤트 로그 확인 → 주요 메트릭 확인 → 장비 업체 확인
하던 일을 멈춘 뒤에도 할 일이 없는 알람
알람은 다음 일을 할 때를 알려 주지만, 그 전에 하던 일을 멈추게 합니다. 오늘의 단꿈을 내일 다시 꿀 수 없고, 가족과 나들이를 다시 간다고 같은 시간이 되지는 않습니다. 알람의 부정적인 인상은 그 시간의 고유한 가치가 깨지는 데서 오는지도 모릅니다. 중단할 시점을 정해 둔 덕분에 그전의 일에 온전히 몰두할 수 있다는 좋은 점도 있습니다.
그런데 중단할 시점부터 잘못됐다면 불편은 더 커집니다. 아침 8시에 일어나야 하는데 7시에 알람이 울리면, 1시간을 더 잘 수 있는데도 아침 컨디션을 망칠 수 있습니다. 9시에 울리면 지각입니다. 양치기 소년의 거짓말처럼 잘못된 알람이 이어지면 정말 중요한 알람까지 믿지 않게 됩니다.
우아한형제들의 알람도 아주 정교하지는 않았습니다. 문제가 있는데 알람을 받지 못하는 경우도, 임계치가 낮아 너무 자주 받는 경우도 있었습니다. 그때그때 확인하며 조정했지만 쉽지는 않았습니다.
알람을 받고도 할 수 있는 조치가 없다면 제거하거나 보완할 점을 찾아야 합니다. 대응할 수 있는데도 아무 조치를 하지 않으면 피로가 쌓이고 알람 시스템에 대한 신뢰가 떨어집니다. 무의미한 반복에 지쳐 알람을 꺼 두었다가 중요한 알람을 놓치기도 합니다. 문제를 이미 파악했고 해결 일정과 작업 내용까지 잡혔다면, 그 일정까지는 해당 알람을 빼 두어도 됩니다.
평소 CPU 사용률까지 이상으로 본 CloudWatch
AWS의 CloudWatch Anomaly Detection은 메트릭 범위를 정해 주면 시간에 따른 패턴을 학습하고, 그 패턴의 범위를 벗어날 때 알람을 보냅니다. 서비스 트래픽이 늘면 임계치도 따라 움직이므로 이상적일 수 있습니다. 그렇다고 오탐까지 사라지지는 않습니다.
10월 31일 전후 일주일의 특정 DB 인스턴스 CPU 사용률을 살펴본 사례에서는 부하를 낮춘 뒤에도 이상 탐지가 이어졌습니다. 31일에 트래픽이 급증하면서 CPU 사용률이 평소 패턴을 벗어났고, Anomaly Detection이 이를 탐지했습니다. DB 부하가 심해 스케일 아웃을 하자 인스턴스당 트래픽이 줄면서 CPU 사용률도 급격히 내려갔습니다.
조치 뒤의 사용률은 다른 날짜와 크게 다르지 않았습니다. 그런데 Anomaly Detection 밴드는 이 하락을 비정상으로 판단했습니다. 앞서 급상승한 지표를 학습해 밴드에 반영했기 때문입니다. 부하를 줄여 평소 수준으로 돌아왔는데도 이상으로 본 것입니다.
특정 기간을 학습에서 제외해 모델을 조정할 수는 있습니다. 이상 탐지에도 오탐이 생길 수 있으므로, 어느 설정 하나를 정답으로 삼기보다 여러 알람 설정을 상황에 맞게 사용해야 합니다.