목차
복구와 전파를 나눠 신뢰를 지키는 우아한형제들의 장애 대응 (2021-06)
원문 정보
- 원문: 우아~한 장애대응
- 매체 · 게시일: 우아한형제들 기술블로그 · 2021-06-30
- 저자: 박주희 (시스템신뢰성개발팀)
- 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 앞서 쓴 시스템신뢰성개발팀 소개 글에서 장애 대응이 이 팀의 가장 중요한 업무 중 하나라고 했던 내용을 더 자세히 푼 글입니다.
복구 담당자에게 되돌아오던 질문
우아한형제들은 장애를 복구하는 사람과 상황을 전파하는 사람을 나눠 운영합니다. 복구에 집중한 엔지니어는 서비스에 생긴 영향보다 시스템 상태를 알리는 경우가 많기 때문입니다. 이 설명을 받은 유관부서가 고객에게 어떻게 전달할지 몰라 다시 질문하면, 혼란이 커지고 엔지니어의 집중력이 떨어져 복구 시간이 늘어나기도 합니다.
특정 서버의 스펙을 넘는 트래픽이 들어와 scale out이 필요한 상황을 예로 들면, 전달자에 따른 차이가 드러납니다.
| 전달자 | 장애를 설명하는 내용 |
|---|---|
| 엔지니어 | A 서버에 트래픽이 몰려 레이턴시 상승. 스케일 아웃 진행 중이며 약 10분 소요 예상 |
| 기획자 | 사용자 급증으로 A 서비스 이용 불편. 전반적인 접속 지연과 간헐적인 페이지 접근 실패 가능성. 서버 증설 중이며 10분 후 정상화 예정 |
같은 서버 증설을 설명해도 고객이 겪는 불편을 담았는지에 따라 유관부서가 해야 할 해석은 달라집니다. 그래서 전파는 가능하면 담당팀의 기획자나 조직장이 맡고, 여의치 않으면 SRE팀이 지원합니다. 역할을 나눈 뒤 엔지니어는 복구에 집중할 시간을 확보해 더 정확하고 빠르게 서비스를 복구할 수 있게 됐습니다. 유관부서도 반복되는 질문 없이 대외 커뮤니케이션과 각자의 조치에 집중할 수 있었습니다.
전달받을 사람의 범위도 넓습니다. 배달의민족의 장애는 사용자와 사장님, 라이더뿐 아니라 POS·배달대행사·프랜차이즈·PG사 같은 연동 업체에도 영향을 줍니다. 내부에서는 개발 조직 외에 CS, 대외 커뮤니케이션, 사업 조직이 대응에 나섭니다. 일부 대규모 장애에서는 고객센터와 영업부서, 연동 시스템 담당자에게 문의가 몰리므로, 정확한 정보를 공유하지 못하면 혼란 속에서 잘못된 설명이 외부로 나갈 수도 있습니다.
고객이 기다리는 정보는 서버 상태만으로 채워지지 않습니다. 사용자는 자신에게만 생긴 문제인지, 언제 해소되는지, 잘못 결제된 내역은 언제 취소되는지 알고 싶어 합니다. 사장님과 라이더에게는 배달하지 못한 음식을 어떻게 처리할지, 폐기한 음식의 보상을 어떻게 받을지도 필요한 정보입니다. 커뮤니케이션 담당자들은 담당 부서가 전한 내용을 바탕으로 현재 상태와 조치 예정 시간, 후속 대응을 대상에 맞게 안내해 고객의 혼란과 문의를 줄입니다.
장애에 민감한 이유는 금전적 손해보다 고객의 불편이 장기적으로 신뢰를 떨어뜨릴 수 있다는 데 있습니다. 서비스가 성장하고 바뀌는 과정의 성장통인 장애를 원천적으로 막을 방법은 없습니다. 그래도 영향 범위를 줄이고 빠르게 복구하며 필요한 정보를 제공하고 같은 불편이 반복되지 않도록 조치하는 과정에서 신뢰를 지킬 수 있다는 관점입니다.
확인된 정보만으로 울리는 화재경보기
개발 조직은 장애를 감지하면 즉시 공지합니다. 최초 공지는 확인된 최소 정보만으로 빠르게 올리도록 권고합니다. 발생 시간, 영향 범위, 장애 조치 채널, 내부 장애 등급을 모두 파악하려면 적어도 몇 분은 걸리기 때문입니다.
장애 공지는 화재경보기처럼 작동합니다. 어디서 불이 났는지 보이지 않아도 경보가 울리면 누군가는 119에 신고하고, 누군가는 소화기를 찾고, 누군가는 대피를 준비합니다. 장애 공지가 올라왔을 때도 서버 증설을 준비하는 사람, 고객에게 알릴 내용을 준비하는 사람, 담당 시스템의 영향을 확인하는 사람이 각자의 대응을 시작합니다.
이들이 역할과 상황을 공유할 장소가 장애 조치 채널입니다. 개발자와 기획자, 인프라 엔지니어, SRE뿐 아니라 대외 커뮤니케이션 담당자와 주요 의사결정권자도 합류합니다. 원문에 소개된 장애 조치 채널에는 100명이 넘는 인원이 참여했습니다. 빠른 공지는 장애를 해결하는 데 필요한 사람과 수단을 모으는 출발점이기도 합니다.
Slack 알람으로 잡기 어려운 고객의 불편
사용 빈도가 극도로 낮은 메뉴에서 오류가 나거나 특정 기종·OS 버전에서만 문제가 생기면 시스템으로 탐지하기 어렵습니다. 이런 오류는 주로 고객센터 문의로 알게 됩니다. 시스템 이상으로 판단되거나 고객센터에서 자체 처리하지 못하는 문제를 서비스 담당자들의 채널로 전달하면, 각 팀이 확인한 뒤 장애인 경우 대응을 시작합니다. 전달된 문의가 모두 장애인 것은 아닙니다.
monolithic 구조였던 몇 년 전에는 모든 엔지니어가 이 채널의 알람에 민감하게 반응했습니다. MSA 구조로 바뀐 뒤에는 문제가 있는 도메인을 호출하면 해당 담당자에게 온콜이 가도록 나눠 운영합니다. 주문·리뷰·결제 등이 그 대상입니다.
대부분의 이슈는 시스템 알람으로 알아차립니다. 모든 시스템에 모니터링을 구축하고 이상 징후를 Slack으로 알리며, 특히 주의해야 할 알람은 담당자에게 즉시 연락하도록 온콜을 운영합니다. 성격별로 나눈 채널에서는 시스템 상태뿐 아니라 비즈니스와 외부 연동의 지표도 확인합니다.
- 시스템 지표: CPU, Memory, latency, 5xx error count
- 비즈니스 지표: 가게 상세 진입률, 주문 추이
- 외부 연동 시스템 지표: 연동 시스템 주문 전달 실패, 프랜차이즈 시스템 오류
원인 파악보다 앞서는 서비스 정상화
장애 공지가 나간 뒤에는 전파 담당자가 상황을 알리는 동안 엔지니어가 복구를 진행합니다. 대부분의 경우 원인 파악보다 서비스 정상화를 앞에 둡니다. 원인을 찾는 일도 남아 있지만, 우선 사용자가 겪는 불편을 줄이기 위한 선택입니다.
트래픽이 과도하게 몰리거나 변경된 코드가 부하를 주면 가장 먼저 장비를 증설합니다. 배달의민족은 피크 시간의 트래픽이 다른 시간보다 극단적으로 높습니다. 이를 고려해 장비를 운영해도 예상치 못한 급증 앞에서는 시스템이 취약해질 수 있습니다. 클라우드에서 빠르게 장비를 늘려 서비스를 안정화하면 실제 병목을 찾아 근본적인 조치를 할 시간을 벌 수 있습니다.
트래픽 급증이 문제가 아니라면 장애 직전의 변경부터 확인합니다. 변경이 원인으로 드러나면 즉시 롤백하며, 대상에는 코드와 인프라 설정을 비롯한 다른 변경도 포함됩니다. 일반적으로 확인하는 범위는 장애 시점 이전 24시간의 변경 내역 전체입니다. 변경 직후보다 문제가 누적된 몇 시간 뒤 장애로 번지거나 배치 같은 특정 작업과 충돌하는 경우가 많기 때문입니다. 원인이 명확하지 않을 때도 새로운 코드나 설정을 적용하기보다 정상 동작하던 상태로 돌아가는 편이 훨씬 안전하므로 롤백을 우선 고려합니다.
DB 스키마 변경 등으로 코드 롤백이 불가능하거나, 원인이 명확해 핫픽스가 더 빠르다고 판단하면 문제 부분을 수정합니다. 여기서도 검증은 생략하지 않습니다. 원인을 정확히 알고 100% 해소될 수정이라고 확신해도 반드시 페어로 확인하고 베타에서 검증한 뒤 적용합니다. 검증에 시간이 더 걸리더라도 장애 확산과 side effect를 줄이는 안전한 해결을 우선합니다.
특정 장비에 문제가 있거나 앞선 조치로 해결되지 않을 때는 장비를 교체합니다. 한 장비만 문제라면 해당 장비를 바꾸고, 전체에 문제가 있다면 운영 중인 구성과 동일한 세트를 준비해 통째로 교체하기도 합니다. 서비스 중단 시간을 줄이려고 재기동보다 교체를 택하며, DB도 failover로 장비를 바꿉니다. 불가피한 경우에는 재기동도 합니다.
정상화 뒤 원인을 살펴보니 처음 시도한 복구 방법이 맞지 않았던 경우도 있습니다. 우아한형제들은 그렇다고 그 선택을 틀렸다고 보지는 않습니다. 급박한 순간에 엔지니어는 서비스를 가장 빨리 정상화할 방법을 골랐고, 그런 시행착오를 겪으며 더 나은 방향으로 나아간다고 믿기 때문입니다.
장비 교체 방식까지 바꾼 장애 리뷰
복구 뒤에는 장애보고서를 작성합니다. 발생·탐지·종료 시각, 탐지 방법과 발생 지점, 복구 방법, 시간별 action을 기록하고, 원인 분석과 재발 방지 대책을 담습니다. 보고서를 바탕으로 진행하는 리뷰의 범위는 내부 장애 등급에 따라 달라집니다. 일부는 팀·실 단위로 진행하고, 대규모 장애라면 담당팀과 SRE팀, 각 조직장, CTO까지 참여하는 자리입니다.
여러 조직이 모이면 팀·실 리뷰에서 추가로 고려할 이슈나 전사에 알려야 할 사례도 살필 수 있습니다. 문제 장비를 terminate하고 신규 장비를 투입했던 일이 한 예입니다. 서비스에서 장비를 교체했지만, 기존 장비를 없애면서 원인 분석에 필요한 자료를 충분히 확보하지 못했습니다. 리뷰에서 이 문제를 확인한 뒤에는 장비 교체 시 비정상 장비를 terminate하기보다 일시적으로 서비스에서 분리해 두는 방식을 전사에 공유했습니다.
이런 이야기를 꺼내기는 쉽지 않습니다. 장애를 겪은 담당자는 미안하고, 질문하는 사람은 상대가 불편해할까 걱정합니다. 그래도 터놓고 말할 수 있는 바탕에는 특정 개인이나 팀을 탓하지 않는다는 공감대가 있습니다.
오늘 한 사람의 실수는 내일 옆자리 동료도 할 수 있습니다. 작은 불씨라면 몇 명의 입김으로 끌 수 있지만, 덮고 숨겨 두면 산 하나를 태울 만큼 커질 수 있습니다. 이전에 쓴 글에서도 강조했듯, 실수에서 배우고 같은 실수를 되풀이하지 않으며 누구나 할 수 있는 실수를 시스템이 막아 주어야 한다는 생각입니다. 장애를 어느 한 사람이나 조직의 잘못으로 돌리지 않는 이유이기도 합니다.
리뷰를 마친 보고서는 전사 개발 조직에 공유합니다. 직접 겪지 않은 장애라도 동료들이 경험하고 고민한 내용을 참고해 시스템을 더 탄탄하게 만들 수 있기 때문입니다.
고객의 불편에서 출발하는 5whys
원인 분석에는 도요타의 Taiichi Ohno가 개발한 5whys를 씁니다. 어떤 상황이 발생한 이유를 거듭 물으며 근본 원인을 찾는 방법입니다. 눈앞의 현상에서 질문을 멈추지 않습니다.
원문이 든 제퍼슨 독립 기념관 사례는 대리석의 부식에서 출발해 조명을 켜는 시각에 도달합니다. 대리석이 빨리 부식된 이유는 잦은 비누 청소였고, 청소가 잦은 이유는 비둘기 배설물이 많이 묻었기 때문입니다. 비둘기는 먹이인 거미 때문에 모였고, 거미가 많았던 이유는 먹이인 불나방이었습니다. 불나방이 많은 이유까지 좇자 주변보다 일찍 켜는 실내 전등이 나왔습니다. 결국 주변 건물보다 조명을 2시간 늦게 켜는 조치로 문제를 해결했다는 사례입니다.
장애 리뷰에서 첫 질문은 반드시 영향을 받은 고객의 관점에서 시작합니다. 답변은 검증됐거나 검증할 수 있는 사실에 근거해야 합니다. 이름에 붙은 5는 상징적인 숫자입니다. 질문 수는 더 적거나 많아도 되며, 근본 원인을 찾는 과정에 정해진 답이 있는 것도 아닙니다.
재발을 막기 위해 다시 읽는 장애 기록
가장 뼈아프게 받아들이는 장애는 재발한 장애입니다. 원인을 알고도 막지 못했거나 조치가 미흡해 같은 장애를 다시 겪으면, 원인을 모르는 장애보다 더 속상합니다. 그래서 가능한 많은 사람이 재발 방지책을 고민하고 실제 조치로 이어 갑니다.
대책의 범위는 근본 원인 제거보다 넓습니다. 더 빠른 탐지와 복구에 도움이 되는 모니터링 지표 추가, 설정값 변경, 코드 리뷰 절차 개선, 배포 프로세스 수정도 포함합니다. 부하를 일으키는 로직 개선이나 알람 강화 같은 단기 작업은 대부분 하루 이틀 안에 마무리됩니다. 아키텍처 개선과 레거시 제거 같은 중장기 작업은 규모가 커서 필요에 따라 TF를 구성하거나 전사 프로세스를 바꾸기도 합니다.
빠르게 고칠 수 없으면 임시방편을 도입하기도 합니다. 그래도 뒤이어 근본 원인을 해결해야 잠재적인 위험을 막을 수 있습니다.
보고서가 쌓이면 개별 장애를 넘어 대응 과정도 살필 수 있습니다. 발생·탐지·종료 시각과 탐지·복구 방법, 원인, 재발 방지 대책에 더해 장애 등급과 후속 조치 방안까지 모은 데이터를 uptime과 대응 프로세스 개선에 참고합니다. 장애가 잦은 지점에서 시스템의 취약점을 찾고, 유형에 따라 전파 범위를 조절할 수 있습니다. 외부 시스템의 장애 빈도와 유형은 연동 전략을 고민할 근거가 됩니다.
발생 시각과 탐지 시각의 간격이 크다면 장애를 빠르게 알아차리지 못하고 있다는 뜻입니다. 이 간격을 보고 모니터링과 알람을 강화해 탐지를 앞당길 방안을 검토합니다.
탐지 지표와 복구 방법
| 항목 | 값 |
|---|---|
| 시스템 지표 예 | CPU, Memory, latency, 5xx error count |
| 비즈니스 지표 예 | 가게 상세 진입률, 주문 추이 |
| 외부 연동 지표 예 | 연동 시스템 주문 전달 실패, 프랜차이즈 시스템 오류 |
| 장애 조치 채널 참여 | 100명 이상 (최근 장애 사례) |
| 롤백 확인 범위 | 장애 시점 이전 24시간의 변경 내역 |
| 복구 방법 | 장비 증설, 롤백, 핫픽스, 장비 교체 |
| 핫픽스 원칙 | 페어 확인 후 베타 검증 |
| 재발 방지 대책 구분 | 단기(대부분 하루 이틀), 중기, 장기(TF·전사 프로세스 변경) |
| 5whys 질문 수 | 상징적인 숫자로 5개에 한정되지 않음 |