본문으로 건너뛰기
모의장애훈련 Part 2 — 팀의 대응 준비를 살피는 건강검진
목차

모의장애훈련 Part 2 — 팀의 대응 준비를 살피는 건강검진 (2022-10)

원문 정보

직접 훈련은 처음이었던 시스템신뢰성개발팀

팀별 장애대응 위험도를 계산하자 뜻밖의 팀이 가장 높은 점수를 받았습니다. 전사 인프라의 안정성을 담당하는 시스템신뢰성개발팀입니다. 한 번 장애가 나면 범위와 심각도가 크고, 후속조치도 영향이 넓으면서 난도가 높은 팀이었습니다.

최근 합류한 인원도 많았습니다. 다른 팀의 모의장애훈련을 도와 왔지만, 직접 훈련을 받은 경험은 없었습니다. 이를 확인하고 곧바로 훈련을 준비해 진행한 뒤, 이 팀의 장애대응 위험도는 53% 낮아졌습니다.

참가자의 역할과 진행 과정, 훈련에서 얻은 점과 남은 고민을 소개한 Part 1에서 평가는 참가자와 리더의 소감에 가까웠습니다. Part 2는 그 뒤 정량 지표를 만들며 확인한 변화와, 앞선 글을 읽은 독자들의 질문에 답한 운영 경험을 담고 있습니다.

주 담당자의 빈자리를 대비한 모의장애훈련

이 훈련의 최우선 목표는 장애대응을 주도하던 사람이 빠져도 다른 팀원들이 해결하도록 준비하는 데 있었습니다. 그래서 장애를 가장 많이 겪은 사람이 설계한, 이미 알고 있는 시나리오로 진행했습니다. 경험하지 못한 상황을 다루지 않은 점은 아쉬움으로 남았지만, 먼저 갖추려던 것은 팀 전체의 대응 능력이었습니다.

훈련 뒤 얼마 지나지 않아 실제 장애를 겪은 여러 팀에서는 팀원들의 손발이 전보다 잘 맞았다는 반응이 나왔습니다. 대응 과정에서 놓치는 일이 줄고, 관련 팀이 묻기 전에 필요한 정보를 전달했다는 경험도 있었습니다. 팀과 관련 조직이 함께 대응하는 과정에 익숙해진 효과라고 저자는 생각합니다.

장애 자체를 막는 데는 모의장애훈련이 큰 도움을 주지 않습니다. 취약한 부분을 찾아 아키텍처를 개선하는 작업이 더 효율적입니다. 우아한형제들은 찾아가는 기술위원회, 아키텍처 리뷰, 모니터링 강화, 시스템 오픈 전 체크리스트 같은 별도의 활동으로 장애 예방을 다뤘습니다. 훈련 하나로 모든 장애대응이 나아지리라는 기대에는 선을 그었습니다.

도움이 필요한 팀을 찾는 위험도 지표

평가라는 말에는 성적표의 부담이 따라옵니다. 부족한 점이 드러나는 일이기 때문입니다. 우아한형제들이 평가에서 얻으려던 것은 도움이 필요한 영역과 훈련이 꼭 필요한 팀을 찾아내고, 이후 얼마나 나아지는지 확인할 기준이었습니다.

지표 후보는 지난 훈련에서 특히 긍정적인 반응을 보인 팀의 특성과 정기적으로 훈련하고 싶다는 의견에서 찾았습니다. 담당 팀이 쉽게 이해하고 받아들일 수 있는 항목이어야 했고, 장애 재발 방지처럼 회사가 중시하는 활동도 반영해야 했습니다. 여러 수치를 흩어 놓으면 전반적인 변화를 읽기 어려워, 이를 모아 ‘장애대응에 대한 팀별 위험도’라는 이름을 붙였습니다.

위험도포인트는 높을수록 위험합니다. 조직, 팀이 겪은 장애, 미처리 장애후속조치를 살펴 점수를 계산했습니다.

최근 입사자와 훈련 경험으로 계산한 조직 점수

지난 훈련에서 도움이 되었다는 의견은 신규 입사자의 대응 능력이 높아졌다는 경우와, 새 팀이나 새로 여는 서비스를 준비하며 팀워크가 좋아졌다는 경우에 가장 많았습니다. 조직 카테고리에 최근 입사자 비율을 넣은 이유입니다.

여기에 마지막으로 모의장애훈련을 받은 뒤 얼마나 지났는지도 반영했습니다. 최근 입사자가 많아도 훈련에서 장애대응 절차를 경험했다면 조직 카테고리의 위험도가 낮아지도록 했습니다. 각 지표를 기준값에 따라 상·중·하로 나눠 포인트를 정하고, 가중치를 곱해 더하는 방식입니다.

발생 횟수보다 대응 과정을 살핀 장애 기록

장애를 많이 겪은 팀에는 공식·비공식 대응 방안이 마련되어 있습니다. 자주 대응하는 만큼 훈련의 필요성과 효과도 떨어집니다. 그래서 장애가 몇 번 났는지보다 지난 대응에서 개선할 점이 무엇이었는지를 살폈습니다.

예를 들어 외부 시스템에서 생긴 문제가 고객이 알아차리기 전에 해소됐다면 위험도 증가는 매우 적습니다. 모니터링에서 놓쳐 고객 문의로 장애를 알았거나, 전파에 시간이 많이 걸린 경우에는 높은 포인트를 부여했습니다.

전파 속도의 비교 기준은 전년도 평균 소요시간입니다. 전파하지 않고 대응한 경우에는 가장 큰 포인트를 주고, 내부 원인으로 발생한 장애에는 많은 포인트를 반영했습니다. 장애 등급에 따른 가중치도 적용해 영향이 큰 장애를 더 무겁게 계산했습니다. 특정 기간 안에 발생한 장애만 모아 팀별로 합산하므로, 최근 대응 활동이 적절했는지를 살피는 지표입니다.

끝내지 못한 후속조치의 경과 시간

장애 원인을 분석하고 개선방안을 잡아도 다른 일을 하다 후속조치를 놓치면 재발 위험은 남습니다. 목표일정이 없거나 이미 지난 후속조치를 위험도에 포함한 이유입니다. 해당 장애의 위험도를 반영해 팀별로 합산하고, 기한이 오래 지났거나 장애 영향도가 클수록 높은 포인트와 가중치를 적용했습니다.

점수만 계산하지는 않았습니다. 훈련 시나리오를 설계하고 검토할 때 팀장과 테크리더에게 미처리 후속조치를 안내하고, 필요한 도움을 요청받아 일정과 우선순위를 함께 조정했습니다. 이렇게 후속조치 진행을 돕는 접근은 실제로 도움이 되었습니다.

위험도는 처음 측정한 값을 기준으로 5단계로 나눴습니다. 기준보다 높은 팀은 큰 관심군, 좀 더 큰 관심군, 아주 큰 관심군으로 구분했습니다. 평균보다 낮은 팀도 덜 큰 관심군과 작은 관심군에 속합니다. 점수가 낮다고 관심 밖에 두는 팀은 없도록 한 설계입니다.

계속 추적할 수 있도록 기준값과 단계는 이후에도 유지했습니다. 우선 아주 큰 관심군의 위험도를 낮추고, 이어 전사 위험도포인트 평균을 낮추며, 최종적으로 모든 팀이 작은 관심군에 들어오도록 목표를 세웠습니다.

개선할 항목을 함께 짚는 건강검진

지표를 전달하는 방식은 건강검진 결과를 본떴습니다. 신체 지수와 검사 결과를 모아 개선할 항목을 알려 주듯, 팀의 위험도와 함께 어느 부분에 집중하면 좋을지 설명하는 방식입니다.

먼저 취지와 절차, 기대사항을 담은 안내 메일을 보냈고 여러 팀에서 반가워하는 답을 받았습니다. 위험도는 누구나 언제든 조회하도록 열어 두었습니다. 이번 훈련 대상으로 선정되지 않은 팀도 자신의 상태를 확인할 수 있게 한 조치입니다.

매월 상위 등급 3~4개 팀에는 다음 달 훈련을 안내하면서 선정 이유를 개별적으로 설명했습니다. 최근에 훈련했더라도 위험도가 계속 높으면 다시 진행할 준비도 했습니다. 실제로 그런 경우는 발생하지 않았습니다.

전사 장애대응 위험도는 첫 달 대비 둘째 달에 11%, 둘째 달 대비 셋째 달에 17% 감소했습니다. 여기에는 훈련한 지 오래된 팀이 다시 훈련하고, 사전 미팅에서 미처리 후속조치를 안내받아 개선한 활동도 반영됐습니다. 지표는 이런 활동 뒤에 나타난 변화를 확인할 기준이었습니다.

지표를 만들고 검토하는 시간이 실제 측정 기간보다 더 길었던 것 같다는 회고도 남겼습니다. 한 번 만드는 데는 품이 들지만 측정은 계속할 수 있으므로, 이후 효과를 확인하기가 한결 쉬워질 것이라는 기대입니다.

숫자 밖에서 들은 팀의 사연

인터뷰에서는 점수만으로 드러나지 않는 경험이 나왔습니다. 새로 꾸린 개발팀 A는 운영 중인 서비스의 장애를 대비해야 했지만, 챙길 일이 많고 서로 어색해 장애 이야기를 꺼내기가 부담스러웠습니다. 훈련을 준비하며 팀장과 설계자가 함께 논의하고, 회고에서 팀원들의 고민을 듣고 개선작업을 진행할 수 있었습니다. 실제 장애에서도 훈련처럼 함께 대응하면서 팀워크가 나아졌다는 이야기입니다.

개발팀 B가 얻은 것은 다른 팀의 경험이었습니다. 훈련 뒤 장애대응 절차를 정리하기로 했을 때, 이미 같은 고민을 거쳐 적용한 팀의 사례를 전달받았습니다. 잘하는 팀은 어떻게 준비하는지 궁금했던 이들에게 참고할 사례가 생겼습니다.

개발팀 C의 팀장과 설계자는 늘 직접 장애에 대응하던 사람들이었습니다. 훈련에서는 잠시 대응 과정 밖에서 팀을 바라볼 기회를 얻었습니다. 유관부서는 무엇에 관심을 두고 왜 답답해하는지, 어떤 정보를 담아 전달하면 좋은지가 보였다고 합니다.

팀워크를 무리하게 숫자로 바꾸려 하면 평가가 복잡해집니다. 이런 경험은 이야기로 남겨 전달하는 편이 효과적이라는 판단입니다. 팀마다 어떤 도움을 받았는지 알아야 다음 훈련을 준비할 때도 활용할 수 있습니다.

껄끄러운 대화를 가능하게 한 신뢰 자산

독자들이 가장 많이 물은 것은 장애 관련 활동에 어떻게 팀들의 호응을 얻었는지였습니다. 장애를 이야기하는 일은 껄끄럽고, 대응 절차를 논의하기는 더 어렵습니다. 우아한형제들은 먼저 ‘신뢰 자산’을 쌓는 데 힘을 들였습니다.

개발팀이 대응 중 어디에서 어려움을 겪는지, 전파받는 조직과 의사결정하는 조직은 무엇을 원하는지 계속 들었습니다. 장애대응실에서 어려움이 생기면 함께 대응하고, 부족했던 점은 대응이 모두 끝난 뒤 이야기했습니다. 훈련은 팀 안팎이 더 나은 대응 방법을 논의하는 자리이기도 했습니다. 장애대응 절차를 담당하는 팀도 참여해 다른 팀의 사례를 전하고 질문에 답했으며, 개선 요청은 절차를 다시 살펴 최대한 반영했습니다.

후속작업에서 지킨 원칙은 장애의 책임을 개인에게 돌리지 않는 것입니다. 장애 보고서 작성은 복구를 마친 뒤 하루쯤 지나 요청했고, 급한 상황에서는 더 일찍 묻기도 했습니다. 원인 분석과 해소 조치에서는 무엇을 배울 수 있는지 찾았습니다. 자책하는 개발자가 있으면 팀으로 해결할 일을 함께 찾는 방식이었습니다.

이런 신뢰가 충분하지 않으면 훈련을 진행하는 팀과 관련 팀이 생각을 모으기 어렵고, 활동도 소모적으로 흐릅니다. 다른 조직에 그대로 적용하면 낭패를 볼 수 있다는 경고도 남겼습니다. 진행자의 관점으로 필요를 정하기보다 관련 팀의 의견과 필요를 먼저 듣고, 모든 활동의 목표를 고객에게 안정적인 서비스를 제공하는 데 두라는 당부입니다.

집계에 며칠씩 걸린 수작업

운영에서 가장 아쉬웠던 부분은 지표 수집 자동화입니다. 주기적으로 집계할 때마다 며칠이 걸렸고, 조직이 바뀌면 이전 집계에 있던 팀·조직과 달라진 내용을 검토하는 데도 시간이 많이 들었습니다. 지표를 정한 직후 자동화했다면 더 빠르게 수집하고 검토할 수 있었을 것이라는 아쉬움입니다.

다음 단계로 나아갈 시점을 판단하는 일도 어려웠습니다. 이후 단계의 큰 그림은 있었지만, 작은 단계별 계획과 적절한 시점을 충분히 준비하지 못했습니다. 반복하며 경험을 쌓는 동안에도 다음 단계로 넘어갈 때를 놓칠 수 있어, 세부 마일스톤을 마련했으면 더 좋았겠다는 회고를 남겼습니다.

위험도포인트 계산 기준과 측정 결과
항목값
조직 카테고리최근입사자 비율 포인트 × 가중치 4 + 가장 최근 훈련 경험 포인트 × 가중치 8
최근 입사자 비율상 10포인트: 60% 초과, 중 5포인트: 10~60%, 하 0포인트: 10% 미만
가장 최근 훈련 경험상 10포인트: 6개월 초과, 중 5포인트: 3~6개월, 하 0포인트: 3개월 미만
팀 장애 카테고리 요소장애 인지 수단, 전파 소요시간, 내·외부 원인, 장애 등급 가중치
미처리 후속조치 요소경과 시간, 장애 등급 가중치
시스템신뢰성개발팀훈련 후 위험도 53% 감소
전사 위험도 변화둘째 달 11% 감소, 셋째 달 17% 추가 감소
월별 대상상위 등급 3~4개 팀
마지막 수정 일자