본문으로 건너뛰기
우아한형제들 모의장애훈련 Part 1 — 각자의 자리를 찾는 경험
목차

우아한형제들 모의장애훈련 Part 1 — 각자의 자리를 찾는 경험 (2021-11)

원문 정보

  • 원문: 우리는 모의장애훈련에 진심입니다 – Part 1
  • 시리즈: 모의장애훈련 1편 (후속은 Part 2 요약)
  • 매체 · 게시일: 우아한형제들 기술블로그 · 2021-11-19
  • 저자: 임성현 (TPM)
  • 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 2021년 11월 19일 공개된 우아콘 영상과 같은 내용이라고 밝힙니다.

문서는 이해해도 막막했던 첫 장애 대응

2020년 상반기, 우아한형제들이 장애대응 프로세스를 개선하며 설문을 진행했습니다. 문서는 이해하지만 실제 장애가 나면 어떤 역할을 맡아 어떻게 움직여야 할지 모르겠다는 의견이 많았습니다. 그동안 훈련이 없었던 것은 아닙니다. 2019년까지는 소수의 참여자에게 시나리오를 스크립트로 미리 나눠 주고, 정해진 절차를 따라 훈련했습니다. 기술적인 복구 없이 전파에 집중한 방식으로는 대응 경험을 넓히기 어려웠습니다.

실제 장애에서도 익숙한 사람이 계속 나섰습니다. 시스템과 업무를 잘 알고 절차가 몸에 밴 사람에게 대응이 몰리면, 그 사람이 없는 동안에는 복구가 어려워집니다. 24시간 쉬지 않는 서비스에서 소수가 감당할 피로도도 컸습니다. 참여하지 못한 팀원에게는 다른 어려움이 있었습니다. 수많은 사용자가 불편을 겪는데도 팀과 동료를 도울 수 없다는 무력감입니다.

훈련은 이 첫 경험을 만들어 주는 쪽으로 바뀌었습니다. 실제 운영과 비슷한 베타 환경에 장애를 일으키고, 평소 대응하지 않던 팀원이 직접 복구와 전파를 맡습니다. 엔지니어만의 훈련도 아닙니다. 의사결정자, 기획자, 운영 담당자까지 장애 상황에서 자신이 할 일을 찾아보도록 했습니다. 장애를 처음 발견한 누구라도 전파한다는 원칙을 실제 행동으로 익히려는 시도였습니다.

ISMS 인증기준에 따라 계획을 세우고 연 1회 이상 훈련한 기록을 남기는 것도 시행 이유였습니다. 여기에 조직개편이나 신규 입사, 새 서비스 출시 뒤에도 안정적으로 대응할 수 있어야 한다는 목표가 더해졌습니다. 그래서 개발팀이 필요할 때 바로 신청해 진행할 수 있도록 방향을 잡았습니다.

복구에서 한 발 물러난 리드 엔지니어와 팀장

훈련에서는 평소 장애를 가장 많이 다루던 사람들이 복구를 맡지 않습니다. 리드 엔지니어는 시나리오를 설계하고 장애를 일으키는 설계자가 되고, 팀장은 전체 상황을 지켜보는 관찰자가 됩니다. 두 사람을 제외한 팀원들이 참가자로서 원인을 찾고, 복구하고, 유관부서에 상황을 알립니다.

사전미팅에서 이번에는 관찰하는 역할이라고 설명하면 두 사람은 대체로 즐거워합니다. 막상 훈련이 시작되면 답답해하기도 합니다. 그래도 직접 개입하지 않고 진행자와 별도 채널에서 이야기를 나눕니다. 경험이 적은 팀원이 자기 힘으로 문제를 풀어 볼 시간을 주기 위해서입니다.

진행자는 기획부터 훈련 실시, 회고와 마무리까지 맡습니다. 고객센터와 비상대책위원회의 대역도 이 사람입니다. 고객센터는 고객 문의를 받아 개발팀에 확인하고 안내하며, 비상대책위원회는 중요 장애 때 모여 고객 케어와 전사 대응 방안을 결정합니다. 참가자는 복구 작업 중에도 이들과 소통해야 합니다.

이 역할을 준비하려면 진행자 역시 실제 장애를 꾸준히 관찰해야 한다는 것이 저자의 조언입니다. 고객센터나 마케팅이 어떤 말투로 무엇을 묻는지, 대응 중 자주 놓치는 부분은 무엇인지 알아야 대역도 현실에 가까워집니다. 설계자에게는 시스템을 가장 잘 알고 장애 경험이 많은 리드 엔지니어를 권합니다. 진행자는 설계자가 훈련의 목적을 이해하고 현실감 있는 환경을 준비하도록 계속 도와야 합니다.

설계자가 장애를 숨기는 베타 환경

신청한 팀과는 보통 접수한 주에 사전미팅을 갖습니다. 15분 내외의 짧은 자리입니다. 팀장과 리드 엔지니어가 꼭 참석해 진행자와 훈련 방향을 잡고, 각자 맡을 역할을 확인합니다. 구체적인 시나리오는 목표일 적어도 3일 전, 가급적 1주 전에 정리하도록 요청합니다. 논의 내용은 비공개 위키 페이지에 기록하고 회고 때 공개합니다.

시나리오는 후보를 여럿 만든 뒤 고르는 방식으로 발전했습니다. 인프라 문제를 해결해도 사용자 실수로 남은 문제를 업무적으로 처리해야 복구가 끝나는 복합 장애가 한 예입니다. 연쇄 장애도 준비했습니다. 참가자와 당일 상황에 맞춰 1차 운영 이슈의 난이도를 상·중·하로 마련하고, 이를 해결해도 모니터링 중에 2차 장애가 발생하도록 했습니다. 안정화 단계의 작은 문제가 다시 장애로 번지는 현실을 담은 구성입니다.

환경을 준비할 때 설계자는 신나게 장애를 숨깁니다. 쉽게 찾지 못하도록 기록을 남기지 않고 인프라 설정을 바꿀 준비를 하거나, 코드 문제라면 몇 주 전부터 베타 환경에 버그를 심어 둡니다. 진행자는 실제와 비슷한 소통·모니터링·알람 채널을 만듭니다. 어떤 절차로 대응하기를 기대했는지, 설계자의 의도도 위키에 남깁니다.

참가자에게는 하루 전에 목적과 규칙, 장애대응 절차 문서를 안내합니다. 문서를 놓고 절차만 따라가는 연습으로 오해하지 않도록, 장애를 실제로 완전히 복구하면서 전파하는 훈련임을 분명히 합니다. 잘하는지 평가하는 자리보다 개선할 점을 함께 찾는 자리라는 설명도 빠지지 않습니다. 구체적인 시작 시각과 시나리오는 비밀입니다.

새로 합류한 사람이 너무 많아 혼란이 클 것 같다며 전날 시험문제를 예습한 팀도 있었습니다. 권고한 방식은 아니었습니다. 그렇게 준비해도 훈련이 시작되면 당황하기는 마찬가지였습니다.

손에 땀이 나는 1시간 30분

당일에는 설계자, 관찰자, 진행자가 별도 화상채팅방에 모입니다. 준비를 확인한 뒤 설계자가 베타 환경에 장애를 일으킵니다. 참가자가 알람으로 알아차리기 어려운 경우에는 진행자가 고객센터 상담원으로 등장해 장애 문의를 접수합니다. 필요하면 CTO로 변장해 놓친 부분을 묻기도 합니다.

참가자는 현상을 확인하고 모니터링하면서 원인과 복구 방법을 찾습니다. 그 사이 유관부서에 상황을 알리고 문의에도 답해야 합니다. 복구에 매달리느라 전파를 놓쳐서도, 전파에 신경 쓰다 원인 파악이 늦어져서도 안 됩니다. 기획자나 입사한 지 얼마 안 된 팀원도 처음 발견한 사람으로서 장애 공지를 맡을 수 있습니다. 이때 팀 안에서 어떻게 역할을 나누고 소통하는지가 드러납니다.

유관부서가 궁금해하는 내용도 서로 다릅니다. 고객센터는 언제 장애가 끝나는지, 고객의 불만을 어떻게 해소할지에 관심이 큽니다. 비상대책위원회는 장애의 범위와 영향을 받는 고객의 규모를 알고 싶어 합니다. 참가자는 질문에 답하면서 전파할 때 어떤 정보가 필요한지 익힙니다.

모의훈련이어도 손에 땀이 납니다. 복구 뒤에는 안정화 모니터링을 하며 정상으로 돌아왔는지 확인합니다. 업무상 복구 절차를 지키고 필요한 의사결정을 받는 과정도 포함됩니다. 정상화됐다고 판단하면 정해진 포맷으로 해소 공지를 내고, 영향을 받은 고객을 추출해 사후 케어를 준비합니다.

훈련 시간은 안정화 모니터링을 포함해 1시간 30분으로 제한했습니다. 그보다 길어지면 참여자들이 지치고 집중력이 급격히 떨어졌기 때문입니다. 반대로 너무 빨리 끝나도 준비한 경험을 충분히 해 보기 어렵습니다. 진행자는 양쪽을 살피며 시간을 조절합니다.

1시간 10분 뒤의 조심스러운 개입

1시간 10분이 지나면 총괄 채널에서 상황을 논의하고 필요에 따라 조금씩 개입합니다. DB 연결 정보를 수정해야 하는 상황에서 잘못 판단해 모든 DB가 재부팅된 사례도 있었습니다. 이럴 때는 유관부서 대역으로 힌트를 건네 훈련의 맥락을 이어갑니다. 드러난 부족한 점은 회고에서 다루도록 기록합니다.

복구 직후 다시 살아나는 불씨

장애가 금방 해소되면 영향을 받은 고객도 없고, 유관부서의 질문을 충분히 받을 기회도 없어집니다. 실제 장애라면 다행스러운 일이지만 훈련에서는 경험이 부족해질 수 있습니다. 그래서 너무 빨리 끝나면 해소 뒤 다시 장애를 일으켜 두세 개를 이어 갑니다.

복구 직후는 장애에 취약한 때 중 하나이기도 합니다. 실제로도 꺼진 줄 알았던 불씨가 되살아나 연쇄 장애가 벌어지는 경우가 있습니다. 이 상황을 체험하게 하되, 훈련이 너무 길어지지 않도록 난이도를 조절합니다.

해소 공지 직후 다시 모인 회고

해소 공지를 내고 진행자가 종료를 선언하면 바로 회고를 시작합니다. 30분 내외입니다. 시간이 지나면 기억이 흐려지고 다시 모이기도 어려우므로, 궁금했던 점과 개선할 점이 생생할 때 이야기를 나눕니다.

비공개였던 위키 페이지를 열고 모두가 좋았던 점, 아쉬웠던 점, 개선사항과 앞으로 더 잘할 방법을 씁니다. 훈련 전후의 대응 수준도 각자 5점 척도로 기록합니다. 설계자와 관찰자에게는 훈련 중 미리 회고를 작성하도록 권합니다. 전체 상황을 지켜본 사람의 기록이 공유할 내용을 풍성하게 해 줍니다.

진행자는 서로의 부족한 부분을 찾아 보완하는 자리라는 목적을 다시 짚습니다. 설계자가 시나리오와 자신이 생각한 최선의 해결 방법을 설명한 뒤에는 참가자가 먼저 말하고, 설계자와 관찰자, 진행자가 차례로 의견을 나눕니다. 익숙한 사람들의 말에 다른 팀원의 이야기가 묻히지 않도록 정한 순서입니다. 개인이나 팀을 비난하지 않고 개선점을 함께 논의하는 문화를 이 자리에서도 지킵니다. 이후 별도 설문으로 프로세스와 훈련의 피드백을 받습니다.

관찰자의 피드백에도 준비가 필요합니다. 고참 개발자와 팀장은 잔소리가 많아지기 쉽다고 저자는 짚습니다. 그래서 훈련 중에는 제3자의 시선으로 장단점을 기록하되, 장점과 단점을 1:1 비율로 적도록 권합니다.

발견한 문제는 티켓으로 남겨 처리합니다. 팀 가이드와 장애 때 연락할 담당자를 갱신하고, 알람을 추가하거나 주기를 바꾸고, 고객에게 보이는 오류 메시지와 시스템 설정 표준값을 고쳤습니다. 만화경에서는 장애가 나면 담당 PD에게도 알려야 한다는 절차를 찾아 보완했습니다. 장애대응 프로세스의 개선사항은 백로그로 관리합니다. 전파 대상 채널 수를 줄인 일도 훈련에서 받은 피드백으로 시작됐습니다.

호평과 감사로 이어간 다음 훈련

훈련을 마련했다고 신청이 바로 몰리지는 않았습니다. 처음 안내 메일을 보냈을 때는 회신이 드물었습니다. 다른 팀이 해 보니 좋았다는 이야기와 실장들의 관심이 더해지면서 참여팀이 조금씩 늘었습니다. 신청자는 대부분 팀장이나 기술리더였고, 원하는 목적과 방향을 함께 전하는 경우가 많았습니다.

안내 메일에는 팀이 참여 여부를 판단할 만한 상황을 적었습니다. 새로 생겨 장애 경험이 없는 팀, 절반 이상이 새로 합류했거나 기존 대응자가 다른 팀으로 옮긴 팀, 조직장이 바뀌어 장애 상황의 의사결정 경험이 부족한 팀 등이 예입니다. 최근 장애에서 전파가 아쉬웠거나 지난 훈련과 다른 시나리오를 검증하고 싶은 경우도 담았습니다. 신청 조건을 정하기보다, 받는 사람이 자기 팀에 도움이 될지 가늠하도록 한 안내였습니다.

다른 조직에 적용할 때도 먼저 이 훈련이 필요한지 판단하고, 시작 전에 목표와 성과를 정해 두라는 것이 저자의 조언입니다. 참가자가 늘고 훈련이 반복되면 처음의 목적이 흐려질 수 있기 때문입니다. 범위도 제한하도록 권합니다. 적정 참가 인원은 대여섯 명이며, 더 많으면 나눠 진행하거나 일부가 관찰자로 참여하는 방식입니다. 참가자가 방관자가 되지 않고 집중하도록 하기 위한 선택입니다.

참여 부담을 줄이는 데는 예제와 템플릿이 도움이 됩니다. 처음 함께할 팀을 잘 만나는 일도 훈련의 방향과 템플릿을 잡는 데 보탬이 됩니다. 저자는 첫 참여팀이었던 공통시스템개발팀에 감사를 전했습니다.

계속 참여하게 만드는 방법으로는 시상과 감사를 꼽았습니다. 우아한형제들은 아래 대상에게 선물하기로 고마움을 전했습니다.

  • 훈련 전후 숙지도 차이가 큰 팀
  • 많은 사람이 효율적으로 참여한 팀
  • 복잡하고 현장감 높은 시나리오로 “모의훈련이라 다행”이라는 반응을 얻은 팀
  • 시즌마다 훈련을 준비한 모든 설계자

훈련의 효과를 확인할 서비스 안전성 지표

전체 참여자를 대상으로 한 설문에서 장애대응 프로세스 이해도는 5점 기준 2.0에서 3.7로, 85% 상승했습니다. 대응을 경험한 사람도 늘었습니다. 2020년에는 23차수에 166명이 참여해 배달의민족과 B마트 서비스부문의 모든 개발팀이 적어도 한 번 훈련했습니다. 2021년에는 글을 쓴 시점까지 13차수에 165명이 참여했고, 훈련은 계속 진행 중이었습니다.

훈련은 시스템의 취약점과 알람·모니터링의 개선점을 찾는 기회이기도 했습니다. 개인과 팀을 비난하지 않고 함께 개선점을 찾는 문화를 전하는 성과도 있었습니다. 그러나 이것만으로 고객 서비스가 실제로 얼마나 나아졌는지까지 답할 수는 없었습니다. 훈련의 효과를 서비스 안전성 지표와 연계해 확인하는 방안은 계속 보완 중인 과제였습니다.

앞으로는 신규 서비스, 새로운 고객 케어 프로세스, 새로운 형태의 장애를 만날 때마다 마지막 단계에 훈련을 넣어 확인할 계획이었습니다. 훈련이 무엇에 도움이 되는지 파악할 지표와, 훈련 및 장애대응 프로세스를 간소화할 자동화도 준비 중이었습니다. 저자는 지표 연계와 더 나은 훈련 방법을 향한 시도를 이어가고, 그 뒤 후속 글로 경험을 나누겠다는 뜻을 밝혔습니다.

원문의 운영 수치
항목값
ISMS 훈련 주기연 1회 이상
사전미팅접수한 주, 15분 내외
시나리오 정리 시점목표일 3일 전 (가급적 1주 전)
훈련 제한 시간1시간 30분 (안정화 모니터링 포함)
총괄 채널 개입 시점1시간 10분 경과 후
회고종료 직후 30분 내외
적정 참가 인원대여섯 명
프로세스 이해도5점 기준 2.0에서 3.7 (85% 상승)
작년 참여23차수 166명
올해 참여13차수 165명 (진행 중)
2019년까지스크립트 기반, 전파 중심 훈련
마지막 수정 일자