본문으로 건너뛰기
서비스 장애부터 전사 재해 복구까지 대비하는 카카오 BCM
목차

서비스 장애부터 전사 재해 복구까지 대비하는 카카오 BCM (2024-12)

원문 정보

  • 원문: [안정성 보고서] 5. 안정성을 위한 복구 체계
  • 매체 · 게시일: 카카오 기술블로그 · 2024-12-08
  • 저자: 본문에 저자 미표기 (기여한 사람들로 강훈구, 윤영석, 진일섭, 허명주 표기)
  • 안정성 보고서 시리즈 5편. 1편 프롤로그에서 전 구간 과제로 소개한 BCM 체계를 다룹니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

새해 인사를 준비하는 카카오톡의 혹한기 훈련

2023년 1월 1일 0시, 카카오톡 트래픽이 폭증했습니다. 새해 인사는 장애 없이 오갔습니다. 이날 대응에는 50명 이상이 참여했으며, 12월 31일 저녁 6시부터 1월 1일 새벽 2시까지 약 8시간 동안 신년 트래픽에 대응했습니다.

이 시간을 준비하는 정기 훈련은 약 2.5개월에 걸쳐 진행됩니다. ‘혹한기 훈련’이라고도 부릅니다. 실제 상황을 30분에서 1시간 내외로 압축해 시험하되, 카카오톡 서버가 동작하는 환경과 거의 같은 환경을 구성하고 각 컴포넌트의 설정값도 실제와 동일하게 맞춥니다.

설정까지 맞춰 보는 이유는 카카오톡과 연관된 서비스의 동작을 확인하기 위해서입니다. 알림톡을 예로 들면, 톡으로 메시지를 보낸 뒤 카카오톡 서버에 발송 확인 요청을 보냅니다. 그런데 카카오톡의 트래픽 분할 시스템은 장애를 감지하면 비상 상황 모드로 전환해 중요도가 높은 요청부터 처리합니다. 이때 알림톡의 발송 확인 요청은 메시지 수·발신 요청보다 순서가 밀립니다.

확인 요청이 늦어지면 알림톡도 이상을 감지하고 평소와 다르게 동작하기 시작합니다. 훈련에서는 이런 동작이 카카오톡 이용에 불편을 주는지 살핍니다. 예상과 다르게 움직여 장애를 일으키는 서비스가 있으면 담당자들이 회고에서 문제를 찾고, 신년 대응 전에 대책을 마련합니다.

대응 계획을 고치는 출발점은 지난 신년 대응의 회고입니다. 1월 첫째 주부터 약 일주일 동안 잘된 점과 아쉬운 점을 기록해 둡니다. 10월경에는 약 한 달에 걸쳐 작년과 달라진 코드와 서버 구조를 확인하고, 그 차이를 바탕으로 신규 기능 개발이나 서버 증설, 설정 변경을 진행합니다. 작업 내역도 문서로 남깁니다.

대응 훈련 전 약 3일 동안은 시나리오를 점검합니다. 시간순으로 서비스별 담당자와 조치 내용을 적고, 연관 부서의 피드백을 받아 수정한 뒤 함께 최종 확인을 거칩니다. 정기 훈련은 날짜와 내용을 미리 공지하며, 훈련에서 보완한 대응 방식으로 신년 이벤트를 맞습니다.

복구 작업과 상황 공유를 나눠 맡은 담당자

장애를 처리하는 오퍼레이터가 빠르고 정확하게 작업하려면 관련 서비스의 상황을 제대로 전달받아야 합니다. 카카오는 이 과정의 혼선을 줄이려고 작업을 지휘하는 컨트롤타워와 상황을 공유하는 커뮤니케이터를 별도 역할로 두었습니다.

컨트롤타워는 장애의 영향과 범위를 판단하고 오퍼레이터에게 구체적인 작업을 지시합니다. 오퍼레이터는 그 지시를 최우선으로 수행합니다. 컨트롤타워가 장애 등급과 서비스 상태를 운영책임자에게 공유하면, 운영책임자는 카카오톡 이용자와 사내 커뮤니케이션을 맡아 기술 담당자가 복구에 집중하도록 돕습니다.

커뮤니케이터는 서비스와 조직 내 상황을 파악해 소통 채널에 알리고, 대시보드에 대응 이력과 이벤트를 실시간으로 기록합니다. 카카오는 매뉴얼에 컨트롤타워를 3순위까지 복수로 지정하고 인사 변동이 생기면 즉시 갱신합니다. 누가 지휘하고 정보를 모을지 정해 커뮤니케이션 혼선을 줄이려는 조치입니다.

장애 등급은 담당 부서의 컨트롤타워가 결정합니다. 사용자 영향 범위뿐 아니라 서비스 위험도, 복구 시간, 대외 반응도 판단 기준에 들어갑니다.

등급사용자 영향과 구분
3등급사용자가 직접 체감하지 못하는 수준. 사전에 공지한 서비스 보수 작업도 포함
2등급일부 사용자가 체감하는 수준. 발생 빈도가 가장 높은 등급
1등급서비스가 정상 동작하지 않아 다수 사용자가 접근하지 못하는 상태

3등급이나 2등급 장애의 복구가 예상보다 늦어지면 한 단계 높은 등급으로 올립니다.

실제 대응은 장애 감지, 장애 선언, 장애 처리, 장애 종료, 후속 대응의 5단계로 이어집니다. 구성원이 장애를 인지하면 카카오워크의 장애 공유 채널에 현황을 알립니다. 카카오워크 메시지가 동작하지 않을 때는 다른 사내 메신저에 마련한 보조 소통 채널을 사용합니다.

장애를 확인한 컨트롤타워는 관련 부서와 운영책임자에게 장애를 선언합니다. 운영책임자는 선언이 전달되지 않은 채널에도 이를 알려 누락을 막습니다. 각 서비스 개발팀은 대시보드를 만들고 개발팀과 운영팀의 수행 내역을 시간대별로 기록하며, 복구지원반은 외부 기관 보고와 이용자 공지, 언론 보도 자료 제공을 맡습니다.

작업 중에는 메신저나 화상회의로 소통합니다. 장애가 해소되면 처리를 주관한 담당자가 종료를 선언하고, 컨트롤타워와 운영책임자가 보조 소통 채널에 전파합니다. 운영책임자는 이용자가 불편 없이 쓸 만큼 서비스가 안정화됐을 때 장애 시간과 원인을 담은 해소 공지를 올립니다.

카카오톡을 쓸 수 없는 상황의 상시 훈련

역할을 정한 매뉴얼은 연간 2~3회의 상시 훈련에서 시험합니다. 날짜와 내용을 알리지 않고 불시에 진행하는 훈련입니다. 담당자들이 예상치 못한 장애 앞에서 각자 역할을 수행하고, 매뉴얼에 익숙해지도록 하는 데 중점을 둡니다.

훈련은 카카오톡이 아닌 메신저에 장애를 선언하면서 시작됩니다. 이때부터 카카오톡을 사용할 수 없다고 가정합니다. 매뉴얼에 따라 담당자를 지정한 뒤 서비스 상태와 실행한 조치를 시간순으로 대시보드에 기록하고, 참여자들은 그 내용을 바탕으로 장애가 해결될 때까지 조치와 소통을 이어 갑니다.

상시 훈련이 평가하는 대상은 장애 시작부터 종료까지 담당자 사이에 정보가 전달되는 과정입니다. 프로덕션 환경에서 장애를 시뮬레이션하고 스크립트·코드·서비스 컴포넌트를 개선하는 정기 훈련과는 점검 대상이 다릅니다. 훈련이 끝나면 회고에서 부족한 부분을 찾아 매뉴얼을 고치고, 신규 입사자와 조직 구성원이 내용을 기억하도록 주기적으로 공유합니다.

2023년 7월 29일 오후 7시 7분, 전북에서 지진이 발생했을 때도 카카오톡 트래픽이 증가했습니다. 담당자들은 상시 훈련의 경험을 바탕으로 신속하게 대응했고, 장애는 발생하지 않았습니다.

데이터센터 페일오버로 확인하는 메시지 수·발신

데이터센터 장애는 연관 서비스까지 영향을 줄 만큼 파급력이 큰 편이고, 다른 장애보다 복구하기도 어렵습니다. 모든 기능을 정상화하기까지 다소 긴 시간이 걸릴 수 있습니다. 카카오는 상시 훈련의 하나인 데이터센터 페일오버 모의 훈련에서 가장 중요한 메시지 수·발신 기능의 정상 동작을 목표로 삼았습니다.

훈련에 필요한 컴포넌트는 카카오 계정, API, 메시징입니다. 이들을 여러 데이터센터에 실제 환경보다 작은 크기로 구축합니다. 크기는 줄여도 코드와 설정은 실제 카카오톡 서비스와 같게 유지하며, 실제 환경에 새 소스 코드가 배포될 때마다 훈련용 컴포넌트도 동기화합니다.

부하는 실제 서비스와 거의 같은 수준으로 줍니다. 그 상태에서 한두 데이터센터의 컴포넌트를 중지해 장애를 유발하고, 메시지 수·발신이 정상 동작하는지 확인합니다. 문제가 드러나면 회고에서 대응 전략을 수정하고 매뉴얼을 갱신합니다.

단수에서 시작하는 데이터센터 중단 시나리오

데이터센터에 물이 끊기면 냉각 시스템을 돌릴 수 없습니다. 서버가 계속 내는 열이 쌓이면 내부 온도가 하드웨어가 견딜 범위를 넘을 수 있고, 성능 저하나 손상을 거쳐 서버가 멈추는 상황까지 이어질 수 있습니다. 서버만의 문제로 끝나지도 않습니다. 고온이 지속되면 다른 장비도 연쇄적으로 가동을 중단해 카카오의 업무와 서비스 전반에 영향을 줄 수 있습니다.

카카오는 이런 중단 시나리오에 대비해 데이터센터를 여러 곳에 분산 배치하고, 데이터센터 인프라 관리 시스템인 DCIM으로 센터 상태를 24시간 모니터링합니다. 위험을 나누고 시설 상태를 계속 확인하는 예방 대책입니다.

이러한 위험 관리의 바탕이 BCM(업무연속성) 체계입니다. 회사 전반의 업무와 서비스를 중단할 수 있는 상황을 재난 재해로 정의하며, 홍수·해일·태풍·지진 같은 천재지변과 IT 관련 사고를 함께 다룹니다. 위험 평가에서는 화재와 낙뢰, 지반 침하뿐 아니라 시설물 붕괴나 감염병에 따른 인력 부족까지 고려했습니다.

BCM 운영 거버넌스는 카카오의 상황을 반영한 위험 평가와 업무 영향도 분석을 수행하고 국제 표준인 ISO 22301 인증을 취득했습니다. 산업적 특성, 과거 사고 유형, 전반적인 위험 성향을 검토해 중점 위험 관리 대상을 선정했습니다. 각 대상에는 단수 사례처럼 업무와 서비스가 어떻게 중단될 수 있는지 시나리오를 만들고, 이를 예방할 방안을 마련합니다.

전사 재해 대응을 지휘하는 BCM 종합상황실

기존에도 비상 대응 조직은 있었습니다. 하지만 전사적 재난재해의 컨트롤타워 역할을 수행하기에는 부족했습니다. 카카오는 CEO를 위원장으로 하는 비상대책위원회를 구성하고, 실무를 총괄할 BCM 종합상황실을 별도로 두었습니다.

비상대책위원회는 재해 선포와 종료, 업무·서비스의 복구와 정상화, 리스크 대응 방안을 결정하는 최상위 합의 기구입니다. 종합상황실은 비상대응반·서비스 복구반·복구지원반을 지휘합니다. 피해와 복구 현황을 종합해 복구를 지시하고, 추가 자원을 계획해 위원회의 의사결정을 지원합니다.

BCM 주관부서는 상황을 유관 조직에 전파하고 소통 채널을 안내하며, 피해와 복구 정보를 모아 심각도와 영향도를 종합상황실에 보고합니다. 법령 준수 사항을 확인하는 일도 맡습니다. 비상대응반은 최초 피해 확인과 초기 대응, 2차 피해 확산 방지를 수행하고, 초기 조치가 끝나면 서비스 복구반이나 복구지원반에서 활동을 이어 갑니다.

서비스 복구반은 서버·스토리지를 확보하고 OS 등 기반 시스템, 네트워크, 데이터센터, 정보보안, 서비스를 복구합니다. 데이터센터 수준의 재해가 발생하면 정상 운영 중인 다른 센터로 긴급 이전을 검토하고 필요한 상면을 확보합니다. 비상 절차에서 생길 수 있는 보안 위협을 관리하고, 복구 후에도 기존 수준의 보안체계를 유지하는 일까지 담당합니다.

인사·재무·법무·홍보·대외협력 등 지원 부서도 복구지원반으로 참여합니다. 상황실 설치와 대체 업무 공간 확보, 인사 운영, 법무 대응, 이용자 고지, 언론 대응을 맡는 조직입니다. 필요한 장비는 회사의 구매 규정에 따라 긴급 구매하고, 시설과 인프라를 복원하는 데 필요한 비상자금 조달 방안도 마련합니다.

재해 선포부터 종료 판단까지의 복구 절차

사고가 접수되면 예상 피해를 먼저 산정합니다. 모니터링 시스템의 감지나 이용자·크루의 신고로 상황을 파악하고, 예비 피해 평가를 바탕으로 재해 선포가 필요한지 판단합니다. 재해 선포 대상이 아닌 상황은 대부분 신속한 서비스 복구가 필요한 장애입니다. 비상대응조직이 장애 대응 전략을 실행하되, 필요하면 BCM 조직 일부를 선별적으로 소집합니다.

데이터센터나 사무 공간의 물리적 피해로 업무가 중단되거나, 서비스가 멈췄는데 복구 목표 시간 안에 복구할 수 없다면 비상대책위원회가 재해를 선포합니다. 이후 BCP(Business Continuity Plan)에 따른 복구 절차가 가동되고, 담당자들은 미리 정한 역할에 따라 작업합니다. 예를 들어 데이터센터 일부 상면에 화재가 발생하면 다른 센터의 대체 상면을 긴급히 확보해 복구를 진행합니다.

종료 여부도 위원회가 결정합니다. 종합상황실은 위협 요인이 해소됐는지, 시설과 인프라가 복원됐는지, 업무와 서비스가 정상적으로 재개됐는지를 종합해 보고합니다. 비상대책위원회는 이 보고를 바탕으로 재해 종료 선언 여부를 판단합니다.

카카오는 이 절차를 연 1회 이상 전사 재해 복구 모의 훈련으로 점검합니다. 필요하면 비상대책위원장의 요청에 따라 추가로 실시할 수도 있습니다. 전사 훈련, 서비스별 복구 훈련, 절차서 기반 훈련, 시스템 전환 훈련 등 여러 방식을 적용하며 BCM 주관부서가 계획과 진행을 맡습니다.

시나리오에는 화재·홍수·정전 같은 재해의 발생부터 정상화까지를 시간별로 적습니다. 실제 서비스와 가장 비슷한 환경에서 담당자들이 조치하고 수행 여부를 기록합니다. 계획할 때 예상하지 못한 문제가 생기면 대응 내용을 다른 참여자에게 신속히 공유하고 특이사항을 남깁니다. 훈련 후에는 총평과 설문 등으로 결과를 분석하고, 계획과 다르게 진행된 부분과 미흡한 점을 찾아 다음 훈련에 반영합니다.

2024년 8월 21일에는 카카오 안산 데이터센터에서 안산시와 함께 2024 을지연습 연계 도 단위 민방위훈련을 진행했습니다. 16개 기관에서 200여 명이 참가하고 51사단장과 경기도 균형발전기획실장이 참관했습니다. 훈련 과정은 경기도 전시종합상황실에 실시간으로 중계되었습니다.

장애 종료 뒤에도 남는 개선 과제

카카오의 장애 처리는 원인 분석과 회고, 재발 방지 대책의 수립·실행을 마쳐야 끝납니다. 서비스가 안정화된 뒤에도 컨트롤타워는 개발팀의 조치를 관리하고, 운영책임자는 이용자 영향 파악과 대응 커뮤니케이션을 계속합니다.

서비스 담당자는 발생 시점, 원인, 영향도, 조치 내역, 재발 방지 대책을 장애 일지에 기록합니다. 카카오는 일지를 정기적으로 분석해 서비스 개선에 활용합니다. 일지를 작성한 뒤에는 해당 서비스 담당자와 장애로 영향받은 서비스의 담당자가 함께 회고하며, 이용자 영향을 줄이고 대응 시간을 단축할 방안을 찾습니다. 필요하면 개선점을 바탕으로 프로세스를 매뉴얼화하거나 자동화하는 방안을 검토합니다.

서비스에 심각한 피해를 준 1급 장애는 전사 회고로 이어집니다. 관련 서비스 담당자와 컨트롤타워 등이 모여 전사 차원의 지원과 해결 방안을 계획하고 실행합니다. 이 자리에서는 팀 회고에서 나온 과제가 실행 가능한지, 적절한 담당자가 지정됐는지, 우선순위가 분명하고 진행 상황을 확인할 수 있는지도 함께 점검합니다.

훈련·장애 등급 수치 요약
항목값
정기 훈련(혹한기 훈련) 기간약 2.5개월 (실제 상황을 30분~1시간으로 압축)
지난 대응 회고1월 첫째 주부터 약 일주일
대응 수정10월경 약 한 달
시나리오 점검대응 훈련 전 약 3일
신년 대응12월 31일 18시 ~ 1월 1일 02시, 약 8시간
2023년 신년 대응 인원50명 이상, 장애 없음
컨트롤타워 지정3순위까지 복수
상시 훈련연간 2~3회
전사 재해 복구 모의 훈련연 1회 이상
2024 을지연습2024-08-21, 16개 기관 200여 명
장애 등급1급(다수 접근 불가), 2급(일부 체감, 빈도 최다), 3급(체감 불가)
마지막 수정 일자