목차
복구 뒤에도 끝나지 않는 LINE 플랫폼 서버의 장애 대응 (2022-05)
원문 정보
- 원문: LINE 플랫폼 서버의 장애 대응 프로세스와 문화
- 매체 · 게시일: LINE Engineering 블로그 · 2022-05-13
- 저자: 이수안 (LINE Platform Engineering 3 센터)
- LINE DEVELOPER DAY 2021 세션 내용을 옮긴 글입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
장애가 없던 달과 몰렸던 달의 기록
2021년 LINE 플랫폼 서버에는 장애가 하나도 없던 달도 있었습니다. 2월과 5월이 그랬습니다. 그런데 8월에는 장애가 많이 발생했습니다. LINE 앱과 함께 10년을 보낸 조직도 장애가 언제 발생할지 예상할 수는 없었습니다.
LINE은 생활 인프라의 일부가 된 서비스입니다. 앱의 필수 기능을 맡은 플랫폼 서버 조직은 사용자가 직접 겪는 문제뿐 아니라, 사용자에게 영향이 없더라도 내부 시스템이 기대대로 동작하지 않는 상황까지 장애로 봅니다. 장애를 막고 발생한 문제를 빨리 해결하는 데 힘쓰지만, 장애 자체를 피할 수는 없다는 전제도 받아들였습니다. 그래서 해결 과정을 널리 공유하고, 그 경험으로 플랫폼의 신뢰성을 높이는 방향을 택했습니다.
재시작 뒤에도 불안정했던 백엔드 서버
2021년 8월 4일 장애 공유 채널에 올라온 보고서에는 프락시 서버의 설정 오류가 등장합니다. 요청을 중개하는 프락시에서 요청 제어가 정상적으로 작동하지 않았고, 백엔드 서버를 다시 시작했는데도 서버는 계속 불안정했습니다.
보고서에는 원인과 함께 영향 범위를 적었습니다. 장애 당시의 로그와 발생량, 실패한 API의 형태·수·종류를 확인할 수 있는 지표를 바탕으로 어떤 요청이 실패했고 얼마나 많은 사용자가 영향을 받았는지 기록했습니다. 대응 과정은 시간순으로 남겼습니다. 원인이 된 업데이트, 장애 발생, 장애 인지와 해결 착수, 복구 완료 시점을 구분해 적었습니다.
이 보고서에는 복구 이후 실행할 과제도 들어 있습니다. 프락시 설정을 고치는 데서 끝내지 않고, 탐지와 대응 과정에서 부족했던 부분까지 찾아 Jira 티켓으로 남겼습니다.
장애 복구와 상황 공유를 책임지는 리드
장애 알림에는 응답할 사람이 있어야 합니다. LINE 플랫폼 서버는 개발자가 돌아가며 알림에 대응하는 온 콜 듀티를 운영하며, 장애에 가장 적절하게 대응할 개발자가 상시 대응할 수 있는 체제를 갖췄습니다. 모니터링 덕분에 대부분의 장애는 발생 직후 인지하지만, 담당자가 놓칠 수도 있습니다. 이때는 문제를 발견한 누구든 연락할 수 있도록 책임자와 보고 채널을 확인할 수 있는 연락망을 관리합니다.
장애 등급은 영향도를 전달하고 나중에 장애를 분류하는 기준입니다. 기준은 프로덕트마다 다릅니다. 사용자에게 기능을 제공하는 서비스 플랫폼에서는 일간 활성 사용자 수인 DAU를 바탕으로 영향받는 사용자 범위를 나누고, 장애가 난 기능의 종류와 상태로 심각도를 판단합니다. 각 프로덕트가 판단한 등급을 공유하며, 대응 과정에서 등급이 바뀔 수도 있습니다.
상황은 등급별로 미리 정한 채널에 전파합니다. 여러 서비스가 긴밀하게 연결된 만큼 각 서버 담당자는 자기 서비스에 다른 영향이 없는지 확인하고, 고객 응대 부서는 대응을 준비해야 합니다. 여러 부서가 쉽게 작성하고 이해하도록 공유 내용에는 [Outage notice] 템플릿을 씁니다.
복구에서는 장애의 영향도를 최대한 빨리 줄일 방법을 택하고 원인도 파악합니다. 총책임자는 장애가 발생한 부서의 리드입니다. 팀원들은 리드의 지시에 따라 조치하고 결과를 보고합니다. 처리가 길어지면 상황을 갱신해 공유하는 일도 리드가 책임지며, 모두 감당하기 어려울 때는 공유 담당자를 따로 지정할 수 있습니다.
복구 뒤 개선 과제까지 적는 장애 보고서
복구가 끝나도 할 일은 남습니다. 장애 대응 이후 근무일 기준 1일 이내에 1차 보고를 마치는 것이 원칙이며, 작성한 보고서는 정해진 메일링 리스트에 공유합니다. 보고서 템플릿은 읽는 사람과 용도에 맞춰 나뉩니다.
- Summary: 비개발 부서도 이해할 수 있는 장애 상황 요약
- Detail: 개발자를 위한 서비스 형태와 대응 이력 등 상세 정보
- Corrective and preventive measures: 재발 방지, 빠른 탐지, 대응 자체의 개선 관점에서 점검한 내용과 액션 아이템
액션 아이템에는 실행할 내용을 적고 Jira 티켓으로 등록합니다. 앞서 본 프락시 장애에서는 재발을 막기 위해 헬스 체크 기능을 켜는 과제를 남겼습니다. 장애를 알림으로 인지하기는 했지만, 장애가 났는데도 알림이 오지 않았던 부분이 있어 탐지를 보강하는 항목도 포함했습니다. 롤백으로 복구할 수 있었으나 배포 절차 문서에 롤백 프로세스가 정확히 정리돼 있지 않아, 문서를 보강하는 과제도 적었습니다.
회고는 장애가 발생한 날부터 근무일 기준 5일 이내에 진행합니다. 가능한 한 많은 사람이 참여해 피드백을 주고받고 추가 개선점을 찾은 뒤, 보고서를 확정해 장애 대응을 마칩니다.
기한과 템플릿을 정해 두는 것만으로 절차가 계속 작동하지는 않습니다. 10년간 운영하며 얻은 교훈 중 하나는 프로세스가 쉽게 사문화된다는 점이었습니다. 해석의 여지 없이 바로 실행할 수 있게 작성하고, 주변 상황이 달라지면 절차도 고쳐 관련자에게 신속하게 공유해야 합니다.
테스트 코드 없이는 통과하기 어려운 코드 리뷰
장애에서 얻은 경험은 개발 단계에도 남습니다. LINE은 신뢰성을 보장하는 가장 쉬운 방법을 개발 초기부터 신뢰성을 고려하는 데서 찾았고, 초창기부터 엄격한 동료 코드 리뷰를 이어 왔습니다. GitHub를 도입할 때 가장 먼저 정착한 문화 중 하나입니다. 리뷰를 돕기 위해 디자인 문서를 제공하고 함께 검토하는 문화도 자리 잡았습니다.
처음부터 테스트 코드가 많지는 않았습니다. 이후에는 테스트 코드 없이는 리뷰를 통과하기 어려운 문화가 형성됐고, 일부 팀은 유닛 테스트에 더해 통합 테스트 형태의 엔드 투 엔드 테스트까지 관리합니다. 이수안 님은 장애 재발 방지책으로 테스트 보강이 자주 거론됐던 경험도 이런 문화를 만드는 데 도움이 되었으리라고 봤습니다.
관심이 식은 뒤에도 추적하는 Jira 티켓
보고서에 과제를 적었다고 일이 끝나지는 않았습니다. 회고의 모든 액션 아이템을 Jira 티켓으로 관리하고 다른 개발 작업과 동등하게 다루도록 권장했지만, 장애 대응이 끝나면 관심이 낮아졌습니다. 티켓은 기술 부채로 남기 쉬웠습니다. 비슷한 원인으로 장애가 다시 발생한 뒤에야 처리하지 못한 티켓에 관심이 쏠리는 일이 반복됐습니다.
LINE은 장애 티켓 해결을 조직 공통 OKR 중 하나로 정했습니다. 조직의 목표를 각 팀의 상황에 맞는 목표로 다시 구체화하는 OKR 캐스캐이딩을 적용해, 모든 구성원이 장애 티켓 해결을 공통 목표로 인식하도록 했습니다. 구체적인 실행 방법은 각 팀이 논의해 직접 결정합니다.
2021년 1월부터 9월까지 등록된 액션 아이템은 242개였습니다. 2021년 11월 기준으로 이 중 83%가 해결됐거나 해결 중인 상태였습니다. 모두 완료한 비율은 아닙니다. 다른 개발 업무를 진행해야 하는 부담 속에서도 장애 과제를 처리해 나간 결과입니다.
장애 티켓을 해결해야 한다는 데는 모두 공감했지만, 실제 진척은 생각보다 더뎠습니다. 그래서 현황을 가시화하고 주기적으로 확인하며 해결 방안을 함께 논의했습니다. 조직이 절차를 인정하고 실행하는 문화를 갖춰야 한다는 교훈도 이 경험에서 나왔습니다. 여전히 해결하기 쉽지 않은 부분이 남아 있어, 티켓을 추적하고 개선하는 노력은 계속되고 있습니다.
원문의 주요 수치와 기준
| 항목 | 값 |
|---|---|
| 1차 보고 기한 | 근무일 기준 1일 이내 |
| 회고 기한 | 장애일로부터 근무일 기준 5일 이내 |
| 2021년 1~9월 등록된 액션 아이템 | 242개 |
| 2021년 11월 기준 해결 또는 진행 중 | 83% |
| 등급 결정 지표 | DAU 기준 영향 사용자 범위, 기능 종류와 상태에 따른 심각도 |