목차
Playwright와 Jira로 장애 대응을 잇는 Roly-Poly (2024-10)
원문 정보
- 원문: Playwright와 Jira로 만드는 스마트 장애/변경 알림 및 관리 시스템
- 매체 · 게시일: LY Corporation Tech Blog · 2024-10-28
- 저자: 이동원 (LINE NEXT DevOps 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
이동원이 앞서 쓴 ‘ChatOps를 통한 업무 자동화(feat. Slack Hubot)‘에 이어지는 사례입니다. LINE NEXT DevOps 팀은 사용자가 서비스를 이용하는 과정을 검증하는 E2E(End-to-End) 테스트에 Playwright를 도입하고, 봇을 연결해 Slack에서 장애 알림을 받고 Jira 티켓을 제어하는 시스템을 구축했습니다.
낮은 등급에서 더 길어진 복구 시간
장애 등급이 낮을수록 복구가 오래 걸리는 경향이 있었습니다. 2023년 1월부터 원문을 작성한 2024년까지, TTS 알림을 받은 뒤 대응과 조치에 걸린 시간을 분석한 결과입니다. 대체로 1시간 안에 처리를 마쳤지만 가장 오래 걸린 상위 5건은 1시간을 넘겼습니다. 비즈니스 영향이 작다고 사용자에게도 영향이 없는 것은 아니었습니다. 팀은 모든 장애를 빠르게 알리고 처리하려 했습니다.
관제를 바꾸는 일부터 쉽지 않았습니다. LY가 사용하던 TTS(Trouble Ticket System)는 다른 회사의 시스템으로, 모니터링과 변경·장애 관리를 직접 제어할 권한이 없었습니다. 새 서비스를 관제에 등록하려면 먼저 ESM(Enterprise Service Master)에서 서비스 코드를 발급받아야 했습니다. 그다음 장애 심각도(상/중/하), 등급별 세부 기준, 모니터링 방식과 범위를 TTS 담당자에게 전달하는 절차였습니다.
페이지 하나를 확인하는 데도 구체적인 설명이 필요했습니다. WMS(Web Monitoring System)에서 어느 URL에 접속하고, 어디를 클릭하고, 어느 영역을 확인할지 페이지마다 정의해 넘겨야 했습니다. 서비스가 추가·변경·삭제되거나 모니터링 방식을 바꿀 때면 시나리오도 고쳐야 했으므로 담당자와 조율하는 부담이 컸습니다.
팀이 줄이려던 것은 장애가 지속되는 시간이었습니다. 영향도 파악과 상세 원인 분석, 재발 방지 같은 사후 처리에 앞서 이상 징후를 탐지하고, 대응을 결정하고, 시스템을 복구하는 과정에 초점을 맞췄습니다. 이를 직접 제어할 수 있도록 TTS를 대체하기로 했습니다.
기존 시나리오로 검증한 Playwright
TTS를 바꾸려면 기존 기능부터 옮길 수 있어야 했습니다. TTS는 사용자 관점의 시나리오 테스트를 실행하고, 장애 등급을 분류하며, 메일로 알람을 전파했습니다. 팀은 그중 시나리오 테스트를 맡길 도구로 Selenium, Puppeteer, TestCafe, Cypress, Datadog Synthetics, Playwright를 비교했습니다.
선정 과정에서는 각 도구의 단점에 주목했습니다. Chrome 외의 브라우저와 헤드리스 모드를 지원하고, API로 시나리오를 쉽게 작성할 수 있어야 했습니다. 비용이 발생한다는 이유만으로 후보에서 제외하지는 않았습니다. 장애 관제와 시나리오 테스트에 얼마나 유용한지, 기업에서 사용할 수 있는 라이선스인지가 판단 기준이었습니다.
이 기준에 가장 잘 맞은 도구가 Playwright입니다. Microsoft가 개발한 오픈소스 E2E 테스트 프레임워크로, Chromium과 Firefox, WebKit을 하나의 API로 다룹니다. GUI 없이 브라우저를 실행하는 헤드리스 모드 외에도 스크린숏과 비디오 녹화, 실패한 테스트의 자동 재시도를 지원합니다.
검증 대상은 DOSI Citizen이었습니다. 새 테스트를 임의로 만드는 대신 TTS에 실제로 등록된 시나리오를 그대로 옮겨 정합성을 확인했습니다. 로그인과 클릭을 수행하고, HOME과 LNB(local navigation bar)의 어드벤처·공지·멤버십, 상세 도움말 페이지에서 지정된 영역이 보이는지 확인하는 시나리오입니다. 이 검사를 매분 자동으로 실행했습니다.
Node.js로 작성한 스크립트에서는 요소별 확인 API를 사용했습니다. 동작을 확인할 때는 헤드리스 모드를 끄고 내장 Chromium을 띄워, 테스트가 어느 부분을 확인하는지 직접 살펴봤습니다. 실행 결과는 리포트로도 확인했습니다. 이 PoC에서 기존 TTS의 E2E 시나리오 테스트를 Playwright로 대체할 수 있음을 검증했습니다.
Slack 스레드 안의 장애 대응
테스트를 옮긴 뒤에는 장애 등급 분류와 티켓 관리, 알림 전파를 연결했습니다. 시나리오에 장애 등급을 지정하고, Jira에서 장애 티켓을 관리하며, Slack Webhook으로 알림을 보내는 구성입니다. 봇은 전달받은 정보를 바탕으로 Jira API를 호출하는 프락시 역할을 맡았습니다.
Playwright와 봇, Jira를 아우르는 이름은 Roly-Poly로 정했습니다. 저자는 회복 탄력성에서 출발해, 시스템이 항상성을 유지하도록 노력해야 한다는 뜻을 담을 이름을 찾았습니다. 그렇게 제안한 오뚝이라는 이미지가 팀의 동의를 얻었습니다.
각 시나리오에는 제품을 구분하는 서비스 코드와 장애 등급, 시나리오 이름, 알림을 받을 그룹 멘션을 연결합니다. Playwright가 이상을 탐지하면 같은 서비스 코드로 등록된 장애 티켓이 있는지 확인합니다. 티켓이 없을 때 새로 생성하고 알림을 보내며, 이후에는 Jira의 To Do, In Progress, Done, Closed 같은 워크플로로 상태를 관리합니다.
대응에 필요한 정보는 텍스트만으로 부족했습니다. 그래서 장애 화면을 캡처해 Slack 파일 업로드로 함께 전달했습니다. 원문에서 든 예시는 BEERGANG STORE의 마켓플레이스에서 API를 호출한 뒤 결과를 화면에 표시하지 못하는 상황입니다. 담당자는 캡처를 보고 어느 영역에 문제가 생겼는지 파악하고, 관련 API를 확인할 수 있습니다.
그룹 멘션을 보내도 늦은 평일이나 주말에는 아무도 보지 못할 수 있습니다. 알림을 보낸 뒤 확인 여부까지 살핀 이유입니다. 누구도 확인했다는 이모지 리액션을 남기지 않으면 10분마다 메시지를 다시 보냅니다. 누군가 리액션을 남기면 재발송을 멈추고 다음 절차로 넘어갑니다.
리액션은 확인 표시이자 Jira를 제어하는 수단입니다. 알림을 본 누구나 Slack에서 티켓 상태를 바꿀 수 있도록 연결했습니다.
| 리액션을 남기는 상황 | Jira 티켓 상태 |
|---|---|
| 장애 알림 확인 | 진행 중 |
| 장애 조치 완료 | 해결 |
| 일시적 문제나 외부 요인 등으로 장애가 아닌 것으로 판명 | 종료 |
| 조치 완료 후 재확인 필요 | 진행 중 |
각 리액션에 따른 상태 변경은 최초 한 번만 반영합니다. 같은 리액션이 중복으로 달려도 다시 변경하지 않습니다. 유관 부서는 이 티켓과 Slack 스레드를 보며 대응하고, 장애 처리가 끝나면 티켓에 사후 대응 방안을 적은 뒤 포스트 모템을 진행합니다.
시나리오만 추가하면 되는 크론잡
새 제품마다 알림 전송과 Jira 연동을 다시 작성하지 않도록 공통 코드를 분리했습니다. 개발 팀이 장애 시나리오 정의서를 전달하면 DevOps 팀은 제품별 테스트 스크립트를 작성해 관제에 등록하는 방식입니다. 파일별 역할은 아래처럼 나눴습니다.
tests:.spec.ts파일에 기능이나 페이지별 테스트 케이스 정의.auth: 로그인 후 쿠키, 로컬 스토리지, 세션 스토리지 등 브라우저 컨텍스트의 정보를 저장해 테스트 사이에 로그인 유지playwright.config.js: 테스트 실행 환경 설정commonFunctions.js: Slack 메시지 전송, 봇 호출, Jira 연동에 쓰는 공통 메서드
테스트 파일 안에서도 제품별로 작성할 부분을 좁혔습니다. 모든 테스트 전에 한 번 실행하는 Before ALL과 각 테스트 뒤의 After EACH, 전체 테스트 뒤의 After ALL은 공통으로 사용합니다. 제품마다 달라지는 부분은 시나리오와 장애 등급을 정의하는 Serial TEST입니다. 여기서 testRanks에 OUTAGE_RANK_MID, OUTAGE_RANK_LOW 같은 등급을 연결합니다.
After EACH는 재시도를 모두 소진한 뒤에도 연속 실패했는지 확인해 알림과 Jira 티켓 생성을 처리합니다. After ALL에서는 모든 시나리오가 통과했을 때 등록된 티켓을 auto-resolve로 완료 처리합니다. 이때 자동 복구 알림을 보내고 장애 알림은 중단합니다. 복구 시각을 비롯한 관련 내용도 Jira 티켓과 Slack에 남습니다.
검사 방식은 대상에 따라 달랐습니다. 프런트엔드에서는 페이지로 이동해 특정 요소가 보이는지, 개수가 맞는지 확인합니다. DOSI, Alphacrewz, Kaia Wallet 같은 앱은 당시 Playwright로 테스트할 수 없어 백엔드 API를 검사했습니다. 상태 코드가 200인지 확인하고 응답 JSON에 필요한 키가 있는지 검증하는 방식입니다. 예를 들어 NFT 세부 정보 조회 시나리오에서는 collection과 holders 키를 확인했습니다.
실행 환경은 DevOps 팀이 운영하던 쿠버네티스입니다. Node.js 컨테이너에 Playwright와 소스를 담아 이미지를 빌드하고 크론잡으로 배포했습니다. Helm 차트의 Values 파일에서는 잡마다 실행 주기와 인자를 따로 설정하도록 구성했습니다. 매분 제품별 파드가 실행되면 그 안에서 Playwright가 시나리오를 검사하고, 이상을 탐지한 뒤 캡처와 알림 등 후속 동작을 수행합니다.
다음 파드에서 사라지던 장애 알림
TTS에는 24시간 관제 인력이 있었습니다. 시스템이 감지한 알람을 사람이 한 번 더 확인한 뒤 티켓을 발행했습니다. 팀은 이 확인 과정까지 자동화하려 했습니다. 테스트 실패가 실제 장애인지 사람이 다시 판단하던 자리를 시스템으로 옮기려면 거짓 경보를 줄여야 했습니다.
처음 부딪힌 문제는 페이지 로딩을 기다리는 기준이었습니다. API 호출이 많은 사이트에 적절하다고 판단해 waitUntil에 networkidle을 사용했는데, DOSI Market과 DOSI Store에서 간헐적으로 알림이 발생했습니다. 백그라운드에서 API를 계속 호출하므로 네트워크가 유휴 상태에 이르지 못했던 것입니다.
팀은 Playwright 공식 문서에서도 networkidle을 가급적 사용하지 않도록 권고한다는 점을 확인했습니다. 이후 기본값인 load로 바꾸자 이 문제로 발생하던 오탐이 사라졌습니다.
일시적인 네트워크 문제나 서버 응답 지연에는 재시도를 적용했습니다. 처음에는 오탐이 생길 때마다 재시도 횟수를 1씩 늘렸습니다. 재시도를 늘릴수록 테스트 하나에 걸리는 시간도 길어졌고, 결국 실행이 지연됐습니다. 매분 크론잡을 실행하는 환경에서는 모든 시나리오가 최대 1분을 넘지 않아야 했습니다. 이 기준에 맞춰 조정한 Playwright 재시도 값은 원문 작성 당시 2입니다.
그런데 알림을 며칠간 지켜보니 또 다른 패턴이 보였습니다. Playwright의 재시도가 모두 실패해 알림을 보냈는데, 바로 다음 크론잡 파드에서는 테스트가 성공해 자동 복구 처리되는 일이 반복됐습니다. 하나의 실행 안에서 재시도하는 것만으로는 이런 경보를 줄이기 어려웠습니다.
그래서 파드가 연속으로 실패하는지도 확인하도록 알림 조건을 바꿨습니다. Playwright의 재시도를 모두 소진한 뒤 파드 두 개가 연속으로 실패해야 알림을 보냅니다. 이 방식으로 일시적인 문제에서 비롯된 오탐을 줄이고, 연속 실패가 확인된 경우에 알림을 전송하도록 구성했습니다.
배포 요청서까지 모이는 Jira
Jira에는 장애 관리와 변경 관리를 위한 프로젝트를 따로 뒀습니다. 장애가 Playwright의 탐지에서 시작한다면, 변경은 개발자가 Slack 워크플로에 작성하는 배포 요청서에서 시작합니다. 봇이 요청서의 정보를 받아 Jira API로 변경 관리 티켓을 만들면, 유관 부서는 그 티켓을 확인하며 작업을 진행합니다.
장애와 변경의 이력은 모두 Jira에 남습니다. 이 데이터를 분석에 활용하는 예로 저자는 연간 장애 건수 / 변경 내역 * 100을 들었습니다. 변경에 따른 장애 건수를 파악하고, 분석 결과를 바탕으로 변경 작업을 안전하게 진행하려는 목적입니다.
Roly-Poly를 전사로 넓히는 일은 앞으로의 기대였습니다. 저자는 이 시스템이 E2E 테스트를 대표하는 도구로 자리 잡아 LY 서비스의 신뢰성을 높이기를 바랐습니다.
원문의 대체재 비교와 설정값
| 항목 | 값 |
|---|---|
| 비교한 대체재 | Selenium, Puppeteer, TestCafe, Cypress, Datadog Synthetics, Playwright |
| 선정 기준 | 다중 브라우저와 헤드리스, 시나리오 스크립트 기능, 효용성 우선, 기업용 라이선스 |
| 실행 주기 | 크론잡 매분(* * * * *) |
| 크론잡 대상 예 | dosi-iam, dosi-citizen, dosi-store, dosi-market 시나리오 파일 |
| Playwright 재시도 | 현재 2 |
| 알림 조건 | Playwright 재시도 소진 후 파드 두 개가 연속 실패 |
| 재알림 주기 | 확인 이모지가 없으면 10분마다 |
waitUntil | networkidle에서 기본값 load로 변경 |
| TTS 장애 대응 시간 | 대체로 1시간 이내, 상위 5건은 1시간 초과 |