본문으로 건너뛰기
Slack Hubot과 함께 일하는 LINE NEXT의 배포 채널
목차

Slack Hubot과 함께 일하는 LINE NEXT의 배포 채널 (2023-10)

원문 정보

Zoom에 모이기 전부터 늦어지던 배포

배포를 시작하는 데도 준비가 필요했습니다. LINE NEXT에서는 개발 팀과 DevOps 팀이 Zoom에 모여 배포를 진행했는데, 사람을 모으는 데서 종종 지연이 생겼습니다. DevOps 팀이 독립망 VPN에 접속하고 다시 배포 도구에 들어가는 일도 미리 준비하지 않으면 시작을 늦추는 요인이었습니다.

요청은 이미 Slack으로 들어오고 있었습니다. MSA로 구성한 멀티 모듈 애플리케이션을 운영하다 보니 하루에도 여러 건의 배포 요청이 들어왔고, 여러 팀이 같은 시간대에 배포를 요청하기도 했습니다. 작업은 계속 진행되지만 Zoom에 참여하지 않은 팀은 어떤 애플리케이션이 어느 단계까지 배포됐는지 알기 어려웠습니다. 개발 팀에는 여러 채널과 스레드에 흩어진 일감을 한눈에 보고 싶다는 요구도 있었습니다.

블록체인 플랫폼과 DOSI, GAME DOSI의 쿠버네티스 운영 및 인프라를 맡은 DevOps 팀은 배포 실행과 정보 공유를 함께 바꾸기로 했습니다. 선택한 방식은 ChatOps입니다. 봇에게 작업을 요청하면 봇이 도구를 호출하고 결과를 같은 채팅 공간에 돌려주는 방식으로, 작업자뿐 아니라 유관 부서도 진행 상황을 실시간으로 확인할 수 있습니다.

사내에서 사용할 수 있는 봇으로는 Hubot이 있었습니다. Slack Workflow와 연계해 Jira에 일감을 자동 등록할 수 있다는 것을 알게 된 뒤, 다른 운영 도구까지 연결할 수 있을지 조사했습니다. 약 한 달간 살펴본 끝에 실제 서비스에 적용했습니다.

이니셜로 담당자를 정하는 Jira 일감

출발점은 일감 관리였습니다. 여러 채널에서 들어오는 요청을 Jira로 모으려면, 먼저 개발 팀이 어떤 일을 요청하는지부터 알아야 했습니다. DevOps 팀은 약 1년간 들어온 요청을 모두 분석해 일반, 쿠버네티스, 인프라, 배포로 나누고 각 분류 안에서 세부 요청을 정리했습니다. 이 작업은 팀이 맡는 역할과 책임을 더 분명히 확인하는 계기이기도 했습니다.

분류에 맞춰 Slack Workflow의 요청 양식을 구성했습니다. 요약, 참고 URL, 상세 내용, 긴급도처럼 작업에 필요한 정보를 받도록 하고, 프로덕션 배포 요청에는 대상 애플리케이션과 배포 날짜, TTS(Trouble Tracking System) URL, 작업 상세 내용을 담았습니다. 정기 배포는 매주 화·목 13:00~18:00에 신청하도록 안내했으며, 배포 당일 이전에 Git 태깅 버전 준비와 Helm 차트 타깃 버전 업데이트를 마쳐 달라고 요청했습니다.

담당자 지정에는 이니셜을 썼습니다. 팀원마다 자신의 이니셜로 Slack 이모지를 만들고, 들어온 요청에 담당할 사람의 이모지를 붙이면 Jira 일감이 그 사람에게 자동으로 할당됩니다. 작업을 마친 뒤에는 ‘DONE’ 이모지로 종료합니다. Slack Workflow와 이모지 기능이 등록·완료에 해당하는 문구를 Hubot에 보내고, Hubot이 Jira API를 호출하도록 연결한 결과입니다.

요청을 논의한 스레드도 함께 남습니다. 모든 Jira 일감에 Slack 스레드를 참조할 수 있게 해 두었고, 완료한 일감은 자동으로 닫히므로 진행 중인 요청만 확인할 수 있습니다. 요청 접수부터 담당자 지정, 완료 처리까지 Slack에서 이어지면서 일정과 일감 관리가 한결 수월해졌습니다.

기존 도구를 연결하는 Slack Hubot

배포와 운영을 자동화할 도구는 이미 갖춰져 있었습니다. 쿠버네티스 배포에는 GitOps 기반 ArgoCD를 사용했고, NGINX 설정을 배포하는 Ansible playbook도 있었습니다. 여러 운영 업무는 Jenkins 잡으로 만들어 둔 상태였습니다. Hubot이 ArgoCD의 Sync를 호출하거나 Jenkins API로 잡을 실행하고, 그 결과를 Slack에 알려 주도록 연결하면 되는 조건이었습니다.

Hubot은 GitHub에서 사내용으로 만들기 시작한 뒤 오픈소스로 공개한 Node.js 기반 챗봇입니다. Slack과 연계하기 쉽고 CoffeeScript나 JavaScript 스크립트로 기능을 추가할 수 있어, 팀이 쓰는 여러 도구의 호출 지점으로 삼기에 적합했습니다. 팀은 각 도구의 API를 조사한 뒤 Elasticsearch, Jenkins, Jira, Verda(사내 클라우드) 등을 Hubot과 연결했습니다.

사용자와 봇, 실제 작업을 수행하는 도구의 역할은 레이어별로 나눴습니다.

  • 요청 레이어: 실행 권한이 있는 사용자가 사내 Slack에서 요청하고 응답을 받는 영역
  • Slack - Hubot 레이어: 요청을 해석해 대상 도구를 호출하고 결과를 돌려주는 영역
  • 인프라스트럭처 레이어: 팀이 운용하는 도구들이 실제 작업을 수행하는 영역

도구마다 접속해 파라미터를 직접 넣던 절차도 바꾸고 싶었습니다. 수동 입력은 실수하기 쉬웠지만, 모두가 참여하는 채널에서 작업하면 여러 사람이 내용을 확인하는 효과를 기대할 수 있었습니다. Jira 일감 관리와 배포 공지·알림 외에도 서비스 안정 지표의 자동 모니터링, 언제 어디서나 손쉽게 배포하고 롤백하는 환경을 설계 목표로 삼았습니다.

번호로 이어 가는 작업 대화

운영 작업은 한 번의 문답으로 끝나지 않습니다. 기능을 고른 뒤 대상 리포지터리와 애플리케이션을 정해야 하므로, 특정 문구에 응답하는 Hubot의 기본 스크립트만으로는 대화를 이어 가기 어려웠습니다. 팀은 이를 위해 hubot-conversation을 적용했습니다. 시작 문구로 대화 흐름을 선택하고, 그 안에서 addChoice로 답변을 받아 다음 단계로 넘어가는 방식입니다.

사용자가 외울 명령은 줄였습니다. ‘헬프’ 또는 ‘help’로 봇을 부른 뒤에는 메뉴를 고르듯 번호를 입력합니다. 기능, 배포 리포지터리, 애플리케이션을 차례로 선택하고, 마지막에는 지금까지 고른 내용을 확인한 뒤 실행합니다. 선택 단계가 너무 깊어지지 않도록 꼭 필요한 항목만 남겼습니다.

마지막 확인은 작업자가 자신의 선택을 다시 보는 절차입니다. 실제 실행 전에 대상과 내용을 확인하도록 해 작업 안정성을 높였고, 기능별 호출 권한은 Hubot 설정으로 제한했습니다.

Healthy를 기다리는 배포 스레드

일감 등록이 자동화된 뒤에도 버전 확인과 배포, 재시작은 수동 작업으로 남아 있었습니다. 팀은 이 작업들을 ArgoCD API와 연결하고, Jenkins를 사용하는 NGINX 제어와 운영 잡 제어까지 Hubot의 기능으로 확장했습니다.

애플리케이션 배포는 개발 팀의 준비에서 시작합니다. 개발 코드를 준비하고 Helm 차트를 배포할 버전으로 업데이트한 뒤 DevOps 팀에 요청합니다. Git에서 관리하는 Helm 차트의 버전이 바뀌면 ArgoCD의 상태는 OutOfSync가 됩니다. 작업자는 Hubot 대화에서 변경된 버전이 예정한 버전인지 확인하고 배포할 애플리케이션을 선택합니다.

기존에 사람이 반복하던 절차는 Hubot 코드로 옮겼습니다. 배포 시작을 공지하고 ArgoCD에 로그인한 뒤 변경 버전을 확인하며, 목록에 있는 각 애플리케이션을 배포하고 헬스 상태를 점검하는 흐름입니다. 배포가 끝나면 완료를 알리고, 성공과 실패에 따라 각각 메시지를 전달합니다.

완료를 판단할 때는 동기화 상태와 헬스 상태를 구분합니다. 배포 내용이 Git과 일치하면 Synced가 되지만, 새 버전의 애플리케이션이 아직 준비 중이라면 Health는 Progressing입니다. 새 버전이 모두 준비돼 Healthy가 되어야 Hubot이 스레드에 배포 완료 메시지를 보냅니다. 작업자는 ArgoCD에 따로 접속하지 않고도 대화로 배포를 진행하고 결과를 확인하게 됐습니다.

Jenkins와 Ansible로 실행하는 NGINX 점검 모드

서비스 앞단의 NGINX 프락시는 설정 변경이 잦았습니다. 설정을 안정적으로 배포하면서 작업 내용을 공유해야 했기에, 이미 Ansible로 구성해 둔 설정 배포를 Jenkins에서 호출하고 Hubot이 그 Jenkins 잡을 실행하도록 연결했습니다.

Hubot은 실행 요청만 보내고 끝내지 않습니다. Jenkins API로 잡을 호출한 뒤 폴링으로 상태를 확인하고, 작업 결과를 Slack에 전달합니다. 작업자가 Jenkins에 들어가 파라미터를 직접 조작하던 절차를 대화로 옮긴 것입니다. 공개 채널에서 작업하므로 관련 팀원도 진행 내용을 함께 확인할 수 있습니다.

점검 모드 전환도 이 경로를 사용합니다. 대상 서비스를 선택해 점검 모드 설정을 배포하고 성공·실패 결과를 받는 흐름으로, GAME DOSI에서도 Slack Hubot으로 점검 모드를 수행했습니다. 긴급하게 서비스를 점검해야 할 때 시간과 장소에 구애받지 않고 실행할 수 있게 된 기능입니다.

함께 개발할 수 있도록 나눈 Hubot 코드

기능이 늘자 봇의 코드도 손봐야 했습니다. 초기에는 협업을 고려하지 않고 한 파일에 여러 기능을 넣었기 때문에, 각 기능의 역할을 읽어 내기 어려웠습니다. Hubot이 동적 대화 프레임워크를 별도로 제공하지 않는 만큼 애플리케이션 내부 구성은 팀이 직접 정해야 했습니다.

팀은 function 폴더 안에서 기능마다 파일을 나눴습니다. 도구 로그인과 비동기 상태 확인처럼 함께 쓰는 코드는 utils.js로 모으고 각 기능에서 참조하도록 했습니다. 새로 개발에 참여한 사람도 코드를 빨리 이해하고, 다른 기능에 영향을 주지 않으면서 작업하도록 하기 위한 변경입니다.

명령의 시작과 공통 처리도 분리했습니다.

  • help.js: ‘헬프’ 또는 ‘help’로 시작하는 주 명령과 기능 모듈 연결
  • jira.coffee: Jira 일감 등록과 완료 처리
  • lib: 공통 응답 문구와 대화 선택지 처리
  • middleware.coffee: 권한 제어

help.js에는 기능 모듈을 연결하는 방식으로 새 기능을 추가합니다. 원문의 샘플에는 버전 확인, 배포, 재시작, NGINX 배포, 점검 모드, 크론잡 실행, 월렛 사용자 차단까지 일곱 기능이 등록돼 있습니다. 기능을 나눈 덕분에 다른 파일에 영향을 주지 않고 새로운 작업을 추가할 수 있게 됐습니다.

컨테이너에서 GitOps까지 이어지는 개발 파이프라인

Hubot 자체를 배포하는 경로도 마련했습니다. Slack 앱 디렉터리에서 Hubot을 추가하고, Node.js 기반 컨테이너에 Slack 토큰을 환경 변수로 주입합니다. 실행 명령에 --adapter slack을 붙이면 Slack과 통신합니다. Dockerfile 샘플은 node:16을 기반으로 hubot 사용자를 만들고, npm install을 거쳐 ./bin/hubot -n --adapter slack을 실행하는 구성입니다.

협업 개발을 위한 CI/CD는 develop 브랜치 푸시와 master 브랜치 태그 생성으로 시작합니다. develop에서는 커밋 해시 기반 이미지를, master에서는 태그 기반 이미지를 생성합니다. Jenkins는 빌드 시작을 알린 뒤 Git 체크아웃, Harbor 로그인, 이미지 빌드, Harbor 푸시를 차례로 수행하고 빌드 종료를 알립니다. Helm 차트가 업데이트되면 ArgoCD가 GitOps 방식으로 Hubot을 배포합니다.

한 팀에서 조직 전체로 넓힌 중앙 배포

도구를 만드는 일만큼 배포 방식을 바꾸는 일도 남아 있었습니다. DevOps 팀은 독립망의 쿠버네티스 클러스터와 인프라 자원을 직접 관리했고, CI/CD부터 모니터링과 로그 수집까지 하나의 파이프라인으로 자동화해 둔 상태였습니다. 개발 팀이 각자 배포하던 방식을 중앙 배포로 전환하면, DevOps 팀의 수행·관리 역할이 늘더라도 더 신속하고 정확하게 배포를 지원할 수 있다고 판단했습니다.

이 판단에는 쿠버네티스 운영을 맡고 있다는 배경이 있었습니다. 배포에는 애플리케이션 버전뿐 아니라 디플로이먼트, 레플리카셋, 파드의 변경도 포함됩니다. DevOps 팀은 배포가 전체 시스템에 미치는 영향을 모니터링하고 이상이 생기면 롤백하는 역할까지 맡고 있었습니다. 전체 작업을 이 팀이 담당하되 개발 팀의 요청을 제때 처리하는 수단으로 Hubot을 선택한 이유입니다.

처음부터 모든 팀이 익숙했던 방식은 아닙니다. ChatOps 배포를 경험하지 못한 개발 조직을 설득하기는 어려웠습니다. 팀은 시범으로 한 팀을 선정해 프로세스를 적용한 뒤 점차 다른 팀으로 넓혔고, 조직 전체에 전파했습니다.

Zoom 밖에서도 보이는 작업 현황

도입 뒤에는 배포를 준비하는 시간이 줄었습니다. Zoom에 따로 모이지 않아도 원하는 시간에 맞춰 작업할 수 있었고, 배포할 때마다 VPN과 도구에 접속해 수동으로 조작하는 데 들던 시간도 절약했습니다.

여러 요청을 처리하는 부담도 달라졌습니다. 사람이 여러 팀의 배포를 수동으로 진행할 때는 순서를 착각하거나 잘못된 애플리케이션을 배포할 가능성이 있었습니다. Hubot은 배포 상태를 비동기로 확인하므로 여러 개별 스레드에서 접수된 요청도 누락하거나 잘못 수행하는 일 없이 처리했고, 작업 상태도 쉽게 확인할 수 있었습니다. DevOps 팀은 배포를 수행한 뒤 모니터링 대시보드에서 특이 사항을 살피는 데 집중할 만큼 작업 리소스를 줄였습니다.

진행 상황을 알리는 일도 작업 안에 포함됐습니다. 이전에는 배포 완료 여부를 확인한 뒤 사람이 다시 공지했으며, Zoom에 참여하지 않은 팀은 중간 과정을 알 수 없었습니다. 이제 공개 채널과 스레드에 배포 과정과 결과가 남으므로 다른 팀도 바로 확인하고 의견을 보탤 수 있습니다. 이슈가 발생했을 때 더 빨리 해결할 수 있었던 배경입니다.

저자가 전하려는 메시지는 Hubot을 반드시 써야 한다는 주장은 아닙니다. 누구나 참여하는 공개 채널과 손쉬운 정보 공유를 업무에 활용하면 효율을 수십 배 높일 수 있다는 기대입니다. 이 사례에서 달라진 것은 작업을 실행하는 방법과 그 작업을 함께 확인하는 방법입니다.

또 하나의 팀원이 된 Hubot의 다음 기능

팀은 Hubot을 또 하나의 팀원이 생긴 듯한 도구로 받아들였습니다. 운영 작업을 처리하고 그 결과까지 공유하는 역할입니다. 여기에 더하려던 기능은 원문 작성 시점에는 아직 계획과 검토 단계였습니다.

모니터링 화면 공유는 그중 하나입니다. 여러 레이어에서 알림을 받고 있어도 현재 대시보드 화면을 바로 보고 싶을 때가 있습니다. Hubot에 요청하면 Datadog 같은 모니터링 도구에 접속해 화면을 캡처하고 Slack 스레드에 공유하는 기능을 고려했습니다.

프로덕션 작업에는 승인자를 추가할 계획이었습니다. 애플리케이션·미들웨어 배포, 점검 모드, 재시작은 실제 인프라를 제어하므로 2인 1조로 진행하도록 만드는 구상입니다. 현재 대화의 마지막 확인이 작업자 자신의 선택을 확인하는 단계라면, 계획한 기능에서는 작업자의 요청 뒤 승인자가 최종 단계에서 승인 메시지를 입력해야 실제 명령이 실행됩니다.

마지막 수정 일자