목차
수천 대 서버의 수작업을 줄인 Ansible과 Rundeck (2023-10)
원문 정보
- 원문: Ansible과 Rundeck을 활용한 서버 작업 자동화 및 권한 제어
- 매체 · 게시일: LY Corporation Tech Blog · 2023-10-06
- 저자: 유재훈, 서동규 (LINE Pay, Pay SRE 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
운영 시간을 잡아먹던 애드혹 작업
서버 설치보다 손이 많이 가는 일이 있었습니다. 로그와 덤프를 추출하고, 파일이나 네트워크 접근 제어 목록(ACL)을 확인하고, 이슈를 살피기 위해 모니터링 정보를 모으는 일이었습니다. 특정 서버에서 그때그때 명령을 실행하는 이런 애드혹 작업이 LINE Pay 운영에서 가장 많은 시간을 차지했습니다. Pay SRE 팀이 자동화 도구를 찾으면서 목표로 삼은 것도 수작업의 간소화였습니다.
LINE Pay는 2014년 출시 이후 서비스 지역과 결제 방식을 넓히며 수천 대의 서버를 운영하게 됐습니다. 연동 시스템이 복잡해질수록 인프라 작업은 잦아졌고, 변경이 어디까지 영향을 줄지 예측하기도 어려워졌습니다. 운영 비용과 사고 가능성이 커지는 가운데 강화된 개인 정보 보호 규정도 충족해야 했습니다.
팀은 애드혹 작업의 월별 요청 빈도를 모아 자동화할 대상을 고르고, 개발자가 직접 실행할 도구를 제공하기로 했습니다. 서버 구성과 설정을 코드로 관리해 작업자의 실수를 줄이되, 누구에게 어떤 작업을 허용할지 정하고 실행 이력도 남기는 방향입니다. 새 서버뿐 아니라 기존 서버에도 별도 변경 없이 적용할 수 있어야 했고, 이미 사용하는 모니터링이나 CI/CD 도구와 연동할 여지도 필요했습니다.
기존 서버와 스크립트를 살린 Ansible과 Rundeck
팀이 먼저 살핀 후보는 Terraform, SaltStack, Ansible이었습니다. Terraform은 원하는 상태를 state 파일로 관리하며 인프라를 구성하고 확장·축소하는 데 매력이 있었습니다. 그러나 LINE Pay는 금융 서비스의 특성상 보안이 강화된 내부 네트워크와 서버 환경을 사용해야 했고, 배포와 확장에는 이미 효율적인 프로세스와 대체재가 있었습니다. 필요한 것은 제공된 서버의 설정과 운영 작업을 자동화하는 도구였습니다.
SaltStack은 대규모 인프라 관리에 적합했습니다. 마스터/미니언 에이전트와 ZeroMQ 기반 발행·구독 방식으로 명령을 전달하고 ACL로 사용자 역할을 제한할 수 있었습니다. 하지만 오픈소스판에는 공식 UI가 없었고, 권한 관리는 처음부터 별도 시스템으로 분리할 계획이었습니다. 결정적인 제약은 오래된 서버였습니다. 아주 오래된 환경에 미니언을 설치하려면 새 패키지를 설치하는 등의 변경이 불가피해, 대상 서버를 바꾸지 않겠다는 목표에 맞지 않았습니다.
Ansible은 SSH/WinRM으로 연결하므로 별도 에이전트가 필요 없었습니다. 에이전트 방식보다 통신이 느리다는 단점은 있었지만, 직접 만든 모듈을 연결할 수 있고 참고할 사례도 많았습니다. SaltStack처럼 자체적으로 권한을 제한하지 못하는 점도 권한 관리를 외부 시스템으로 분리하려던 팀에는 오히려 장점이었습니다. 서버 구성 관리는 Ansible로 결정했습니다.
웹 콘솔 후보였던 AWX는 기능 요건을 모두 충족했습니다. 내부 PoC에서 권한 제한과 인증, 스케줄링을 확인했지만, 파일이나 네트워크 ACL만 조회하려는 개발자에게 Credential, Inventory, Playbook까지 노출하는 화면은 어려울 수 있다고 판단했습니다. 기존 Shell·Python 스크립트를 그대로 연결할 일도 많을 것으로 예상했기에 Ansible에 의존하지 않는 콘솔을 찾았습니다.
최종 선택은 PagerDuty가 공개한 오픈소스 자동화 플랫폼 Rundeck이었습니다. 운영자가 워크플로를 정의하고 대상 서버를 선택하면 Ansible이 작업을 실행하는 구성입니다. 처음 쓰는 사람도 별도 학습 없이 사용할 수 있도록 UI를 꾸밀 수 있었고, 기존 Shell·Python 운영 스크립트도 대시보드에 연결할 수 있어 마이그레이션 공수를 줄였습니다. 웹훅 연동으로 모니터링 시스템이 장애를 감지했을 때 알림과 대상 시스템의 상태 확인을 실행하는 세미 오토 힐링도 확장 방향으로 계획했습니다.
도구를 검토할 때 비교한 항목
| 항목 | Terraform | Ansible | SaltStack |
|---|---|---|---|
| 명령 푸시 | X | O | O |
| 실행 모듈 | 환경별 빌트인 모듈 | 약 3,300개 | 약 140개 |
| 작업 방식 | 선언적 | 절차적 | 절차적 |
| GUI | 기본 없음 | O | 제공하나 기능 미약 |
| 통신 방식 | 해당 없음 | SSH 기반, 에이전트 불필요 | 에이전트(미니언) 기반 |
임의 명령까지 구분한 Rundeck 실행 권한
개발자가 직접 작업하더라도 모든 서버에 모든 명령을 실행할 수 있어서는 안 됐습니다. 운영 환경은 접근자를 줄이고 긴급 상황의 수행자를 명확히 하되, 개발 환경에서는 개발자에게 더 넓은 권한을 주어 작업 속도를 높이려 했습니다. 팀은 Rundeck의 YAML 형식 ACL로 실행할 작업과 조회할 서버를 구분하고, 감사에 필요한 작업 이력을 일정 기간 보관하도록 구성했습니다.
권한 정의 예시에 등장하는 Dev1 Team과 Dev2 Team은 자기 팀에 할당된 서버만 조회합니다. 작업 목록은 모두 볼 수 있지만, 실행은 해당 서버에 팀 또는 전체 대상으로 허용된 작업에 한정됩니다. 데이터 배치나 서버 동기화처럼 팀 특성에 따라 제한할 작업은 나누고, 파일·시스템 사용률·네트워크 ACL 조회처럼 서비스에 영향을 주지 않는 작업은 모든 개발자에게 허용했습니다. 이런 조회는 운영자에게 요청하지 않고 직접 처리할 수 있게 됐습니다.
Admin에도 제한은 남겼습니다. 모든 서버 조회, 작업 실행·수정, 역할 기반 접근 제어(RBAC) 수정은 허용했지만, Rundeck의 원격 명령 기능은 Super Admin에게만 부여했습니다. 템플릿으로 정하지 않은 임의 명령은 어떤 상황을 만들지 예측하기 어렵기 때문입니다. 팀 단위로 분류하기 어렵거나 일시적으로 권한이 필요한 개발자에게는 Temp 역할을 부여하는 예시도 마련했습니다.
hosts.ini를 대신한 동적 인벤토리
권한 규칙을 적용하려면 서버의 담당자부터 알아야 했습니다. Rundeck에는 노드 목록을 보여주는 NODES 탭과 대상 노드에서 작업을 수행하는 Node executor가 있으며, 팀은 노드 조회와 작업 실행에 Ansible을 연결했습니다. 처음에는 hosts.ini에 호스트를 적는 정적 인벤토리를 썼습니다. 수천 대의 서버가 바뀔 때마다 파일을 관리하기는 어려웠고 자동화에도 맞지 않아, 호스트 목록을 실행 시점에 가져오는 동적 인벤토리로 전환했습니다.
팀은 서버와 메타데이터를 등록·조회·삭제·수정할 수 있는 API 서버를 만들었습니다. 이곳에 서버 목록과 의미별 태그, 담당자와 팀 정보를 보관하고, Python 스크립트가 API 응답을 Ansible에서 사용할 형식으로 변환해 Rundeck의 호스트 정보로 제공했습니다. 담당자와 팀 정보는 Rundeck의 속성으로 노출했습니다. ACL이 이 속성을 확인하도록 연결하자 로그인한 사용자가 관리하는 서버만 조회할 수 있게 됐습니다.
서버가 바뀌어도 Rundeck이나 Ansible의 저장소를 직접 수정할 필요가 없어졌습니다. 인벤토리 정보는 별도 서비스에 보관해 제한된 환경에서만 열람하도록 할 수 있었습니다. Ansible이 AWS·OpenStack·쿠버네티스 등 여러 서비스의 동적 인벤토리 플러그인을 제공한다는 점도 통합 관리의 장점이었습니다. LINE Pay의 구성에서는 컴포넌트를 등록한 뒤 NODES 탭에서 tags: admin team: pay-dev 같은 조건으로 서버를 찾았습니다.
운영자가 넘겨받은 서비스 변경 작업
접근 권한을 나눈 뒤에도 문제는 남았습니다. 개발자의 운영 환경 접근을 크게 제한하면서 운영자가 서비스 작업을 위임받았지만, 과거 서비스 변경 이력을 파악하기 어려워 장애로 이어질 지점을 놓치기 쉬웠습니다. Tomcat과 NGINX 같은 미들웨어 설정은 운영 환경에 적용하기 전에 충분히 검증하기 어려웠고, 검증이 가능하더라도 제약이 많았습니다. 복잡한 여러 도메인을 한정된 인원이 맡아야 하는 상황도 고려해야 했습니다.
테스트 환경도 그대로 믿을 수는 없었습니다. 운영 환경에서는 긴급한 장애가 나면 정상 서비스 복구를 우선해 당장의 문제를 해결하고 보완하게 됩니다. 개발 환경을 가벼운 기능 테스트 수준으로 유지하는 데 그치면, 시간이 지날수록 두 환경의 인프라 구성이 달라져 개발 환경에서 변경을 시험하는 일이 무의미해집니다. 팀은 서버 구성을 최대한 비슷하게 맞춰 테스트 결과를 신뢰할 최소한의 조건을 확보하려 했습니다.
테스트를 거쳐도 운영 환경에서 예상치 못한 문제가 생길 수 있습니다. 팀이 목표로 삼은 것은 같은 장애의 반복을 막는 일이었습니다. 특정 엔지니어의 경험에 기대기보다 누가 담당하더라도 같은 결과를 얻도록 정상 상태를 정의하고 작업 절차를 표준화해야 했습니다.
서버 그룹마다 다른 버전을 담은 YAML
일관된 작업 절차를 만들려면 서버 그룹마다 다른 구성을 확인해야 했습니다. LINE Pay는 쿠버네티스뿐 아니라 물리·가상 서버도 함께 운영합니다. 컨테이너 이미지에 애플리케이션 구성을 정의해 두는 환경과 달리, 물리·가상 서버에서는 운영자가 설치 여부를 확인하고, 이미 설치돼 있다면 버전을 살펴 필요한 경우 업데이트해야 했습니다. 서버가 10대 정도라면 사람이 직접 처리하는 편이 더 효율적일 수도 있지만, LINE Pay의 대상은 수천 대였습니다.
Ansible을 도입했다고 모든 서버를 한꺼번에 같은 방식으로 구성할 수도 없었습니다. 회원·가맹점·계좌·결제·정산·이벤트·할인 등의 메인 도메인 아래 약 100개의 하위 도메인이 있고, 하위 도메인에 따라 서버 그룹이 달라질 수 있었습니다. 수십 개 서버 그룹의 애플리케이션 목록과 버전에 맞는 playbook을 골라야 했습니다.
해법은 서버 그룹별 정보를 Git에 기록하는 것이었습니다. 별도 Git 리포지터리에 서버 그룹 이름으로 YAML 파일을 만들고, 조사한 애플리케이션과 설치 버전을 정해진 형식으로 저장했습니다. playbook은 실행할 때마다 이 파일을 동적으로 가져와 버전 정보를 사용합니다. 파일을 참고하도록 playbook을 작성하는 수고는 늘었지만, 서버마다 로그인해 상태를 확인하는 반복 작업을 줄였습니다. 새 서버도 서비스 역할과 연결해 정보를 정의하면 같은 구성으로 설치할 수 있게 됐습니다.
작업 절차에는 테스트와 실패 후 개선을 포함했습니다. Ansible 스크립트를 개발해 베타 환경에서 시험한 다음 프로덕션에 적용하고, 실패하면 원인을 분석해 장애 유형에 따라 스크립트를 고쳤습니다. 서버 정보와 실행 절차를 코드로 관리하면서, 작업 흐름을 개인의 기억에 의존하지 않고 재사용할 수 있게 했습니다.
약 9개월간 쌓인 자동화 실행 기록
자동화 대상은 JDK, Node, Tomcat, Nginx, OpenResty, Exporter 설치부터 애플리케이션 설정 갱신까지 넓어졌습니다. 덤프 추출, 서비스 서버의 로드 밸런서 투입 여부와 데몬 프로세스 조작, ACL 검사, Crontab 설정, 인증서 교체도 작업으로 만들었습니다. 서버 상태를 확인하려고 매번 로그인하는 대신 서버 정보 YAML 파일을 살피고, 필요하면 정보를 수정한 뒤 범용 작업을 실행하는 방식입니다.
약 9개월 동안 운영 환경에 적용한 결과 약 1,600건의 작업을 자동화로 대체했습니다. 설치나 설정 변경뿐 아니라 사용자가 직접 실행한 서버·네트워크 정보 조회가 많은 비중을 차지했습니다. 간단한 확인을 위해 서버에 직접 접근하는 위험과 수작업에 드는 시간을 줄인 결과입니다.
자동화 항목별 수행 건수
| 자동화 항목 | 담당자 | 수행 건수 |
|---|---|---|
| 다양한 애플리케이션 설치 | 운영자 | 56 |
| 애플리케이션 설정 갱신 | 운영자 | 93 |
| 인증서 교체 | 운영자 | 51 |
| 서버 정보 조회, 시스템 사용률과 파일 조회 | 사용자 | 989 |
| 네트워크 정보 조회, ACL과 traceroute | 사용자 | 428 |
운영 환경에 변경을 반영하는 조건도 바꿨습니다. 변경 사항은 모두 Git으로 관리하고, 개발 팀과 운영 팀의 리뷰를 모두 통과해야 적용하도록 더블 체크 과정을 만들었습니다. 작업 이력과 실행 절차를 함께 검토하는 과정은 인프라 작업의 신뢰도를 높였고, 장애가 발생했을 때도 모두가 함께 책임지는 문화로 이어졌습니다.