목차
롤백 앞에서 발을 동동 구르던 띠잉 팀의 AWS EKS 전환 (2020-10)
원문 정보
- 원문: 우리는 불편함을 어떻게 마주하고 있는가
- 매체 · 게시일: 우아한형제들 기술블로그 · 2020-10-06
- 저자: 박제현 (신사업부 띠잉셀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
배포 진행 상황만 바라보던 순간
급히 롤백해야 할 때면 발을 동동 구르며 진행 상황만 바라봤습니다. 모듈 하나를 배포하는 데 약 7분 30초가 걸리던 띠잉 팀의 모습입니다. 스케일 아웃과 롤백에도 긴 시간이 들어 서비스 안정성과 개발 효율에 부담을 줬습니다.
2019년 10월 서비스를 연 뒤에는 기능 개발과 버그 수정, 백로그 티켓을 처리하느라 바빴어요. 불편함은 그 사이에 드러났습니다. 오픈을 목표로 달릴 때는 받아들였던 선택들이 실제 운영에서도 적절한지, 팀원들과 하나씩 돌아보기 시작했습니다.
배포만의 문제는 아니었습니다. 서비스 시작 때는 대규모 트래픽에 대비해 전사에서 추천하는 인스턴스 타입을 쓰고 안정성과 고가용성을 고려해 구성했지만, 꾸준히 늘어나는 트래픽으로도 준비한 리소스를 충분히 쓰지는 못했습니다. 서비스 규모에 비해 큰 인프라 비용이 마음에 걸렸습니다.
환경을 새로 만드는 일도 만만치 않았습니다. Dev, Beta, Prod마다 구성할 컴포넌트와 리소스가 많아, 운영과 최대한 같은 환경에서 테스트하고 싶어도 엄두를 내기 어려웠습니다. 팀이 원한 것은 필요할 때 환경을 만들고, 테스트가 끝나면 리소스를 일괄 삭제했다가 다시 구성할 수 있는 방식이었습니다.
서비스 개발을 먼저 둔 작업 기준
개선할 방법을 찾는 것만으로는 부족했습니다. 왜 지금, 서비스 개발팀이 직접 해야 하는지도 스스로 납득해야 했습니다.
박제현은 주변에서 나올 법한 반응을 떠올렸습니다. 서비스 개발할 시간도 부족한데 인프라 작업과 밀린 티켓을 어떻게 감당할지, 컨테이너와 쿠버네티스를 충분히 알고 시작하는지부터 걸렸습니다. 클라우드플랫폼팀이 이미 전사 배포 플랫폼인 Simploy를 운영하고 새 시스템도 준비하고 있지 않느냐는 말도 나올 법했습니다. 기존 시스템을 쓰다가 전환하면 될 일을 굳이 직접 하는 이유, 도입 후 장애가 계속될 때 누가 대응할지도 설명해야 했습니다.
상상해 본 반응들이었지만 준비할 내용을 더 구체적으로 드러냈습니다. 조직장을 설득하지 못하면 시작하기 어렵고, 팀의 지지를 얻지 못하면 진행 중에 지원받기도 어려운 일이었습니다.
그렇다고 우선순위가 낮다는 이유로 계속 미뤄 둘 수는 없다고 봤습니다. 사업 목표와 시장 상황에 대응하는 서비스 개발은 먼저 하되, 여유가 생기면 쿠버네티스 마일스톤을 하나씩 진행하기로 했습니다. 급한 일이 들어오면 다시 전환할 수 있도록 작업 티켓도 잘게 나눴습니다. 잦은 컨텍스트 변경을 감안하고 유연하게 대처한다는 기준입니다.
직접 구축하는 이유도 여기에 있었습니다. 서비스에 필요한 시스템을 만들고, 예상되는 장애에 더 꼼꼼히 대비하며, 문제가 생겼을 때 빠르게 해결하려는 선택이었습니다. 처음부터 완벽히 알아야 시작할 수 있다고 보지는 않았습니다. 대신 어려움이 예상되는 부분에는 충분한 테스트와 점진적 적용, 롤백과 트러블슈팅 방안을 준비해야 한다는 입장이었습니다.
팀의 여력에 맞춰 고른 AWS EKS
컨테이너 전환은 낮은 리소스 사용률과 환경 구성의 어려움을 함께 개선할 해법으로 꼽혔습니다. 일관된 실행 환경을 만들고 개발과 배포를 쉽게 하며, 시스템 자원도 더 효율적으로 쓸 수 있다는 판단입니다. AWS를 주로 쓰던 팀은 그 위에서 컨테이너를 어떻게 운영할지 비교했습니다.
Docker, Docker swarm, Docker compose, Kubernetes를 직접 구성하면 세밀한 부분까지 원하는 대로 만들 수 있지만 관리가 복잡해집니다. AWS ECS와 AWS EKS 같은 관리형 서비스는 세밀한 기능에 제약이 있는 대신 관리 부담이 낮았습니다. ECS는 AWS 인프라에 깊이 통합된 단순한 기능을 제공하고, EKS는 쿠버네티스를 관리형으로 제공해 같은 사용자 경험을 유지하는 선택지였습니다.
팀은 AWS EKS를 골랐습니다. 직접 구현하는 데 드는 노력과 리소스는 당시 팀의 여력으로 감당하기 어렵고, 오버 엔지니어링이 될 수도 있다고 봤습니다. ECS보다 다양한 기능을 제공하는 EKS를 서비스에 맞게 쓰기로 한 이유입니다. 특정 서비스에 깊이 의존할 위험은 계속 살피되, 관리형 서비스에서 얻을 수 있는 이점은 충분히 활용한다는 태도였습니다.
리소스 사용 방식은 실제로 달라졌습니다. 인스턴스 하나에서 서로 다른 애플리케이션 컨테이너를 여러 개 실행할 수 있게 되면서 필요한 인스턴스 수가 줄었습니다. 전환 전에는 서비스 모듈 7개를 2 AZ에 배치해 m5.large 14개를 사용했고, 시간당 비용은 1.344 USD였습니다. 전환 후에는 2 AZ에 c5.xlarge 2개를 두었으며, 시간당 비용은 0.34 USD로 내려갔습니다.
2분 30초 배포로 이어진 Jenkins Pipeline
배포 시간도 짧아졌습니다. 도입 성과에 기록된 시간은 기존 7분에서 2분 30초로 줄었습니다. 앞서 문제를 정리할 때는 기존 모듈 배포 시간을 약 7분 30초로 적었으므로, 두 수치는 구분해서 읽어야 합니다.
새 배포 파이프라인의 대상은 Java와 Node 애플리케이션입니다. 코드는 Git으로 관리하고 Gitflow 전략을 사용했습니다. Jenkins Pipeline은 작업별 수행 시간을 측정하고 튜닝할 수 있도록 Stage를 최대한 세밀하게 나눴습니다. 여기서는 그 흐름을 따라가며, 쿠버네티스 동작 원리와 세부 설정·코드는 다루지 않습니다.
빌드 전에 미리 띄우는 Jenkins Agent Pod
Prepare에서는 배포에 필요한 파라미터를 설정하고 기존 환경과 변경될 환경을 검증합니다. 후속 빌드에 사용할 Jenkins Agent Pod도 이때 병렬로 미리 띄웁니다. 빌드를 시작하기 전에 준비해 전체 파이프라인 실행 시간을 조금이라도 줄이려는 작업입니다.
캐시로 생성 시간을 줄이는 이미지 레이어
Build에서는 Git Repository의 코드를 가져와 배포할 브랜치로 checkout한 뒤 Gradle로 빌드합니다. 애플리케이션 컨테이너 이미지는 Jib으로 생성합니다. Docker daemon 없이 이미지를 만들 수 있는 도구입니다.
이어 Kaniko로 Docker Image를 만들어 AWS ECR에 push합니다. 이미지 레이어는 Base(centos/8), JDK, 서비스 공통 설정, 앞서 생성한 애플리케이션 컨테이너 이미지 순으로 구성했습니다. 서비스 공통 설정에는 구동 스크립트 등이 들어갑니다. Kaniko의 레이어별 캐시를 사용해 이미지 생성 시간도 단축했습니다.
Deploy는 Helm을 사용합니다. 처음부터 Helm chart로 묶지는 않았습니다. 초기에는 애플리케이션의 여러 모듈을 manifest로 테스트하고, 구성이 정리되면 Helm chart로 패키징해 관리했습니다.
Slack으로 보내는 쿠버네티스 상태 알림
운영 상태는 Prometheus와 Grafana로 확인합니다. Prometheus로 쿠버네티스 메트릭을 모니터링하고, Grafana 대시보드에서 Pod와 Container의 CPU, Memory, Network, Count 등을 살핍니다.
Alertmanager는 CPU와 Memory 사용량, 비정상적인 Pod와 Container 상태가 설정한 조건에 해당하면 알림을 발생시키고 Slack 채널로 보냅니다. 글에 제시된 규칙에는 컨테이너 CPU 사용률이 50%를 초과하거나 메모리 사용률이 85%를 초과한 상태가 각각 1분 동안 지속되는 조건이 있습니다. 로그 시스템인 ELK와 프로비저닝을 위한 Terraform도 아키텍처에 포함됐습니다.
쿠버네티스의 자가치유 기능은 직접 복구해야 하는 부담을 줄였습니다. 오류가 난 컨테이너를 제거하고 재시작하며 현재 상태를 요구된 상태에 맞추는 과정을 계속 수행하므로, 정상 상태로 더 빨리 돌아올 수 있었습니다. 팀은 배포 시스템을 직접 구축하며 서비스에 맞게 최적화하고 이슈에 민첩하게 대응할 수 있게 됐고, 실제 운영에서 컨테이너를 다루는 경험도 쌓았습니다.
개선 전후 비용과 배포 시간
| 항목 | 개선 전 | 개선 후 |
|---|---|---|
| 인스턴스 | m5.large 14개 (2 AZ, 서비스 모듈 7개) | c5.xlarge 2개 (2 AZ) |
| 시간당 단가 | 0.096 USD x 14 | 0.17 USD x 2 |
| 시간당 비용 | 1.344 USD | 0.34 USD |
| 모듈 배포 시간 | 7분 (문제 정리 단계에서는 7분 30초 정도) | 2분 30초 |
| 알림 기준 | CPU 사용률 50% 초과 (1분 지속), 메모리 85% 초과 (1분 지속) |
변경할 때마다 담당자를 찾던 팀
시스템을 바꾼 뒤에도 불편함은 남았습니다. 애플리케이션 개발에 집중하던 팀에서는 서비스 로직에 비해 인프라 작업의 공유가 소홀했고, 공유할 시간을 잡는 일마저 우선순위에서 밀렸습니다.
공유하지 않은 내용이 쌓이자 팀원이 아키텍처를 바꿀 때마다 담당자에게 물어보고 확인해야 했습니다. 작업 속도가 떨어졌습니다. 쿠버네티스나 컨테이너에 장애가 생겨 빠르게 조치해야 할 때도, 내용을 아는 담당자 혼자 대응하는 상황이 벌어졌습니다.
팀은 Bus Factor를 낮추는 이런 상황을 위험으로 봤습니다. 이후에는 시간이 날 때마다 진행 상황을 나누고, K8s 기본 개념과 쿠버네티스 접속 방법, 배포 과정을 공유하려 했습니다. 개발한 내용을 팀이 함께 다룰 수 있게 만드는 일도 남아 있었던 것입니다.
새 인프라와 배포 시스템으로 서비스에 맞는 개발·운영 프로세스를 갖췄지만, 필자는 이것만으로 데브옵스 조직이 됐다고 말하기는 어렵다고 봤습니다. 소통과 협업 문화도 뒷받침돼야 한다는 판단입니다. 이번 전환 역시 팀원들과의 협업, 개발 리더와 조직장의 신뢰와 지원이 있었기에 진행할 수 있었습니다.