목차
RDS와 ElastiCache의 낭비를 줄인 스펙 관리 시스템 (2023-11)
원문 정보
- 원문: 스토리지 최적의 스펙 관리 시스템 만들기
- 매체 · 게시일: 우아한형제들 기술블로그 · 2023-11-02
- 저자: 본문에 저자 미표기 (클라우드스토리지개발팀 소속으로 소개)
- 원문 내용을 바탕으로 재구성한 요약입니다.
수작업 점검에서 빠진 장비
넉넉한 DB 스펙만큼 운영비도 커졌습니다. 우아한형제들에서는 장애 영향이 큰 서비스에 사용량보다 여유 있는 고스펙 장비를 쓰는 경우가 많았습니다. 예기치 못한 장애에 대비한 선택이었지만, 높아진 비용에서 낭비되는 부분을 찾아야 했습니다.
처음에는 Grafana의 CPU, Memory, Connection 지표를 보며 일주일간 사용량이 현저히 낮은 장비를 수작업으로 골랐습니다. 장비는 계속 늘어났습니다. MSA 환경에서 수십~수백 개의 장비를 모두 확인하기 어려워지자 소규모 서비스의 비용 관리에 빈틈이 생겼고, 확인하지 못한 미사용 장비는 정보조차 없었습니다. 소수의 DBA가 이 장비들을 빠짐없이 관리하려면, 정해진 기준으로 주기적으로 감지하고 알리는 시스템이 필요했습니다.
피크 타임의 여유를 고려한 감지 기준
관찰 기간은 최근 2주로 잡았습니다. 막 오픈한 서비스나 특정 요일에만 사용률이 높아지는 서비스를 감지 대상으로 잘못 잡는 일을 줄이려는 선택이었습니다. 어떤 지표를 볼지는 DBMS마다 달랐습니다.
RDS에는 이미 CPU 50% 이상을 주의 깊게 살피는 알람 기준이 있었습니다. CPU 사용률이 오르면 지연 시간이 늘고, 100%에 가까워지면 장애로 이어지기 때문입니다. 여기서 고스펙 감지 기준을 CPU 최대 15% 이하로 정했습니다. 이벤트로 피크 타임의 트래픽이 평소의 2~3배로 늘어도 CPU 최대치가 50%에 닿지 않을 만큼 여유가 있는 장비를 찾으려는 기준입니다.
ElastiCache(Redis)는 메모리만 볼 수 없었습니다. Eviction을 피할 메모리 여유뿐 아니라 네트워크 I/O 임계치 초과로 인한 서비스 지연도 고려해야 했습니다. 최대 메모리 사용률이 30% 이하이면서 CloudWatch의 Network I/O allowance_exceeded가 0인 장비를 고스펙 대상으로 정했습니다.
이 기준으로 찾은 장비 중에는 아예 쓰지 않는 장비도 꽤 있었습니다. 미사용 장비를 따로 분류하기 위해 RDS는 Connection이 0인지, ElastiCache는 get/set 명령이 0인지 확인했습니다.
하루씩 모아 비교한 CloudWatch 지표
데이터는 Boto3로 CloudWatch API를 호출해 모았습니다. 그런데 2주치를 한 번에 요청하자, API가 반환하는 샘플링 데이터 수의 한도에 걸려 오류가 났습니다. 샘플링 간격인 Period를 늘리면 해결되지만 데이터의 신뢰도가 떨어집니다. 그래서 수집 범위를 하루로 나누고 14번 반복했습니다. 이렇게 얻은 14일치 일별 최댓값을 비교해 임계 기준 미만인 장비를 분류했습니다.
감지 결과는 매일 Slack 알람 채널로 보냈습니다. Slack API로 보내는 메시지에는 AWS 계정, RDS·ElastiCache 클러스터명, 인스턴스 타입, Reader(Replica) 수와 장비별 월 비용을 담았습니다. 어떤 장비가 얼마를 쓰고 있는지 함께 확인할 수 있는 목록입니다.
사용량이 낮아도 알람에서 제외할 장비는 있었습니다. 서비스 오픈을 앞둔 장비, 지표 상승에 따른 장애 발생률이 높은 주요 서비스 장비, 신규 기능 추가나 서비스 범위 확대로 트래픽 증가가 예정된 장비입니다. 이런 예외 목록은 RDS 테이블에 저장하고 포함 여부를 조회하도록 구성했습니다. 상황에 따라 장비를 추가하거나 제거할 때마다 코드를 수정하지 않기 위해서입니다.
담당팀을 찾을 단서가 된 Service와 Role 태그
장비를 찾은 뒤에도 시간이 들었습니다. 미사용 장비를 제거하려면 담당 개발팀에 서비스와 코드에서도 더는 쓰지 않는지 확인해야 했는데, 그 팀을 찾으려면 요청 이력을 일일이 뒤져야 했습니다. 감지는 자동화했어도 담당팀을 확인하는 과정은 여전히 수작업이었습니다.
AWS 리소스 태그를 활용하려 했지만 바로 쓸 수는 없었습니다. 사용자마다 규칙 없이 만든 태그로는 서비스를 명확히 구분하기 어려웠습니다. 먼저 1~2개월에 걸쳐 Service와 Role 태그를 구분해 정리했습니다. 이후 모든 DB 리소스를 생성할 때 두 태그가 들어 있는지 검증하는 로직을 추가해, 담당팀을 찾는 데 믿고 쓸 수 있는 정보를 마련했습니다.
이제 클러스터가 감지되면 태그를 확인하고 사내 정보망 API에서 담당팀과 구성원 정보를 가져와 Slack 메시지에 넣었습니다. 담당팀과 같은 비용 알람을 보며 상황을 이해하고 대응하면서 커뮤니케이션 프로세스 비용은 50% 이상 줄었습니다. 감지한 고스펙·미사용 장비를 담당 개발팀과 논의해 정리한 결과, 시스템 도입 후 2023년 1분기까지 장비별 연간 소모 비용도 약 50% 절감했습니다.
스펙을 낮춘 뒤 살펴야 할 디스크 I/O
스펙을 내리면 가용 메모리도 줄어듭니다. 그에 따라 디스크 I/O가 늘어날 수 있지만, 이 시스템에서는 여유 있게 정한 감지 기준 덕분에 가용 메모리도 넉넉하게 쓰던 장비들이 검출돼 해당 문제가 발생하지 않았습니다. 더 엄격하게 스펙을 관리하려면 이 부작용까지 고려해 기준을 정해야 합니다.
감지 기준과 확인된 효과
| 항목 | 값 |
|---|---|
| 수집 기간 | 최근 2주, 일별 14회 반복 수집 |
| RDS 고스펙 | CPU 최대 15% 이하 |
| ElastiCache 고스펙 | 메모리 최대 30% 이하 & Network I/O allowance_exceeded = 0 |
| RDS 미사용 | Connection = 0 |
| ElastiCache 미사용 | get/set 명령 = 0 |
| 사용 지표 | CPUUtilization, DatabaseConnections, DatabaseMemoryUsagePercentage, NetworkBandwidthIn/OutAllowanceExceeded, GetTypeCmds, SetTypeCmds |
| 태그 정리 기간 | 1~2개월 |
| 효과 | 2023년 1분기까지 장비별 연간 소모 비용 약 50% 절감, 담당팀 커뮤니케이션 비용 50% 이상 감축 |