목차
AWS 비용을 수백만 달러 줄인 쿠팡 Central 팀 (2023-03)
원문 정보
- 원문: Cloud expenditure optimization for cost efficiency
- 한국어판: 클라우드 서비스 사용량 관리를 통한 운영 비용 최적화
- 매체 · 게시일: Coupang Engineering Blog · 2023-03-21
- 저자: Luke Travers, Amit Arora
- 원문 내용을 바탕으로 재구성한 요약입니다.
쿠팡의 엔지니어링 팀은 클라우드에 필요 이상으로 지출하면서도 그 효율을 잘 알지 못했습니다. 재무팀도 무엇에 돈이 들어가는지, 사업 성장을 해치지 않고 어디서 비용을 줄일지 파악하기 어려웠습니다. 경영진에게도 판단에 쓸 지출 분석이 부족한 상황이었습니다.
재무와 엔지니어링은 몇 분기에 걸쳐 비용 관리·최적화 로드맵을 함께 만들었습니다. 여러 엔지니어링 팀이 참여한 Central 팀은 온디맨드 비용을 더 줄이는 일을 맡았습니다. 이 협업으로 2021년 AWS에서 절감한 금액은 온디맨드 기준 수백만 달러입니다.
사용량과 예산을 함께 살핀 Central 팀
Central 팀에는 클라우드 인프라 엔지니어와 기술 프로그램 매니저가 모였습니다. 회사의 리더십 원칙 ‘Hate Waste’에 맞춰 정한 활동 기준은 예산 배정과 준수, 절감을 목표로 삼는 것, 신뢰성·지속 가능성·통제에 집중하는 것이었습니다. 각 도메인 팀에는 자기 클라우드 사용을 책임지는 주체로서, 사용량에 따라 비용이 달라지는 모델도 적극 활용하도록 설명했습니다.
판단에 쓸 자료도 마련했습니다. Amazon CloudWatch 데이터를 Amazon Athena로 처리해 맞춤 대시보드를 만들고, AWS CUR(Cost & Usage Reports) 데이터로 사내 BI 대시보드를 구성했습니다. 도메인 팀이 월별·분기별 예산을 지키도록 관리하는 일에는 재무팀이 힘을 보탰습니다.
도메인 팀과는 실제 사용 중인 리소스를 살폈습니다. 한 팀에는 Amazon S3에 어떤 데이터가 쌓여 있는지 이해하고 저장 구조를 최적화하도록 도움을 줬습니다. AWS Spot Instances와 ARM 기반 Graviton이 데이터 저장·처리 비용을 크게 줄일 수 있다는 점도 전달한 내용입니다.
필요할 때만 켜는 비프로덕션 리소스
사용량을 줄이는 작업은 비프로덕션 환경에서 진행했습니다. AWS 리소스를 필요할 때만 자동으로 띄우도록 바꿨고, 이 환경의 비용이 25% 줄었습니다. 쿠팡이 말하는 ‘덜 쓰기’에 해당합니다.
‘덜 내기’는 라이트사이징으로 접근했습니다. Central 팀과 도메인 팀이 사용 패턴 데이터를 바탕으로 쓰지 않거나 활용도가 낮은 EC2 리소스를 찾아 수작업으로 제거한 것입니다. 여기에 AWS 모범 사례를 따라 더 효율적인 자원을 사용하는 작업도 이어졌습니다.
용량 확보를 위해 갱신한 EMR 툴체인
쿠팡은 EMR에 Spot Instances를 즐겨 썼지만, 피크 시간대에는 원하는 용량을 확보하기 어려웠습니다. EMR의 instance fleets 기능을 쓰도록 소프트웨어 버전을 올리는 방법을 택했습니다.
갱신 범위는 넓었습니다. EMR 시스템이 복잡하게 얽혀 있어 서비스를 중단하지 않으면서 툴체인의 각 부분을 모두 갱신해야 했습니다. 이 작업으로 EMR 총비용은 25% 줄었습니다.
전환에 앞서 성능을 확인한 AWS 리소스
AMD CPU로 옮긴 사내 제품군
인스턴스는 모두 최신 세대로 옮기는 것이 목표였습니다. 성능을 높이고 비용을 낮추면서 가용성도 개선하려는 선택입니다. 도메인 팀과 인스턴스 타입마다 폭넓게 테스트하고, AMD와 ARM 같은 다른 칩 아키텍처도 살폈습니다.
테스트는 고된 과정이었습니다. 이를 거쳐 사내 제품군 여러 개를 통째로 AMD CPU로 옮겼고, 이전 세대보다 가격 대비 성능이 20% 좋아졌습니다.
EBS GP3를 믿고 쓰기 위한 테스트
EBS에서는 새 GP3가 요구사항을 충족한다는 사내 고객의 신뢰가 필요했습니다. 출발점은 개발 계정에서 여러 도구로 진행한 성능 테스트였습니다. 테스트 결과, 라이브 볼륨 500~1000개를 병렬로 이전해도 눈에 띄는 영향이 없음을 확인했습니다.
객체 크기까지 살펴야 하는 S3 Intelligent-Tiering
S3에서는 50PB 이상을 Intelligent-Tiering(IT)으로 옮겼습니다. 하지만 모든 워크로드에 맞는 선택은 아니라는 점을 쓰라리게 배웠습니다. 주의할 대상은 객체 크기입니다.
평균 객체 크기가 작고 객체가 수십억 개라면, 해당 워크로드의 S3 비용은 오히려 크게 늘 수 있습니다. 이런 경우에는 S3 수명 주기 필터로 정책을 조정해야 합니다. 과금 방식이 복잡한 만큼, S3 최적화에는 계속 시간과 관심이 들어갑니다.
그 과정에서 얻은 변화는 원문의 Figure 1에 드러납니다. S3 사용량은 올라가고 용량당 AWS 비용은 내려가면서 두 추세가 교차하는 모습입니다.
절감 과정의 상당 부분은 수작업이었고, 비용을 줄일 만한 영역을 찾아 실행하는 데 집중했습니다. Central 팀은 추가 절감 기회를 계속 찾고 있습니다. 다음 단계에서는 더 정교한 분석 도구에 투자해 Cloud FinOps 사고방식을 정착시키고, 비용 최적화에 필요한 모니터링·분석 작업 일부를 자동화할 계획입니다.
원문의 절감 수치
| 항목 | 값 |
|---|---|
| 비프로덕션 자동 기동 | 비용 25% 절감 |
| AMD CPU 전환 | 이전 버전 대비 가격 대비 성능 20% 향상 |
| EMR instance fleets | EMR 총비용 25% 절감 |
| EBS GP3 마이그레이션 | 라이브 볼륨 500~1000개 동시 이전, 영향 없음 |
| S3 Intelligent-Tiering | 50PB 이상 이전 |
| 2021년 총 절감 | 온디맨드 기준 수백만 달러 |