목차
몇 주씩 걸리던 모델 배포를 바꾼 쿠팡 머신러닝 플랫폼 (2023-09)
원문 정보
- 원문: Meet Coupang’s Machine Learning Platform
- 한국어판: 쿠팡의 머신러닝 플랫폼을 통한 ML 개발 가속화
- 매체 · 게시일: Coupang Engineering Blog · 2023-09-08
- 저자: Hyun Jung Baek, Hara Ketha, Jaideep Ray, Justina Min, Mohamed Sabbah, Ronak Panchal, Seshu Adunuthula, Thimma Reddy Kalva, Enhua Tan
- 원문 내용을 바탕으로 재구성한 요약입니다.
모델마다 되풀이하던 배포 준비
플랫폼이 생기기 전, 쿠팡에서는 모델 하나를 작성하고 학습하는 데도 몇 시간의 준비가 필요했습니다. 데이터와 피처를 준비하고 트레이너 코드의 반복되는 부분을 작성해야 했습니다. 분산 학습이나 GPU를 쓰려면 깊이 있는 엔지니어링 작업까지 뒤따랐고, 여러 팀에 비슷한 스택이 생겼습니다.
실시간 배포에는 몇 주가 걸렸습니다. 모델이 트래픽을 받기까지 벤치마크, 오토스케일링, 보안, 롤백을 팀마다 다시 구현해야 했기 때문입니다. 이런 부담은 제품 조직이 ML을 널리 도입하는 데 장애물이 됐습니다.
쿠팡의 해법은 필요한 기능을 미리 갖춘 ‘batteries-included’ 서비스였습니다. 관리형 Jupyter 노트북, 파이프라인 SDK, 피처 스토어, 모델 학습·추론 서비스를 제공하고, 개발자가 각각을 독립적으로 쓰거나 조합해 파이프라인을 만들게 했습니다. 이 서비스를 쓰면 단순한 모델부터 복잡한 모델까지 며칠 안에 표준 방식으로 학습하고 디버깅해 배포할 수 있습니다.
받쳐 줘야 할 모델의 종류도 넓습니다. 앱을 여는 순간부터 현관 앞 배송까지, 쿠팡은 상품 카탈로그와 검색, 가격, 로보틱스, 재고, 풀필먼트에 ML을 씁니다. 쿠팡이츠, 쿠팡플레이, 쿠팡페이, 쿠팡 그로서리도 운영합니다. 검색어·상품 설명·광고 문구를 이해하는 NLP, 이미지로 유사 상품과 광고를 분류하는 컴퓨터 비전, 검색·영상·광고의 순위를 정하는 추천, 수백만 상품의 수요·공급·가격을 예측하는 모델까지 지원해야 합니다. 새 시장에 진출할수록 ML의 역할은 더 커집니다.
모델을 독립 서비스로 띄우는 Seldon
몇 주씩 걸리던 배포 작업에는 공통 CI/CD 흐름을 마련했습니다. ML은 기술 부채가 빠르게 쌓이는 분야입니다. 쿠팡은 통합 테스트를 거친 ML 라이브러리 컨테이너를 제공하고, 모델 검증과 카나리 배포, 서빙 중 주요 지표 모니터링에 쓸 라이브러리도 갖췄습니다.
서빙은 Kubernetes 위의 Seldon이 담당합니다. TFServing, Triton과 연동하고 커스텀 Python 래퍼도 지원하므로 여러 프레임워크와 런타임을 CPU나 GPU에서 실행할 수 있습니다. 각 모델은 오토스케일링되는 독립 서비스입니다. 모델을 서로 격리하면서 표준 CI/CD 인프라와도 연결하는 방식입니다.
배포 작업은 먼저 모델 크기와 학습-예측 skew 등을 검증합니다. 검증을 통과하면 카나리 단계로 넘어가고, 카나리가 성공해야 점진적으로 롤아웃합니다. 이 흐름에 개발자가 추가할 것은 모델 검증과 카나리 결과 확인용 훅뿐입니다.
아주 큰 모델의 서빙은 계속 투자하는 영역입니다. 쿠팡은 LLM과 멀티모달 모델에서 CPU보다 높은 처리량을 얻기 위해 배치·실시간 GPU 서빙에 투자하고 있습니다.
필요한 도구를 갖춘 실험 환경
CPU와 GPU에서 여는 Jupyter 노트북
아이디어를 시험하는 출발점은 호스팅되는 컨테이너형 Jupyter 노트북입니다. 사용자는 표준 컨테이너나 커스텀 컨테이너를 골라 CPU 또는 GPU에서 실행합니다.
표준 Docker 이미지는 플랫폼 팀이 관리합니다. TensorFlow, PyTorch, scikit-learn, Hugging Face Transformers 같은 라이브러리를 담아 의존성 문제를 줄이고, 같은 환경에서 파이프라인을 반복 실행할 수 있게 했습니다. 데이터 조회부터 피처 스토어, 학습, 추론까지 연결하는 Python SDK도 제공합니다.
여러 팀이 나눠 쓰는 Feast 피처 스토어
준비한 피처를 공유하는 곳은 오픈소스 Feast 기반의 피처 스토어입니다. 오프라인 스토어는 피처를 공유하고 학습에 공급합니다. 고객 인사이트처럼 여러 팀이 활용할 기본 피처를 등록하는 작업도 진행 중입니다.
온라인 스토어는 추론 중 필요한 피처를 낮은 지연으로 가져오는 데 씁니다. 임베딩처럼 계산이 무거운 피처도 여기서 제공합니다. 피처 조회에 더해 모델 피처 생성기와 연산량이 큰 모델의 예측 응답 캐시 역할까지 맡습니다.
서로 다른 학습 도구를 받아들이는 Kubernetes
쿠팡의 팀들은 PyTorch, TensorFlow, scikit-learn, XGBoost를 쓰고, 시계열 예측에는 Prophet 같은 도구도 선택합니다. 학습 스택은 특정 프레임워크에 묶이지 않습니다. 사용자가 만든 파이프라인을 컨테이너로 묶어 Kubernetes에서 실행하고, 배치 스케줄러가 요청한 하드웨어에 작업을 배치합니다. 자원 할당은 all-or-nothing 방식입니다.
하드웨어 선택도 사용자에게 열려 있습니다. 클러스터에 있는 CPU·GPU 종류를 고를 수 있으므로, 예를 들어 학습과 배치 추론에 서로 다른 GPU를 써서 속도 향상과 비용을 조절할 수 있습니다. 대형 모델을 위한 distributed data parallel과 fully sharded data parallel도 지원합니다. 멀티 GPU 학습을 적용한 뒤 여러 학습 워크로드가 크게 빨라졌습니다.
트레이너 튜닝에는 여전히 공이 듭니다. 플랫폼 팀은 사내에서 많이 쓰는 모델 아키텍처의 트레이너를 벤치마크하고, 효과가 좋은 파라미터 조정 기법을 개발자들과 공유합니다.
온프레미스를 보완하는 AWS 클러스터
GPU뿐 아니라 대용량 데이터 스토리지와 분산 학습용 네트워크 대역폭 수요도 빠르게 늘고 있습니다. 학습하는 모델이 많아 클라우드 비용도 높습니다. 쿠팡은 사내 클라우드 인프라 엔지니어들과 함께 온프레미스 데이터센터와 AWS에 컴퓨트·스토리지 클러스터를 구축했습니다.
온프레미스는 환경을 더 자유롭게 조정하고 강력한 GPU 클러스터를 더 낮은 비용으로 운영할 수 있는 선택입니다. 자원이 부족할 때는 AWS에서 필요한 만큼 확장합니다.
학습과 서빙에 필요한 머신도 다릅니다. 학습에는 큰 메모리, GPU 같은 가속기, 노드 사이의 고대역폭 연결과 학습 데이터·체크포인트를 저장할 공유 스토리지가 필요합니다. 서빙에는 I/O 처리량이 높은 전용 머신을 마련했습니다. 이 머신들을 여러 가용 영역에 배치하고 오토스케일링으로 트래픽 급증에 대응합니다.
자원 사용량과 예측 점수를 보여 주는 대시보드
플랫폼의 모든 서비스는 모니터링 대상입니다. 학습 클러스터 대시보드에서는 작업별 GPU·CPU·메모리 사용량과 워크로드별 자원 사용률을 확인합니다. 추론 서비스는 실행 중 메모리 사용량과 예측 점수를 추적합니다.
작업이 자원을 얼마나 배정받았는지, 스케줄링이 얼마나 지연되는지도 대시보드에 표시합니다. 애플리케이션 로그와 자원 로그를 모아 디버깅에 쓰고, 멈추거나 유휴 상태가 된 학습 작업, 학습·서빙 인스턴스 기동 실패, 메모리 급증에는 알림을 보냅니다.
데이터 품질 검사는 앞으로 추가할 영역입니다. 피처와 서빙 전반에 이상 탐지와 드리프트 모니터링을 도입할 계획이며, 이미 운영 중인 자원·예측 지표 모니터링과는 구분됩니다.
600개 넘는 프로젝트가 남긴 사용 기록
검색·추천 개발자들은 기존 용어 매칭 검색을 보완하려고 임베딩 기반 검색을 도입했습니다. 검색어 이해를 위한 Ko-BERT 학습도 그 과정에 있었습니다. A100을 사용한 멀티 GPU 분산 학습으로, 이전 세대 GPU와 기존 학습 전략을 쓰던 때보다 BERT 학습 속도가 10배 빨라졌습니다. GPU와 학습 전략을 함께 바꾼 결과입니다.
이후 개발자들은 여러 화면의 검색 품질을 높이려고 파인튜닝한 LLM을 실험하고 있습니다. 이 작업에는 클러스터 활용, 분산 학습 전략, 높은 처리량의 GPU 추론 등 플랫폼의 여러 기능이 함께 쓰입니다.
가격 예측 팀에서는 운영 부담이 달라졌습니다. Customer·Growth의 데이터 사이언스 팀은 가격·수요·페이지뷰를 시계열로 모델링하며, 가격 모델 전체를 자체 추론 스택에서 플랫폼 서빙으로 옮겼습니다. 이제 배포 클러스터를 직접 유지하지 않고 모델 개선에 집중합니다.
쿠팡은 글을 발표한 시점에도 플랫폼이 아직 초기 단계라고 설명했습니다. 그럼에도 지난 1년 동안 600개 이상의 ML 프로젝트에서 10만 건이 넘는 워크플로를 실행했고, 주요 ML 조직은 모두 플랫폼 서비스를 하나 이상 사용했습니다. 모델 크기가 크게 늘었으며 쿠팡 서비스 품질에서도 성과가 나왔습니다.
개발자들은 플랫폼을 바탕으로 언어 모델링과 AutoML 같은 도메인별 툴킷도 만들고 있습니다. 온라인 피처 스토어와 모니터링처럼 CI/CD 모범 사례를 지원하는 기능에도 관심이 높습니다. 쿠팡은 플랫폼을 소개한 이 첫 글에 이어 주요 서비스와 활용 사례를 더 자세히 다룰 후속 글을 예고했습니다.
원문의 주요 수치와 구성 요소
| 항목 | 값 |
|---|---|
| 프로덕션까지 걸리는 시간 | 이전 모델 서빙 배포 수 주, 플랫폼 이후 며칠 |
| 인프라 | 온프레미스 + AWS 하이브리드 |
| 피처 스토어 | Feast 기반, 오프라인·온라인 |
| 학습 | Kubernetes + 배치 스케줄러(all-or-nothing), DDP·FSDP |
| 서빙 | Seldon on Kubernetes (TFServing, Triton 연동) |
| 배포 검증 | 모델 크기·학습-예측 skew 테스트 후 카나리, 점진 롤아웃 |
| Ko-BERT 학습 속도 | A100 멀티 GPU로 10배 |
| 1년간 워크플로 실행 | 10만 건 이상, ML 프로젝트 600개 이상 |