본문으로 건너뛰기
GPU 부족 속에서 LLM을 키운 쿠팡 ML 플랫폼
목차

GPU 부족 속에서 LLM을 키운 쿠팡 ML 플랫폼 (2024-10)

원문 정보

LLM이 들어오기 전, 쿠팡의 모델 서빙은 모두 CPU에서 돌아갔습니다. 수십억 파라미터 모델을 처리하기에는 너무 느렸습니다. 학습 쪽에도 준비가 필요했습니다. 기존 스택은 분산 학습, 특히 모델을 여러 GPU에 나누는 모델 병렬 학습을 염두에 두고 만들지 않았기 때문입니다.

GPU를 구하는 일부터 어려웠습니다. 공급은 부족하고 가격은 높았습니다. 고전 ML에서 딥러닝, 생성형 AI용 LLM으로 엔지니어의 도구 상자가 넓어지는 동안, ML 플랫폼 팀은 큰 모델을 학습하고 서비스할 능력과 한정된 자원을 효율적으로 쓰는 방법을 함께 마련해야 했습니다.

여러 언어의 상품을 읽는 LLM

쿠팡에서 ML이 맡던 일은 이미 넓었습니다. 쇼핑·이츠·플레이의 홈 피드, 검색, 광고에는 추천 모델을 쓰고, 상품 텍스트와 이미지, 리뷰, 검색어로는 상품·고객·판매자의 표현을 학습합니다. 100곳이 넘는 풀필먼트 센터에 수백만 상품을 보유한 만큼 가격·물류·배송을 위한 예측도 큰 영역입니다. 예측에는 주로 통계 모델을 쓰되 딥러닝을 점차 섞고 있었습니다.

여기에 언어 문제가 겹칩니다. 쿠팡의 주요 시장인 한국과 대만에서는 대부분의 ML 작업에 쓸 한국어·중국어 학습 데이터가 상대적으로 적습니다. 판매자는 세계 곳곳에 있고, 상품을 이해하려면 여러 언어의 설명뿐 아니라 이미지 안의 글자와 사용자의 검색 의도까지 읽어야 합니다.

카테고리 분류는 LLM 도입으로 운영 방식까지 바뀐 사례입니다. 이전에는 통합 다중 클래스 모델이 꼬리 카테고리에서 부정확한 예측을 내놓아 카테고리마다 별도 모델을 배포했습니다. 관리할 모델도 많았습니다. 상품 제목·설명·리뷰·판매자 정보를 더 깊게 이해하는 LLM을 도입한 뒤에는 하나의 분류기로 모든 카테고리를 처리하며, 대부분의 카테고리에서 정밀도도 높였습니다.

학습용 레이블을 만드는 방식에도 변화가 생겼습니다. 추천 모델은 클릭·조회·구매·장바구니 기록뿐 아니라 사람이 판단한 연관도로도 학습하는데, 사람이 레이블을 붙이는 작업은 비쌉니다. 영어·한국어·중국어가 섞이면 부담이 더 커집니다. LLM은 사람의 작업에 견줄 품질의 텍스트 레이블을 대량으로 만들 수 있습니다. 쿠팡은 이 레이블을 품질 검사한 뒤 약한 지도 학습의 신호로 사용합니다. 좋은 레이블이 없는 새 영역에서 특히 유용했고, 사내 실험에서는 연관도 모델의 품질이 개선됐습니다. 학습 자원이 적은 언어의 레이블 부족을 덜 가능성도 있습니다.

이미지와 텍스트는 함께 읽힐 때 더 좋은 표현을 만듭니다. 상품·광고 이미지와 제목·설명·검색어를 비전-언어 트랜스포머로 함께 모델링하자, 각각 학습할 때보다 좋은 임베딩을 얻었습니다. 이 임베딩은 광고 검색과 유사도 검색에 쓰이고 추천 모델의 피처로도 들어갑니다. 상품 제목의 한국어-중국어 번역, 쇼핑 피드의 이미지 품질 개선, 리뷰 요약, 상품·판매자 키워드 생성 역시 대형 모델을 활용하는 작업입니다.

도메인 데이터에 맞춰 고르는 모델

쿠팡은 오픈소스 아키텍처를 가져와 도메인 데이터로 파인튜닝하는 방식을 기본으로 삼았습니다. 시간과 연산 자원을 아낄 수 있기 때문입니다. 특히 CJK 언어에서 성능이 좋은 모델에 관심을 둡니다. 영어와 다른 띄어쓰기, 단어보다 글자 중심인 구성, 큰 어휘 집합이 토크나이저에 영향을 주고 모델 품질까지 바꾸기 때문입니다.

언어 작업에는 Qwen, LLAMA, T5, Phi, Polyglot을 많이 씁니다. 선호하는 파라미터 크기는 3B~20B입니다. 자원 효율과 품질 사이에서 균형을 잡기 좋은 구간이었습니다. 이미지와 텍스트를 함께 다루는 작업에서는 효율과 성능을 고려해 CLIP과 TrOCR을 선택했습니다.

같은 모델도 활용 방식에 따라 필요한 자원이 달라집니다. 아래 패턴은 아래로 갈수록 자원 요구량과 복잡도가 커지는 순서입니다.

활용 패턴적용 방식이점과 부담
In-context learning사전학습 모델에 문맥을 담은 프롬프트를 주고 추가 학습 없이 사용시작이 빠르고 비용이 낮으며 여러 작업에 같은 모델 재사용
RAG문서나 상품 카탈로그 같은 외부 자료를 검색해 생성 응답의 근거로 사용실시간 검색과 생성을 함께 동작시키는 과정에서 병목과 오류 발생 가능
Supervised fine-tuning작은 도메인·작업별 데이터셋으로 기본 모델을 추가 학습품질 좋은 도메인 데이터로 튜닝하면 기본 모델보다 좋은 결과를 내는 경우가 많음
Continued pre-training특정 작업에 한정하지 않고 큰 데이터셋으로 사전학습을 이어가며 전반적인 이해 확장자원 소모가 크지만 속성 추출 같은 후속 작업에서 가장 좋은 결과를 내는 경우가 많음

쿠팡 내부에서 제품에 LLM을 적용할 가능성을 시험하고 평가할 때는 in-context learning이 가장 흔한 방식 중 하나입니다. 이후 supervised fine-tuning으로 발전시키는 방식도 가장 널리 쓰이는 패턴으로 꼽힙니다. 유연성과 자원 효율이 선택의 이유였습니다.

GPU 확보 범위를 넓힌 하이브리드 클러스터

LLM은 연산도 메모리도 많이 씁니다. 그중 학습과 서빙 모두를 제약하는 것은 GPU 메모리입니다. 클라우드에서 A100·H100 같은 대용량 GPU를 확보하려면 오래 기다려야 했습니다. 플랫폼 팀은 모델 개발 팀과 정기적으로 벤치마크를 수행하며 모델 계열마다 GPU의 가격 대비 성능을 비교했습니다.

용도에 따라 장치를 나눴습니다. 1B 파라미터가 넘는 모델을 혼합 정밀도로 학습할 때는 A100 80GB를 사용하고, 테스트와 가벼운 학습에는 A10G 24GB를 많이 썼습니다. 같은 LLM 계열에도 여러 크기의 모델이 있습니다. 작은 버전을 시험할 때 낮은 사양의 GPU를 쓰면 비용 효율을 높일 수 있었습니다.

GPU를 확보할 장소도 늘렸습니다. ML 인프라를 아시아·태평양과 미국의 여러 클라우드 리전에 배치해 GPU에 더 빨리 접근하고, 온프레미스 클러스터로도 상당한 연산 자원을 공급했습니다. 특히 A100·H100 같은 고급 GPU를 확보하는 데 온프레미스가 기여했습니다. 이 하이브리드 구성은 클라우드의 공급 부족을 덜고 전체 학습 비용을 낮췄습니다. 대신 장소가 달라도 스토리지·네트워크의 일관성을 유지하고 개발자가 같은 경험으로 작업하도록 만드는 과제가 생겼습니다.

한 GPU에 담기지 않는 모델의 학습 환경

기존 운영 기반은 이어갔습니다. 쿠팡의 모든 ML 학습과 추론은 관리형 컨테이너 서비스에서 실행하며, 클라우드와 온프레미스 모두 분산 파일 시스템을 사용합니다. LLM 작업도 이 환경 안에서 시작합니다.

탐색 단계에서는 작은 실험으로 후보를 추립니다. 어떤 아키텍처를 쓸지, 70B 이상 모델이 10B 미만 모델보다 투자 대비 효과가 좋은지, 프롬프트 템플릿을 바꾸면 출력이 어떻게 달라지는지를 확인합니다. 데이터 준비는 주로 Apache Zeppelin 노트북에서 Kubernetes 위의 Spark 같은 엔진에 처리를 맡기는 방식입니다. 아키텍처와 프롬프트 실험은 GPU 하나 또는 여러 개를 붙인 컨테이너형 Jupyter 노트북에서 진행합니다.

후보를 고른 뒤에는 연산 예산과 데이터 규모, 측정한 성능에 따라 파인튜닝하거나 처음부터 사전학습합니다. 그렇게 프로덕션에 사용할 모델인 소스 LLM을 정합니다. 모델을 개발하는 과정 자체는 기존 ML과 다르지 않습니다. 학습 수명 주기는 Kubernetes 위의 Polyaxon이 관리하고, 모델 병렬 학습은 PyTorch용 분산 학습 오퍼레이터인 PyTorchJob으로 실행합니다.

모델이 GPU 하나의 메모리에 들어가지 않으면 데이터 병렬 학습만으로는 부족합니다. 쿠팡은 모델을 나누어 학습하는 여러 샤딩 프레임워크를 지원하며, 가장 많이 쓰는 것은 DeepSpeed ZeRO입니다. 설정이 빠르고 Hugging Face 허브에서 널리 쓰이는 아키텍처의 트레이너 레시피를 구할 수 있다는 점이 선택에 작용했습니다. 개발자들은 옵티마이저, gradient accumulation, 메모리 pinning 등에 적절한 기본값을 정한 레시피를 사내에서 공유합니다.

소스 LLM에서 작은 모델로 이어지는 추론 경로

학습한 소스 LLM의 출력을 서비스에 활용하는 방법도 달라집니다. 소스 LLM에서 작은 모델을 증류해 실시간 추론에 쓰는 경로가 있고, LLM의 임베딩을 뽑아 작은 모델에 전달하는 경로도 있습니다. 임베딩을 활용하는 패턴은 랭킹에서 볼 수 있습니다. 증류나 임베딩에 필요한 소스 LLM의 예측을 대량으로 얻을 때는 GPU 배치·니어라인 추론을 가장 많이 씁니다.

실시간 추론에는 GPU를 지원할 엔진이 필요했습니다. 기존 서빙 스택에는 그 기능이 없었습니다. 쿠팡은 동적 배칭, GPU에서 여러 모델을 함께 실행하는 기능, 다양한 백엔드를 지원하는 Nvidia Triton을 선택했습니다. 모든 실시간 추론은 AWS EKS 위의 Triton에서 실행합니다.

배치 추론은 CPU와 GPU 작업이 섞입니다. 텍스트·이미지 전처리는 CPU에서 분산 처리하고, 모델의 본 추론은 GPU가 수행합니다. 학습을 마친 LLM으로 데이터셋 전체의 출력을 생성하려면 이 작업들을 대규모로 처리해야 합니다. 쿠팡은 여러 실험 끝에 Ray + vLLM을 선택했고, 개발자들은 이 조합으로 CPU와 GPU 처리가 함께 필요한 파이프라인을 작성합니다.

니어라인 추론은 작은 배치의 효율과 실시간에 가까운 응답성을 함께 얻는 방식입니다. 이벤트가 발생한 뒤 일정 시간 안에 처리하되, 즉시 응답하는 실시간 추론과는 구분됩니다. 사용자·판매자 콘텐츠와 주문처럼 데이터가 계속 유입되는 전자상거래 환경에서는 LLM 니어라인 추론으로 자원 사용을 줄이면서 여러 후속 작업을 지원합니다.

고급 GPU를 기다리지 않는 실험

모델 아키텍처부터 프레임워크, 하드웨어, 최적화 기법까지 빠르게 바뀌는 환경에서 쿠팡 팀이 택한 방법은 빠르게 실험하고 실패에서 배우는 것이었습니다. 성과는 구체적이었습니다. vLLM의 커널 구현은 여러 워크로드에서 처리량을 약 20배 높였습니다.

GPU의 메모리 한계도 실험 대상이었습니다. 모델 파라미터를 CPU로 오프로딩해, 메모리는 작지만 구하기 쉬운 GPU에서도 파인튜닝할 수 있는 레시피를 만들었습니다. 개발자들은 고급 GPU가 확보되기를 기다리지 않고 학습을 반복할 수 있게 됐습니다. H100이 들어오는 시점에는 fp8 양자화와 Nvidia transformer engine에서도 큰 기회를 보고 있습니다. 이 부분은 이미 얻은 처리량 개선과 달리 앞으로의 기대입니다.

LLM은 여러 프로덕션 ML 시스템을 개선했고, 검색·발견, 카탈로그, 운영, 광고 품질에서 가능성을 보였습니다. 쿠팡 팀은 앞으로 더 많은 팀이 LLM과 비슷한 아키텍처를 사용할 것으로 예상하며 더 큰 모델의 학습과 GPU 자원 효율 개선을 이어가고 있습니다. 최적화 대상은 연산·스토리지·네트워크뿐 아니라 관측성, 모델·데이터 샤딩 학습, 프로파일링, 활용률까지 걸쳐 있습니다. 이러한 설명에는 연구 활동을 반영한 내용이며 투자 계획이나 제품 방향을 뜻하지 않는다는 고지가 붙어 있습니다.

원문에 나온 모델과 인프라 선택
항목값
선호 파라미터 크기3B~20B
언어 모델 계열Qwen, LLAMA, T5, Phi, Polyglot
이미지-텍스트 모델CLIP, TrOCR
1B 초과 모델 학습 GPUA100 80GB (혼합 정밀도)
테스트·경량 학습 GPUA10G 24GB
클라우드 리전아시아·태평양, 미국, 그리고 온프레미스 클러스터
학습 관리·분산 학습Polyaxon, PyTorchJob, DeepSpeed ZeRO
실시간 추론Nvidia Triton (AWS EKS)
배치·니어라인 추론Ray + vLLM
데이터 준비·탐색Zeppelin, Spark on Kubernetes, GPU Jupyter
vLLM 처리량 개선여러 워크로드에서 약 20배
마지막 수정 일자