본문으로 건너뛰기
느린 모델의 대기 비용을 줄인 로켓그로스 ML 플랫폼
목차

느린 모델의 대기 비용을 줄인 로켓그로스 ML 플랫폼 (2022-09)

원문 정보

상품 검수에서 시작한 Kafka 기반 ML 플랫폼

쿠팡 로켓그로스에서 ML이 맡은 일은 사람이 하던 상품 검수였습니다. 로켓그로스는 판매자가 최고 수준의 배송과 구매 후 경험을 제공하도록 돕는 풀필먼트 사업입니다. 참여 판매자가 늘면서 새 상품을 등록할 때 거치는 품질 검수 같은 수작업이 병목이 됐습니다.

자동화할 판단도 하나가 아니었습니다. 예를 들어 브랜드의 진위를 확인하고, 인증 로고를 탐지하고, 상품 이미지에서 문구를 추출해 부적절한 텍스트를 걸러내는 작업이 필요합니다. 플랫폼은 사람이 여러 속성을 확인하던 방식을 따라, 필요한 모델을 호출한 뒤 그 결과를 모아 판단하도록 설계했습니다.

기능 하나가 의존하는 모델은 평균 5~10개였습니다. 모델마다 요청 한 건을 처리하는 데 1초~2분이 걸리는데, 예상 트래픽은 하루 500만 요청에 달했습니다. 긴 응답 시간을 감당하면서 간헐적인 실패와 재시도도 처리해야 하는 조건입니다.

처음에는 각 ML 모듈 앞에 Kafka 토픽을 두었습니다. 클라이언트가 해당 토픽에 요청을 발행하면 컨슈머가 모델을 호출하고, 추론 결과를 결과 토픽에 발행하는 방식입니다. 클라이언트는 결과 토픽을 구독하다가 요청 ID가 일치하는 메시지만 골라 응답을 모읍니다.

이 방식은 기다림과 재시도를 다루는 부담을 줄였습니다. REST로 필요한 모듈을 각각 호출하면 클라이언트가 응답을 보통 5분가량 기다리고 재시도까지 챙겨야 했습니다. Kafka를 쓰면 모델 호출이 실패했을 때 컨슈머가 재시도하고, 클라이언트는 결과 토픽에서 응답을 받습니다. 통신이 비동기로 바뀐 것입니다. 모듈마다 토픽이 따로 있으므로 컨테이너 오케스트레이션 시스템에서 모델을 독립적으로 배포할 수 있고, 운영 중 생긴 문제도 해당 컴포넌트 안에 머뭅니다.

하지만 호출을 조율하는 일은 남았습니다. 새 기능을 만들 때마다 클라이언트에 필요한 토픽 전부로 요청을 발행하는 로직과 결과를 취합하는 방식을 구현해야 했습니다. 모델을 추가하는 엔지니어도 새 토픽을 만들고, 요청을 소비하고, 결과 토픽에 응답을 발행하는 작업을 반복했습니다. 트래픽과 긴 처리 시간을 감당할 수는 있었지만, 클라이언트에 드러나는 구현 부담이 컸습니다. Kafka의 발행·소비 과정이 더하는 지연도 있었습니다.

긴 REST 호출을 기다리는 오케스트레이터

팀은 모델 호출과 응답 취합을 오케스트레이터로 옮겼습니다. 클라이언트가 요청을 보내면 오케스트레이터가 필요한 모델로 라우팅하고, 응답을 기다리며 재시도를 처리한 뒤 결과를 합쳐 돌려줍니다. 클라이언트마다 작성하던 호출 관리 로직을 한 계층에서 맡도록 바꾼 것입니다.

모델을 REST로 호출하면 새 모델마다 Kafka 토픽과 소비·발행 로직을 준비하는 번거로움이 줄어듭니다. 걸림돌은 여전히 긴 대기 시간이었습니다. 느린 REST 호출을 기다리는 I/O 비용을 줄이기 위해 오케스트레이터는 논블로킹 I/O(NIO)를 사용했습니다. Kafka 토픽이 하던 라우팅을 오케스트레이터가 넘겨받으면서 모델별 요청 토픽도 필요 없어졌습니다.

클라이언트가 보내는 요청에는 요청 ID, 실행 방식인 execution, 사용할 모델을 지정하는 detections, 입력을 담는 data가 들어갑니다. 원문의 예시는 이미지 URL 하나에 keyword_detection, brand_detection, logo_detection을 요청하고 실행 방식을 sync로 지정한 형태입니다. 이때는 결과가 나올 때까지 연결을 유지합니다. async를 지정하면 즉시 응답하고, 나중에 나온 결과를 결과 토픽에 발행합니다. 비동기 결과를 전달하는 토픽은 남아 있는 것입니다.

재시도에는 Reactor core의 Mono, Flux 같은 추상화를 사용했습니다. 클라이언트는 필요한 모델과 입력, 결과를 받을 방식을 요청에 담으면 됩니다. 오케스트레이터가 긴 호출의 대기를 맡으면서 인터페이스는 단순해졌고, 모델 응답을 기다리는 I/O 비용도 크게 줄었습니다.

모델의 연산에 맞춰 고른 CPU와 GPU

응답을 기다리는 방식에 이어 모델을 실행하는 환경도 바꿨습니다. 처음에는 배포가 쉽고 모니터링 도구가 성숙한 컨테이너 오케스트레이션 시스템을 모든 모델의 컴퓨팅 플랫폼으로 선택했습니다. 하지만 컴퓨터 비전처럼 행렬 연산이 많은 모델에는 이 환경이 잘 맞지 않았습니다. 추론을 빠르게 하려면 추가 비용을 감수하고 GPU 인스턴스를 선택할 이유가 분명했습니다.

모든 모델에 GPU가 유리한 것은 아니었습니다. 프로덕션에서 비용 효율을 높이려고, 개별 GPU에서 성능이 더 좋은 모듈과 범용 인스턴스에서 더 저렴하게 실행할 수 있는 CPU 모듈로 나눴습니다. OCR과 로고 탐지는 GPU의 이득이 컸습니다. 키워드 탐지와 연령 탐지 같은 일부 NLP 모델은 CPU가 더 효율적이었습니다. 오케스트레이터가 각 모듈을 알맞은 실행 환경에 자동으로 매핑합니다.

인스턴스 선택도 비용에 영향을 줬습니다. 신세대 Graviton 인스턴스는 Intel 기반 P3보다 인스턴스 비용을 크게 줄였습니다. Spot 인스턴스는 훨씬 저렴하지만 중간에 종료될 수 있다는 조건이 붙습니다. 팀은 여러 인스턴스 타입을 사용하는 Auto Scaling 그룹과 대체 규칙을 구성해, 원하는 Spot 용량을 확보하지 못하는 상황에 대비했습니다.

워커 하나에서 가장 빨랐던 GPU 서버

GPU 인스턴스에서는 웹 서버의 워커를 늘리는 일이 오히려 요청을 느리게 만들었습니다. 모델 앞에 둔 웹 서버는 워커 스레드를 1개로 설정했을 때 성능이 가장 좋았습니다.

워커가 많아지면 여러 작업이 한꺼번에 실행되면서 텐서 가중치에 쓸 GPU 메모리를 할당하고 해제하는 일이 반복됐습니다. 그 과정에서 메모리 복사가 늘어나 요청 처리 시간이 크게 길어졌습니다. 이 환경에서는 단일 워커가 가장 빠른 설정이었습니다.

이러한 최적화 중 일부를 적용해 GPU에서 실행했을 때 속도는 20~40배 빨라졌습니다. OCR 벤치마크는 CPU와 GPU의 지연 시간을 초 단위로 비교했습니다. 비용을 평가할 때는 실험한 GPU 인스턴스 구성별로 지연 시간과 비용을 함께 살폈고, 그중 G5 인스턴스가 가장 낮은 비용으로 가장 좋은 성능을 냈습니다. 여러 방법을 합친 결과, 처음 예상한 비용보다 95%를 절감했습니다.

플랫폼은 하루 수백만 요청을 처리하는 규모로 확장됐고, 2개월 동안 ML 모델 20개를 통합했습니다. 남은 과제는 메모리 용량을 더 잘 활용하도록 모델을 여러 인스턴스에 분산하는 일과, 모델을 개선할 피드백 루프를 만드는 일입니다.

원문의 요구사항과 벤치마크 수치
항목값
예상 트래픽하루 500만 요청
모델 1회 처리 시간1초~2분
기능당 의존 모델 수평균 5~10개
GPU 최적화 속도 향상20~40배
최적 GPU 인스턴스G5 (비용 대비 성능)
비용 절감처음 예상 비용 대비 95%
서버 워커 스레드1개가 최적
통합 규모2개월 동안 ML 모델 20개
마지막 수정 일자