본문으로 건너뛰기
우버 AI/ML 인프라에서 찾은 GPU 효율의 조건
목차

우버 AI/ML 인프라에서 찾은 GPU 효율의 조건 (2024-03)

원문 정보

  • 원문: Scaling AI/ML Infrastructure at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2024-03-28
  • 저자: Nav Kankani(Senior Engineering Manager, Platform Architect), Rush Tehrani(Sr Manager, Engineering), Anant Vyas(Senior Staff Engineer, AI Infrastructure 테크 리드)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

몇 달짜리 학습을 버텨야 하는 AI/ML 인프라

우버는 2016년 기사·승객 매칭과 가격 책정에 복잡한 규칙 기반 모델과 머신러닝 모델을 쓰기 시작했습니다. ML 도입 8년 차에는 핵심 업무 대부분에서 딥러닝을 사용하고, 생성형 AI도 탐색하고 있습니다. 인프라가 감당할 모델의 크기와 복잡성도 그만큼 커졌습니다.

2023년 2월 온프렘에서 클라우드로의 전환을 발표한 우버는 기존 인프라의 활용도를 높이면서 새 워크로드를 위한 시스템도 준비했습니다. 하드웨어와 소프트웨어를 함께 다루는 작업입니다. 워크로드에 맞춘 하드웨어 SKU부터 라이브러리 개선, 분산 학습 프레임워크와 Michelangelo 플랫폼까지 손볼 범위가 넓었습니다.

학습은 몇 달씩 이어지기도 합니다. Falcon 180B 같은 큰 모델을 학습하는 동안에는 긴 실행 시간만큼 장애 위험도 커지지만, 사용자는 오류 없이 예상한 기간 안에 학습이 수렴하기를 기대합니다. 우버가 학습에 필요한 모든 의존 요소에 99% 가동률 SLA를 목표로 둔 이유입니다.

GPU를 놀리지 않는 방법도 필요했습니다. 서빙 부하가 낮은 시간에 학습 작업을 실행하는 반응형 스케일링으로 GPU를 활용하는 것이 우버의 목표이며, 사용자 사이의 자원 분배는 공정하게 유지해야 합니다. 학습 효율은 MFU(Model Flops Utilization)로 측정하고, GPU 구성과 온프렘·클라우드 SKU별 가격 대비 성능도 비교합니다.

개발 속도를 가늠하는 기준은 엔지니어가 정해진 기간에 실행할 수 있는 실험 수입니다. 최신 모델을 프로덕션에 적용하기까지 걸리는 시간을 줄이려면 이를 뒷받침할 성숙한 생태계도 필요합니다.

Kubernetes 경계를 넘는 Michelangelo Job Controller

클러스터 안의 자원 공유는 잘됐습니다. 문제는 클러스터 사이였습니다. GPU 확보 상황과 클러스터당 노드 수 제한 때문에 GPU가 여러 가용 영역과 리전의 Kubernetes 클러스터에 흩어져 있었는데, 클러스터 전체를 아우르는 스케줄링은 없었습니다. 정적으로 자원을 할당하다 보니 클러스터마다 활용도가 달랐고, ML 엔지니어도 인프라의 세부 사항을 알아야 했습니다.

우버는 Ray와 Apache Spark 배치 워크로드를 통합해 스케줄링하는 페더레이션 계층, Michelangelo Job Controller를 만들었습니다. 작업을 제출하는 창구를 하나로 모은 것입니다. 컨트롤러는 사용자에게 Kubernetes 클러스터를 감추고, 부하 인지·빈 패킹 정책과 컴퓨트·데이터 친화성을 고려해 작업을 배치합니다. 이 계층의 자세한 기술 내용은 후속 글에서 다루겠다고 예고했습니다.

DIMM 용량에 묶인 GPU 할당

GPU를 더 할당하려면 서버 메모리도 늘려야 했습니다. 새 워크로드가 GPU 워커마다 요구하는 시스템 메모리는 설계 당시의 예상을 넘어섰지만, 서버의 메모리 채널 수와 신제품 도입(NPI) 때 정한 DIMM 용량에는 한계가 있었습니다.

우버는 DIMM 채널당 용량을 16GB에서 32GB로 바꿔 서버 메모리를 두 배로 늘리는 작업을 시작했습니다. 폐기하는 랙의 DIMM을 재사용하는 체계도 만들고 있습니다. 증설에 따른 효율 개선 결과는 이후 글에서 소개할 예정입니다.

자원 요청량을 조정하는 작업도 진행했습니다. 사람이 학습 작업마다 적절한 자원량을 직접 정하기는 어렵기 때문에, 요청량을 알맞게 조정하는 과정을 자동화하면 할당 효율을 높일 수 있다고 봤습니다.

엘리펀트 플로까지 고려한 학습 네트워크

오픈소스 LLM의 미세 조정과 분산 학습에는 스케일업과 스케일아웃 양쪽의 대역폭이 필요했습니다. GPU 사이의 풀 메시 NVLink와 더 빠른 링크가 그 출발점입니다. 혼잡 제어와 QoS, 전용 랙·네트워크 토폴로지도 함께 고려해야 했습니다.

대역폭을 높이고 혼잡 제어를 개선한 LLM 사례 연구에서는 기존 인터커넥트보다 학습 속도가 거의 2배 빨라졌습니다. 학습 시간도 크게 줄었습니다.

여러 노드에서 학습하면 노드마다 데이터가 중복돼 로컬 메모리 수요와 IO 부담이 커집니다. 우버는 GPU 서버당 링크 용량을 25GB/s에서 100GB/s로 4배 높일 것을 권고했고, 이 증설로 학습 가능 용량을 두 배까지 늘릴 수 있다고 봤습니다. 앞선 사례에서 확인한 속도 개선과 달리, 이 수치는 증설에 따른 기대 효과입니다.

큰 학습 작업의 트래픽도 따로 다뤄야 합니다. 우버가 “엘리펀트 플로(Elephant Flows)”라고 부른 대규모 흐름을 QoS로 격리해, 우선순위가 높은 다른 서비스에 피해를 주지 않도록 해야 한다고 짚었습니다.

GPU 메모리 밖을 활용하는 DeepSpeed 실험

서버 메모리와 별개로 GPU 메모리도 학습의 한계였습니다. 우버는 옵티마이저 상태, 파라미터, 그래디언트를 GPU 메모리에서 CPU 메모리나 NVMe로 옮기는 메모리 오프로드를 검토했습니다. 이를 설계하고 실험할 틀을 만들고, GPU 확장성과 학습 효율, 시스템 지표가 어떻게 변하는지 살폈습니다.

DeepSpeed 메모리 오프로드 실험에서는 GPU 메모리가 부족해 학습하지 못하던 모델도 학습할 수 있게 됐습니다. 같은 GPU 수로 더 큰 배치를 쓰는 길도 열렸습니다. MFU는 2배가 됐고 GPU 사용량은 34% 줄었습니다.

그 대신 네트워크 처리량은 낮아졌습니다. GPU 메모리 제약을 풀었을 때 얻는 학습 효율과 다른 시스템 지표의 변화를 함께 평가한 실험이며, 자세한 내용은 OCP 컨퍼런스 발표에서도 소개됐습니다.

가격 대비 성능을 다시 잰 A10과 H100

새 인프라를 고를 때도 모델마다 요구하는 자원이 달랐습니다. XGBoost부터 딥러닝 추천 모델, LLM까지 하나의 시스템으로 모두 만족시키기는 어렵습니다. LLM에는 높은 TFlops가 필요하고, 딥러닝 모델은 메모리 한계에 부딪히기도 합니다. 우버는 SLA를 지키는 범위에서 서빙 비용과 달러당 성능을 기준으로 워크로드에 맞는 구성을 찾았습니다.

비교는 2022년 말부터 시작했습니다. 여러 클라우드 사업자의 CPU·GPU를 대상으로 트리 기반 모델부터 딥러닝과 LLM까지 시험했고, 우버의 데이터와 deepETA, deepCVR 같은 자체 모델도 포함했습니다. 학습과 서빙 각각에서 실행 가능성, 비용, 처리량, 지연 시간을 평가했습니다. 2023년에 시험한 구성은 GPU·CPU SKU 17종으로, TensorRT(TRT)와 TRT-LLM을 비롯한 여러 라이브러리·옵티마이저를 사용했습니다.

A10은 서빙에서 앞섰습니다. 학습에서는 비용 효율이 가장 좋은 GPU가 아니었지만, TRT를 쓴 서빙에서는 허용 가능한 SLA를 지키면서 가장 높은 처리량을 냈습니다. 그래서 우버는 A10을 서빙용 최적의 선택으로 봤습니다.

생성형 AI에는 다른 요구가 있었습니다. 우버의 생성형 AI 애플리케이션 상당수는 지연 시간 요건을 맞추려면 Nvidia H100이 필요합니다. H100은 A100보다 TFlops가 최대 4배이고 메모리 대역폭은 두 배입니다.

하드웨어를 고른 뒤에도 성능 차이는 남았습니다. 우버는 H100에서 Meta Llama2 계열 모델의 배치 크기, 양자화 방식, 파라미터 수를 바꿔 가며 프레임워크를 비교했습니다. 그중 FP16 조건에서 토큰당 지연 시간(ms/token)과 GPU당 초당 토큰 수를 측정한 사례에서는 비공개인 프레임워크 B가 TRT-LLM보다 지연 시간에서 2배, 처리량에서 6배 나은 결과를 냈습니다.

같은 H100에서도 소프트웨어 선택에 따라 결과가 크게 달라진 것입니다. 우버는 인프라 효율을 높이려면 스택 전 계층에서 하드웨어와 소프트웨어를 함께 설계해야 한다고 보고, 업계 파트너십과 오픈소스 최적화 협력도 요청했습니다.

원문의 주요 수치
항목값
ML 도입 시점2016년
클라우드 전환 발표2023년 2월
학습 의존 요소 가동률 목표99% SLA
네트워크 증설 권고GPU 서버당 링크 25GB/s에서 100GB/s (4배)
네트워크 개선 효과학습 속도 거의 2배
메모리 증설DIMM 채널당 16GB에서 32GB
2023년 시험한 SKU 수17종 (GPU·CPU)
H100 대비 A100TFlops 최대 4배, 메모리 대역폭 2배
프레임워크 B 대 TRT-LLM지연 시간 2배, 처리량 6배 (Llama2, FP16, H100)
메모리 오프로드 효과MFU 2배, GPU 사용량 34% 감소
마지막 수정 일자