본문으로 건너뛰기
고성능 GPU 클러스터의 통신 비용을 줄이는 데이터 경로
목차

고성능 GPU 클러스터의 통신 비용을 줄이는 데이터 경로 (2024-10)

원문 정보

  • 원문: 고성능 GPU 클러스터 도입기 #2: 이주하는 데이터
  • 매체 · 게시일: 토스 기술 블로그 · 2024-10-14
  • 저자: 김진웅 (토스증권 ML Engineer)
  • 시리즈 2편입니다. 1편(고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요)은 자체 LLM과 자체 GPU 클러스터가 왜 필요한지를 다뤘고, 이 글은 클러스터를 어떻게 구성하는지를 다룹니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

장비를 고르기 전에 확인할 워크로드

큰 LLM은 GPU 카드 하나에 담기지 않는 경우가 많습니다. 수십, 수백 개의 GPU를 묶어 학습과 추론을 나눠 처리하면 데이터도 그 사이를 끊임없이 오갑니다. 최신의 비싼 GPU를 갖추더라도 이 통신에 쓰는 시간이 전체 성능에 큰 영향을 줍니다.

통신량을 줄이는 알고리즘이나 다른 작업과 통신을 겹쳐 수행하는 방법도 연구되고 있습니다. 하드웨어의 뒷받침도 필요합니다. 장비가 받쳐 주지 않으면 이런 소프트웨어 기법을 효과적으로 적용하기 어렵거나 아예 적용하지 못하는 경우도 많기 때문입니다.

어디에 비용을 들일지는 워크로드를 먼저 측정한 뒤 정해야 합니다. 통신 비용은 모델의 종류와 크기, 학습 방법에 따라 달라지며, 모델이 커지고 학습 데이터가 많아지고 학습 시간이 길어질수록 늘어납니다. 클러스터 구축에는 비용과 시간이 많이 드는 만큼, 모니터링 시스템을 마련해 자기 워크로드에서 데이터가 어디로 얼마나 오가는지 파악하는 것이 출발점입니다.

서버 구매 때 정하는 NVLink와 NVSwitch

LLM 학습과 추론에서 가장 흔한 통신은 같은 서버 안의 GPU끼리 데이터를 주고받는 형태입니다. 기본 통로는 PCIe입니다. 하지만 PCIe에는 스토리지, 이더넷, 인피니밴드 같은 장비도 연결되므로 대역폭을 나눠 쓰는 것이 일반적입니다. 원문이 제시한 GPU 간 통신에 쓸 수 있는 대역폭은 최대 대역폭의 약 5~60%, PCIe 5세대 기준 약 50~60GB/s입니다.

NVLink는 NVIDIA가 GPU 간 통신만을 위해 만든 전용 장치입니다. 대역폭뿐 아니라 지연 시간도 개선합니다. PCIe 5세대의 지연 시간은 100~200ns로 알려져 있고, NVLink 4세대는 약 5~10ns로 10~40배 짧습니다. 많은 코어가 병렬로 처리하는 GPU에서는 지연 시간보다 대역폭이 훨씬 중요하며, NVIDIA도 NVLink의 대역폭을 계속 늘려 왔습니다.

GPU를 서로 연결하는 방식에 따라 쓸 수 있는 대역폭은 달라집니다. GPU 4대가 각각 링크 3개를 갖는다고 가정해 보겠습니다. 모든 GPU를 서로 잇는 all-to-all로 구성하려면 링크를 나머지 GPU에 하나씩 연결해야 합니다. GPU 하나의 링크를 모두 쓰면 양방향 150GB/s이지만, GPU 쌍마다 연결된 링크는 하나뿐이어서 둘 사이에서는 50GB/s만 쓸 수 있습니다.

NVSwitch는 이 링크들을 잇는 허브입니다. NVLink를 상대 GPU에 직접 연결하는 대신 모두 NVSwitch에 모으면, 어느 GPU와 통신하든 모든 링크를 활용해 최대 대역폭을 낼 수 있습니다.

이 구성은 서버 구매 때 정해야 합니다. NVLink는 칩셋에 내장되므로 이미 구축한 서버에 추가할 수 없고, NVSwitch도 처음 서버를 살 때 선택해야 하기 때문입니다. NVSwitch를 쓰는 구성은 서버 사양에 보통 SXM으로 표시됩니다. H100의 ‘H100 PCIe’와 ‘H100 SXM5’처럼 통신 방식이 명시되는 식입니다.

이미 PCIe로 구성한 환경에 추가할 수 있는 장치로는 NVLink bridge가 있습니다. GPU 두 장을 외부의 브릿지로 잇는 방식입니다. 다만 1대1 연결용이어서 여러 GPU를 엮는 용도로는 쓸 수 없습니다.

다섯 번의 복사를 줄이는 인피니밴드

H100으로 구성해도 서버 한 대로 LLM을 학습하지 못하는 경우가 많습니다. 결국 서버를 여러 대 연결해야 합니다. 이때 생기는 서버 간 GPU 통신은 CPU와 GPU 사이, 같은 서버 안의 GPU 사이 통신보다 비용이 큽니다. 데이터가 거쳐야 할 곳이 많기 때문입니다.

서버 A의 GPU에서 서버 B의 GPU로 데이터를 보낸다고 가정해 보겠습니다. 먼저 A의 GPU RAM에서 CPU RAM으로 복사하고, 다시 A의 NIC로 옮깁니다. 네트워크를 건너 B의 NIC에 도착한 데이터는 B의 CPU RAM을 거쳐 GPU RAM으로 이동합니다. 이 경로에서 발생하는 데이터 복사는 총 5회입니다.

이 비용을 줄일 때 가장 많이 사용하는 해법이 인피니밴드입니다. GPU RAM에서 PCIe 스위치를 거쳐 인피니밴드 카드(HCA)로 곧바로 보내고, 케이블로 상대 GPU 메모리까지 전달합니다. 복사는 1회로 줄어듭니다. 이더넷이나 PCIe보다 훨씬 높은 대역폭도 통신 시간을 크게 줄이는 데 기여합니다.

GPU 둘이 공유하는 HCA 한 장

인피니밴드를 구성할 때는 대역폭과 GPU당 HCA 수를 정해야 합니다. 예를 들어 8GPU 서버 2대에서 GPU마다 HCA를 하나씩 연결해 16개 GPU를 all-to-all로 잇는다면 카드도 총 16개가 필요합니다. 각 GPU에 대응하는 PCIe 스위치에 카드를 장착하고, 카드마다 케이블을 연결해 인피니밴드 네트워크 스위치로 모으는 구성입니다.

보통은 GPU 2개가 HCA 한 장을 공유하는 2:1 구성을 많이 씁니다. 인피니밴드를 도입하려는 서버는 이미 NVLink로 서버 안의 GPU가 all-to-all로 연결된 경우가 많고, 대부분 GPU 2개가 PCIe 스위치 하나를 공유하기 때문입니다. 4:1로 묶으면 GPU 2개는 다른 PCIe 스위치를 거쳐 통신해야 하므로 성능이 떨어질 수 있습니다.

케이블 대역폭에도 워크로드에 따른 판단이 들어갑니다. 저자는 경험상 200 Gbps(25 GB/s)만으로도 충분하다고 봅니다. 모델이 크고 통신이 많다면 400 Gbps를 권하며, 선택에 앞서 모니터링으로 자기 워크로드를 파악해야 한다고 강조합니다.

나중에 바꾸기 쉬운 부분도 서로 다릅니다. HCA는 추가 장착하거나 변경할 수 있지만, 케이블은 길이를 맞춰 재단하는 경우가 많아 처음 구축할 때 신중하게 설계해야 합니다. 이더넷도 성능이 높아졌지만 안정성과 확장성에서는 아직 인피니밴드가 더 낫다는 것이 저자의 판단입니다. 장비 선택은 각자의 상황과 업무 특성에 맞추도록 권합니다.

NVMe SSD로 넓히는 스토리지의 길목

서버 안팎의 연결과 별개로, GPU에 데이터를 들여오는 구간도 살펴야 합니다. CPU와 GPU 사이의 통신은 빈번하지 않아도 필수입니다. GPU는 대역폭이 높은 메모리와 많은 코어를 갖췄지만 메모리 용량은 상대적으로 작습니다. 원문에서 예로 든 H100은 GPU당 최대 80GB, 8장을 장착해도 640GB입니다. 보통 수 TB에 달하는 CPU 쪽 메모리보다 작아, GPU는 필요할 때마다 CPU에서 데이터를 가져옵니다.

데이터가 SATA3 스토리지에 있다면 PCIe를 거쳐 CPU 메모리로 올라간 뒤 다시 PCIe로 GPU 메모리에 옮겨집니다. 여기서 도로의 폭이 달라집니다. 데이터를 자동차에 비유하면 대역폭은 도로의 폭인데, SATA3와 PCIe의 대역폭은 단순 계산으로 약 106배 차이가 납니다. 좁은 스토리지 구간에서 교통체증이 생기는 이유입니다.

60GB를 옮기는 예를 보면 기다리는 시간이 드러납니다. SATA3에서 GPU로 보내는 데 걸리는 시간은 60GB / (600 MB/s)로, 이론상 약 100초입니다. 실제로는 더 오래 걸립니다.

NVMe SSD는 PCIe에 직접 연결해 이 스토리지 병목을 크게 줄입니다. 레인 4개만 사용해도 충분히 높은 성능을 보이며, 16개를 모두 쓰면 64GB/s까지 높일 수 있습니다. 인피니밴드로 네트워크 스토리지를 GPU에 바로 연결하는 방법도 있지만, 저자는 비용이 많이 들어 일반적으로 권하지 않습니다.

NVMe SSD는 비교적 합리적인 가격으로 적용할 수 있는 선택입니다. 서버를 이미 구축했어도 도입할 수 있습니다. 메인보드의 PCIe 컨트롤러가 NVMe와 호환된다면 기존 클러스터에도 바로 구성할 수 있다는 점이 NVLink·NVSwitch와 다른 조건입니다.

원문에 제시된 수치와 구성 조건
항목값
H100 GPU 메모리GPU당 최대 80GB, 8장 서버 640GB
SATA3 대 PCIe단순 계산으로 약 106배 차이
SATA3로 60GB 이동이론상 약 100초 (600 MB/s 기준)
NVMe SSD레인 16개 사용 시 최대 64GB/s, 4개만 써도 충분
PCIe로 GPU 간 통신최대 대역폭의 약 5~60%(원문 표기), 5세대 기준 약 50~60GB/s
지연 시간PCIe 5세대 100~200ns, NVLink 4세대 약 5~10ns
all-to-all 예시(GPU 4대, 링크 3개)150GB/s(양방향) 대신 50GB/s
서버 간 통신 복사 횟수5회 (인피니밴드는 1회)
인피니밴드 구성2:1 권장 사례, 케이블 200 Gbps(25 GB/s) 또는 400 Gbps
마지막 수정 일자