https://docs.makgol.com/kubernetes/gpu/Recent content in GPU 클러스터 on makgol's noteHugo -- gohugo.ioko-KR© 2026 MontWed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/01-node-topology/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/01-node-topology/ <h1>01 · GPU 조합이 성능을 바꾸는 조건</h1><h2>같은 네 장이어도 연결은 다를 수 있습니다<span class="hx:absolute hx:-mt-20" id="1-gpu-수만으로는-통신-조건이-정해지지-않는다"></span> <a href="#1-gpu-%ec%88%98%eb%a7%8c%ec%9c%bc%eb%a1%9c%eb%8a%94-%ed%86%b5%ec%8b%a0-%ec%a1%b0%ea%b1%b4%ec%9d%b4-%ec%a0%95%ed%95%b4%ec%a7%80%ec%a7%80-%ec%95%8a%eb%8a%94%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>파드에 <code>nvidia.com/gpu: 4</code>를 요청하면 GPU 네 장을 받습니다. 이 요청에는 어느 GPU끼리 연결돼 있어야 하는지까지 담겨 있지 않습니다. 노드 안의 GPU 쌍이 모두 같은 경로로 통신한다면 선택에 따른 차이는 작겠지만, PCIe 스위치나 CPU 소켓을 건너야 하는 쌍이 섞여 있다면 조합에 따라 지연과 대역폭이 달라질 수 있습니다.</p>https://docs.makgol.com/kubernetes/gpu/02-allocation-device-plugin/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/02-allocation-device-plugin/ <h1>02 · 요청한 GPU는 누가 골라 주는가</h1><h2>노드 선택과 GPU 선택은 다른 단계입니다<span class="hx:absolute hx:-mt-20" id="1-개수를-요청한-뒤에도-장치-선택은-남는다"></span> <a href="#1-%ea%b0%9c%ec%88%98%eb%a5%bc-%ec%9a%94%ec%b2%ad%ed%95%9c-%eb%92%a4%ec%97%90%eb%8f%84-%ec%9e%a5%ec%b9%98-%ec%84%a0%ed%83%9d%ec%9d%80-%eb%82%a8%eb%8a%94%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p><code>nvidia.com/gpu: 4</code>는 GPU 네 장을 요청하는 문법입니다. NVLink로 이어진 네 장을 지정하는 문법은 아닙니다. <a href="https://docs.makgol.com/kubernetes/gpu/01-node-topology/">01편</a>의 PCIe 서버처럼 GPU 쌍마다 연결 경로가 다르다면, 개수를 충족한 뒤에도 어느 조합을 줄지 결정해야 합니다.</p>https://docs.makgol.com/kubernetes/gpu/03-allocation-dra/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/03-allocation-dra/ <h1>03 · GPU 할당에 DRA가 필요한 때</h1><p>GPU를 개수로 요청해 쓰고 있다면 DRA(Dynamic Resource Allocation)가 GA(정식 제공)가 됐다는 이유만으로 할당 방식을 옮길 필요는 없습니다. 2026-10-21에 확인한 설치 문서와 운영 예시에서는 device plugin과 GPU Operator가 여전히 기본 경로입니다. 장치의 메모리·모델·위치까지 선택해야 하거나, GB200처럼 NVLink가 노드를 넘어 연결되는 환경에서는 DRA가 맡는 일이 달라집니다.</p>https://docs.makgol.com/kubernetes/gpu/04-scheduling-labels-kueue/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/04-scheduling-labels-kueue/ <h1>04 · 학습 잡을 가까운 노드에 모으려면</h1><h2>노드 사이에서 어떤 경계를 넘는지가 중요합니다<span class="hx:absolute hx:-mt-20" id="1-학습-잡이-흩어질-때-생기는-비용"></span> <a href="#1-%ed%95%99%ec%8a%b5-%ec%9e%a1%ec%9d%b4-%ed%9d%a9%ec%96%b4%ec%a7%88-%eb%95%8c-%ec%83%9d%ea%b8%b0%eb%8a%94-%eb%b9%84%ec%9a%a9" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>분산 학습 잡이 GPU를 충분히 확보했어도 파드들이 혼잡한 링크를 사이에 두고 흩어지면 성능이 떨어질 수 있습니다. <a href="https://docs.makgol.com/kubernetes/gpu/01-node-topology/">01편</a>의 노드 안 NVLink·PCIe 경로와 <a href="https://docs.makgol.com/kubernetes/gpu/02-allocation-device-plugin/">02편</a>·<a href="https://docs.makgol.com/kubernetes/gpu/03-allocation-dra/">03편</a>의 GPU 할당을 확인한 뒤에는, 한 잡의 파드들이 노드 사이에서 어느 네트워크 경계를 넘는지 살펴야 합니다.</p>https://docs.makgol.com/kubernetes/gpu/05-scheduling-volcano-kai-slurm/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/05-scheduling-volcano-kai-slurm/ <h1>05 · 노드 간 스케줄링 2부 — Volcano·KAI·Slurm 비교</h1><h2>1. 배치 요구와 토폴로지 정보의 공급자를 정한다<span class="hx:absolute hx:-mt-20" id="1-스케줄러보다-먼저-정할-것"></span> <a href="#1-%ec%8a%a4%ec%bc%80%ec%a4%84%eb%9f%ac%eb%b3%b4%eb%8b%a4-%eb%a8%bc%ec%a0%80-%ec%a0%95%ed%95%a0-%ea%b2%83" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>여러 노드의 GPU를 가까이 배치하려면 스케줄러에 물리적 위치를 알려 주어야 합니다. 클라우드의 CCM(클라우드 컨트롤러 매니저)이 라벨을 붙일지, Topograph가 정보를 수집할지, Volcano의 자동 발견을 쓸지부터 정해야 합니다. <a href="https://docs.makgol.com/kubernetes/gpu/04-scheduling-labels-kueue/">04편</a>에서는 노드 라벨로 토폴로지를 알리고 Kueue TAS(토폴로지 인지 스케줄링)에 연결했습니다. 여기서는 그 정보를 다른 스케줄러가 어떻게 배치 규칙으로 바꾸는지 비교합니다.</p>https://docs.makgol.com/kubernetes/gpu/06-gpudirect-rdma-basics/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/06-gpudirect-rdma-basics/ <h1>06 · GPUDirect RDMA 1부 — 파드의 NIC이 GPU 메모리에 닿는 조건과 준비</h1><h2>1. GPU에서 NIC까지의 경로를 확인한다<span class="hx:absolute hx:-mt-20" id="1-gpu-할당-뒤에-남는-통신-경로"></span> <a href="#1-gpu-%ed%95%a0%eb%8b%b9-%eb%92%a4%ec%97%90-%eb%82%a8%eb%8a%94-%ed%86%b5%ec%8b%a0-%ea%b2%bd%eb%a1%9c" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>GPU를 할당받은 파드가 노드 밖으로 데이터를 보내려면 NIC(네트워크 인터페이스 카드)까지 데이터를 전달해야 합니다. 일반 경로에서는 GPU 메모리의 데이터를 호스트의 고정 메모리로 복사하고 NIC이 그 버퍼를 읽습니다. GPUDirect RDMA는 NIC이 GPU 메모리를 직접 읽고 쓰게 하는 PCIe 기능입니다. 파드가 GPU를 할당받는 것만으로 이 직접 경로까지 준비되지는 않습니다. 장치 할당의 일반 원리는 <a href="https://docs.makgol.com/kubernetes/gpu/03-allocation-dra/">03편</a>에서 다뤘습니다.</p>https://docs.makgol.com/kubernetes/gpu/07-gpudirect-rdma-operations/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/07-gpudirect-rdma-operations/ <h1>07 · GPUDirect RDMA가 실제로 쓰이는지 확인하고 클라우드별 차이를 읽기</h1><h2>1. NCCL 채널 로그에서 직접 전송을 확인한다<span class="hx:absolute hx:-mt-20" id="1-nccl-채널-로그에서-직접-전송을-확인한다"></span> <a href="#1-nccl-%ec%b1%84%eb%84%90-%eb%a1%9c%ea%b7%b8%ec%97%90%ec%84%9c-%ec%a7%81%ec%a0%91-%ec%a0%84%ec%86%a1%ec%9d%84-%ed%99%95%ec%9d%b8%ed%95%9c%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p><a href="https://docs.makgol.com/kubernetes/gpu/06-gpudirect-rdma-basics/">06편</a>의 호스트와 파드 구성을 마쳤어도 통신이 호스트 메모리를 경유할 수 있습니다. NIC(네트워크 인터페이스 카드)이 GPU 메모리에 직접 접근할 수 있도록 준비하는 일과 NCCL(GPU 간 통신 라이브러리)이 그 경로를 사용하는 일은 구분해야 합니다. 실제 선택은 <code>NCCL_DEBUG=INFO</code>의 채널 연결 로그에서 확인합니다.</p>https://docs.makgol.com/kubernetes/gpu/08-storage-gds-nvmeof/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/08-storage-gds-nvmeof/ <h1>08 · 스토리지 — GDS와 NVMe-oF의 CPU 우회 범위</h1><h2>1. GDS가 줄이는 복사와 CPU에 남는 일<span class="hx:absolute hx:-mt-20" id="1-복사를-줄여도-요청-처리는-cpu에-남는다"></span> <a href="#1-%eb%b3%b5%ec%82%ac%eb%a5%bc-%ec%a4%84%ec%97%ac%eb%8f%84-%ec%9a%94%ec%b2%ad-%ec%b2%98%eb%a6%ac%eb%8a%94-cpu%ec%97%90-%eb%82%a8%eb%8a%94%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>스토리지의 데이터를 GPU로 읽는 일반 경로에서는 CPU 시스템 메모리에 바운스 버퍼를 두고, 여기에 받은 데이터를 GPU 메모리로 다시 복사합니다. NVIDIA GDS 개요 가이드는 이 중간 복사가 지연을 늘리고 유효 대역폭을 낮춘다고 설명합니다.</p>https://docs.makgol.com/kubernetes/gpu/09-storage-reality/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/09-storage-reality/ <h1>09 · 스토리지 — 학습·추론의 GDS 활용과 패브릭 분리</h1><h2>1. GDS를 켜기 전에 애플리케이션의 I/O를 본다<span class="hx:absolute hx:-mt-20" id="1-gds를-검토할-자리는-애플리케이션이-정한다"></span> <a href="#1-gds%eb%a5%bc-%ea%b2%80%ed%86%a0%ed%95%a0-%ec%9e%90%eb%a6%ac%eb%8a%94-%ec%95%a0%ed%94%8c%eb%a6%ac%ec%bc%80%ec%9d%b4%ec%85%98%ec%9d%b4-%ec%a0%95%ed%95%9c%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>노드가 GDS(GPUDirect Storage)를 지원해도 학습 프레임워크가 데이터를 CPU 메모리에 받아 처리한다면 GPU로 바로 읽는 경로를 쓰지 않습니다. <a href="https://docs.makgol.com/kubernetes/gpu/08-storage-gds-nvmeof/">08편</a>의 드라이버·파일시스템 조건을 갖춘 뒤에는 데이터셋 리더, 체크포인트 writer, 추론 로더와 KV 캐시가 각각 어떤 API와 메모리를 사용하는지 확인해야 합니다.</p>https://docs.makgol.com/kubernetes/gpu/10-provider-fabric-config/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/10-provider-fabric-config/ <h1>10 · 제공자가 GPU 파드보다 먼저 맞추는 NVLink·패브릭 설정</h1><h2>1. GPU 세대에 맞춰 Fabric Manager를 구성한다<span class="hx:absolute hx:-mt-20" id="2-fm은-gpu-세대와-장애-정책에-맞춰-구성한다"></span> <a href="#2-fm%ec%9d%80-gpu-%ec%84%b8%eb%8c%80%ec%99%80-%ec%9e%a5%ec%95%a0-%ec%a0%95%ec%b1%85%ec%97%90-%eb%a7%9e%ec%b6%b0-%ea%b5%ac%ec%84%b1%ed%95%9c%eb%8b%a4" class="subheading-anchor" aria-label="이 섹션에 대한 고유 링크"></a></h2><p>GPU 파드가 NVLink를 사용하려면 제공자가 먼저 노드의 패브릭을 구성해야 합니다. NVSwitch 노드에서는 Fabric Manager(FM)가, NVL72에서는 랙의 NMX와 컴퓨트 트레이의 IMEX가 각각 맡는 일이 있습니다. 그 상태를 확인한 뒤 노드 간 InfiniBand·RoCE 연결과 혼잡 제어를 맞추는 순서로 살펴봅니다.</p>https://docs.makgol.com/kubernetes/gpu/11-provider-validation-tenancy/Wed, 21 Oct 2026 00:00:00 +0900https://docs.makgol.com/kubernetes/gpu/11-provider-validation-tenancy/ <h1>11 · GPU 클러스터를 사용자에게 내주기 위한 조건</h1><p><a href="https://docs.makgol.com/kubernetes/gpu/10-provider-fabric-config/">10편</a>에서 FM·IMEX와 노드 간 패브릭을 구성했다면, 이제 사용자에게 제공할 범위를 정하고 그 구성으로 검증해야 합니다. 배선과 토폴로지 정보를 Kubernetes에 전달하고, 테넌트 경계와 NCCL 경로를 맞춘 뒤, 하드웨어별 합격선을 측정합니다. 운영 중에는 관측 결과가 어느 조건에서 격리로 이어질지도 정해야 합니다.</p>