목차
작은 모델에 맞춰 H100을 나누는 토스증권의 MIG 운영 (2025-07)
원문 정보
- 원문: GPU를 밀도 있게 쓰는 방법 - 토스증권의 GPU 가상화(MIG) 도입기
- 매체 · 게시일: 토스 기술 블로그 · 2025-07-10
- 저자: 김진웅
- 원문은 “이전 포스트"에서 고성능 GPU 클러스터 구축을 다뤘다고 하고, 실제 적용 사례와 성능 실험은 분량 때문에 빠졌으며 후속 글에서 소개하겠다고 합니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
작은 모델에 남아도는 GPU 메모리
토스증권이 워크로드를 분석했을 때, 전체의 약 1/3은 GPU 자원을 1/4도 쓰지 않고 있었습니다. 다양한 서비스를 빠르게 출시하고 계속 테스트하는 환경에서 확인한 수치입니다. 서비스 개발 주기나 비즈니스 상황에 따라 이 비율은 달라질 수 있습니다.
모델이 작아도 속도는 필요합니다. LLM 학습이나 파인튜닝에는 고성능 GPU 클러스터가 필수지만, 간단한 실험과 PoC에는 작은 모델로도 충분하며 서비스 운영에서도 작은 모델을 쓰는 일이 흔합니다. 실시간 번역이 그런 예입니다. 빠르게 응답하려고 처음부터 작은 모델을 학습하거나, 이미 훈련한 모델을 양자화해 크기를 줄입니다. 이런 모델을 H100에 배치하면 메모리는 남는데, 응답 속도 때문에 빠른 GPU를 포기하기도 어렵습니다. 여기서 고성능은 높은 GPU 클럭을, 고용량은 큰 GPU 메모리를 뜻합니다.
남는 자원을 비용으로 환산하면 규모가 더 선명해집니다. 원문이 든 AWS 대여 비용 예시에서 H100 한 장은 환율 1300원 기준 하루 약 38만 원입니다. 이를 1/4만 사용한다고 가정하면 하루 약 28만 원, 30일 기준 월 약 855만 원이 낭비됩니다. GPU가 8장인 서버 한 대라면 단순 계산으로 월 6,840만 원입니다. 토스증권의 실제 지출액을 계산한 수치는 아닙니다.
저자는 GPU 클러스터 운영을 식당 운영에 빗댑니다. 식당이 빈 테이블을 줄여 더 많은 손님을 받듯, GPU에도 태스크를 효율적으로 배치해 낭비를 줄이려는 접근입니다. 그러려면 각 태스크에 맞는 크기의 GPU 자원을 제공해야 합니다.
단일 아키텍처를 지키기 위한 MIG
토스증권 머신러닝 플랫폼팀은 GPU 가상화인 MIG를 선택했습니다. 작은 모델과 큰 모델을 같은 환경에서 실행해야 프레임워크나 라이브러리 호환성 문제 없이 빠르게 실험하고 배포할 수 있었기 때문입니다. 실시간 서비스의 추론 속도도 고려했습니다. GPU를 섞어 쓰면서 응답 속도 편차가 커지는 상황을 피하고, 크기와 형태가 계속 바뀌는 워크로드에 맞춰 자원을 유연하게 나눌 수 있어야 했습니다.
클라우드도 선택지였습니다. 초기 투자 없이 필요할 때 자원을 받아 쓰므로 PoC나 일시적인 고부하 테스트에 잘 맞습니다. 하지만 지속적인 워크로드를 처리하거나 이미 자체 클러스터가 있다면 비용이 더 들 수 있습니다. 인스턴스를 정밀하게 제어하기 어렵고, 지역에 따라 원하는 GPU를 확보하지 못하는 문제도 있습니다. 금융·헬스케어처럼 엄격한 컴플라이언스 요건이 있는 환경에서는 민감 데이터 때문에 사용이 제한되거나 별도 보안 설계가 필요할 수 있어, 온프레미스가 정책 면에서도 유리할 수 있습니다.
메모리 용량이 다른 GPU를 섞으면 작업에 맞는 장비를 배정할 수 있습니다. 경량 모델에는 저용량 GPU를, 대규모 학습이나 배치 추론에는 고용량 GPU를 주는 방식입니다. 운영 부담은 커집니다. Hopper 세대에는 저용량 GPU가 없어 L40이나 A40 같은 이전 세대를 함께 써야 하고, 드라이버·CUDA 버전·프레임워크 호환성과 스케줄링 정책까지 세밀하게 관리해야 합니다. 이후 수요가 고용량 GPU에 몰리면 비용을 아끼려고 도입한 저용량 GPU가 유휴 자원으로 남을 위험도 있습니다.
토스증권에는 MIG를 쓸 기반이 있었습니다. 클러스터 대부분을 H100/H200으로 구성하고 있었습니다. MIG(Multi-Instance GPU)는 하드웨어 기반으로 GPU 한 장을 최대 7개의 독립 인스턴스로 나누며, 각 인스턴스에 L2 캐시와 메모리 대역폭, 컴퓨팅 자원을 따로 배정합니다. 같은 GPU 환경을 유지하면서도 작은 작업에 자원을 세분화해 줄 수 있는 방식입니다.
소프트웨어로 여러 프로세스가 GPU를 공유하는 MPS도 있지만, 자원 격리가 어렵고 성능 간섭이 생길 수 있습니다. 프로세스별 사용량을 모니터링하고 제어하는 부담까지 고려했을 때, 토스증권에는 하드웨어 수준에서 격리하는 MIG가 더 단순하고 안정적인 선택이었습니다. 물론 MIG도 A100, H100 같은 최신 세대 GPU에서만 지원되고 분할과 관리에 드는 부담이 있습니다. 최대로 나누면 일부 코어가 비활성화되어 작업에 따라 성능이 떨어질 수 있고, NVLink 연결에도 제약이 생깁니다.
활성화만으로 끝나지 않는 GPU 설정
MIG를 켜는 일과 연산 가능한 인스턴스를 만드는 일은 별개입니다. GPU에서 MIG 모드를 활성화한 뒤 GPU 인스턴스인 GI와 컴퓨트 인스턴스인 CI까지 만들어야 합니다. 장비에 직접 접속해 쓰는 환경이라면 이 GPU 설정까지 마치면 됩니다.
시작점은 nvidia-smi의 MIG M. 항목입니다. Disabled는 MIG가 꺼져 있다는 뜻이고, N/A는 해당 GPU가 MIG를 지원하지 않는다는 뜻입니다. 활성화에는 root 권한이 필요하며, -i 옵션으로 GPU를 개별 지정할 수 있어 모든 GPU에 MIG를 켤 필요는 없습니다. Hopper 세대부터는 대부분 활성화 뒤 GPU 리셋도 필요하지 않습니다. 설정을 마치면 MIG 상태가 Enabled로 바뀝니다.
GPU 간 연결은 달라집니다. MIG를 활성화한 GPU는 다른 GPU와의 NVLink 연결이 끊기고 SYS(PCIe 기반)로 바뀝니다. MIG가 주로 쓰이는 상황은 한 GPU를 온전히 사용하지 않는 작은 작업이므로, 여러 GPU 사이의 통신이 필요한 경우는 드뭅니다. 그래도 NVLink 연결이 유지되는 구성은 아닙니다.
다음은 물리 GPU를 논리적으로 나눈 GI를 생성할 차례입니다. 프로파일은 Ng.Mgb 형식으로 표시하며, N은 SM 단위, M은 GB 단위의 메모리 크기입니다. SM은 CUDA 연산이 수행되는 단위입니다. H100에서 1g.10gb는 GPU를 7등분한 하나로, 메모리 10GB와 전체 SM의 1/7을 제공합니다.
프로파일을 섞어 구성할 수도 있습니다. 예를 들어 -cgi 9 -i 0은 0번 GPU에 프로파일 ID 9인 3g.40gb를 생성합니다. 3g.40gb는 최대 2개, 4g.40gb는 최대 1개를 만들 수 있으며, 3g.40gb와 4g.40gb를 함께 배치하는 조합도 가능합니다. 인스턴스 생성 순서에 따라 남는 자원이 달라집니다. 흔히 쓰는 구성은 1g.10gb 7개로 나누거나 3g.40gb와 4g.40gb를 조합하는 방식이며, 어느 쪽이 적합한지는 워크로드 요구사항에 달려 있습니다.
GI만으로는 연산을 시작할 수 없습니다. 그 위에 실제 연산의 실행 단위인 CI를 만들어야 합니다. 하나의 GI에 여러 CI를 구성할 수도 있지만, 실무에서는 대부분 GI와 CI를 1:1로 만듭니다. 더 세분화하면 구성이 복잡해지고 활용 빈도도 낮기 때문입니다. -C 옵션을 쓰면 GI와 CI를 한 번에 생성할 수 있으며, 생성 결과는 nvidia-smi -L로 확인합니다.
MIG는 GPU당 한 번 활성화하고, 인스턴스 구성은 워크로드에 맞춰 바꿀 수 있습니다. 실행 중인 프로세스가 있을 때는 예외입니다. 이 상태에서 인스턴스를 삭제하거나 다시 만들려고 하면 에러가 발생하므로, 작업 전에 구성을 계획해야 합니다.
나눈 자원을 Kubernetes에 알리는 플러그인
GPU에서 분할을 마쳐도 Kubernetes가 곧바로 새 자원을 인식하지는 않습니다. GPU를 Kubernetes 리소스로 노출하는 nvidia-device-plugin에 MIG_STRATEGY를 설정하고 재배포해야 합니다. 이 과정을 빠뜨리면 노드에는 여전히 GPU가 nvidia.com/gpu 하나로 보입니다.
MIG_STRATEGY | 인식 방식과 사용 조건 |
|---|---|
none | MIG 비활성 상태. GPU 전체를 하나로 인식 |
single | 같은 유형의 MIG 인스턴스를 사용할 때 각각을 nvidia.com/gpu: 1로 인식. 기존 스케줄링 방식 유지 |
mixed | 서로 다른 유형의 MIG 인스턴스를 함께 사용. nvidia.com/mig-로 시작하는 개별 리소스로 노출 |
대부분의 MIG 환경에서는 인스턴스를 개별 리소스로 인식하고 여러 유형을 스케줄링하기 위해 mixed 전략이 필요합니다. 이후 분할 구성을 바꾸면 플러그인이 자동으로 반영하지는 않습니다. 이때는 설정을 다시 배포할 필요 없이 nvidia-device-plugin 파드를 재시작하면 새 구성을 인식합니다.
자원을 요청하는 방식은 익숙합니다. 기존에 nvidia.com/gpu: 1을 쓰던 자리에 nvidia.com/mig-1g.10gb: 1처럼 원하는 인스턴스 스펙을 지정하면 됩니다. 사용자가 이 값을 직접 입력하면서 혼동하거나 실수할 수 있어, 토스증권은 GUI에서 원하는 인스턴스를 선택하도록 구성했습니다.
인스턴스별 사용률을 보여 주는 dcgm-exporter
MIG를 켠 뒤 nvidia-smi를 보면 GPU Util.이 N/A로 나타납니다. GPU 전체를 하나의 값으로 표시하던 기준이 더 이상 맞지 않기 때문입니다. GPU 한 장이 독립된 여러 인스턴스로 나뉘었으므로 연산 부하도 인스턴스별로 봐야 합니다.
메모리 사용량은 계속 확인됩니다. 인스턴스마다 메모리가 고정 할당되어 사용 중 / 총 할당 형태로 표시됩니다. GPU Util은 100%를 넘어도 성능이 일시적으로 떨어질 수 있는 수준이지만, 메모리가 한도를 넘으면 OOM으로 작업이 즉시 중단됩니다. 메모리 한도를 지키면서 연산 자원을 최대한 활용하는 것이 운영의 목표입니다.
연산 사용률은 dcgm-exporter로 확인합니다. NVIDIA가 제공하는 이 Prometheus Exporter도 기본 설정에서는 GPU 단위 지표만 수집하므로, MIG 인스턴스를 인식하고 지표를 나눠 수집하도록 설정을 바꿔 재배포해야 합니다.
재배포 뒤에는 DCGM_FI_DEV_GPU_UTIL 대신 DCGM_FI_PROF_SM_ACTIVE를 수집합니다. 이 지표는 인스턴스별 SM 사용률을 0~100으로 나타냅니다. GPU 0번을 인스턴스 둘로 나눴다면 gpu_instance ID로 구분된 각각의 연산 부하가 Prometheus에 표시됩니다.
메모리 지표 이름은 유지됩니다. DCGM_FI_DEV_FB_USED, DCGM_FI_DEV_FB_FREE, DCGM_FI_DEV_FB_TOTAL을 쓰되, 값은 MIG 인스턴스별로 나뉩니다. 이 지표들로 Grafana 대시보드를 구성하면 분할한 GPU에서도 기존과 같은 수준으로 사용 상태를 모니터링할 수 있습니다.
비용 계산과 GPU 사양 수치
| 항목 | 값 |
|---|---|
| 낭비 워크로드 비율 | 전체의 약 1/3이 GPU 자원의 1/4도 미사용 |
| H100 하루 대여 비용 (AWS, 환율 1300원) | 약 38만 원 |
| 1/4만 활용할 때 | 하루 약 28만 원, 월 약 855만 원 손실 |
| 8장 서버 1대 | 월 약 6,840만 원 손실(단순 계산) |
| MIG 최대 분할 | 7개 인스턴스 |
| SM 수 | A40 84, A100 108, H100 132 (SM당 FP32 코어 64) |
MIG_STRATEGY | none, single, mixed |
| MIG 환경 모니터링 지표 | DCGM_FI_PROF_SM_ACTIVE, DCGM_FI_DEV_FB_USED, DCGM_FI_DEV_FB_FREE, DCGM_FI_DEV_FB_TOTAL |