목차
H100에서 LLM 가중치를 무손실로 압축하는 Unweight (2026-04)
원문 정보
- 원문: Unweight: how we compressed an LLM 22% without sacrificing quality
- 매체 · 게시일: The Cloudflare Blog · 2026-04-17
- 저자: Mari Galicer, Ivan Nikulin, Chris Branch
- 원문 내용을 바탕으로 재구성한 요약입니다.
가중치를 기다리는 H100의 텐서 코어
Cloudflare는 인터넷에 연결된 전 세계 인구의 95%와 50ms 이내인 곳에서 추론을 실행합니다. 그만큼 여러 곳에 모델을 배치하려면 GPU 메모리를 아껴 써야 합니다. 지난해에는 Rust 기반 추론 엔진 Infire로 메모리 활용을 개선하고, 모델 스케줄링 플랫폼 Omni로 콜드 스타트를 없앴습니다. 그다음 대상으로 잡은 것이 모델 가중치입니다.
LLM이 토큰 하나를 생성할 때마다 가중치를 GPU 메모리에서 읽어야 합니다. H100의 텐서 코어는 메모리가 데이터를 공급하는 속도보다 거의 600배 빠르게 처리하지만, 데이터가 도착하기 전에는 기다릴 수밖에 없습니다. 병목은 메모리 버스입니다. Unweight는 가중치를 무손실로 압축해 이 버스를 지나는 바이트 수를 줄이려는 시도입니다.
가중치를 줄이는 가장 흔한 방법은 양자화입니다. 32비트나 16비트 부동소수점 수를 8비트나 4비트 정수로 바꾸면 크기는 작아지지만, 서로 다른 값이 같은 값으로 합쳐지면서 정보를 잃습니다. 응답 품질에 미치는 영향도 예측하기 어렵습니다. 다양한 용도로 쓰이는 production 추론을 운영하는 Cloudflare는 모델 동작을 정확히 보존하는 방식을 원했습니다.
기존 무손실 압축 연구도 그대로 가져올 수는 없었습니다. ZipNN은 CPU에서 복원하는 배포·저장용 압축이고, Huff-LLM은 전용 FPGA 디코딩 하드웨어를 제안합니다. ZipServ는 복원과 GPU 추론을 결합했지만 소비자용 GPU를 대상으로 합니다. Cloudflare에 필요한 것은 H100에서 추론 중 가중치를 복원하고, Rust 기반 추론 엔진과도 통합할 수 있는 방식이었습니다.
메모리 절감에 따라붙는 추론 비용
Unweight로 확보한 공간은 압축 구성에 따라 달랐습니다. Llama 3.1 8B에서 MLP의 gate·up projection만 압축한 추론용 묶음은 전체 모델 메모리를 약 13% 줄였습니다. down projection까지 포함한 배포용 묶음은 약 22% 작아졌습니다. 어느 쪽이든 복원한 값은 원래 값과 비트 단위까지 같습니다.
복원에는 계산이 듭니다. H100 SXM5에서 종단 간으로 측정한 현재 구현의 처리량 오버헤드는 약 30~40%이며, 배치 1에서는 약 41%, 배치 1024에서는 약 30%였습니다. 배치가 커지면 복원을 계산과 겹칠 여유가 늘어 부담이 줄지만, 아직은 메모리를 절약하는 데 실행 비용이 따릅니다. Cloudflare가 얻는 이점은 인스턴스마다 필요한 GPU 메모리를 줄여 더 많은 곳에 더 많은 모델을 배치할 수 있다는 데 있습니다.
소수의 값에 몰린 BF16 지수
압축할 여지는 가중치의 지수에 있었습니다. BF16은 부호 1비트, 지수 8비트, 가수 7비트로 이루어집니다. 부호와 가수는 무작위 데이터처럼 변해서 의미 있게 압축하기 어렵지만, 지수는 가능한 256개 값 가운데 일부에 몰립니다. 일반적인 층에서는 상위 16개 지수가 가중치의 99% 이상을 차지하며, 이 분포를 표현하는 데 필요한 정보량은 약 2.6비트입니다.
Unweight는 부호와 가수를 그대로 두고 지수 바이트만 Huffman 부호화합니다. 자주 나타나는 지수에는 짧은 코드를, 드문 지수에는 긴 코드를 부여하는 방식입니다. 적용 대상은 모델 파라미터의 대략 3분의 2를 차지하고 토큰 생성 중 메모리 트래픽의 큰 부분을 만드는 MLP의 gate·up·down projection입니다. Attention 가중치, embedding, layer norm은 압축하지 않습니다.
드문 지수 때문에 복원 경로가 복잡해지는 일도 피했습니다. 가중치 64개로 이루어진 행에 상위 16개 팔레트 밖의 지수가 하나라도 있으면 행 전체를 원형 그대로 저장합니다. 가중치를 하나씩 읽을 때마다 예외인지 검사하는 대신, 행 단위로 미리 결정해 자주 실행되는 경로의 분기를 없앱니다.
cuBLAS와 온칩 복원 사이의 실행 경로
압축률만 높아서는 부족합니다. 가중치를 보관하는 고대역폭 메모리 HBM에 전체 행렬을 복원한 뒤 일반 행렬 곱셈을 실행하면, 계산할 때 원래 크기의 행렬을 다시 읽어야 합니다. 저장 공간은 아껴도 대역폭 문제는 남는 이유입니다.
Unweight의 다른 선택지는 칩 안의 작고 빠른 shared memory(SMEM)에서 BF16을 재구성해 텐서 코어에 바로 전달하는 방식입니다. 복원한 가중치를 HBM에 쓰고 다시 읽는 왕복을 생략합니다. 대신 행렬 곱셈 커널이 복원 작업까지 맡아야 하므로, 전처리를 얼마나 줄일지가 실행 경로마다 다릅니다.
| 실행 경로 | 실행 중 전처리 | 행렬 곱셈 |
|---|---|---|
| 전체 Huffman 복원 | BF16 가중치 전체 복원 | cuBLAS로 원래 BF16 계산 |
| 지수 전용 복원 | 지수 바이트만 복원해 전처리 트래픽을 절반으로 축소 | shared memory에서 BF16을 재구성하며 계산 |
| 실행 중 팔레트 변환 | 4비트 팔레트 인덱스로 변환해 전처리 트래픽을 4분의 1로 축소 | 팔레트 인덱스에서 BF16을 재구성하며 계산 |
| 직접 팔레트 사용 | 모델을 불러올 때 미리 변환해 실행 중 전처리 생략 | 팔레트 인덱스에서 BF16을 재구성하며 계산 |
전처리가 가장 적은 경로가 늘 빠른 것은 아닙니다. 예를 들어 1~64토큰의 작은 배치에서는 행렬 곱셈이 짧아 사용자 정의 커널의 고정 비용이 두드러지고, 전체 복원과 cuBLAS 조합이 유리한 경우가 많습니다. 256토큰 이상처럼 배치가 커지면 계산 시간이 길어 추가 복원 작업을 겹쳐 수행할 여유가 생깁니다. 이때는 전처리가 가벼운 지수·팔레트 경로가 앞설 수 있습니다. 같은 층에서도 gate·up과 down의 행렬 차원이 달라 최선의 선택은 달라집니다.
배포 형식까지 실행 경로에 묶어 두지는 않았습니다. 하나의 Huffman 압축 모델 묶음을 배포하고, 모델을 불러올 때 일부 projection을 팔레트 형식으로 변환할 수 있습니다. 압축 형식과 실행 경로, 스케줄링을 독립적으로 선택하므로 패키징할 때 추론 전략을 하나로 고정하지 않아도 됩니다.
복원과 계산이 나눠 쓰는 Hopper의 SM
전체 복원을 제외한 경로는 복원과 계산을 결합한 사용자 정의 행렬 곱셈 커널을 사용합니다. 커널 안에서는 생산자와 소비자가 일을 나눕니다. 생산자 그룹은 전용 복사 하드웨어 TMA로 압축 데이터를 HBM에서 shared memory의 원형 버퍼로 미리 가져옵니다. 소비자 그룹은 지수와 부호·가수를 결합해 BF16을 만든 직후 Hopper의 WGMMA 텐서 코어 명령에 전달합니다. 복원한 가중치는 shared memory를 떠나지 않습니다.
출력 타일 폭과 버퍼 깊이도 조절합니다. 큰 배치에서는 출력 타일을 넓혀 데이터 재사용을 늘리고, 작은 배치에서는 버퍼를 깊게 두어 메모리 지연을 숨길 수 있습니다. 이 설정 역시 작업 조건에 맞춰 골라야 합니다.
별도 전처리가 필요한 지수 복원·팔레트 변환 경로에는 자원 배분 문제가 더해집니다. Hopper의 연산 단위인 SM 하나에는 shared memory가 228 KB 있는데, 재구성 행렬 곱셈에 약 227 KB, 디코더의 Huffman 조회 테이블에 약 16 KB가 필요합니다. 같은 SM에 함께 들어가지 않습니다. 디코딩에 SM을 더 배정하면 전처리는 빨라져도 행렬 곱셈에 쓸 SM은 그만큼 줄어듭니다.
Unweight는 층 사이의 계산 순서에서도 복원 시간을 확보합니다. 실행 중 Huffman 전처리가 필요한 층을 hard, 미리 변환한 팔레트 데이터를 직접 쓰는 층을 easy로 구분합니다. Easy 층을 계산하는 동안 별도 CUDA stream에서 다음 hard 층의 가중치를 디코딩해 두면, hard 층의 차례가 왔을 때 준비된 데이터를 사용할 수 있습니다.
전처리 출력에는 이중 버퍼를 써서 아직 소비 중인 데이터를 덮어쓰지 않도록 합니다. MLP에서 gate, activation, up 뒤에 쓰이는 down projection은 디코딩을 마칠 여유가 가장 깁니다. 앞선 계산이 이어지는 동안 복원을 진행할 시간이 길기 때문입니다.
이 많은 선택을 고정 규칙으로 결정하지는 않습니다. Autotuner가 대상 하드웨어에서 실제 종단 간 추론 처리량을 측정하며, 다른 projection의 설정을 고정한 채 gate, up, down 순서로 후보를 탐색합니다. 더는 개선되지 않을 때까지 반복한 결과를 모델별 설정 파일에 담습니다. 런타임은 이 파일에 따라 각 projection과 배치 크기에 맞는 실행 경로, 커널 변형, SM 배분을 선택합니다.
아직 압축하지 않은 down projection
현재 추론용 구성에서 빠진 down projection은 압축 가능한 가중치의 약 3분의 1입니다. 이를 압축하려면 전치된 행렬 차원에 맞는 별도 커널 변형이 필요합니다. Cloudflare는 이 작업과 함께 작은 배치의 고정 비용, 큰 배치에서 반복되는 가중치 복원을 줄이는 최적화를 진행하고 있습니다. 추가 압축과 실행 비용 감소는 앞으로 개선할 부분입니다.
측정 범위도 구분해야 합니다. 지금까지의 결과는 Llama 3.1 8B 단일 모델에서 얻은 중간 결과이며, 처리량 수치는 현재 커널 구현에 한정됩니다. 저자들은 지수 통계가 일관된다는 근거로 다른 SwiGLU 아키텍처에서도 압축률이 일반화될 것으로 예상합니다. Llama 70B에서 구성에 따라 약 18~28 GB를 절약할 수 있다는 수치도 실측이 아닌 외삽입니다.
Cloudflare는 Workers AI에서 제공하는 더 큰 모델로 적용 범위를 넓히는 작업을 진행 중입니다. 장기적으로는 필요할 때 cold expert를 가져오는 Mixture-of-Experts 모델에서 저장 비용을 더 줄일 가능성도 검토합니다. 다른 연구자들이 이 설계를 이어서 발전시킬 수 있도록 기술 논문과 GPU 커널도 공개했습니다.
압축 형식과 측정 조건
| 항목 | 값 |
|---|---|
| BF16 구성 | 부호 1비트, 지수 8비트, 가수 7비트 |
| 일반적인 층의 지수 분포 | 상위 16개 지수가 가중치의 99% 이상을 차지하며, 분포 표현에 필요한 정보량은 약 2.6비트 |
| 예외 행 처리 | 가중치 64개 중 상위 16개 팔레트 밖의 지수가 있으면 행 전체를 원형 그대로 저장 |
| MLP 파라미터 비중 | 모델 파라미터의 대략 3분의 2 |
| 중간 표현의 전처리 트래픽 | 지수 전용 복원은 전체 BF16 복원 대비 절반, 실행 중 4비트 팔레트 변환은 4분의 1 |
| 배치 크기 예시 | 작은 배치 1~64토큰에서는 전체 복원과 cuBLAS가 유리한 경우가 많고, 큰 배치 256토큰 이상에서는 팔레트·지수 경로가 유리할 수 있음 |
| Hopper의 SM별 shared memory | 용량 228 KB, 재구성 행렬 곱셈 약 227 KB, 디코더 Huffman 조회 테이블 약 16 KB |
| Llama 3.1 8B 추론용 묶음 | gate·up만 압축해 모델 크기 약 13% 감소 |
| Llama 3.1 8B 배포용 묶음 | down을 포함한 모든 MLP projection을 압축해 모델 크기 약 22% 감소 |
| H100 SXM5 종단 간 측정 | 원문이 보고한 처리량 오버헤드는 약 30~40%이며, 배치 1에서 약 41%, 배치 1024에서 약 30% |
| Llama 70B 외삽 | 구성에 따라 약 18~28 GB 절감 예상 |
| 현재 추론용 구성에서 제외한 down projection | 압축 가능한 가중치의 약 3분의 1 |