목차
GPU의 긴 기다림을 줄인 Petastorm 데이터 로더 (2026-04)
원문 정보
- 원문: Accelerating Deep Learning: How Uber Optimized Petastorm for High-Throughput and Reproducible GPU Training
- 매체 · 게시일: Uber Engineering Blog · 2026-04-10
- 저자: Kashish Mittal(Staff Software Engineer), Di Yu(Staff Software Engineer), Roozbeh Ketabi(Sr Software Engineer). 본문 하단에 Arushi Arora, Brendon Lapp, Peng Zhang도 소개됨
- 원문 내용을 바탕으로 재구성한 요약입니다.
수십 테라바이트 앞에서 기다리던 GPU
Uber의 한 핵심 ML 팀은 수십 테라바이트, 수백억 행, 수백 개 피처로 이루어진 데이터셋을 학습하면서 GPU 사용률이 10~15%에 머무는 문제를 겪었습니다. GPU는 다음 배치를 기다렸습니다. 데이터를 읽어 공급하는 속도가 연산 속도를 따라가지 못한 탓입니다.
이 팀은 Apache Parquet 데이터셋을 읽는 Uber의 오픈소스 라이브러리 Petastorm과 분산 학습용 Horovod를 사용했습니다. 기존 데이터 경로는 원문 그림 1에 나옵니다. Petastorm의 워커 풀이 HDFS에서 Parquet의 데이터 묶음인 row group을 읽으면, Batch Dataloader가 결과를 가져와 PyArrow 데이터를 NumPy 배열로 변환하고 배치로 묶습니다. Async Dataloader는 그렇게 만든 배치를 GPU에 공급하는 역할입니다.
에포크가 바뀌면 같은 작업이 반복됐습니다. 같은 row group을 HDFS에서 다시 읽고, CPU를 많이 쓰는 변환도 다시 수행했습니다. GPU를 기다리게 하는 경로에 네트워크 I/O와 CPU 작업이 함께 있었던 것입니다.
데이터를 전부 RAM에 올려 두면 간단하겠지만, 수십 테라바이트 규모에서는 불가능했습니다. Parquet을 버리는 선택도 가볍지 않았습니다. 다른 포맷으로 옮기려면 데이터 파이프라인을 대대적으로 이전해야 했습니다. 팀은 기존 Parquet 파이프라인을 유지하면서, 어디서 시간이 새고 있는지 추적하기로 했습니다.
디스크 캐시로도 오르지 않은 사용률
처음부터 데이터 로더를 범인으로 지목하지는 않았습니다. 모델이 GPU를 충분히 활용하기에는 너무 작은 것일 수도 있었습니다. 은닉층을 더 깊고 넓게 만든 큰 모델로 합성 벤치마크를 돌리자 사용률은 약 80%까지 올라갔습니다. 모델의 연산이 길어지면 배치를 기다리는 지연이 가려졌던 것입니다. 프로덕션 모델을 GPU 사용률에 맞춰 마음대로 키울 수는 없으므로, 해결할 대상은 데이터를 공급하는 속도였습니다.
다음 용의자는 HDFS 네트워크였습니다. 데이터 일부를 인메모리 캐시에 넣자 GPU 사용률이 60% 이상으로 뛰었습니다. 데이터가 준비돼 있으면 GPU도 바쁘게 일한다는 증거였습니다. 네트워크 I/O가 범인이라고 본 팀은 로컬 디스크 캐시를 만들었습니다. HDFS까지 다녀오는 시간을 줄이면 큰 효과가 있을 것이라는 기대였습니다.
그런데 사용률은 그대로였습니다. RAM 캐시에서는 효과가 있었는데, 로컬 디스크에서는 나아지지 않았습니다. 이 차이를 설명하려면 저장 위치뿐 아니라 각 경로에서 데이터가 어떤 상태로 GPU에 도착하는지도 확인해야 했습니다.
RAM 실험에서는 데이터를 한 번 변환한 뒤 바로 학습에 쓸 NumPy 배열로 보관했습니다. 디스크와 HDFS 경로에는 그 준비가 없었습니다. 배치가 필요할 때마다 메인 스레드가 PyArrow 데이터를 NumPy로 바꾸고 있었습니다. 네트워크 지연을 줄이고 나니 CPU 변환이라는 벽이 남은 것입니다. RAM 캐시는 그 벽까지 가려 놓았습니다. 캐시에 저장할 대상은 원본 파일이 아니라, 변환을 마친 데이터여야 했습니다.
NumPy 배열을 건네받는 메인 스레드
먼저 변환 위치를 옮겼습니다. 데이터로더의 메인 스레드가 맡던 PyArrow에서 NumPy로의 변환을 Petastorm 워커 풀로 내려, 워커가 row group을 읽자마자 처리하도록 했습니다. 이제 결과 큐에는 변환이 끝난 NumPy 배열이 들어옵니다. CPU 작업은 여러 워커가 병렬로 수행하고, 메인 스레드는 준비된 배치를 GPU에 넘깁니다.
변환 푸시다운에는 비용도 있었습니다. PyArrow는 NumPy보다 메모리 효율이 좋으므로, 큐에 NumPy 배열을 보관하면 RAM을 더 씁니다. 팀은 처리량을 높이기 위해 이 증가분을 받아들였습니다. GPU 앞에서 변환이 끝나기를 기다리던 시간을 줄이는 대신, 워커 큐에 더 많은 메모리를 쓰는 선택입니다.
워커 풀도 프로세스 풀에서 스레드 풀로 바꿨습니다. 프로세스 사이로 데이터를 보내려면 직렬화(pickling)가 필요하지만, 스레드는 메모리를 공유하므로 그 비용을 피합니다. CPU 부담을 줄이는 데는 유리했습니다. 대신 작업을 끝낼 때 문제가 드러났습니다.
Python 스레드는 느린 HDFS 읽기처럼 I/O에 막히면 종료하기 어렵습니다. 네트워크 호출에 걸린 데몬 스레드가 학습 작업의 정상 종료를 막는 “Abrupt Teardown Failures"가 발생했습니다. 팀은 작업을 나눠 주는 ventilator에 sentinel 로직을 넣어 스레드가 정상적으로 종료하도록 신호를 보냈습니다. 인터프리터가 종료해 주기를 기다리는 방식에서 벗어난 것입니다. HDFS 타임아웃과 재시도 정책도 더 엄격하게 적용해, 스레드가 I/O에 걸려 있더라도 메인 프로세스를 종료할 수 있도록 했습니다.
다음 에포크까지 남겨 두는 FanoutCache
변환을 병렬로 처리해도, 다음 에포크에서 같은 변환을 다시 한다면 낭비는 남습니다. 변환 결과를 보관할 곳이 필요했습니다. 학습은 Ray가 자원을 관리하는 클러스터에서 Horovod와 Petastorm으로 실행됐고, 워커 노드의 로컬 디스크를 사용할 수 있었습니다. 여기에 오픈소스 diskcache.FanoutCache로 캐시를 만들었습니다.
워커가 row group을 읽는 작업을 받으면 먼저 로컬 FanoutCache를 확인합니다. 캐시에 있으면 NumPy로 변환된 데이터를 디스크에서 읽습니다. 없을 때만 HDFS에서 가져와 변환하고, 그 결과를 캐시에 쓴 뒤 반환합니다. 캐시 적중은 네트워크 요청과 CPU 변환을 함께 줄입니다. 원문 그림 2는 이처럼 워커에서 변환을 마치고 그 결과를 로컬에 저장하는 경로를 보여 줍니다.
디스크 용량에는 한계가 있었습니다. 데이터셋은 워커 노드 한 대의 로컬 디스크보다 큰 경우가 많았고, LRU 같은 퇴출 정책도 학습의 읽기 패턴에는 맞지 않았습니다. 웹 서비스와 달리 학습은 에포크마다 모든 데이터를 한 번씩 읽습니다. 캐시에서 내보낸 row group을 다음 에포크에 다시 가져와야 한다면, 저장하고 지우는 일을 반복하게 됩니다.
팀은 퇴출 대신 쿼터를 택했습니다. 정해진 디스크 용량에 닿을 때까지 row group을 캐시하고, 그 뒤의 데이터는 HDFS에서 읽도록 했습니다. 이미 캐시한 데이터는 다음 에포크에도 활용합니다. 가장 큰 데이터셋에서는 병목이 완전히 사라지지 않지만, 캐시가 담당하는 부분만큼 반복 작업을 줄이는 방법입니다.
저장 단위도 배치로 정하지 않았습니다. 미리 구성한 배치를 그대로 보관하면 에포크마다 같은 순서를 되풀이할 위험이 있었기 때문입니다. 더 작은 단위인 row group을 캐시하고, 배치를 만든 뒤 GPU로 보내기 전에 메모리에서 한 번 더 섞었습니다. 워커 풀의 여러 스레드가 row group을 병렬로 가져오므로 큐에 도착하는 순서도 자연스럽게 달라집니다.
시드가 같아도 순서가 달라지던 공유 큐
데이터를 섞는 일은 남겨 둬야 했습니다. 어느 정도의 무작위성은 모델의 일반화에 도움이 됩니다. 문제는 설정과 시드를 그대로 두고 다시 학습해도 오프라인 평가 지표가 크게 달라졌다는 점입니다. 모델이 커지고 병렬도가 높아지면서 이 분산도 커졌습니다. 새 모델 구조가 정말 나은지 판단하기 어려웠고, 프로덕션 학습 작업의 일관성도 보장하기 힘들었습니다.
Petastorm은 이미 시드로 순서를 제어하고 있었습니다. HDFS의 Parquet 파일에는 여러 row group이 들어 있고, 학습 전에 Petastorm이 그 인덱스의 전역 목록을 만듭니다. 이 목록을 시드에 따라 섞은 뒤 GPU 워커별로 나눠 각 워커가 데이터셋의 고유한 조각을 받게 합니다. 워커 스레드가 row group 안의 행을 섞고 변환하는 단계에서도 셔플은 결정적이었습니다. 같은 시드라면 셔플 결과는 같아야 하는 경로입니다.
순서를 바꾸는 곳은 따로 있었습니다. 원문 그림 3에서 작업을 배정하는 ventilator 큐와 처리 결과를 모으는 큐는 모든 워커가 공유합니다. 어느 스레드가 다음 row group을 가져갈지, 어느 결과가 먼저 수집될지는 스레드 스케줄링과 HDFS I/O 타이밍, 처리 속도에 달려 있었습니다. 셔플을 고정해도 그 앞뒤에서 데이터가 이동하는 순서까지 고정되지는 않았습니다.
팀은 워커 수와 셔플 설정, 시드를 바꿔 가며 통제 실험을 했습니다. 무작위성의 대부분은 워커 스레드 사이의 경쟁 상태에서 나왔습니다. 처리량을 높이려고 워커를 늘릴수록 경쟁도 심해졌습니다. 학습을 빠르게 만드는 병렬 처리가 실행마다 데이터 순서를 더 달라지게 하는 상황이었습니다.
난수 API에도 문제가 남아 있었습니다. 일부 코드는 레거시 np.random.RandomState에 의존했는데, 분산 구성 요소에서 시드를 다시 지정할 때 동작이 일관되지 않을 수 있었습니다. 시드를 지정했다는 사실만으로 전체 데이터 경로의 재현성을 보장할 수는 없었던 것입니다.
워커의 완료 순서와 무관한 라운드로빈
난수 API는 np.random.default_rng로 교체했습니다. 고정 시드에서 셔플이 일관되게 동작하도록 한 변경입니다. 작업 배정과 결과 수집에서는 공유 큐를 없애고, 워커마다 전용 ventilator 큐와 결과 큐를 두었습니다.
row group은 고정된 라운드로빈 순서로 워커에 배정합니다. 결과도 같은 라운드로빈 순서로 합칩니다. 먼저 끝낸 워커의 결과를 먼저 받지 않습니다. 어느 워커가 빨리 읽고 변환했는지와 무관하게 데이터 순서를 결정하는 방식입니다. 원문 그림 4는 그림 3의 공유 큐를 이 전용 큐 구성으로 바꾼 모습을 보여 줍니다.
워커들은 여전히 병렬로 실행됩니다. 일을 나눠 주고 결과를 받는 순서를 고정하면서 경쟁 상태를 없앴고, 처리량에는 영향을 주지 않았습니다. 고정 시드에서는 여러 워커를 사용해도 데이터 로딩 순서가 재현됩니다. 에포크마다 데이터를 섞는 동작은 유지하면서, 스레드의 완료 시각이 학습 순서를 바꾸지 못하게 한 것입니다.
하루에서 오후 한나절로 줄어든 학습
이 모델의 학습 시간은 실행당 약 22시간에서 약 3시간으로 줄었습니다. GPU 사용률은 10~15%에서 60% 이상으로 올라갔습니다. 원문 그림 5에 나온 최적화 전 실행의 평균 사용률은 12%이며, 그림 6은 개선 뒤 사용률이 5~6배 높아진 모습을 보여 줍니다. Uber가 제시한 학습 속도 개선은 6배이고, 컴퓨트 비용은 80% 가까이 줄었습니다.
엔지니어에게는 기다리는 시간이 달라졌습니다. 하루를 기다려야 했던 모델 실험을 오후 한나절에 반복할 수 있게 됐습니다. Uber는 데이터로더가 GPU의 연산 속도를 따라가지 못하는 다른 학습 파이프라인에도 이런 개선이 도움이 된다고 설명합니다. 기존 모델에 데이터를 공급하는 경로를 고쳐 얻은 결과입니다.
재현성도 나아졌습니다. 원문 그림 7과 8의 학습 손실 곡선에서는 실행 간 차이가 줄었고, MAP 변동은 약 0.5%에서 약 0.13%로 감소했습니다. 이 수치 전부를 데이터로더 수정의 효과로 돌릴 수는 없습니다. 데이터 로딩을 결정적으로 만든 변경에 더해, 이 글에서 다루지 않은 다른 학습 기법의 개선까지 합친 결과입니다.
변경 사항은 Uber 내부 Petastorm 코드베이스에 병합됐고, ML 팀들에 배포하고 있습니다. 모든 딥러닝 모델의 기본 동작으로 만드는 일은 다음 단계입니다. 외부 조직도 도입할 수 있도록 오픈소스 커뮤니티와 협력하는 계획도 남아 있습니다.
원문의 실험 단계와 결과 수치
| 항목 | 값 |
|---|---|
| 데이터셋 규모 | 수십 TB, 수백억 행, 수백 개 피처 |
| 최적화 전 GPU 사용률 | 10~15% (그림 5 평균 12%) |
| 큰 합성 모델로 벤치마크 | 사용률 약 80% |
| 데이터 일부를 RAM 캐시 | 사용률 60% 이상 |
| 로컬 디스크 캐시만 적용 | 사용률 변화 없음 (변환이 메인 스레드에 남아 있었음) |
| 최적화 후 GPU 사용률 | 60% 이상 |
| 학습 시간 | 약 22시간에서 약 3시간 (6배) |
| 컴퓨트 비용 | 80% 가까이 절감 |
| 실행 간 MAP 변동 | 약 0.5%에서 약 0.13% |
| 캐시 라이브러리 | diskcache.FanoutCache |
| 난수 API | np.random.RandomState에서 np.random.default_rng로 |