본문으로 건너뛰기
목차

04 · 서버 한 대의 NAS부터 대규모 Lustre까지 쓰이는 OpenZFS

OpenZFS는 볼륨 관리와 파일시스템을 합친 오픈소스 스토리지 스택입니다. Sun이 Solaris용으로 만든 ZFS에서 출발했고, 2013년부터 Linux와 FreeBSD 개발자 커뮤니티가 함께 유지합니다.

2026년 8월의 2.4.4를 기준으로 기능과 규모, 제품별 쓰임새를 살펴봅니다. 내부 동작은 05에서 다룹니다.

한 풀에서 제공하는 OpenZFS 기능

그림에서는 디스크를 묶은 풀이 파일시스템과 블록 장치로 이어지는 부분을 보면 됩니다.

OpenZFS는 파일 공유와 VM 디스크, 병렬 파일시스템의 저장소를 한 풀에서 내주고, 아래로는 미러·RAIDZ·dRAID vdev에 나눠 기록합니다.
도식 텍스트
  • 파일 공유 — SMB·NFS
  • VM 디스크 — iSCSI·가상화 호스트
  • 병렬 파일시스템 — Lustre
  • OpenZFS 풀 — 체크섬·압축·스냅샷
  • 미러 vdev
  • RAIDZ vdev — 패리티 1~3
  • dRAID vdev — 분산 스페어
  • 데이터셋
  • zvol
  • OSD
  • 기록
  • 기록
  • 기록

OpenZFS는 디스크를 미러, RAIDZ, dRAID로 묶고, 풀 위에 파일시스템(데이터셋)과 블록 장치(zvol)를 필요한 만큼 만듭니다. RAID 컨트롤러, 볼륨 관리자, 파일시스템을 따로 조합하던 일을 한 스택에서 처리하는 구성입니다. 데이터셋은 크기를 미리 정하지 않고 풀 공간을 함께 씁니다.

기능제공하는 것
무결성모든 블록의 체크섬 검증. 중복이 있을 때 자동 복구
중복 구성미러, 패리티 1~3개의 RAIDZ, 분산 스페어를 가진 dRAID
압축블록 단위 압축(lz4, zstd)
스냅샷·클론즉시 만드는 스냅샷과 쓰기 가능한 클론
복제바뀐 부분만 보내는 send/receive
데이터셋별 설정쿼터, 압축, 블록 크기를 각각 지정
선택 기능암호화, 중복 제거, 메타데이터 전용 플래시 vdev

풀의 범위는 서버 한 대입니다. 여러 노드를 한 저장소로 묶는 기능은 없습니다. 큰 규모의 사례는 모두 Lustre 같은 상위 계층이 노드를 묶고, OpenZFS가 노드별 저장소를 맡는 구성입니다.

도입 전에 구분할 이론 한계와 실용 권고

128비트 파일시스템이라는 표현에서 나온 풀 크기 2^128바이트는 주소 체계를 환산한 값입니다. 소스의 크기 필드를 확인해 실제 상한은 16EiB 근처로 봤습니다. 어느 쪽도 현재 하드웨어로 닿을 크기는 아닙니다.

항목이론 한계
파일 하나의 크기2^64바이트 (16EiB)
데이터셋당 파일 수2^48개
디렉터리당 항목 수2^48개
파일 이름255바이트. longname 기능을 켜면 1,023바이트
블록 크기(recordsize)512바이트~16MiB
RAIDZ vdev의 디스크 수최대 255, 패리티 1~3
dRAID vdev의 디스크 수최대 255, 패리티 1~3
풀의 최상위 vdev 수문서는 제한 없음. 주소 인코딩으로는 2^24개
스냅샷·데이터셋 수소스에서 고정 상한 확인 못 함. 속성으로 제한 가능

실제 설계의 기준은 아래 권고입니다. OpenZFS 자체의 권고와 제품별 권고를 구분해 읽어야 합니다.

항목권고출처
빈 공간10% 넘게 유지OpenZFS
증설 시점풀이 80%에 이르기 전TrueNAS, AWS FSx
RAIDZ vdev 폭3~9개. 12개 초과는 권하지 않음TrueNAS. OpenZFS는 숫자를 제시하지 않음
dRAID디스크 100개 초과에서 권장. 10개 미만이면 RAIDZTrueNAS
메모리2GB로도 동작. 8GB 이상 권장, ECC 권장OpenZFS FAQ
메모리 산정기본 2GiB에 스토리지 1TiB당 1GiBProxmox VE
special vdev풀의 다른 vdev와 같거나 높은 중복도. 단일 디스크 금지OpenZFS
가상 머신 스토리지미러 vdev 권장Proxmox VE
피할 것하드웨어 RAID 컨트롤러 위 구성, DM-SMR 디스크OpenZFS
근거와 조건
항목값출처
128비트“All SPA data is represented by 128-bit data virtual addresses (DVAs)”. vdev 번호 24비트, 오프셋 63비트(512바이트 섹터 단위)spa.h 2.4.4
풀 크기 2^128바이트주소 체계의 환산값Wikipedia
실제 상한 16EiB크기 필드가 64비트 바이트라는 소스 판독에서 나온 이 글의 추론. 공식 문서가 이렇게 정리한 곳은 없음소스 판독
파일 크기DN_MAX_OFFSET_SHIFT 64dnode.h
데이터셋당 파일 수DN_MAX_OBJECT_SHIFT 48. Wikipedia는 무제한으로 적지만 소스는 2^48dnode.h
파일 이름ZAP_MAXNAMELEN 256, longname 사용 시 1,024fs/zfs.h, zpool-features(7)
recordsize최대 16MiB. 128KiB를 넘기려면 large_blocks 기능 필요fs/zfs.h, zfsprops(7)
RAIDZ 폭255zpool_vdev.c, vdev_raidz.c
dRAID 폭VDEV_DRAID_MAX_CHILDREN 255fs/zfs.h
스냅샷·데이터셋 수snapshot_limit, filesystem_limit 속성. 기본 nonezfsprops(7)
빈 공간“Keep pool free space above 10%”OpenZFS Workload Tuning
80%“add more capacity before a pool reaches 80%”TrueNAS ZFS Primer
RAIDZ 폭 권고“recommended number of disks per vdev is between 3 and 9”, “We do not recommend using more than 12 disks per vdev”TrueNAS ZFS Primer
RAIDZ 폭(OpenZFS)“optimize … on exact numbers is irrelevant in nearly all cases”OpenZFS Workload Tuning
dRAID 권고디스크 100개 초과에서 권장TrueNAS dRAID Primer
메모리“8GB+ … for the best performance. It’s perfectly possible to run with 2GB or less”OpenZFS FAQ
Proxmox 메모리“2 GiB Base + 1 GiB/TiB-Storage”Proxmox VE ZFS on Linux
하드웨어 RAID“Hardware RAID controllers should not be used with ZFS”OpenZFS Hardware
SMR“DM-SMR drives are therefore not recommended for ZFS pools”OpenZFS Hardware

서버 한 대와 여러 풀의 공개 운영 규모

공개된 운영 사례와 제품 상한을 비교할 때는 수치가 가리키는 범위부터 확인합니다. Orion의 수치는 수백 개 풀을 Lustre가 묶은 합계입니다. 풀 하나의 성능으로 볼 수는 없습니다.

사례·제품규모구성
ORNL Orion (Frontier의 스토리지)용량 계층 약 679PB, 읽기 5.5TB/s·쓰기 4.6TB/sLustre + ZFS 2.1.7 dRAID. 서버 450대, HDD 47,700개
LLNL Grove (Sequoia의 스토리지)목표 55PB, 초당 1TB 전송Lustre + ZFS
TrueNAS V-Series최대 40PB, 400Gb/s듀얼 컨트롤러 어플라이언스 한 대. 벤더 수치
QNAP QuTS hero풀 하나 최대 5PBNAS 한 대. 벤더가 이론 최대라고 표기
AWS FSx for OpenZFS파일시스템당 최대 512TiB, 디스크에서 10GB/s·400,000 IOPS관리형 파일 서버 한 대. AWS 공개 수치

백업 사업자도 OpenZFS를 씁니다. Datto는 자사 클라우드의 백업 저장소로 ZFS를 골랐다고 밝혔고, rsync.net은 모든 계정이 ZFS에서 동작한다고 밝혔습니다.

근거와 조건
항목값출처
Orion 구성“Backend file system for MDTs/OSTs is ZFS v2.1.7”, “Redundancy is handled using ZFS dRAID”. HDD OST 667.6PB(47,700개), NVMe OST 11.4PB(5,400개), OSS 450대Lustre User Group 2023 발표
Orion 성능“679 PB at peak read speeds of 5.5 TB/s and peak write speeds of 4.6 TB/s”OLCF Orion 페이지
Grove“facilitated 1 terabyte per second of data transfer with the Grove file system”. 목표 55PBLLNL OpenZFS 프로젝트 페이지, LUG 2012 발표
TrueNAS V-Series“up to 40 PB and 400 Gb/s”. 측정 조건 미공개TrueNAS Enterprise 페이지
QuTS hero풀·볼륨·공유 폴더 최대 5PB, 스냅샷 65,536개. “theoretical maximums”QNAP FAQ
FSx 용량64GiB~512TiB. 증설 요청 가능AWS FSx for OpenZFS 문서
FSx 성능처리량 최대 10,240MB/s, 디스크 400,000 IOPS, 캐시에서 21,000MB/s. Multi-AZ 쓰기는 7,500MB/sAWS FSx for OpenZFS 문서
Datto“Datto selected ZFS … for backup storage in the Datto Cloud”Datto 블로그 2021
rsync.net“every account at rsync.net runs on our ZFS platform”rsync.net
  • LLNL El Capitan의 Lustre(359PiB)가 ZFS 위에 있는지는 확인하지 못했다
  • Datto는 다른 글에서 클라우드 규모를 약 1.6EB로 적었다. 그 전부가 ZFS라고 밝힌 문장은 없다

제품과 서비스로 만나는 OpenZFS

OpenZFS는 직접 설치하기보다 이를 사용하는 제품으로 만나는 경우가 많습니다. NAS부터 가상화 호스트, 관리형 파일 서비스까지 제품에 따라 맡는 범위가 달라집니다.

제품·서비스형태OpenZFS의 자리
TrueNASNAS 운영체제와 어플라이언스저장소 전체. Enterprise는 듀얼 컨트롤러 HA
QNAP QuTS heroNAS 운영체제저장소 전체. 인라인 중복 제거는 메모리 16GB 이상
Proxmox VE가상화 플랫폼호스트의 로컬 스토리지. 노드 간 복제는 ZFS에서만 지원
AWS FSx for OpenZFS관리형 파일 서비스NFS로 내주는 파일 서버. 스냅샷, 클론, 압축, 복제 제공
FreeBSD운영체제13.0부터 기본 ZFS 구현
Ubuntu운영체제커널 패키지에 모듈 포함. 설치기의 루트 ZFS는 실험 단계
UnraidNAS 운영체제6.12부터 ZFS 풀 지원
Lustre병렬 파일시스템서버별 저장 백엔드
Incus, Docker컨테이너 런타임이미지와 컨테이너를 스냅샷·클론으로 관리하는 드라이버
OpenEBS ZFS LocalPV, democratic-csiKubernetes 스토리지노드 로컬 볼륨, TrueNAS 연동 볼륨

AWS FSx for OpenZFS의 프로토콜은 NFS v3부터 v4.2까지이며, SMB는 지원 목록에 없습니다. 파일시스템당 상한은 볼륨 100개, 스냅샷 700개입니다.

Oracle ZFS Storage Appliance는 OpenZFS가 아닙니다. 2010년 이후 Oracle 안에서 따로 발전한 계열로, 풀 형식도 호환되지 않습니다.

근거와 조건
항목값출처
TrueNAS Enterprise“dual controller support”, “Automated rapid failover”TrueNAS Enterprise 페이지
QuTS hero dedup인라인 블록 중복 제거에 메모리 16GB 이상QNAP 문서
Proxmox 복제“ZFS (local)“만 지원. 주기는 최소 1분, 기본 15분Proxmox VE Storage Replication
Proxmox와 하드웨어 RAID“Do not use ZFS on top of a hardware RAID controller which has its own cache management”Proxmox VE ZFS on Linux
FSx 프로토콜NFS v3, v4.0, v4.1, v4.2AWS FSx for OpenZFS 문서
FSx 배포 유형Multi-AZ(HA), Single-AZ(HA), Single-AZ(non-HA). HA 전환은 보통 60초 안같은 문서
FSx 상한볼륨 100개, 스냅샷 700개같은 문서
FreeBSD“The ZFS implementation is now provided by OpenZFS.”FreeBSD 13.0 릴리스 노트
Ubuntuzsys는 22.04 주기에 설치기에서 빠짐Launchpad 버그 1968150
Docker zfs 드라이버“not recommended … for production use unless you have substantial experience with ZFS on Linux”Docker 문서
OpenEBS ZFS LocalPV“Data is not replicated across nodes”프로젝트 README
  • Unraid와 Ubuntu 26.04 설치기의 상태는 2차 자료로 확인했다
  • FSx가 쓰는 OpenZFS 버전은 문서에 없다

용도에 따라 고르는 OpenZFS 기능

사용 사례OpenZFS를 고르는 이유주의할 점
NAS·파일 서버자동 복구, 압축, 스냅샷, 쿼터풀을 80~90% 아래로 유지
가상화 호스트zvol, 스냅샷, 노드 간 증분 복제미러 권장. RAIDZ는 작은 블록에서 공간과 IOPS 손해
백업 저장소·원격 복제증분 send/receive, 바꿀 수 없는 스냅샷복제는 비동기. 마지막 동기화 뒤의 데이터는 빠질 수 있음
HPC 병렬 파일시스템의 백엔드압축, dRAID의 빠른 재구성노드를 묶는 일은 Lustre가 맡음
데이터베이스원자적 기록, 압축블록 크기를 DB에 맞춤. PostgreSQL 32K, InnoDB 16K 권고
컨테이너·개발 환경클론으로 즉시 복제Docker 드라이버는 경험자에게만 권장
미디어 제작·아카이브큰 블록(1M), 순차 대역폭, 대용량작은 파일이 많으면 special vdev 검토
운영체제 루트스냅샷으로 업데이트 되돌리기배포판마다 지원 수준이 다름
홈랩저가 하드웨어에서도 무결성 확보8GB 이상 권장. DM-SMR 디스크는 피함

미디어 제작에 TrueNAS를 적용한 구성은 이 분류의 01과 02에서 다룹니다.

OpenZFS와 맞지 않는 운영 환경

도입 조건제약
여러 노드를 한 저장소로 확장클러스터 기능 없음. 공유 디스크 장애 조치에서 이중 import를 막는 기능만 제공
풀 용량 축소RAIDZ나 dRAID vdev가 있으면 어떤 최상위 vdev도 제거 불가. 2.3부터 RAIDZ vdev에 디스크를 추가하는 확장은 가능
하드웨어 RAID 컨트롤러 유지디스크를 직접 보여 주는 HBA 권고
DM-SMR 디스크 사용리실버와 스크럽 시 정체
메모리가 작은 장비중복 제거를 켜려는 구성에 부적합
커널 모듈 관리가 부담인 환경Linux 커널 밖 모듈로 배포. 새 커널은 OpenZFS가 지원할 때까지 대기

도입 전에 확인할 버전과 라이선스

현행 버전은 2.4.4(2026-08-21)입니다. 2.3.9와 장기 지원 계열인 2.2.11도 함께 유지됩니다. 2.4.4가 지원하는 Linux 커널 범위는 4.18부터 7.2까지입니다.

CDDL 라이선스 때문에 Linux 커널에는 포함되지 않고 모듈로 배포됩니다. Ubuntu는 커널 패키지에 모듈을 넣어 제공하며, Debian과 RHEL 계열은 별도 패키지로 설치합니다. 풀의 기능 플래그는 한 번 켜면 끌 수 없습니다. 버전을 올린 뒤 풀을 업그레이드할 때는 되돌아갈 일이 없는지 먼저 확인합니다.

버전별 기능과 계보, 디스크 구조는 05에 있습니다.

확인하지 못한 것

  • 서버 한 대의 NVMe 풀로 측정한 공개 벤치마크 가운데 상한으로 인용할 만한 값
  • OpenZFS 개발자 서밋에서 발표된 대형 배포 사례
  • CERN, Fermilab 같은 연구 기관의 운영 수치
  • AWS FSx for OpenZFS가 쓰는 OpenZFS 버전
  • 스냅샷 수에 관한 OpenZFS의 공식 권고. 제품별 상한(QuTS hero 65,536개, FSx 700개)만 확인했다

참고 자료

마지막 수정 일자