본문으로 건너뛰기
Elasticsearch Warm 존의 비용을 유지한 OpenZFS
목차

Elasticsearch Warm 존의 비용을 유지한 OpenZFS (2024-02)

원문 정보

  • 원문: OpenZFS로 성능과 비용, 두 마리 토끼 잡기
  • 매체 · 게시일: 토스 기술 블로그 · 2024-02-20
  • 저자: 박명순 (리뷰 박세원·박수연, 편집 한주연, 그래픽 이나눔·이은호)
  • 시리즈: 토스페이먼츠 엔지니어링 노트 8편
  • 원문 내용을 바탕으로 재구성한 요약입니다.

느린 조회에도 포기하기 어려웠던 st1

Warm 존의 로그를 조회하는 데 Hot 존보다 평균 두세 배 긴 시간이 걸렸습니다. 토스페이먼츠가 Elasticsearch에 보관한 로그를 분석하던 중 발견한 문제입니다. Warm 존에는 Hot 존의 gp3보다 약 50% 저렴한 st1 볼륨을 쓰고 있었습니다. 조회가 느리다고 포기하기에는 비용 차이가 컸습니다.

매일 방대한 로그를 저장하는 환경에서는 조회 빈도에 맞춰 스토리지를 나누는 것이 비용을 줄이는 방법입니다. 최근에 수집해 자주 쓰는 데이터는 빠른 Hot 존에, 그만큼 자주 쓰지는 않아도 여전히 중요한 데이터는 Warm 존에 둡니다. 거의 사용하지 않는 오래된 데이터는 저렴한 Cold 존에 보관합니다. 존 사이의 이동도 자동으로 관리할 수 있습니다.

먼저 fio로 gp3(8TB, ext4)와 st1(8TB, ext4)의 랜덤 I/O 성능을 비교했습니다. 블록 크기가 커질수록 st1의 처리 속도가 느려졌습니다. Warm 존의 느린 조회를 일으킨 주된 원인은 st1이었습니다. 팀은 이 볼륨의 비용 이점을 유지하면서 성능을 높일 방법을 찾았습니다.

파일 하나도 나눠 저장하는 OpenZFS

바꿀 대상은 파일 시스템과 볼륨 구성이었습니다. OpenZFS는 RAID와 LVM의 특징을 갖추고 중복 제거, 압축, 스냅샷 등을 지원하는 파일 시스템입니다. 여기서 눈여겨본 차이는 파일을 저장하는 방식이었습니다. LVM의 Linear 방식은 앞쪽부터 채워 특정 파일의 성능에 제약을 받지만, OpenZFS는 파일 하나도 모든 디바이스에 분산하는 Striped 방식으로 저장합니다. 여러 디바이스의 성능을 활용할 수 있는 이유입니다.

압축도 검토했습니다. CPU를 적게 쓰면서 높은 압축률을 제공하는 LZ4가 후보였습니다. 공개 벤치마크에 더해 fio로 압축을 켰을 때와 껐을 때를 비교했는데, 읽기와 쓰기 속도에는 큰 차이가 없었습니다. fio의 테스트 데이터는 zip 파일처럼 추가 압축이 거의 되지 않는 데이터입니다. 팀은 이 조건에서도 성능에 미치는 영향이 크지 않다고 판단해 LZ4를 선택했습니다.

72가지 조합에서 고른 Warm 존 구성

최종 선택은 st1 2TB 4개에 OpenZFS와 LZ4를 사용하는 구성이었습니다. recordsize는 기본값인 128k로 정했습니다. 기존 st1 8TB 1개와 ext4 구성에 비해 스토리지 성능은 약 2.7배 높아졌습니다. 비용은 그대로였습니다.

recordsize를 찾는 출발점은 실제 읽기와 쓰기 크기였습니다. Hot 존은 평균 읽기 약 100k, 쓰기 약 20k였고, Warm 존은 읽기 128k, 쓰기 256k 정도였습니다. 더 큰 작업을 처리하는 Warm 존에는 더 큰 recordsize를 설정할 수 있다고 보고 32k, 64k, 128k를 시험한 뒤 128k를 골랐습니다. Hot 존에 OpenZFS를 적용한다면 32k나 64k도 검토할 수 있다는 판단이었으며, Hot 존 적용까지 마친 결과는 아닙니다.

볼륨 개수를 늘리는 데도 한계가 있었습니다. st1이 많아질수록 성능은 좋아졌지만, 4개 이상에서는 향상 폭이 크게 둔화됐습니다. 1TB 8개까지 시험한 뒤 구성과 운영의 편의를 고려해 2TB 4개로 정한 이유입니다.

버스트에 흔들렸던 fio 측정값

이 선택에는 총 72가지 조합의 측정 결과가 쓰였습니다. 총용량은 8TB로 유지하고 st1을 8TB 1개, 4TB 2개, 2TB 4개, 1TB 8개로 나눴습니다. 여기에 recordsize 3종류와 fio 블록 사이즈 6종류를 조합했습니다. OpenZFS는 당시 최신 안정 버전인 2.2.2를 사용했고, 기존 st1 8TB 1개와 ext4 구성도 비교 대상으로 뒀습니다.

측정은 짧게 끝낼 수 없었습니다. st1은 크레딧 방식의 버스트를 제공해서 1분 정도만 재면 테스트 시점에 따라 결과 차이가 컸습니다. 10분 정도 측정하자 여러 번 반복해도 거의 비슷한 값이 나왔습니다. fio에서는 10GB 파일 16개와 동시 프로세스 16개를 사용하고, 랜덤 읽기 75%와 쓰기 25% 비율로 블록 사이즈별로 10분씩 측정해 평균을 냈습니다.

서버 사양도 측정에 영향을 줬습니다. EC2의 스토리지 네트워크 가속은 24시간당 30분 동안 제공됩니다. 이로 인한 측정 오류를 줄이려고 테스트에는 실제 Warm 노드보다 높은 사양의 EC2를 사용했습니다. EC2와 EBS는 사양에 따라 스토리지 성능뿐 아니라 버스트 동작도 달라서, 그 차이를 이해하면 설정을 조정해 성능을 높이거나 불필요한 스토리지 비용을 줄일 수 있습니다.

Cold 존의 sc1은 아직 실험을 앞두고 있었습니다. 글을 쓴 시점에는 OpenZFS를 적용하면 성능이 개선되는지, 개선된다면 어느 정도인지 확인할 테스트를 준비 중이었습니다. 새로운 인사이트를 발견하면 다시 공유할 계획이었습니다.

EBS 볼륨 유형과 테스트 구성
항목gp2gp3st1sc1
디바이스SSDSSDHDDHDD
볼륨 크기1GB~16TB1GB~16TB125GB~16TB125GB~16TB
볼륨당 최대 IOPS16,000 (16KB I/O)16,000 (16KB I/O)500 (1MB I/O)250 (1MB I/O)
볼륨당 최대 처리량250MB/s1000MB/s500MB/s250MB/s
8TB 최대 월별 비용$933.89$861.11$417.79$142.54
테스트 구성볼륨파일시스템
구성 1st1 8TB 1개OpenZFS
구성 2st1 4TB 2개OpenZFS
구성 3st1 2TB 4개OpenZFS
구성 4st1 1TB 8개OpenZFS
구성 5(기존 환경)st1 8TB 1개EXT4
항목값
평균 읽기/쓰기 블록 크기, Hot 존읽기 약 100k, 쓰기 약 20k
평균 읽기/쓰기 블록 크기, Warm 존읽기 128k, 쓰기 256k
테스트 recordsize32k, 64k, 128k
fio 블록 사이즈16k, 32k, 64k, 128k, 256k, 512k
fio 옵션10GB x 16개 파일, numjobs 16, iodepth 64, randrw 읽기 75%, 600초
총 측정 구성72가지
최종 선택st1 2TB 4개, OpenZFS 2.2.2, LZ4, recordsize 128k
마지막 수정 일자