Ops Insights – 기본 개념

TSDB와 VictoriaMetrics

Sun, 12 Jul 2026 00:00:00 +0000

01 · 시계열 데이터와 VictoriaMetrics

시계열은 “언제 어떤 숫자가 찍혔나"가 이어지는 데이터입니다. 지표에는 Counter/Gauge/Histogram/Summary 4타입이 있습니다. 그중 Counter류 단조증가값이 압축이 가장 잘 됩니다.
“대용량"을 나누는 기준은 시계열 개수와 보관 기간입니다. 수백만 개까지는 Prometheus 단일로 충분하지만 수천만~수십억 개부터는 별도 솔루션이 필요합니다.
TSDB 계보: Prometheus(2012) → Gorilla 압축(2015, Facebook) → Thanos/Cortex(Prometheus 확장) vs VictoriaMetrics(완전히 다른 계열).
VM은 Prometheus 호환(PromQL·remote_write 그대로)을 지키면서 자체 벤치마크 기준 메모리 5배·스토리지 7배 효율을 주장하는 오픈소스 TSDB입니다.

시계열 데이터가 무엇인지, 왜 “대용량"이 별도의 문제로 떨어져 나오는지, 그 문제를 푸는 도구로서 VictoriaMetrics(이하 VM)가 어디에 서 있는지를 정리합니다. VM 내부의 컴포넌트 구조는 02 아키텍처로 넘깁니다.

아키텍처

Sat, 01 Aug 2026 00:00:00 +0000

02 · 아키텍처 — 4개 컴포넌트와 저장 원리

VM 클러스터는 vmagent(수집) → vminsert(라우팅·샤딩) → vmstorage(저장, n노드) → vmselect(fanout+merge 쿼리) 4컴포넌트로 흐릅니다.
배포 모드는 SingleNode(간편, SPOF)와 Cluster(수평확장, replicationFactor로 유실 방지) 둘입니다. vminsert/vmselect는 stateless라 k8s에, vmstorage는 stateful이라 물리 장비에 두는 편이 유리합니다.
대용량 write와 read를 함께 만족시키는 자료구조가 LSM 트리(append로 빠른 write, 정렬 유지로 빠른 read, merge는 백그라운드)입니다. VM의 파티션 구조가 이 구체화입니다.
IndexDB(거의 불변, 지표이름+레이블 역색인)와 DataDB(TSID → timestamp+value, 계속 쌓임)를 나눠 두면 정규화 효과로 압축 효율이 크게 올라갑니다.

여기서는 VM 클러스터를 이루는 컴포넌트, 그 사이를 흐르는 데이터, 그 아래를 떠받치는 두 아이디어 — LSM 트리와 IndexDB/DataDB 분리 — 를 정리합니다. 컴포넌트 하나하나의 내부 동작은 뒤 문서에서 따로 깊게 파고듭니다.

수집 (vmagent·vminsert)

Sat, 01 Aug 2026 00:00:00 +0000

03 · 수집 — vmagent와 vminsert

vmagent는 OTel·InfluxDB·Datadog 등 다양한 프로토콜을 받아 릴레이블·dedup·스트리밍 집계 후 remote_write로 내보내는 만능 어댑터입니다. Fast Queue(메모리)→Persistent Queue(디스크) 버퍼링으로 지표를 잃지 않습니다.
vminsert는 저장하지 않고 랑데부 해싱으로 vmstorage에 라우팅만 합니다 — 노드를 추가해도 재배치가 약 1/(N+1)에 그쳐 리밸런싱 폭풍을 피합니다.
노드 다운 시 페일오버(살아있는 노드로 균등 재분배), replicationFactor로 복제 후 vmselect 쿼리 시 dedup — 쓰기 시점 복제(안정성)와 읽기 시점 dedup(정확성)이 짝을 이룹니다.
vminsert↔vmstorage 연결은 압축 방식을 협의하며 rpc.disableCompression으로 CPU↔대역폭 트레이드오프를 조절할 수 있습니다.

VM에서 데이터가 들어오는 관문은 둘입니다. vmagent는 무엇이든 받아 정제해 리모트로 흘려보내는 만능 어댑터이자 버퍼입니다. vminsert는 그렇게 받은 데이터를 여러 vmstorage 노드로 흩뿌리는 라우팅 게이트웨이입니다. 이 둘을 차례로 봅니다.

저장과 압축

Sat, 01 Aug 2026 00:00:00 +0000

04 · 저장과 압축 — vmstorage와 Gorilla 계열 압축

지표는 Time Series(이름+레이블, 거의 불변)와 Sample(timestamp+value, 계속 쌓임)로 분리 저장됩니다 — IndexDB/DataDB 정규화의 근거.
저장 경로: 로우 파싱 → Canonical Name 정규화 → TSID 변환(캐시 hit=빠른 경로, miss=New TSID 발급=카디널리티 폭발 원인) → 압축 → 파티션(인메모리→Small→Big, Merge Multiplier로 비슷한 크기끼리 합침).
압축 비결은 Gorilla 계열 차분 인코딩: Gauge→Delta, Counter→Delta-of-Delta(단조증가값이 압축에 극단적으로 유리) + ZigZag/Varint로 바이트 절약. 네이버 실운영 실측 0.92바이트/데이터포인트(원래 16바이트 대비 ~17배 압축).
retention은 기본 1개월, IndexDB는 단건 삭제 비용을 피하려 3단계(Current/Previous/Next) 로테이션으로 통째로 드롭합니다.

vminsert가 흩뿌린 데이터를 실제로 디스크에 눕히는 컴포넌트가 vmstorage입니다. 여기서는 지표 하나가 TSID로 바뀌어 파티션에 저장되기까지의 경로를 따라갑니다. 이어서 VM의 메모리·스토리지 효율을 떠받치는 Gorilla 계열 차분 압축을 다룹니다.

쿼리·운영 컴포넌트

Sat, 01 Aug 2026 00:00:00 +0000

05 · 쿼리·운영 컴포넌트 — vmselect / vmalert / vmauth

vmselect는 저장을 하지 않는 stateless 쿼리 엔진입니다. 모든 vmstorage에 Fanout으로 던지고 돌아온 결과를 Merge·Sort해 반환합니다.
쿼리는 3-Prefix(태그→Metric ID→TSID→값·이름 복원)로 풀립니다. 쓰기 시점 정규화를 역방향으로 되짚는 대칭 구조입니다.
메모리 관리 3포인트: 쿼리 시점 dedup, Rollup Result Cache(허용 메모리 12.5%, 최근 5분 제외), Query Latency Offset(기본 30초, 정확성↔실시간성 트레이드오프).
vmalert는 Recording rules로 무거운 집계를 미리 계산해 조회 부하를 쓰기 시점으로 옮깁니다. vmauth는 멀티 클러스터 앞단 라우팅 게이트웨이로 사용자 배포 없이 장애 전환을 처리합니다.

데이터가 들어가는 길(03 수집·04 저장)은 이미 다뤘습니다. 이 문서는 데이터가 빠지는 길, 그리고 그 주변에 붙는 운영 컴포넌트를 봅니다. 쿼리 엔진 vmselect, 지표를 미리 계산해 두는 vmalert, 멀티 클러스터의 앞단을 지키는 라우팅 게이트웨이 vmauth 셋입니다.

소스맵

Sun, 12 Jul 2026 00:00:00 +0000

06 · 소스맵 — 발표 영상·기사·전사본 가이드

이 지식베이스의 바탕은 네이버 D2/DEVIEW가 공개한 VictoriaMetrics 자료 5건입니다 — 발표 영상 2편과 텍스트 기사 3편. 이 자료를 주제별로 다시 묶어 개념/실전/우리 운영 문서로 엮었습니다. 자료 하나하나를 원문 단위로 정리한 판은 원문별 정리에 따로 있습니다. 여기서는 각 문서가 어떤 원본에서 나왔는지, 원본을 직접 확인하려면 어디를 봐야 하는지 적었습니다.