본문으로 건너뛰기
지표의 홍수에 맞춰 확장한 LY Corporation의 TSDB
목차

지표의 홍수에 맞춰 확장한 LY Corporation의 TSDB (2026-02)

원문 정보

쿠버네티스 이관 뒤 몰려든 지표

자체 엔진을 만들고도 저장소는 다시 부족해졌습니다. LY Corporation이 자체 시계열 데이터베이스(TSDB)를 완성한 뒤 찾아온 고비는 대다수 서비스의 쿠버네티스 이관이었습니다.

가상 머신은 수명이 길었지만 파드는 수시로 생겼다가 사라집니다. 볼륨까지 동적으로 할당되면서 수집할 지표의 양과 복잡도가 급증했고, 사용자는 더 많은 지표를 더 오래 보관하기를 원했습니다. 저장소 리소스가 빠르게 고갈됐습니다.

지표 하나는 작습니다. 특정 시점의 상태를 나타내는 숫자에 타임스탬프를 붙인 데이터로, 태그의 키와 값을 각각 64바이트로 제한한 가상의 구조체에서는 태그 두 개를 포함해 약 280바이트입니다. 하지만 CPU 지표 하나를 15초마다 수집해 1년간 보관하면 서버 1대에 약 562 MiB, 1,000대에 548 GiB가 필요합니다. 메모리·디스크·네트워크 지표를 더하면 연간 저장 용량은 TiB 단위로 불어납니다.

수만 대의 서버에 하나씩 접속해 상태를 확인할 수는 없습니다. 지표·로그·트레이스로 내부 상태를 파악하는 관찰가능성 플랫폼이 필요한 규모이며, LY Corporation의 자체 TSDB는 현재 지표만 하루 수조 건을 처리합니다. 이 규모에서는 저장 비용을 줄이면서 필요한 데이터를 짧은 지연으로 조회하는 능력이 서비스 안정성과 직결됩니다.

최근 14일을 남겨 둔 Cassandra

자체 TSDB는 처음부터 모든 데이터를 같은 저장소에서 처리하지 않았습니다. Meta의 Gorilla 논문에 나온, 조회의 85%가 최근 26시간에 집중된다는 관찰에서 설계의 실마리를 얻었습니다. LY Corporation 내부에서 측정한 비율은 아닙니다. 이 접근 패턴에 착안해 자주 읽는 지표는 인메모리 데이터베이스(IMDB)에서 처리하고, 그렇지 않은 데이터는 디스크 기반 Apache Cassandra에 저장해 성능과 비용의 균형을 잡았습니다.

문제는 증설 속도였습니다. IMDB는 같은 사양의 장비로만 늘릴 수 있어 노드 확보가 어려웠고, Cassandra는 방대한 데이터를 리밸런싱하는 데 수십 시간이 걸렸습니다. 홍수가 밀려오는데 댐 보강 공사가 늦어지는 상황이었습니다.

IMDB에서는 부하 분산 알고리즘을 바꿨습니다. 노드마다 처리 능력이 다르다는 점을 가중치에 반영하자, 서로 다른 사양의 장비를 투입할 수 있게 됐습니다. 같은 사양의 노드를 구해야 한다는 제약이 풀리면서 서버 시장 변화에도 기민하게 대응할 수 있었습니다.

Cassandra에서는 보관 범위를 줄였습니다. 고성능 처리가 필요한 최근 14일치 데이터는 남겨 두고, 그보다 오래된 데이터는 S3 호환 저장소로 옮겼습니다. 전부 S3로 이관해 구성을 단순하게 만드는 안도 검토했습니다. 그러나 캐시를 포함하더라도 S3 호환 저장소가 Cassandra의 성능을 완전히 대체하기에는 아직 이르다는 판단이었습니다.

이 선택으로 Cassandra 의존도가 낮아져 비용 효율이 높아졌고, S3 호환 저장소 도입으로 운영 복잡도도 크게 줄었습니다. 주요 컴포넌트를 쿠버네티스로 이관하면서 운영 효율도 개선했습니다. 지표 증가세는 2024년 이후 더 가팔라졌지만, 개선한 저장소는 데이터를 안정적으로 수집하고 조회하며 운영 안정성을 유지하고 있습니다.

메모리 고갈에 부딪힌 Storage Gateway

S3의 확장성을 활용하면서도 사용자에게 코드 수정을 요구하지 않으려면 읽기와 쓰기 경로를 바꿔야 했습니다. 팀은 역할을 분리한 계층형 구성을 택했습니다.

쓰기 경로에서는 배치 작업인 덤퍼(Dumper)가 IMDB의 지표 묶음인 슬롯(slot)을 읽어 자체 규격의 서브 블록으로 변환합니다. 블록 덤퍼(Block Dumper)는 이 서브 블록들을 모아 하나의 블록으로 패키징한 뒤 S3에 적재합니다. 조회는 Storage Gateway가 블록을 읽어 처리하는 방식입니다.

조회 성능을 높이려고 넣은 캐시에서 문제가 생겼습니다. Storage Gateway는 S3에서 가져온 블록을 디스크에 캐싱했는데, 대량 I/O 과정에서 페이지 캐시 사용률이 치솟아 메모리가 빠르게 고갈됐습니다.

처음 시도한 해법은 직접 I/O(Direct I/O)였습니다. 곧 사내 클라우드 스토리지 팀에서 긴급 피드백이 왔습니다. 과도한 대역폭 점유가 다른 서비스에 영향을 주고 있었습니다.

팀은 문제를 즉시 공유하고 유관 부서와 함께 해법을 찾았습니다. 직접 I/O 적용을 철회한 뒤, 커널 페이지 캐시를 효율적으로 활용하는 B+ 트리 기반 캐시로 전환했습니다. 인프라에 무리를 주지 않으면서 조회 성능을 확보한 결과였습니다. 메모리 문제를 해결하려던 시도가 다른 서비스에 끼친 영향을 감추지 않고 공유한 일이 이 전환의 계기가 됐습니다.

엔진을 거듭 바꾸며 지켜 온 API

사용자는 MySQL에서 OpenTSDB, 자체 엔진으로 저장소가 바뀌는 동안 마이그레이션하거나 코드를 고치지 않아도 됐습니다. 팀이 기존 API와의 호환성을 유지했기 때문입니다. 사용자에게 보이는 인터페이스 뒤에서는 저장과 조회의 한계를 넘기 위한 교체가 이어졌습니다.

처음 사용한 MySQL은 SOA에서 MSA로 전환하는 과정에서 한계에 부딪혔습니다. 서비스 컴포넌트가 잘게 나뉘고 모니터링할 데이터가 늘자 운영 비용, 저장 용량, 쿼리 지연이 한꺼번에 문제가 됐습니다. 샤딩으로 급한 불은 껐습니다. 그래도 쓰기 부하와 대용량 읽기 성능 때문에 1분 미만의 고해상도 지표 수집은 사실상 어려웠고, 경직된 태그 스키마로는 시시각각 변하는 클라우드 리소스를 표현하기 어려웠습니다.

2016년에 도입한 Apache HBase 기반 OpenTSDB는 MySQL보다 나은 쓰기 성능을 보였습니다. 하지만 운영이 길어지자 다른 제약이 드러났습니다. 태그가 늘수록 UID 테이블 조회 성능에 영향을 주어 태그 개수를 제한해야 했으며, a-z, A-Z, 0-9, -, _, ., / 이외의 문자를 쓸 수 없어 글로벌 서비스의 메타데이터를 담는 데도 제약이 있었습니다. 대용량 조회 성능을 확보하려면 데이터를 미리 캐시에 읽어 두는 웜업이 필수여서 운영도 복잡해졌습니다.

사용자 경험을 지키면서 비즈니스 요구를 빠르게 반영하기 위해 팀은 2018년 자체 엔진 개발을 시작했습니다. 특정 에이전트에 묶이지 않는 다양한 프로토콜 지원과 1분 미만 지표의 지연 없는 처리가 목표였습니다. 트래픽이 폭증해도 선형적으로 성능을 유지하는 무중단 아키텍처, 어떤 장애에서도 사용자 경험을 해치지 않는 가용성도 지향했습니다.

자체 TSDB는 약 1년 뒤인 2019년에 완성됐습니다. IMDB와 Cassandra를 나눠 쓰는 설계는 그 과정에서 나온 선택입니다. 자체 엔진 도입으로 그동안 억눌려 있던 기능 요구를 수용할 수 있었고, 2019년 이후에는 하루 지표 수집량이 전년 대비 매년 2,000억 건 이상 늘어났습니다.

흩어진 시계열 데이터를 모을 단일 플랫폼

지표의 쓰임도 넓어지고 있습니다. 추세를 시각화하고 임계치를 넘으면 알림을 보내는 방식에서, ARIMA나 Prophet 같은 시계열 예측 알고리즘으로 장애 징후를 미리 포착하는 방향으로 발전하고 있습니다.

LY Corporation 팀도 저장한 데이터를 예측과 지능에 활용하려고 합니다. 이를 위해 먼저 사내에 흩어진 여러 TSDB를 자체 구축한 단일 솔루션으로 통합할 예정입니다. 지난 수년간 수조 건 규모의 데이터를 옮기면서 사용자 경험을 보존한 경험을 이번 통합에도 이어가려 합니다. 데이터를 모으는 과정이 사용자에게 마이그레이션 부담을 지우지 않도록 하겠다는 뜻입니다.

통합 플랫폼에서는 데이터 분석가와 엔지니어가 한곳에 모인 시계열 데이터에 접근할 수 있는 환경을 기대하고 있습니다. 축적한 데이터를 AI 모델과 결합해, 복잡한 통계 설정 없이 이상 징후를 자동으로 탐지하고 트래픽 변화를 예측하는 AIOps·예측 엔드포인트도 제공할 예정입니다.

MCP 연동 역시 앞으로의 구상입니다. 대규모 언어 모델(LLM)이 운영 데이터를 이해하고 조회할 표준 인터페이스를 마련해, 사용자가 “지난주 트래픽 이상 원인이 뭐야?”라고 물으면 시스템이 데이터를 분석해 답하는 모습을 그리고 있습니다.

원문의 주요 수치와 시점
항목값
데이터 포인트 크기(가상 구조체, 태그 2개)약 280바이트
CPU 지표 1개의 연간 용량(15초 주기)서버 1대 약 562 MiB, 1,000대 548 GiB
OpenTSDB 도입2016년
자체 TSDB 개발2018년 시작, 2019년 완성(약 1년)
일간 지표 수집량 증가2019년 이후 매년 2,000억 건 이상
현재 처리량일간 수조 건 규모
조회 패턴(Gorilla 논문 인용)85%가 최근 26시간에 집중
저장소 계층최근 14일치는 Cassandra, 이후는 S3
캐시 개선Direct I/O 철회, B+ 트리 기반 캐시로 전환
마지막 수정 일자