본문으로 건너뛰기
Prometheus의 한계에서 시작한 Clymene의 2년 반
목차

Prometheus의 한계에서 시작한 Clymene의 2년 반 (2023-06)

원문 정보

수집한 데이터를 보내기엔 무거웠던 Prometheus

필자가 관측 대상 클러스터에 맡기려던 일은 수집과 전송뿐이었습니다. 여러 Kubernetes 클러스터에서 데이터를 모아 백엔드로 보내는 구성이었는데, 각 클러스터의 Prometheus는 시계열 데이터베이스에 필요한 리소스까지 쓰고 있었습니다. 당시에는 Agent 모드가 없었습니다. 원격 쓰기(Remote Write)를 켜더라도 데이터베이스로서의 동작은 남았습니다.

Clymene-agent의 출발점은 이 부담을 줄이는 일이었습니다. 필자는 Prometheus의 스레드별 동작을 살펴 Config, Service Discovery, Endpoint Scrape만 분리해 쓰기로 했습니다. 설정을 관리하고, 관측할 엔드포인트를 찾고, HTTP로 시계열 데이터를 수집하는 부분입니다. 여기에 백엔드로 데이터를 보내는 기능을 두면 WAL(Write Ahead Logging), WAL Watcher, TSDB, Query까지 갖춘 Prometheus보다 적은 리소스를 쓰는 수집 에이전트를 만들 수 있다고 판단했습니다.

수집 과정에도 비용은 들었습니다. Prometheus의 Endpoint Scrape는 HTTP 응답으로 받은 raw 시계열 데이터를 파싱할 때 CPU를 많이 사용했습니다. Prometheus는 이 부담을 줄이려고 한 번 파싱한 데이터를 메모리에 캐싱합니다.

저장소에 맞춰 조립하는 Clymene 파이프라인

데이터를 받는 백엔드에도 제약이 있었습니다. Prometheus는 모든 데이터를 단일 노드에 저장하므로 스케일 업만 가능했고, 노드의 리소스가 한계에 도달하면 성능을 더 높이기 어려웠습니다. 샤딩이나 복제 기능도 없어 저장 노드의 장애가 데이터 유실로 이어질 수 있었습니다.

Clymene는 저장소를 선택할 수 있게 하는 쪽으로 설계했습니다. Factory와 Writer 인터페이스로 저장 부분을 추상화하고, 설정을 바꿔 스케일 아웃이 가능한 다른 데이터베이스에 적재하는 방식입니다. Prometheus의 스레드를 프로세스로 분리해 스케일 아웃을 구현한 Thanos나 Cortex와는 접근이 달랐습니다.

인터페이스 구현체는 Cortex, Elasticsearch, Gateway(자체 컴포넌트), InfluxDB, Kafka, Loki(로그 전용), OpenTSDB, Prometheus, TDengine입니다. 이미 쓰던 데이터베이스가 지원 대상이라면 그곳에 시계열 데이터를 저장해 활용할 수 있었습니다. PromQL을 새로 배우지 않아도 된다는 장점도 있었습니다.

저장소까지 가는 경로도 고를 수 있습니다. Clymene는 시계열과 로그 수집 파이프라인에 각각 에이전트, 게이트웨이, 인제스터를 두었습니다.

역할시계열 파이프라인로그 파이프라인
에이전트clymene-agentclymene-promtail
게이트웨이clymene-gatewaypromtail-gateway
인제스터clymene-ingesterpromtail-ingester

에이전트는 수집한 데이터를 저장소에 직접 쓰거나 gRPC/HTTP로 게이트웨이에 전달합니다. Kafka에 적재해 인제스터가 처리하게 할 수도 있습니다. 게이트웨이는 gRPC/HTTP로 받은 데이터를 처리해 다른 게이트웨이, Kafka, 저장소로 보내는 역할입니다. 인제스터는 Kafka에 쌓인 데이터를 처리한 뒤 게이트웨이나 다른 Kafka, 저장소로 보낼 수 있습니다.

이 컴포넌트들을 블록처럼 조립하는 방식입니다. 합성 쓰기(Composite Write)를 쓰면 수집하거나 전달받은 데이터를 여러 이기종 저장소에 함께 저장할 수 있고, 다른 리전으로 전달하는 구성도 가능합니다. 백엔드 컴포넌트는 모두 확장 가능하게 설계했습니다. 부하에 따라 스케일을 조정해 고가용성을 갖춘 구성을 만들 수 있도록 한 것입니다.

함께할 개발자를 찾아 나선 발표 자리

직접 만든 오픈소스를 많은 사람이 쓰는 모습을 꿈꿨지만, 혼자 개발하는 속도는 더뎠습니다. 함께할 개발자가 간절했습니다. 필자는 더 많은 사람이 관심을 갖기를 바라며 홍보에 힘을 쏟았고, 개발에 들인 시간만큼 공식 문서에도 시간을 투자했습니다. 사용자가 프로젝트를 활용하는 발판이 되는 문서는 홍보에도 큰 도움이 됐습니다.

SNS의 반응이 늘 반갑지는 않았습니다. 릴리스 때마다 여러 SNS에 소식을 알리고 사용 사례를 썼지만, 스팸으로 걸러지거나 욕설을 듣기도 했습니다. 홍보 한 번에 늘어난 GitHub 스타는 5개 미만이었습니다. 조금씩 관심이 늘었고, 오프라인에서 프로젝트를 소개할 기회도 얻었습니다.

2023년 2월 쿠버네티스 코리아 그룹 밋업은 첫 오프라인 발표 자리였습니다. 필자는 긴장과 설렘 속에서 Clymene로 다중 Kubernetes 클러스터의 모니터링 시스템을 만드는 방법을 소개했습니다. 청중 가운데는 Prometheus를 쓰며 비슷한 불편을 겪은 사람이 많았고, 프로젝트를 시작한 아이디어에도 예상보다 큰 관심을 받았습니다. 3월 Apache Druid 그룹 밋업에서는 Clymene와 Druid로 모니터링 시스템을 구성하는 방법을 발표했습니다. Prometheus 생태계의 Exporter를 이용해 Druid에 데이터를 적재할 수 있다는 활용 사례입니다.

공개SW 개발자대회에 출품한 목적도 홍보였습니다. 과학기술정보통신부가 주최하고 정보통신산업진행원이 주관한 대회에서 1차 서면 평가와 2차 오프라인 발표 평가, 기능·라이선스 검증을 거쳐 입상했습니다. 많은 개발자가 대회에 참여한 모습을 보며 개발 열의를 다시 다질 수 있었던 경험입니다.

Agent 모드 이후 달라진 Clymene의 조건

개발과 홍보를 이어 가는 사이, 출발할 때의 조건이 달라졌습니다. Prometheus에도 Agent 모드가 나왔습니다. 데이터 전송 실패 처리를 제외하면 내부 로직이 비슷했고, 원격 쓰기보다 리소스를 압도적으로 적게 쓰던 clymene-agent도 Prometheus Agent 모드와 비교하면 소모량이 유사했습니다. 필자에게는 프로젝트의 가장 큰 장점을 잃은 듯한 변화였습니다. 조건이 비슷하다면 사용자는 기존에 쓰던 도구를 계속 택하는 것 같았습니다.

저장소 선택권에 대한 기대도 달라졌습니다. 시계열 데이터를 스케일 아웃이 가능한 다른 데이터베이스에 저장하려는 수요가 설계 당시 예상보다 적어 보였습니다. 필자가 보기에 그런 기능이 필요한 경우는 극소수였고, 스케일 아웃을 원하는 사용자는 Thanos나 Cortex로 백엔드를 구성하는 쪽을 택하는 듯했습니다.

그래도 쉽게 놓을 수는 없었습니다. 약 2년 반 동안 함께한 프로젝트에는 발표 자리의 설렘과 대회 입상의 기쁨도 남아 있었습니다. 필자는 시계열과 로그를 잘 정제해 기계학습으로 의미 있는 데이터를 만들어 내는 아이디어를 마지막으로 구현해 볼 생각입니다. 재미있는 오픈소스 주제가 있다면 다시 열정을 쏟을 각오도 그대로입니다.

마지막 수정 일자