목차
Redicoke의 남는 공간에서 시작한 사내 TSDB TSCoke (2022-08)
원문 정보
- 원문: TSDB as a Service, TSCoke 개발기
- 매체 · 게시일: 카카오 기술블로그 · 2022-08-09
- 저자: yanoo.kim (분산기술셀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
TSCoke는 곧 사내에 공개해도 될 듯했습니다. 카카오 분산기술셀이 개발한 이 시계열 데이터베이스(TSDB)는 사내 클라우드 포털 KCP(Kakao Cloud Portal)에서 웹으로 제어할 수 있었고, PromQL Compliance test도 100% 통과했습니다. Sharding과 Replication으로 내구성과 무중단 확장을 구현했으며, 장비를 늘렸을 때 성능이 좋아지는 것까지 확인한 상태였습니다.
다른 부서와 함께 테스트하자 사정이 달라졌습니다. 동작조차 제대로 되지 않았습니다. 방대한 인덱스는 Out-of-memory를 일으켰고, 고가용성을 위해 마련한 복제 방식은 데이터의 시간 순서를 뒤집어 클러스터 전반의 성능을 떨어뜨렸습니다. 저장 공간과 조회 성능이 만족스러웠던 프로토타입에서, 여러 팀이 쓸 서비스로 가는 과정에 만난 문제였습니다.
약 10년 동안 늘어난 Kage의 지표
출발점은 Kage의 모니터링이었습니다. 분산기술셀은 카카오의 이미지·동영상·파일을 저장하는 분산 스토리지 Kage를 운영하면서, 셀 수 없이 많은 서버와 스토리지의 상태를 여러 지표 서비스로 살폈습니다. 내부 커스텀 메트릭은 Kage 전용 대시보드에서, 서버 상태는 Prometheus에서 확인했습니다. 계절 이벤트처럼 긴 시간에 걸친 변화를 분석하고 비용과 구매 계획을 세울 때는 Apache Hadoop 기반 내부 BI 서비스를 썼습니다.
처음부터 이렇게 나뉘어 있던 것은 아닙니다. 약 10년 동안 Kage가 커지고 복잡해질 때마다 필요한 지표를 추가한 결과였습니다. 이제는 지표를 관리하는 일 자체가 부담이었고, 서로 다른 곳에 있는 지표를 조합해 분석하고 싶어졌습니다.
장단기 지표를 한곳에 보관하면서 빠르게 조회할 저장소가 필요했습니다. 여러 TSDB를 시험했지만 선택이 쉽지 않았습니다. 싱글 노드만 지원하는 제품도 있었고, 클러스터링 비용이 부담스럽거나 조회가 느리거나 필요한 기능이 빠진 제품도 있었습니다.
확장할수록 공간이 남던 Redicoke
한편 같은 셀에서 운영하던 분산 Key-value store Redicoke에는 저장 공간이 남았습니다. Redicoke는 redis 프로토콜과 자료구조를 제공하므로 Redis 클라이언트와 서드파티를 그대로 쓸 수 있습니다. 저장 방식은 다릅니다. 메모리에 데이터를 두는 redis와 달리 NAND를 사용하고 데이터를 삼중화해 안정성을 확보했습니다. redis보다 지연 시간은 길지만 넓은 공간을 제공하며, 서비스 중단 없는 Online scale out으로 성능과 용량을 늘릴 수 있었습니다.
문제는 사용 패턴이었습니다. 초기 사용자는 대부분 redis를 쓰다가 공간과 안전성을 이유로 옮겨 왔지만, 사용 패턴은 여전히 고성능·저용량에 맞춰져 있었습니다. 성능을 더 확보하려고 장비를 늘릴 때마다 저장 공간도 늘어났습니다. 이미 남던 공간이 더 남는 상황이었습니다.
분산기술셀은 그 공간에 지표를 저장하기로 했습니다. 중간에 데몬을 두고 연산을 취합하면 Redicoke의 Throughput 소모를 줄이면서 넓은 저장 공간을 활용할 수 있다는 구상이었습니다. 프로토타입은 저장 공간과 조회 성능 요구를 모두 만족했습니다. 여기에 익숙한 Prometheus의 PromQL을 제공해 사용자가 필요할 때 다양한 분석을 할 수 있도록 했습니다.
비슷한 고민을 하던 사내 다른 팀들도 만났습니다. 이들의 요구사항을 모으면서, Kage의 지표 통합에서 출발한 개발은 카카오의 요구에 맞는 TSDB 서비스로 이어졌습니다.
익숙한 도구에서 시작하는 TSCoke
자체 솔루션은 사용자에게 낯섭니다. 프로토콜을 새로 익혀야 하고 서드파티도 부족합니다. TSCoke는 Prometheus API와 호환되도록 해 이 부담을 줄이려 했습니다. Grafana 같은 대시보드에 익숙한 사용자가 웹에서 계정을 만들고 동작 상태와 사용량, 로그를 확인하도록 웹 콘솔도 기획했습니다.
지표를 잃지 않고 필요할 때 볼 수 있어야 한다는 조건도 있었습니다. 지표가 없다고 서비스가 곧바로 멈추지는 않지만, 지표는 의사결정의 근거입니다. 특히 장애 대응 중 갑자기 지표가 보이지 않으면 곤혹스럽습니다. 내구성과 고가용성을 목표로 삼은 이유입니다.
사용자가 성능과 공간 확장까지 고민하게 하고 싶지는 않았습니다. 장비를 추가하면 데몬이 Shard를 자동으로 분배하고 Migration하며, 그동안 서비스는 계속 동작해야 했습니다. 앞서 확인한 무중단 확장은 이 목표를 구현한 결과였지만, 타 부서 테스트에서는 가용성을 위한 복제가 예상치 못한 I/O 부담을 드러냈습니다.
시간 역전으로 불어난 I/O를 줄인 LSS
서로 다른 최신 데이터를 가진 노드
Timestamp 역전의 원인은 이중화였습니다. TSCoke는 Master-Master Replication을 사용하면서도 정합성 처리를 쉽게 하려고 노드에 우선순위를 뒀습니다. 가급적 Primary에 먼저 기록하고, 그 내용을 Secondary로 동기화하는 방식입니다.
약간의 네트워크 지연이나 Primary의 동작 지연만으로도 쓰기가 Secondary로 Failover될 수 있었습니다. 그러면 Primary와 Secondary는 서로 다른 최신 데이터를 갖게 됩니다. 이후 동기화할 때 한 노드는 자신이 가진 최신 기록보다 오래된 데이터를 받아야 합니다. 그 노드에서 보면 시간 축이 뒤집힌 것입니다.
오래된 기록을 받는 일은 압축 방식과 부딪혔습니다. 시계열 데이터는 시간 순서로 들어오고 값에도 비슷한 특성이 있어 압축 효율이 좋습니다. CPU 점유율이 0에서 100 사이를 오가거나 DISK 사용량이 시간에 따라 단조 증가하는 것이 그 예입니다. TSCoke는 Double Delta와 Gorilla로 데이터를 압축하고, 압축 문맥을 메모리에 유지했습니다. 순서대로 들어오는 데이터라면 기존 기록을 수정하지 않고 Append Only로 로컬 스토리지에 쓰면 됐습니다.
중간에 과거 데이터를 넣을 때는 달랐습니다. 삽입할 위치의 압축 문맥이 없으므로 전체 데이터를 읽어 문맥을 다시 만들고, 데이터를 삽입한 뒤 다시 저장해야 했습니다. 평소보다 많은 I/O가 필요한 작업입니다. Master-Master 방식에서는 이런 역전이 클러스터의 여러 노드에서 한꺼번에 발생하면서 I/O가 튀었고, 그 영향이 클러스터 전체로 번졌습니다.
2차 Buffer에 맞춰 줄인 기능
초기 로컬 저장소는 Golang으로 구현된 Embedded Key-value store인 Bolt와 Badger였습니다. Timestamp 역전으로 I/O가 늘 때마다 기대에 못 미쳤습니다. 분산기술셀은 내부 저장소로 쓰기에는 사용하지 않는 기능이 많고 무겁다고 판단했습니다.
그래서 NAND의 I/O 특성에 맞춘 Append Only 방식의 LSS(Log-structured Segment Store)를 직접 구현했습니다. 역할은 2차 Buffer였습니다. 만료 시간이 비슷한 Slot들을 묶어 Chunking하고, Segment를 생성하거나 만료 처리하는 데 드는 시간과 메모리를 줄였습니다. 필요한 역할에 맞추자 코드는 오히려 짧아졌습니다.
효과는 예상보다 컸습니다. IOPS는 수십 배 늘었고 메모리 소모는 비교할 수 없을 만큼 작아졌습니다. Write와 Delete에 필요한 연산과 자료구조가 거의 없어지다시피 했고, 남은 자료구조도 TSCoke에 맞게 줄인 결과입니다. 기능을 더하기보다 구현을 줄이면서, Timestamp 역전으로 생기던 I/O 병목은 지표에서 보이지 않을 정도로 감소했습니다.
문자열을 숫자로 바꾼 뒤 촘촘해진 ART
빠른 검색을 위해 메모리에 둔 Series index
메모리 부족은 Label 검색에서 시작됐습니다. PromQL은 특정 문자열과 일치하거나 일치하지 않는 Label뿐 아니라 정규식에 맞는 Label도 찾습니다. 이를 지원하려면 각 Label에 인덱스가 필요합니다. 데이터가 많아지자 O(logN)의 탐색 비용도 무시하기 어려워졌고, In-memory indexing으로 속도 문제를 풀려 하자 방대한 인덱스가 메모리를 채웠습니다. Out-of-memory가 자주 발생한 이유입니다.
빠른 탐색에 사용한 자료구조는 ART(Adaptive radix tree)였습니다. Radix Tree는 노드 안에서 원하는 Child node를 바로 찾을 수 있어 BinarySearch를 사용하는 BTree보다 탐색에 유리합니다. 대신 빈 Slot이 메모리를 낭비합니다. ART는 노드 크기를 4, 16, 48, 256으로 바꿔 가며 이 낭비를 줄입니다.
중간 노드를 생략하는 기능도 있습니다. BAR와 BAZ가 공유하는 BA처럼 같은 Prefix를 가진 Key들은 Path compression으로 경로를 압축합니다. Lazy expansion은 불필요한 Suffix를 표현하기 위한 Internal node를 생략합니다. 둘 다 Key를 표현하는 데 드는 메모리를 아끼는 기능입니다.
Label의 분포를 바꾼 Dictionary coding
ART만으로는 부족했습니다. A와 B로만 구성된 4byte Key를 넣는 경우를 생각하면, 각 노드의 Child는 둘뿐이어서 효율이 Binary tree 수준으로 떨어집니다. TSCoke의 Label도 이와 비슷한 분포였습니다. 자료구조를 바꿔도 Key가 촘촘하게 들어가지 않는 문제는 남았습니다.
해결책은 문자열을 Integer로 매핑하는 Dictionary coding이었습니다. ART 논문에서 Key 분포가 가장 촘촘한 데이터셋으로 꼽은 것도 Integer입니다. Label을 숫자로 압축하면 ART의 공간 효율이 높아지고, Path compression의 효과도 함께 얻을 수 있었습니다.
실데이터 10만 건을 비교한 결과는 이 조합의 차이를 보여줍니다. 기본 구현인 sync.Map을 ART로만 바꿨을 때는 성능이 좋아졌지만 메모리 효율은 오히려 나빠졌습니다. ART에 Dictionary coding을 적용하자 sync.Map에 Dictionary coding을 적용한 경우보다 메모리 효율이 높아졌습니다. 메모리를 효율적으로 쓰면서 성능도 더 좋아졌습니다.
실제 저장 규모는 억 단위 Series입니다. Series가 많아질수록 Dictionary coding의 압축비가 높아지므로, 개발팀은 실제 메모리 효율이 10만 건을 사용한 비교 결과보다 더 높다고 설명합니다.
DKOS에서 시작한 사내 베타
개선 뒤 몇 차례 테스트에서 만족스러운 결과를 얻었습니다. TSCoke는 2022년 6월 9일 카카오의 쿠버네티스 서비스 DKOS를 바탕으로 사내 베타를 열었습니다. 2022년 8월 4일 기준으로 3억 개가 넘는 Series가 저장돼 활발히 쓰이고 있었습니다. 글을 집필하는 사이에도 분산 쿼리 기능과 Label 추출 성능 개선이 추가됐습니다.
2020년 말에 시작한 개발에는 남은 작업도 많았습니다. 뒤로 미뤄 둔 성능 튜닝 요소가 있었고, 당시 Prometheus의 Alarm과 Recording rule은 아직 구현하지 않은 상태였습니다. 외부 스토리지 연동도 앞으로 추가하고 싶은 기능이었습니다.
원문에 제시된 수치와 시점
| 항목 | 값 |
|---|---|
| Kage 운영 기간 | 약 10년 |
| 개발 시작 | 2020년 말 |
| 사내 베타 오픈 | 2022-06-09 (DKOS 기반) |
| 글 작성 시점 Series 수 | 3억 개 이상 (2022-08-04 기준) |
| PromQL Compliance test | 100% 통과 |
| ART 노드 크기 | 4, 16, 48, 256 |
| ART 효과 검증 데이터 | TSCoke 실데이터 10만 건 |
| LSS 도입 효과 | IOPS 수십 배 증가, 메모리 소모 대폭 감소 (원문에 세부 수치 없음) |