목차
타입 결정을 조회로 미룬 우버의 ClickHouse 로그 플랫폼 (2021-02)
원문 정보
- 원문: Fast and Reliable Schema-Agnostic Log Analytics Platform
- 매체 · 게시일: Uber Engineering Blog · 2021-02-19
- 저자: Chao Wang(소프트웨어 엔지니어, 차세대 로깅 인프라 팀 리드), Xiaobing Li(전 로깅 팀 소프트웨어 엔지니어)
- 원문 내용을 바탕으로 재구성한 요약입니다.
장애 조사에 쓰지 못한 ELK 대시보드
장애를 조사하려고 대시보드를 열어도 최근 1시간의 로그를 보는 데 한참이 걸렸습니다. 로그가 많은 우버의 한 서비스에서는 그 1시간이 약 1.3TB였습니다. 조회 범위를 6시간으로 늘리면 자주 타임아웃이 났습니다. 운영 쿼리의 80% 넘게가 terms, histogram, percentile 같은 집계였지만, Elasticsearch는 대용량 데이터를 빠르게 집계하도록 설계된 저장소가 아니었습니다.
이미 플랫폼의 규모는 컸습니다. 2014년 ELK로 시작한 로깅 플랫폼은 여러 리전의 수천 개 서비스에서 초당 수백만 건의 로그를 받아 수 PB를 저장하고, 대시보드와 프로그램이 보내는 초당 수백 건의 쿼리를 처리하는 규모로 자랐습니다. 그래도 우버에서 생성되는 로그 중 일부만 받고 있었습니다.
로그 한 줄을 남기는 규칙도 걸림돌이었습니다. Elasticsearch는 로그에서 스키마를 추론해 클러스터 전체에 일관되게 적용하고, 이후 들어오는 로그의 필드 타입이 맞지 않으면 오류를 내고 그 로그를 버립니다. 잘 정의된 비즈니스 이벤트에는 적합하지만, 로그의 스키마는 개발 과정에서 계속 달라집니다. 수백 명이 고치는 대형 API 플랫폼에는 필드가 수천 개 쌓이고, 서로 다른 엔지니어가 같은 이름에 다른 타입의 값을 넣을 가능성도 높습니다. 로그를 찍으려는 개발자가 기존 스키마부터 공부해야 했습니다.
운영자는 장애의 영향 범위를 줄이려고 리전마다 ES 클러스터를 20개 넘게, 특수한 용도와 설정을 위한 Logstash 파이프라인을 50개 넘게 운영했습니다. 그래도 무거운 쿼리나 매핑 폭발로 클러스터가 얼어붙으면 재시작해야 했고, 클러스터가 많아질수록 장애도 잦아졌습니다. 문제를 일으키는 필드를 찾아 비활성화하고 클러스터 사이의 트래픽을 재분배하는 자동화가 있었지만, 타입 충돌에는 여전히 사람의 손이 필요했습니다.
타입 결정을 뒤로 미룬 수집 경로
새 플랫폼의 목표는 우버가 만드는 로그를 모두 받아 낮은 비용으로 저장하고 조회하는 것이었습니다. 10배 규모를 감당하면서 집계도 빨라야 했고, 여러 리전과 테넌트를 아우르는 쿼리도 지원해야 했습니다. 테넌트를 함께 수용해 배포를 통합하고 운영을 단순하게 만드는 일도 과제였습니다. 우버는 여러 로깅 제품과 저장소를 검토한 끝에 오픈소스 분산 컬럼너 DBMS인 ClickHouse를 고르고, 그 위에 스키마 변화에 얽매이지 않는 데이터 모델을 만들었습니다.
타입은 조회할 때 정하기로 했습니다. 쓰기 경로가 오래 멈추면 Kafka에 쌓인 로그가 자동 삭제되므로, 수집 경로에는 장애를 허용할 여유가 작습니다. 조회 경로는 그보다 여유가 있어 기능을 빠르게 개선하거나 복잡한 변환을 적용하기에 낫습니다. ES처럼 쓰기 시점에 타입을 확정하지 않으면 수집 로직을 단순하게 유지하면서 더 온전하게 로그를 남길 수 있었습니다.
수집 경로는 Kafka → ingester → m3msg → batcher → ClickHouse로 이어집니다. ingester가 JSON 로그를 키-값 쌍으로 펼쳐 값 타입별로 묶으면, m3msg가 이를 batcher에 전달합니다. Kafka 오프셋은 batcher가 ClickHouse에 쓰기를 마쳤다는 ack를 보낸 뒤에만 커밋합니다. 이 방식으로 최소 한 번 전달을 보장하고, 하류가 느려지면 m3msg의 역압 처리와 Kafka의 버퍼링으로 대응합니다.
ClickHouse에는 큰 배치로 씁니다. 여러 테넌트의 로그를 한 테이블에 모으면 쓰기 빈도를 높이지 않고도 배치를 빨리 채울 수 있습니다.
batcher는 배치에서 필드별로 관측한 타입을 모두 추출해 메타데이터 저장소의 로그 스키마에 기록합니다. 오래된 정보를 지울 수 있도록 각 타입에 관측 시각도 남깁니다. 스키마 갱신이 실패해도 수집은 계속됩니다. 대부분의 태그가 반복되므로 이후 배치에서 스키마가 다시 맞춰질 가능성이 높고, 메타데이터 저장소는 매우 큰 스키마도 담을 수 있어 매핑 폭발의 영향도 훨씬 덜 받습니다.
필드마다 컬럼을 만들지 않는 ClickHouse 테이블
개발자가 "Job finished"라는 메시지에 키-값 태그를 붙이면, 메시지와 태그는 모두 로그의 필드가 됩니다. 로그 하나에 평균 40개가 넘습니다. 값은 문자열이나 숫자일 수도, 배열이나 객체일 수도 있으며 플랫폼은 이 필드를 모두 같은 방식으로 다룹니다.
처음에는 원본 JSON만 _source 컬럼에 저장했습니다. 조회할 때 visitParamExtractString으로 필요한 필드를 꺼내면 테이블 설계는 단순하지만, 매번 JSON을 해석하는 비용 때문에 너무 느렸습니다.
필드마다 전용 컬럼을 만들자 속도가 달라졌습니다. 이름과 타입을 함께 써서 컬럼을 구분하면 타입 충돌도 처리할 수 있었고, 쿼리는 원본 JSON을 해석할 때보다 약 50배 빨랐습니다. 문제는 필드가 늘어날 때였습니다. 컬럼 수에 비례해 디스크 파일이 늘어나면서 ClickHouse가 백그라운드 part 병합에 짓눌렸고, 결국 읽기와 쓰기에 응답하지 않게 됐습니다.
최종안에서는 필드를 값 타입별로 묶었습니다. String, Number, StringArray 같은 타입마다 이름 배열과 값 배열을 한 쌍씩 두고, 키-값 쌍을 그 안에 저장합니다. 문자열 필드라면 string.names와 string.values, 숫자 배열이라면 number_array.names와 number_array.values에 들어갑니다. 공통 메타데이터는 빠르게 읽도록 전용 컬럼에 남겼으며, _namespace 컬럼으로 테넌트를 구분합니다.
원본 JSON도 _source에 보관합니다. 원본 로그를 가져올 때 배열에서 중첩된 객체와 배열을 다시 조립하는 비용을 피하기 위해서입니다. 사실상 로그를 두 번 저장하지만 디스크 부담은 작았습니다. 압축률은 보통 3배, 경우에 따라 30배로 ES와 비슷하거나 더 좋았습니다.
필드 조회에는 배열 함수를 씁니다. 예를 들어 endpoint가 /health인지 확인하는 조건은 string.values[indexOf(string.names, 'endpoint')] = '/health'로 표현합니다. 이 방식은 원본 JSON을 해석하는 것보다 약 5배 빨랐습니다. 전용 컬럼의 속도에는 못 미쳤지만, 자주 읽는 필드에 한해 그 속도를 다시 얻을 방법이 있었습니다.
자주 읽는 필드에만 마련한 전용 컬럼
우버가 운영 쿼리를 분석해 보니 색인한 필드 중 실제로 쓰인 것은 5%뿐이었습니다. 나머지 95%에 들인 색인 비용은 낭비였습니다. ES는 필드를 색인하려고 역색인과 정방향 색인을 만들고 트랜잭션 로그를 쓰며, 메모리 버퍼를 주기적으로 플러시하고 세그먼트를 병합합니다. CPU를 쓰는 데다 로그를 조회할 수 있게 되기까지의 시간도 늘어납니다. 색인을 세 단계 깊이까지만 만들도록 제한해도 모든 로그를 받기에는 비쌌습니다.
새 플랫폼은 필드 색인 비용을 미리 들이지 않고 로그를 받되, 자주 조회하는 필드만 ClickHouse의 materialized column으로 따로 저장합니다. 이 적응형 색인에서는 ClickHouse가 읽기와 쓰기를 막지 않고 비동기로 값을 채웁니다. 이미 채운 값은 전용 컬럼에서 읽고, 아직 채우지 못한 구간은 배열에서 추출하므로 쿼리 서비스의 SQL 생성도 단순해집니다. 컬럼 접근식을 정할 때 해당 필드가 materialize됐는지 확인하면 됩니다.
전용 컬럼에는 쓰기 비용이 듭니다. 한때 자주 읽혔더라도 접근이 뜸해진 컬럼은 주기적으로 정리합니다.
한 필드의 여러 타입을 읽는 쿼리 서비스
사용자에게 이 테이블 배치를 알아야 하는 SQL을 쓰게 할 수는 없었습니다. 배열에 들어간 키와 값, 여러 테이블에 나뉜 데이터, 적응형 색인까지 알아야 하기 때문입니다. 우버는 로깅에 맞춘 고수준 인터페이스를 제공하고, 쿼리 서비스가 이를 ClickHouse SQL로 바꾸게 했습니다.
| 인터페이스 | 조회 방식 |
|---|---|
| RawQuery | 필터에 맞는 원본 로그 조회 |
| AggregationQuery | 원본 필드 값으로 그룹을 나눈 뒤 통계 계산 |
| BucketQuery | 10분 구간처럼 표현식의 결과로 그룹 구성 |
Calculation 절에는 자체 Filter를 붙일 수 있어 ClickHouse의 조건부 집계로 복잡한 분석을 표현합니다. 모든 쿼리는 여러 네임스페이스, 즉 테넌트를 지정할 수 있으며 내부에서는 merge() 함수를 사용합니다.
SQL을 만들기 전에 먼저 타입을 결정합니다. 논리 단계에서는 요청에 쓰인 필드의 타입 제약을 모으고, 수집 때 기록한 로그 스키마에 필드가 있는지 확인합니다. foo = "abc"라는 필터라면 String이나 StringArray가 후보입니다. 여기에 실제 스키마를 대조해 foo가 String으로만 관측됐다면 String 컬럼만 읽도록 정합니다.
그룹 기준으로 쓰인 bar는 String, Number, StringArray, NumberArray가 모두 후보가 될 수 있습니다. 실제 스키마에 String과 Number가 기록돼 있다면 한 SQL에서 두 타입의 값을 함께 읽습니다. 여러 타입을 다룰 때는 연산자에 맞춰 문자열이 아닌 값을 String이나 StringArray로 바꿉니다. 스칼라가 배열의 원소 타입과 같을 때는 스칼라와 배열 사이의 변환도 허용합니다. 같은 필드에 문자열과 숫자가 섞인 로그가 이제는 정상적인 조회 대상입니다.
논리 단계에서 컬럼 접근식을 정한 뒤, 물리 단계가 요청의 표현식을 최종 SQL로 번역하고 스레드 수 같은 실행 설정을 결정합니다. Logstash 수집 경로에서 무거운 전처리를 하는 대신, 조회 시점에 필요한 변환을 적용할 수 있게 된 것입니다.
수백 노드로 커진 ClickHouse 클러스터
ClickHouse의 분산 테이블은 데이터를 직접 갖지 않습니다. 전체 샤드의 위치를 알아야 쿼리를 나눠 보내고 부분 결과를 합칠 수 있습니다. 처음에는 모든 노드에 분산 테이블을 만들어 어느 노드든 쿼리를 받게 했습니다. 클러스터가 여러 리전에 걸쳐 수백 노드로 커지자 전역 메타데이터 저장소의 클러스터 정보를 모든 분산 테이블에 제때 일관되게 전파하기 어려워졌습니다.
노드의 역할을 나눴습니다. 쿼리 노드와 데이터 노드를 분리하고 쿼리 노드에만 토폴로지를 전달하자, 정보를 갱신할 대상이 줄어 빨리 수렴했습니다. 역할에 맞춰 하드웨어 사양을 달리하고 각각 확장할 수도 있었습니다. 쿼리 노드는 거의 무상태라 늘리기 쉽습니다. 테이블은 클러스터 전체에 샤딩하며, ClickHouse 노드를 추가해 선형으로 확장합니다.
테넌트가 함께 쓰는 만큼 자원 사용에는 제한을 둡니다. ingester는 테넌트별 수집 속도를 제한하고, 쿼리 서비스는 테넌트별로 실행 중인 쿼리 수를 제한합니다. 개별 쿼리에 주는 스레드 등의 자원도 보수적으로 정해 다른 쿼리와 로그 수집이 쓸 여유를 남깁니다.
복제 계수는 2이며 비동기 멀티 마스터 방식입니다. 어느 복제본에든 읽기와 쓰기가 가능해 재시작이나 업그레이드로 노드가 잠시 빠져도 가용성과 내구성을 유지합니다. 노드를 영구히 잃으면 비동기 복제가 끝나지 않은 일부 로그를 잃을 수 있습니다. 동기 복제도 가능하지만 우버는 가용성을 위해 이 위험을 받아들였습니다. 조회에서도 정확도보다 응답 속도가 우선인 경우에는 쓸 수 없는 샤드를 건너뛰고 가능한 결과만 돌려주도록 설정할 수 있습니다.
클러스터 운영은 admin 서비스가 맡습니다. ClickHouse의 기본 관리 기능을 보완하려고 메타데이터 저장소에 목표 상태를 기록하고, 목표가 바뀌거나 정해진 주기가 되면 워크플로가 실제 클러스터를 그 상태로 옮기게 했습니다. 워크플로는 멱등성을 갖춰 안전하게 재시도할 수 있습니다. 테넌트 온보딩, 클러스터 확장, 노드 교체, 필드 materialize, 테넌트 배치 최적화, 오래된 로그 삭제를 이 방식으로 자동화했습니다.
Kibana 사용 경험을 지킨 QueryBridge
저장소를 바꾸더라도 사용자는 Kibana를 계속 쓸 수 있어야 했습니다. 엔지니어들이 매달 저장하는 대시보드가 약 1만 개였고, ES 엔드포인트를 직접 호출하는 서비스도 많았습니다. 이들의 대시보드와 코드를 고치지 않고 옮기는 것이 이전의 조건이었습니다.
QueryBridge는 ES 쿼리를 새 쿼리 인터페이스로 번역하고, 응답을 다시 ES 형식으로 바꿉니다. 우버는 결과를 검증한 뒤 기능 플래그로 사용자를 점진적으로 이전했습니다. ES 문법 전체를 구현하지 않고 실제 운영에서 사용하는 범위만 지원했지만, 그 안에서도 처리할 차이는 많았습니다.
query_string의 Lucene 쿼리는 전체 ES 쿼리를 나타내는 AST의 하위 트리로 변환- filter aggregation은 지정한 필터를 가진 Calculation으로 변환
@timestamp,_source는 로그 본문의 필드가 아닌 ES 내부 필드로 별도 처리foo:"abc"는 keyword 타입이면equals(foo, "abc"), text 타입이면contains(foo, "abc")로 변환
더 많은 로그를 받으며 절반 넘게 줄인 비용
새 플랫폼은 ELK보다 더 많은 운영 트래픽을 처리하면서 하드웨어 비용을 절반 넘게 줄였습니다. ClickHouse 노드 하나가 초당 30만 건의 로그를 받아, ES 노드 하나의 약 10배에 해당하는 수집량을 보였습니다.
운영할 대상도 줄었습니다. 리전마다 수집 파이프라인 하나로 통합했고, 반복되는 관리 작업은 admin 서비스가 자동으로 처리합니다. 온콜 부담의 큰 원인이었던 타입 충돌 오류도 사라졌습니다.
수집 지연은 1분 안으로 제한했습니다. 여러 리전에 걸친 조회와 집계는 몇 초 안에 끝나는 경우가 많았으며, 특히 조회 범위가 하루 미만일 때 빨랐습니다. 대시보드를 새로고침하는 반복 쿼리는 ClickHouse의 메모리 캐시 덕분에 더 빨라집니다. 자원 격리로 무거운 쿼리 부하 아래에서도 성능이 심하게 떨어지지 않고 플랫폼이 동작했습니다.
Kibana를 대신할 다음 분석 화면
요청 ID, 지역, IP처럼 카디널리티가 높은 필드는 시스템을 세밀하게 살펴볼 단서를 줍니다. 이런 로그를 거의 실시간으로 분석하면 디버깅과 패턴 발견에 도움이 됩니다. 우버는 여기서 더 나아가 Kibana를 대체할 UI를 계획했습니다. 백엔드와 긴밀하게 연결해 장애를 조사할 때 로그, 메트릭, 트레이스를 함께 대조하는 화면입니다.
쿼리 서비스의 SQL 지원도 계획에 포함됐습니다. 쿼리 지연의 편차를 줄이기 위해 PreWhere와 Where를 적응적으로 사용하고, 색인 입도를 조정하며, 스키핑 인덱스를 탐색하고, 수집한 통계로 쿼리 설정을 조정하려고 했습니다. 로그를 더 오래 보관하면서 비용을 낮추는 계층형 저장소도 앞으로의 과제로 남아 있었습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 처리 규모 | 초당 수백만 건 로그, 수 PB 저장, 초당 수백 건 쿼리 |
| 기존 ELK 운영 | 리전당 ES 클러스터 20개 이상, Logstash 파이프라인 50개 이상 |
| 집계 쿼리 비중 | 운영 쿼리의 80% 이상 |
| ELK 대시보드 지연 | 최근 1시간(약 1.3TB) 느림, 6시간 조회는 자주 타임아웃 |
| 로그당 필드 수 | 평균 40개 이상 |
| 평면 컬럼 방식 대 JSON 해석 | 약 50배 빠름 |
| 배열 방식 대 원본 해석 | 약 5배 빠름 |
| 압축률 | 3배(경우에 따라 30배) |
| 노드당 수집 | ClickHouse 30만 건/초, ES 노드의 약 10배 |
| 사용되는 색인 필드 | 5% |
| 복제 계수 | 2 |
| 비용 | ELK 대비 절반 이상 절감 |
| 수집 지연 | 1분 이내 |
| 이전 대상 | 매달 저장되는 Kibana 대시보드 약 1만 개 |