본문으로 건너뛰기
늘어나는 전사 로그 앞에서 ELK Stack을 대신한 Loki
목차

늘어나는 전사 로그 앞에서 ELK Stack을 대신한 Loki (2023-11)

원문 정보

로그가 늘어난 뒤에도 낮아진 운영 비용

로그 수집량은 1.6배로 늘었는데, 비용은 약 23% 줄었습니다. 우아한형제들이 전사 로그 시스템을 ELK Stack에서 Grafana Loki로 옮긴 뒤 얻은 결과입니다. 로그 데이터는 약 65% 압축해 저장하고, 오래 보관한 로그도 Grafana에서 조회하게 됐습니다.

피크 타임의 확장도 빨라졌습니다. 로그 유입이 늘면 유연하게 대응하도록 주간에는 수집과 조회 컴포넌트에 각각 오토 스케일링을 적용했고, 야간에는 주간의 50% 이하로 기준을 설정해 운영합니다. 팀은 전환 이후에도 비용을 더 줄일 지점을 찾고 있습니다.

보관 비용을 줄이다 복잡해진 조회 경로

로그는 많이 쌓이지만, 쌓인 만큼 읽히지는 않습니다. 각 서비스에서 발생하는 대부분의 로그를 수집해도 조회는 그 일부를 대상으로 하는 High-Write, Low-Read 패턴입니다. 모니터링 시스템을 운영하는 클라우드모니터링플랫폼팀에는 수집과 조회를 각각 세심하게 관리해야 하는 과제였습니다.

기존 ELK Stack은 Elasticsearch, Logstash, Kibana로 구성된 시스템이었습니다. Elasticsearch는 다양한 조건으로 로그를 검색하는 데 강했고, Logstash는 여러 형식의 데이터를 수집하고 변환할 수 있었습니다. 하루에 들어오는 로그가 많아 인덱스를 서비스별로 나눴고, 매일 배치로 롤오버해 일자별 인덱스를 새로 만들었습니다.

약 3년간은 별다른 이슈가 없었습니다. 서비스가 커지자 매일 롤오버를 해도 인덱스 용량과 샤드 수가 늘어 관리하기 어려워졌습니다. 데이터 노드의 볼륨도 계속 커졌고, 확장을 위해 인덱스와 샤드를 옮기는 데 걸리는 시간도 길어졌습니다.

비용을 줄이자 이번에는 조회가 불편해졌습니다. 디스크에 두는 로그를 3일 이내로 줄이고, 60일 이내의 로그는 스냅샷을 만든 뒤 필요할 때 복원해 조회하도록 했습니다. 장기 보관은 S3로 나누면서, 얼마나 오래된 로그인지에 따라 찾는 방법이 달라진 것입니다.

안정성도 전환을 고민한 이유였습니다. 부하가 발생하면 비정기적으로 전체 클러스터의 API 접근이 실패해 로그 전송이 막혔습니다. 그때마다 튜닝으로 조치했지만 비슷한 문제가 반복됐고, 팀은 다른 로그 시스템을 검토하기 시작했습니다.

본문 대신 레이블을 색인하는 Loki

Loki는 Prometheus에서 영감을 받은, 수평 확장이 가능한 다중 테넌트 로그 집계 시스템입니다. 로그 본문을 색인하지 않고 각 로그 스트림의 레이블 세트만 인덱싱합니다. 로그는 레이블 단위로 따로 압축해 청크로 저장하며, 조회할 때도 먼저 레이블을 찾은 뒤 일치하는 압축 로그 데이터를 가져옵니다.

저장 위치도 달랐습니다. Loki는 단기간의 데이터만 메모리에 두고 나머지는 S3 같은 오브젝트 스토리지에 저장합니다. 팀은 수집량과 보관 기간이 늘수록 리소스와 관리 비용이 커졌던 Elasticsearch보다 부담을 줄일 수 있으리라 기대했습니다. 볼륨보다 보관 비용이 낮아 조회 기간을 제한하지 않아도 된다는 점도 매력이었습니다.

수집과 조회를 따로 확장할 수 있다는 점 역시 선택에 영향을 줬습니다. 쓰기는 Distributor와 Ingester가, 읽기는 Query-Frontend, Query-Scheduler, Querier, Index-Gateway가 담당합니다. 이처럼 컴포넌트가 나뉘어 있으면 문제가 생겼을 때 해당 컴포넌트를 특정해 조치하기도 쉬울 것이라고 판단했습니다.

전환을 망설이게 한 풀텍스트 검색

검색 성능에는 부담이 있었습니다. Loki의 풀텍스트 검색은 Elasticsearch보다 느리고, 엔지니어들은 새 쿼리 언어인 LogQL을 익혀야 했습니다. 당시에는 사용하는 회사가 많지 않아 참고할 사례도 부족한 상황이었습니다.

팀은 이를 감당할 수 있다고 봤습니다. 쿼리 속도는 특정 컴포넌트의 튜닝으로 높일 수 있고, LogQL은 이미 메트릭 조회에 쓰던 PromQL과 비슷한 부분이 많아 적응에 오래 걸리지 않으리라는 판단이었습니다. 사례가 부족하면 필요할 때 오픈소스 코드를 읽고 분석하겠다는 생각으로 전환을 결정했습니다.

로그와 분산 추적을 연결할 TraceID

전환 이후에는 로그와 다른 모니터링 데이터를 연결하는 방향을 검토했습니다. Loki는 LGTM(Loki, Grafana, Tempo, Mimir) 생태계의 일부이며, Tempo는 OpenTelemetry가 수집한 데이터를 처리하는 분산 추적 시스템입니다. 로그에 TraceID를 추가하면 Loki와 Tempo를 연동해 Grafana에서 특정 로그 이벤트와 분산 추적 데이터를 연결해 조회할 수 있습니다.

아직 도입을 마친 단계는 아니었습니다. 글이 나온 시점에 팀은 OpenTelemetry와 Tempo 파일럿을 진행하며 도입을 검토하고 있었습니다. 로그·메트릭·분산추적을 연결해 복잡한 이슈를 추적하고 해결하는 통합 모니터링 시스템을 로드맵으로 삼았으며, 운영 자동화로 리소스와 운영 비용을 계속 줄이려는 계획도 세웠습니다.

후속 글로는 전환 과정과 사내 문화를 예고했습니다. 모든 엔지니어가 쓰는 시스템을 옮기며 겪은 어려움을 전사 엔지니어들과 어떻게 극복했는지 소개할 예정입니다.

전환 전후 비교
항목ELK StackLoki
운영 기간약 3년 이슈 없이 운영한 뒤 문제 발생전환 완료
보관 구조단기 3일 이내(디스크), 중기 60일 이내(스냅샷 복원), 장기(S3)오브젝트 스토리지, 기간 제한 없이 Grafana 조회
인덱싱로그 내용 색인레이블 세트만 색인
로그 수집량기준1.6배
비용기준약 23% 절감
압축원문에 수치 없음약 65%
마지막 수정 일자