본문으로 건너뛰기
Loki 로그 유실과 느린 조회를 줄인 당근의 운영 과정
목차

Loki 로그 유실과 느린 조회를 줄인 당근의 운영 과정 (SRE 밋업 4회)

원문 정보

  • 원문: 당근에서 Loki 1년간 운영기 | 당근 SRE 밋업 4회 (32:27)
  • 매체 · 게시일: YouTube 당근 채널 · 2025-10-10
  • 발표자: 이영훈 (SRE 클러스터 파트, 영상 설명란과 슬라이드 자기소개로 확인)
  • 근거: YouTube 자동 자막 전체 + 발표 슬라이드
  • 발표 영상의 내용을 바탕으로 재구성한 요약입니다.

안정성을 위해 둔 제한이 적재와 조회를 막았다

당근은 인력이 부족했던 도입 초기, Loki 안정성을 우선해 rate limit과 쿼리 병렬 실행을 제한했습니다. 그 결과 일부 로그가 버려지고 조회는 느려졌습니다.

발표자는 쓰기·읽기 경로를 파악해 Loki 전용 닥터 대시보드를 만든 뒤, 리소스 비용을 늘리지 않고 로그 유실과 조회 지연을 줄이려 했습니다. 발표는 이 과정에서 시도한 설정과 되돌린 변경을 설명합니다.

10초 간격의 누락에서 수집기 병목을 찾다

rate limit은 수집기에서 Loki로 보내는 구간과 Loki에서 S3로 보내는 구간에서 확인됐습니다. chunk 크기와 전송 간격을 늘리자 에러는 줄었지만 ingester 메모리가 불안정해지고 조회도 느려져 원래 설정으로 되돌렸습니다.

남은 유실은 로그가 많은 서비스에서 10초 간격으로 간헐적으로 발생했고 새벽에는 나타나지 않았습니다. 해당 로그 파일은 10초마다 로테이션됐으며 누락 구간에는 수집기가 읽은 기록이 없었습니다. 팀은 Alloy의 파일 읽기 속도가 부족하다고 판단해 배치 크기를 늘리고 새 파일을 감지하는 시간을 줄였습니다.

Loki에서는 평균 CPU 사용률이 35%인데도 CFS throttling이 높았습니다. 발표자는 CPU limit에 따라 Go의 동시 실행 스레드 수가 정해지는 특성도 영향을 줬다고 설명합니다. 응답을 빠르게 처리하도록 CPU limit을 제거했습니다.

조회 시간을 queue·index·store·exec로 나누니 큐 대기와 필터링 실행에 시간이 많이 들었습니다. 동시성·병렬성을 높이면 querier 메모리가 넘치고, 낮추면 대기가 길어졌습니다. CPU limit을 제거한 뒤 이 값을 반복 조정했으며, query-scheduler로 샤드가 특정 querier에 몰리는 문제에 대응했습니다.

로그 유실 해결과 느린 쿼리 개선

발표에서는 로그 유실을 해결했다고 보고합니다. 슬라이드 기준으로 느린 로그 조회의 평균 속도는 50% 개선됐습니다. 자막에서는 매일 발생하던 slow query 알림이 사흘에 한두 번으로 줄었다고 설명합니다.

수집기 조정과 CPU 제한 제거, 조회 병렬성 조정을 거친 결과이며, 개별 변경의 기여도를 따로 제시한 수치는 아닙니다.

대량 조회와 다운로드에 남은 불편

발표자는 압축에 따른 비용 효율과 최근 로그를 ingester 메모리에서 읽는 구조를 장점으로 꼽았습니다. 반면 라벨 인덱싱으로 조회가 느리고 LogQL을 익혀야 한다는 부담도 설명했습니다.

Grafana Explore의 조회 한도 때문에 대량 다운로드가 불편해, 비동기 다운로드와 전용 조회 화면을 검토하고 있었습니다. 아래 표는 슬라이드에서 직접 읽은 값과 자동 자막에 의존한 값을 구분합니다.

주요 구간

  • 02:00 Loki 쓰기·읽기 경로와 닥터 대시보드
  • 13:00 목표와 rate limit 시행착오
  • 16:00 10초 단위 로그 유실
  • 21:00 CPU limit 제거
  • 24:00 조회 속도 개선
  • 30:00 장단점과 남은 과제
세부 수치 근거 표
항목값근거
S3 PUT 한도prefix당 초당 3,500회자막 기준
컨테이너 로그 로테이션 기준10MB 초과 시슬라이드
유실 패턴로그 많은 서비스, 10초 간격 간헐, 새벽 없음슬라이드
해당 서비스의 로그 쓰기량초당 약 1MB자막 기준
Loki CPU 사용률평균 35% (스로틀링은 높음)슬라이드
느린 쿼리 평균 조회 시간약 40초, 목표 예상 약 15초자막 기준
조회 속도 개선평균 50%슬라이드
slow query 알림 빈도매일 → 3일에 한두 번자막 기준

로테이션 크기 확대는 재발 가능성과 디스크 사용량 증가를 이유로 기각했습니다.

마지막 수정 일자