본문으로 건너뛰기
Fluentd 운영 경험에서 출발한 로그 수집기 Logriver
목차

Fluentd 운영 경험에서 출발한 로그 수집기 Logriver (2024-12)

원문 정보

CPU 자원은 남아 있는데 시스템 load가 수백을 넘었습니다. 설정을 바꿀 때는 프로세스를 재시작해야 했고, 처리할 잔여 데이터가 많으면 오래 기다려야 했습니다. 카카오가 내부 로그 수집 시스템 kemi-log에서 Fluentd를 수년간 운영하며 겪은 문제입니다.

직접 관리 시스템을 만들고 Fluentd에 코드도 기여했지만, 수집기 자체의 한계를 풀기에는 부족했습니다. 카카오는 그동안의 운영 경험을 바탕으로 새 로그 수집기 Logriver를 개발했습니다.

수만 대의 Fluentd와 함께 쓸 수집기

새 수집기를 고르는 데는 제약이 있었습니다. 사내 로그 수집은 이미 Fluentd로 표준화돼 있었고, 수만 대의 서버에 Fluentd가 설치돼 동작하고 있었습니다. 이를 한꺼번에 교체하는 일은 현실적으로 불가능하다고 판단했습니다.

Fluentd의 공개된 통신 프로토콜에서 방법을 찾았습니다. 같은 프로토콜로 데이터를 받는 수집기를 만들면 기존 Fluentd와 연결하면서 운영 문제를 해결할 수 있었습니다. 다른 오픈소스도 검토했지만, 대규모 클러스터 관리 기능을 제공하는 것은 찾기 어려웠습니다. 어느 것을 도입하든 별도의 운영 시스템이 필요할 것으로 봤습니다.

개발 범위는 이미 쓰는 기능으로 좁혔습니다. 수년간 운영하면서 Fluentd의 어떤 기능과 plugin을 사용하는지 알고 있었기 때문입니다. 모든 기능을 재현하는 대신 필요한 기능만 선별해 내재화하고, 중앙에서 제어하는 기능을 처음부터 포함했습니다. 이렇게 만든 Logriver가 Fluentd의 역할을 대체해 나가고 있습니다.

오픈소스는 초기 구축을 빠르게 해 주지만, 오래 운영하면 사내 정책과 기능을 어떻게 반영할지가 과제로 남습니다. 유지보수 활동이 줄거나 코드 기여가 받아들여지지 않을 수도 있고, 사내 전용 기능은 메인스트림과 별도로 관리해야 합니다. 카카오는 오픈소스에 기여하며 발전시키는 방향을 기본으로 삼으면서도, 이런 제약 속에서 자체 개발과 활용 사이의 선택을 고민했습니다.

로그 수신과 적재를 나눈 kemi-log

kemi-log는 로그를 받는 일과 스토리지로 보내는 일을 분리해 운영해 왔습니다. log aggregator의 1 layer가 사용자에게서 로그를 받아 버퍼링하면, 2 layer가 이를 넘겨받아 각 스토리지로 전송합니다.

스토리지로 보내는 작업은 시스템 자원을 많이 쓰고 운영 문제도 발생했습니다. aggregator를 하나로 두면 특정 스토리지의 전송 문제가 전체 aggregator에 영향을 줄 수 있었습니다. 수신과 적재를 나눈 이유입니다. 2 layer 안에서도 스토리지별로 그룹을 나눠, 트래픽이 많은 서비스를 따로 관리하고 한 스토리지의 장애가 다른 스토리지 적재에 영향을 주지 않도록 했습니다.

설정 관리도 운영 경험에 따라 바뀌었습니다. Fluentd는 새 로그를 받거나 기존 설정을 바꿀 때 설정 파일을 수정해야 합니다. 처음에는 Ansible로 변경 사항을 반영하고 재시작했지만, 작업 실수를 줄이려고 여러 Fluentd를 클러스터로 묶어 관리하는 tug를 만들었습니다. 중앙의 tug-server가 전체를 관리하고, Fluentd와 같은 서버에 있는 tug-agent가 설정을 받아 반영하는 방식입니다.

tug로 설정을 모아 관리할 수는 있었습니다. 그러나 설정을 적용하려면 Fluentd를 종료한 뒤 다시 시작해야 한다는 제약은 남았습니다.

설정이 바뀌어도 로그를 받는 에이전트

Logriver는 로그를 처리하는 에이전트와 여러 에이전트를 그룹으로 관리하는 컨트롤러로 나뉩니다. 운영자가 컨트롤러에서 설정을 바꾸면 대상 에이전트가 이를 받아 적용합니다. 이때 에이전트 프로세스는 재시작하지 않습니다.

설정을 교체하는 단위는 Go의 고루틴입니다. 새 설정을 가진 고루틴을 먼저 시작하고, 트래픽을 받기 시작하면 기존 고루틴이 graceful shutdown에 들어갑니다. TCP 서버에 SO_REUSEPORT 옵션을 사용해 새 고루틴도 기존 고루틴과 같은 포트를 쓰도록 했습니다. 이 순서로 프로세스 재시작이나 트래픽 끊김 없이 설정을 적용했습니다.

개발 중에는 트래픽 발생기와 검증기를 직접 만들어 이 동작을 확인했습니다. 단위 시간마다 필요한 만큼 로그를 만들고, 스토리지에 제대로 적재됐는지 하나씩 대조했습니다. 받은 데이터를 인코딩해 파일에 저장했다가 다시 디코딩해 전송하는 과정에서 문제가 발견돼, 데이터 변환을 집중적으로 검증했습니다.

설정 id에 묶여 있던 버퍼 디렉터리

설정 변경에는 버퍼 관리 문제도 따라왔습니다. Fluentd는 설정 충돌을 피하려고 설정마다 다른 id를 쓰고, 이 id를 바탕으로 tag별 버퍼를 만듭니다. 관리하는 tag가 수천 개면 서버 한 대에도 버퍼 디렉터리가 수천 개 생깁니다.

설정 변경으로 id가 달라지면 버퍼 디렉터리 이름도 바뀝니다. 이후 Fluentd를 재시작하면 새 설정의 디렉터리만 처리하고 이전 id의 디렉터리는 처리하지 않았습니다. 데이터 유실을 막으려면 운영자가 남은 데이터를 확인해 새 디렉터리로 옮겨야 했습니다.

Logriver는 tag 개수와 관계없이 버퍼를 통합 관리하도록 만들었습니다. 설정 id에 따라 흩어진 디렉터리를 확인하고 데이터를 옮기던 운영 부담을 줄이기 위한 변경입니다.

같은 로그를 더 적은 자원으로 처리하는 서버

메모리 문제는 Fluentd를 운영하던 때부터 줄여 왔습니다. HDFS와 kafka plugin은 match 구문이 많아지면 메모리 사용량이 크게 늘었는데, 여러 서비스의 로그를 받는 kemi-log에는 서비스를 구분할 match 구문이 많이 필요했습니다. 하나의 match에서 여러 서비스를 처리하도록 바꿔 구문을 1,000개에서 30개 정도로 줄이자, 워커당 메모리 사용은 30%에서 3%로 내려갔습니다.

그 개선만으로는 충분하지 않았습니다. 사용량이 늘면서 Fluentd는 다시 서버 메모리의 90% 가까이를 사용하게 됐습니다. Logriver로 전환하면서 match 관련 내용을 일괄 처리하도록 개선한 뒤에는 서버 메모리 사용률이 15%로 줄었습니다.

Kafka 커넥션도 서비스 로그가 늘수록 부담이 커지는 부분이었습니다. Fluentd는 로그를 tag 단위로 구분하고 Kafka로 보낼 때 tag마다 커넥션을 하나씩 만듭니다. tag가 늘면 커넥션이 늘고, Fluentd 서버까지 늘어나면 Kafka가 받아야 하는 접속 수도 그에 비례해 증가합니다. Logriver는 tag 수와 무관하게 Kafka 브로커별 커넥션을 재사용하도록 바꿨습니다. 최대 4000개가량이던 커넥션은 200개가량으로 줄었습니다.

CPU에서는 멀티코어 활용이 달라졌습니다. Ruby로 만든 Fluentd는 프로세스가 한 번에 CPU 코어 하나만 쓸 수 있어, CPU가 남아도 시스템 load가 수백을 넘는 일이 있었습니다. Go로 만든 Logriver는 멀티코어 자원을 충분히 활용했습니다. 같은 데이터를 처리할 때 CPU 사용량이 더 작았고, load의 최대치도 5를 넘지 않았습니다.

추가 튜닝은 CPU·메모리 사용량과 flame graph를 보며 진행했습니다. 가장 큰 비중을 차지한 작업은 버퍼 파일을 읽고 쓸 때의 JSON 인코딩·디코딩입니다. 여러 라이브러리를 비교한 끝에 카카오의 사용 방식에서 성능이 가장 좋았던 go-json을 선택했습니다. 다만 스트림 디코딩에는 해결되지 않은 이슈가 남아, 버퍼에 쓸 때만 go-json을 사용하고 읽을 때는 Go 기본 라이브러리를 사용했습니다.

이런 개선을 거쳐 Logriver로 전환한 뒤, 기존 서버 사용량을 50% 절감했습니다.

자원 사용 변화와 검증 규모
항목FluentdLogriver
서버 메모리 사용률90% 가까이15%
Kafka 네트워크 커넥션최대 약 4000개약 200개
시스템 load수백 이상까지 상승최대 5 이하
서버 사용량기준50% 절감
match 구문 조정(Fluentd 내)1,000개에서 30개 정도로 줄여 워커당 메모리 30%에서 3%해당 없음
검증 데이터 규모분당 30만 건 이상동일

급증한 트래픽을 제어하는 RateLimit

들어오는 로그를 모두 처리하는 것만으로 대응하기 어려운 상황도 있었습니다. 기념일이나 사건사고로 실제 서비스 사용량이 늘었다면 증설로 대응하면 됩니다. DDoS 공격으로 트래픽이 급증했다면 늘어난 양을 모두 처리하지 않도록 제어해야 합니다.

Fluentd 기반으로 운영할 때는 이런 대응에 애를 먹었습니다. Logriver에는 커넥션당 트래픽을 제어하는 RateLimit 기능을 추가했습니다.

사용량을 확인하는 기능도 수집기에 포함했습니다. 기존에는 tag별 로그 개수와 크기를 측정하려고 별도의 Fluentd plugin을 개발해 Prometheus로 수집했습니다. Logriver에는 이 측정 기능을 내장해 메트릭을 더 편하게 확인하도록 했습니다.

순서가 뒤섞인 로그를 대조하는 검증기

실서비스 적용 전에는 실제 데이터로 인코딩·디코딩을 다시 검증했습니다. 트래픽을 미러링해 테스트 환경으로 보내는 것은 가능했습니다. 어려운 부분은 비교였습니다. 실서비스에서는 원하는 만큼만 데이터를 만들고 끊을 수 없었고, 여러 서버를 사용하다 보니 데이터가 들어오는 순서도 스토리지에 적재되는 순서도 보장되지 않았습니다.

검증기를 다시 만들었습니다. 로그의 timestamp를 기준으로 데이터를 1분 간격으로 모아 비교하도록 했습니다. 검증을 시작할 때는 실서비스 환경과 테스트 환경에 데이터가 들어오는 시점이 달랐지만, 시간이 지나면서 단위 시간당 데이터 건수가 같아지는 것을 확인했습니다.

건수가 같아도 내용이 같은지는 별도로 확인해야 했습니다. 검증 대상은 kemi-log 데이터의 일부였는데도 분당 30만 건이 넘었습니다. 모든 데이터를 메모리에 보관하고 실시간으로 1:1 대조하기는 불가능하다고 판단해, 데이터를 해시로 바꿔 비교했습니다.

여기에는 JSON의 멤버 순서가 걸렸습니다. 수집한 로그는 대부분 JSON이었고, 내용이 같아도 멤버 순서가 바뀌면 그대로 계산한 해시값은 달라졌습니다. JSON을 하나의 문자열로 만든 뒤 알파벳순으로 정렬하고 해시를 계산해 일관성을 확보했습니다. 이 검증에서 실제 데이터의 인코딩 문제가 있던 일부 사례를 찾아 수정했습니다.

마지막 수정 일자