목차
우버 CLP 2편 — 압축한 로그에서 되짚는 오류의 전후 (2024-06)
원문 정보
- 원문: Modernizing Logging at Uber with CLP (Part II)
- 매체 · 게시일: Uber Engineering Blog · 2024-06-27
- 저자: Kirk Rodrigues(오픈소스 CLP 핵심 메인테이너, 토론토대 박사과정 중 CLP 시스템의 저자이자 핵심 개발자), Gao Xin(Staff Engineer, Data Compute·YARN·Real Time Analytics·Pinot 팀), Jack Luo(Consulting Engineer, 토론토대 박사과정 중 CLP 논문 공저자이자 CLP 핵심 메인테이너)
- 원문 내용을 바탕으로 재구성한 요약입니다.
오류 한 줄에서 시작하는 원인 추적
오류 한 줄은 디버깅의 출발점입니다. 검색과 집계로 문제가 생긴 지점을 찾았어도, 왜 실패했는지 알려면 그 직전까지 시스템이 무엇을 했는지 로그의 흐름을 따라가야 합니다. 그런데 많은 로그 관리 도구가 검색에 집중하면서 개별 파일을 편하게 읽는 경험은 놓치고 있었습니다.
1편에서 우버는 로그를 저장하는 부담부터 줄였습니다. 컨테이너나 호스트마다 행 기반 스트리밍 압축으로 중간 표현을 만들고, 이를 열 기반으로 다시 압축해 더 효율적인 아카이브를 만드는 방식입니다. Spark에 통합한 Log4j appender는 압축률 169:1을 기록했습니다. 이 압축률은 대량의 로그 쓰기로 SSD가 소진되던 문제를 푸는 데 기여했고, 보존 기간도 10배로 늘렸습니다. 2편에서는 이 압축을 바탕으로 데이터·ML 플랫폼의 로그를 수집하고, 열어 보고, 코드로 분석하는 시스템을 CLP 개발진과 함께 만듭니다.
이때 관리하려는 로그의 성격부터 구분해야 했습니다. 구조화 로그는 메트릭, 단발성 이벤트, 주기적인 통계를 남기는 트레이스 포인트에 가깝습니다. 이벤트끼리 대체로 독립적이며, 주로 이상을 감지하는 모니터링에 쓰입니다. 비정형·반정형 로그에는 메시지와 변수 값이 한 문자열에 섞여 있습니다. 개발자가 자유롭게 남긴 이런 기록은 시스템의 순차적인 동작을 보여주므로, 실행 흐름을 복원해 오류의 원인을 찾는 데 쓰입니다.
작은 시스템이라면 노드에 SSH로 접속해 grep하면 됩니다. 우버 규모에서는 감당하기 어려웠습니다. Spark, YARN, Flink를 비롯한 Hadoop 기반 플랫폼과 ML 애플리케이션은 오래된 MapReduce Job History Server로 로그를 보고 있었는데, 파일이 너무 많아 HDFS의 파일 수 한도에 부딪혔고 큰 파일을 여는 화면도 느렸습니다. 별도로 만든 노드 탐색 인터페이스는 번거롭고 보안도 미흡했으며, 애플리케이션 사용자에게는 열려 있지 않았습니다.
기존 관측 도구에 비정형 로그를 넣는 방법도 비용이 컸습니다. 많은 도구가 구조화 로그를 데이터베이스 같은 백엔드에 넣고 색인으로 검색을 가속합니다. 여기에는 Pinot 같은 NoSQL이나 Lucene 기반의 Elasticsearch처럼 검색을 주 인터페이스로 삼는 도구도 포함됩니다. 자유 형식 문자열을 이런 도구에 밀어 넣으면 색인이 부풀고, 저장 공간과 쿼리당 메모리 사용량이 늘어납니다. 우버의 비정형 로그 전체를 보관하고 검색하기에는 비용이 터무니없이 커지는 데다, 개별 로그 파일을 열어 분석하던 방식까지 잃게 됩니다.
HDFS의 파일 한도를 벗어난 저장소
우버는 로그 저장소를 HDFS에서 객체 스토리지로 옮겼습니다. 첫 수집 파이프라인에서는 작은 로그 파일이 쌓이자 NameNode가 색인을 감당하지 못해 보존 기간을 늘리기 어려웠습니다. 접근도 문제였습니다. 격리된 운영 환경 밖이나 개발자 노트북에서는 Kerberos 인증을 비롯한 장벽을 넘어야 로그를 읽을 수 있었습니다.
S3나 GCS 같은 객체 스토리지는 페타바이트 데이터와 수십억 객체를 수용하면서 HDFS 클러스터를 직접 관리하는 부담을 없애 줍니다. 저장·전송 중 암호화와 ACL, 보존 기간에 맞춘 자동 수명주기 관리도 제공합니다. 신뢰성과 가용성을 높이고 사용량에 따라 비용을 지불할 수 있으며, 큰 보안 사고가 났을 때 보존 기간을 늘리는 식으로 용량을 유연하게 확보할 수도 있습니다.
저장소가 바뀌어도 파일을 찾는 방식은 유지했습니다. HDFS에는 디렉터리 계층이 있지만 객체 스토리지는 평평한 키-값 구조입니다. 로그 파일에는 이미 로그를 남긴 주체의 계층을 따르는 고유하고 변하지 않는 경로가 있었습니다. 이 경로를 압축 로그의 키로 쓰고, 객체 스토리지 API로 파일시스템처럼 탐색하게 했습니다.
파일을 찾을 단서도 함께 저장합니다. 사용자는 메트릭과 모니터링으로 어느 작업이나 애플리케이션의 어느 시간대를 봐야 할지 대개 알고 있습니다. 압축 로그에 서비스 ID, 작업 ID, 앱 ID, 사용자 ID, 타임스탬프 범위를 태그로 붙이면 처음부터 관련 파일로 범위를 좁힐 수 있습니다. 태그는 객체 스토리지 경로, 외부 데이터베이스, 객체 메타데이터에 담을 수 있고, 검색·열람 UI는 이를 이용해 CLP가 살펴볼 파일을 추립니다.
로그가 뜸해지는 순간을 기다리는 업로드
YARN이나 Flink 스트리밍 서비스는 오래 실행됩니다. 1편의 짧은 Spark 애플리케이션처럼 작업이 끝나기를 기다렸다가 로그를 올릴 수는 없습니다. 객체 스토리지가 기존 객체에 데이터를 덧붙이는 append를 지원하지 않는다는 점도 걸림돌이었습니다. 큰 파일을 계속 기록하면서 최근 로그까지 보여줄 방법이 필요했습니다.
먼저 파일 크기를 제한했습니다. 압축 로그 파일이 16MB에 도달하면 새 파일을 시작합니다. 압축률을 높이고 저장·동기화 오버헤드를 줄이면서 API 호출 비용은 조금만 늘리는 절충점입니다. 압축률이 높아서 압축된 16MB 안에는 훨씬 많은 원본 로그가 들어갑니다.
파일을 나누는 것만으로 업로드 시점이 정해지지는 않습니다. 이벤트마다 flush하고 매번 업로드하면 비용이 너무 큽니다. 일정한 주기로 처리하는 방식도 로그의 특성을 충분히 반영하지 못했습니다. 우버가 원한 것은 ERROR처럼 중요한 이벤트는 빨리 올리고, 로그가 잠잠해졌을 때도 오래 기다리지 않는 정책이었습니다.
이벤트가 기록되면 지연 S 뒤에 업로드하도록 소프트 데드라인을 잡습니다. 그 전에 새 이벤트가 들어오면 시점을 뒤로 미룰 수 있습니다. 계속 미뤄지는 일을 막으려고 S보다 긴 하드 데드라인 H도 둡니다. 새 로그가 이어져도 H 안에는 반드시 업로드해야 합니다.
예를 들어 S=10초, H=300초라면 시각 T에 기록된 이벤트는 이후 10초 동안 새 이벤트가 없을 때 T+10에 업로드됩니다. 로그가 계속 들어와도 T+300은 넘기지 않습니다. 지연은 로그 레벨마다 설정하므로 ERROR에는 INFO보다 짧은 시간을 줄 수 있습니다. 업로드가 끝나면 지연을 초기화하고 다시 계산합니다.
오류 앞뒤를 따라가는 브라우저 뷰어
압축한 로그는 브라우저 안에서 즉석으로 풉니다. CLP 개발진과 함께 만든 서버리스 뷰어는 VS Code의 Monaco 에디터를 바탕으로 합니다. CLP가 압축하면서 타임스탬프, 로그 레벨, 변수 값을 자동으로 구분해 두었기에, 뷰어에서도 단순한 텍스트 표시를 넘어 로그 이벤트를 다룰 수 있습니다.
큰 파일은 페이지를 나눠 보여줘 브라우저 메모리 사용을 줄입니다. 검색 범위까지 잘라 버리지는 않습니다. 부분 문자열이나 정규식으로 페이지를 가로질러 검색하고, 결과를 누르면 해당 이벤트로 이동합니다. 스택 트레이스처럼 여러 줄에 걸친 메시지도 하나의 이벤트로 인식합니다.
오류를 찾은 다음에는 주변으로 시야를 넓힙니다. 처음에는 심각한 오류만 보다가 info 수준까지 표시하면, 그 오류에 이르기까지의 맥락을 읽을 수 있습니다. 필터를 바꾸면서 페이지 구성이 달라져도 커서는 같은 이벤트에 머뭅니다. 서로 다른 로그를 교차 확인할 때는 파일을 나란히 열고 타임스탬프에 맞춰 함께 스크롤합니다.
공유할 때도 보고 있던 위치를 잃지 않습니다. 이벤트마다 영구 링크가 있어 내용을 복사하거나 화면을 캡처하는 대신 해당 위치를 공유하거나 임베드할 수 있습니다. 한 줄로 뭉친 JSON, 코드 조각, 긴 목록은 읽기 좋게 펼쳐 보여줍니다. 언어별 색상 모드와 우버 로그에 맞춘 전용 모드도 갖췄습니다.
파싱을 반복하지 않는 CLP 분석 라이브러리
로그를 눈으로 읽는 것만으로는 부족할 때도 있습니다. 특정 애플리케이션에서 최근 30일간 어떤 권한 오류가 얼마나 자주 발생했는지 알고 싶다면, 검색 결과를 집계하고 중복을 제거해야 합니다. 우버는 이런 분석을 코드로 작성하도록 C++ 코어에 Python, Go, Java 바인딩을 연결한 라이브러리를 제공합니다.
파싱은 압축할 때 이미 끝났습니다. 라이브러리는 유닉스 epoch 타임스탬프, 로그 타입, 변수 값, 복원한 메시지를 바로 노출합니다. 로그 타입은 메시지에서 변하지 않는 고정 텍스트 부분입니다. 사용자가 문자열을 다시 파싱하는 코드를 작성하지 않아도 되고, 특히 여러 줄 메시지를 실행 중에 파싱하는 비용을 피할 수 있습니다.
권한 오류 분석에서는 부분 문자열로 이벤트를 찾은 뒤 로그 타입을 기준으로 집계하고 중복을 제거합니다. 변수 값이 달라 메시지 전체가 일치하지 않아도 같은 종류의 오류로 묶입니다. 온콜 담당자는 이미 알려진 문제 이벤트나 특정한 이벤트 순서를 찾는 스크립트를 작성할 수 있습니다. 의심스러운 이벤트를 발견하면 영구 링크를 따라 뷰어로 이동해 앞뒤 로그를 읽습니다. 코드로 범위를 좁히는 작업과 사람이 맥락을 확인하는 작업이 여기서 연결됩니다.
ML 팀은 로그에서 학습·추론용 데이터를 추출합니다. Jupyter Notebook, 운영 스크립트, 개발자 노트북에서 같은 라이브러리를 사용하고, 추출한 데이터를 다른 스크립트나 분석 보고서의 입력으로 넘깁니다. 뷰어와 분석을 포함한 핵심 도구와 기본 기능은 대부분 오픈소스로 공개돼 있습니다.
애플리케이션 코드 변경 없이 넓어진 CLP 연동
처음 Spark에 CLP를 넣을 때는 Log4j에 맞추려고 C++ 코드를 Java로 다시 구현했습니다. 이 통합이 성과를 내자 다른 플랫폼뿐 아니라 Marketplace와 ML 팀에서도 사용 요청이 들어왔습니다. 하지만 Logback 같은 다른 로깅 프레임워크나 Python 같은 언어까지 지원하려면 기존 방식으로는 확장하기 어려웠습니다.
우버는 Java, Go, Python용 FFI 라이브러리가 CLP의 C++ 라이브러리를 네이티브 바인딩으로 호출하도록 바꿨습니다. 이를 각 언어의 로깅 라이브러리에 연결하면 애플리케이션 코드를 수정하지 않고도 CLP의 분산 스트리밍 압축을 도입할 수 있습니다.
우버 Data 팀에 자리 잡은 CLP
분산 압축과 수집 파이프라인은 우버 Data 팀이 선호하는 로그 관리 방식이 됐습니다. 앞선 글에서 밝혔듯 보존 기간은 업계 표준인 30일로 늘었습니다. 저장 비용이 낮아졌고, 유지보수와 가용성을 둘러싼 부담도 줄었습니다. 로그 뷰어와 분석 라이브러리는 ML·Marketplace 팀과 플랫폼 운영자에게 널리 쓰이기 시작했습니다.
사용 양상은 다운로드 수에도 드러납니다. 오픈소스 Python CLP 분석 라이브러리는 141,880회, Python 로깅 라이브러리 플러그인은 최근 6개월간 4,845회 다운로드됐습니다. 저자들은 이 차이를 로그를 생산하는 사람보다 읽고 분석하는 사람이 더 많다는 점으로 설명합니다.
관측 플랫폼과 연결할 다음 단계
다음 계획은 애플리케이션 컨테이너 밖에서 동작하는 관측 팀의 로그 수집 인프라에 CLP를 연결하는 것입니다. 컨테이너에서 OOM이 발생했을 때 로그 유실을 줄이고, bash 스크립트처럼 애플리케이션이 직접 남기지 않는 로그도 수집하려 합니다. 구조화 로그와 비정형 로그에 접근하는 경로도 하나로 합칠 예정입니다.
CLP에 적합한 콜드 로그를 옮기는 작업도 계획에 포함됩니다. 여기에는 적용 범위가 있습니다. CLP가 효율적으로 압축하고 검색하더라도, 거의 실시간 검색이 필요한 온라인 색인 기반 솔루션까지 대체하려는 것은 아닙니다.
구조화 로그는 CLP가 이미 기본 지원합니다. 그 압축과 검색 성능을 다룬 결과는 발표를 앞둔 OSDI ‘24 논문에서 공개할 예정입니다.
원문의 수치와 설정값
| 항목 | 값 |
|---|---|
| 1편 압축률 | 169:1 |
| 1편 보존 기간 변화 | 10배 연장 |
| 현재 보존 기간 | 30일 |
| 압축 로그 파일 로테이션 크기 | 16MB |
| 업로드 지연 예시 | 소프트 S=10초, 하드 H=300초 |
| Python 분석 라이브러리 다운로드 | 141,880회 |
| Python 로깅 라이브러리 플러그인 다운로드 | 최근 6개월 4,845회 |
| 분석 라이브러리 언어 | C++ 코어, Python·Go·Java 바인딩 |