목차
3일 뒤 버리던 Spark 로그를 한 달간 남겨 둔 CLP (2022-09)
원문 정보
- 원문: Reducing Logging Cost by Two Orders of Magnitude using CLP
- 매체 · 게시일: Uber Engineering Blog · 2022-09-29
- 저자: Devesh Agrawal(전 Uber Presto·Spark 팀 매니저), Jack (Yu) Luo(Spark·YARN·HDFS·observability 팀과 일하는 엔지니어, CLP 핵심 개발자)
- 원문 내용을 바탕으로 재구성한 요약입니다.
INFO를 포기해야 했던 Spark 클러스터
Uber에도 로그 파일을 하나도 버리지 않던 시절이 있었습니다. 엔지니어들은 남겨 둔 로그를 자유롭게 살펴보며 장애 원인을 찾고 애플리케이션을 개선했습니다. 사업이 커지면서 사정이 달라졌습니다. 하루 25만 건이 넘는 분석 작업을 실행하는 Spark 클러스터는 바쁜 날이면 기본 INFO 수준에서만 최대 200TB의 로그를 쏟아냈고, 보관 기간은 3일로 줄었습니다.
사용자에게는 최소 한 달이 필요했습니다. Spark 작업이 실패하거나 멈추면 온콜 엔지니어는 우선 작업을 재시작해 장애를 수습하지만, 나중에 원인을 밝히려면 이전 로그를 다시 살펴봐야 합니다. 주 단위로 로그를 비교하며 이상과 추세를 찾는 사용자도 있었고, 데이터 과학자는 오래된 Spark 로그로 머신러닝 애플리케이션의 품질을 개선하려 했습니다.
기존 저장 도구로 감당하기도 어려웠습니다. Elasticsearch는 운영·하드웨어 비용이 너무 커서 이미 사용을 중단한 상태였습니다. Spark 이외 서비스의 로그를 받던 ClickHouse는 구조화된 JSON 로그에 더 적합한데, Spark 로그는 대부분 비정형입니다. 여기에 Spark 로그 한 달치를 받으면 다른 모든 서비스의 로그가 차지하던 기존 저장량의 두 배를 넘을 전망이었습니다.
저장 비용을 고민하는 사이 SSD까지 일찍 닳기 시작했습니다. 메모리가 빠듯한 호스트에서 작업이 실행되는 내내 로그를 몇 줄씩 쓰다 보니, 작은 쓰기가 반복되며 쓰기 증폭(write-amplification)이 생긴 것입니다. 팀은 임시로 로그 수준을 INFO에서 WARN으로 낮췄습니다. 더 많은 기록을 오래 보고 싶다는 사용자 요청과는 정반대였습니다. 오래 쓸 해법을 찾으려면 디스크에 쓰기 전부터 로그 크기를 줄여야 했고, 그 과정에서 찾은 도구가 CLP(Compressed Log Processor)입니다.
31.4TB로 줄어든 한 달치 INFO 로그
먼저 배포한 부분만으로도 한 달 보관이 가능해졌습니다. 로그를 저장하는 동작을 지정하는 Log4j appender에 CLP의 파싱과 인코딩을 넣고 압축하는 Phase 1을 Spark 플랫폼 전체에 적용한 결과입니다. 30일 동안 생성된 INFO 수준의 비정형 로그 5.38PB가 31.4TB로 줄었습니다. 압축률은 169배였습니다.
비용도 달라졌습니다. 압축 없이 3일치를 보관할 때는 연 18만 달러가 들었고, 한 달로 늘리면 연 180만 달러가 들 것으로 계산했습니다. Phase 1을 적용한 뒤에는 한 달치 보관 비용이 연 1만 달러로 내려갔습니다. 로그 수준을 WARN에서 INFO로 되돌리고 보관 기간을 10배 늘렸는데도 저장 비용은 17배 줄어든 것입니다.
이때 배포된 것은 CLP 전체 압축 과정의 일부였습니다. 여러 파일을 모아 사전으로 중복을 제거하고 열 단위로 압축하는 Phase 2는 아직 구현·배포를 진행 중이었습니다. Log4j 안에서 모든 압축을 마치지 않은 데에는 메모리와 로그 생성 방식이라는 제약이 있었습니다.
Zstandard가 조각으로만 보던 반복 패턴
로그에는 반복이 많습니다. 그런데 Zstandard나 Gzip이 찾기 좋은 모양으로 반복되지는 않습니다. 같은 종류의 메시지 사이에 다른 메시지가 끼고, 한 메시지 안에서도 변수 값이 고정 문구를 끊습니다. 슬라이딩 윈도 안에서 연속된 반복을 찾는 범용 압축기로는 이런 특성을 충분히 활용하기 어렵습니다.
예를 들어 작업을 컨테이너에 배정하고 걸린 시간을 기록하는 메시지에서, 고정 문구인 로그 타입은 그대로여도 task ID, container ID, 소요 시간은 달라집니다. Zstandard가 반복으로 찾는 것은 " INFO Task ", " assigned to container: [ContainerID:", "], operation took ", " seconds"라는 네 조각입니다. 로그 타입 전체를 하나의 반복으로 인식하지는 못합니다.
CLP는 먼저 메시지를 타임스탬프, 변수 값 목록, 로그 타입으로 파싱합니다. task ID나 container ID처럼 반복될 가능성이 높은 값은 dictionary variable로 분류해 사전에 저장하고, 로그 타입도 별도의 사전으로 중복을 제거합니다. 원래 문자열 대신 메시지에 남기는 것은 사전 ID입니다. 정수나 부동소수점처럼 반복되지 않는 non-dictionary variable은 간결한 이진 값으로 인코딩합니다. 타임스탬프 역시 직전 메시지와의 밀리초 차이를 가변 길이로 저장하므로 대부분 1~2바이트면 충분합니다.
이렇게 바꾼 메시지는 타임스탬프, 변수 목록, 로그 타입 ID의 세 열로 된 표를 이룹니다. 메시지가 어느 정도 쌓이면 각 열을 Zstandard로 압축하고, 사전도 별도로 압축합니다. 서로 비슷한 구성 요소를 모아 주면 Zstandard가 같은 윈도 안에서 더 많은 반복을 찾습니다. 사전은 검색 인덱스로도 쓰이므로, 나중에 로그를 찾을 때 파일 전체를 평문으로 복원하지 않아도 됩니다.
메모리가 빠듯한 JVM 안의 Log4j appender
Uber의 Spark 작업은 주로 YARN이 자원을 관리하는 컨테이너에서 실행됩니다. 실행 중에는 각 컨테이너 호스트의 SSD에 로그를 쓰고, 작업이 끝나면 YARN의 log aggregation이 로그를 HDFS로 복사합니다. 팀이 압축을 시작하려던 지점은 SSD에 쓰기 직전의 Log4j appender였습니다.
처음에는 CLP 전체를 넣으려 했습니다. 하지만 열 단위로 압축하려면 인코딩한 메시지를 대량으로 모아야 하고, 이 버퍼와 사전에만 수백 MB의 메모리가 필요했습니다. Spark 호스트는 이미 메모리 압박이 심한 환경입니다. 압축률도 여러 노드나 JVM의 로그를 함께 모을 때 가장 좋은데, JVM 하나의 appender에서는 그렇게 할 수 없었습니다.
그래서 JVM마다 실행되는 appender에는 Phase 1만 맡겼습니다. 메시지를 파싱하고 인코딩해 중간 표현(IR)으로 바꾼 뒤, 쌓아 두지 않고 곧장 Zstandard 압축 스트림으로 보냅니다. SSD에 기록되는 것은 압축된 IR이며, 작업이 끝나면 기존처럼 YARN이 HDFS로 올립니다. 이후 별도의 오프라인 프로세스가 여러 IR을 모아 사전 중복 제거와 열 단위 압축을 수행하도록 나눈 부분이 Phase 2입니다.
IR은 헤더와 페이로드 쌍을 이어 붙인 형식입니다. 로그 타입과 dictionary variable의 헤더는 대개 2바이트로, 종류와 길이를 각각 담습니다. 길이에는 가변 길이 인코딩을 쓰므로 대부분 1바이트가 들어갑니다. 타임스탬프 차이와 non-dictionary variable은 종류와 길이를 한 바이트에 함께 기록합니다. 이미 인코딩된 값이라 인코딩을 해석하면 길이도 알 수 있지만, 헤더에 길이를 넣어 파싱 로직을 단순하게 유지했습니다.
Phase 1에는 사전이 없고, 압축 전 메시지를 쌓는 버퍼도 없습니다. 대신 압축된 로그만 4MB 버퍼에 모아 SSD에 한 번에 씁니다. 파일을 먼저 닫으면 4MB가 차기 전에도 기록합니다. 4MB는 흔히 쓰는 SSD 블록 크기의 공배수여서 쓰기 증폭을 줄이도록 고른 크기입니다. Uber의 로그에서는 압축된 4MB가 평균적으로 원본 400MB 이상에 해당했습니다. 작은 버퍼로도 많은 로그의 쓰기를 모을 수 있었던 이유입니다.
파싱 비용도 각 JVM으로 분산했습니다. CLP 전체 압축 과정에서 병목은 로그 파싱인데, Spark 컨테이너의 CPU는 충분히 활용되지 않는 경우가 많았습니다. appender가 이 여유 CPU로 파싱을 마쳐 두면 Phase 2는 같은 일을 반복하지 않아도 됩니다. 그만큼 이후 압축에 필요한 CPU를 줄일 수 있습니다.
SSD와 HDFS를 계속 읽는 Hadoop·Spark 도구
SSD를 아예 건너뛰는 방법도 검토했습니다. SocketAppender로 로그를 네트워크에 직접 보내는 방식입니다. 하지만 로그 수집 서비스는 유지 비용이 크고 확장성 병목이 되기 쉽습니다. Hadoop·Spark 도구 중에는 로그 저장 서비스 대신 디스크나 HDFS에서 파일을 읽는 것도 있어, 파일시스템을 유지하는 편이 기존 환경을 덜 바꾸는 선택이었습니다.
압축 형식에 맞춰 읽기 도구는 수정해야 했습니다. 이 도구들은 평문이나 YARN이 여러 로그를 묶는 특수 파일 형식을 예상하기 때문입니다. 변경은 크지 않았습니다. 파일을 읽는 몇 군데에 확장자를 확인하는 분기를 추가해, CLP 파일이면 필요한 부분을 투명하게 풀고 나머지는 기존 코드로 읽도록 했습니다.
0.100의 끝자리까지 남기는 float 인코딩
숫자 값을 보존하는 것만으로는 로그를 그대로 복원할 수 없습니다. "0.100"의 끝에 붙은 0이나 "00.01"의 앞에 붙은 0도 원래 기록의 일부입니다. CLP가 처음 사용하던 IEEE-754 32비트 형식은 이런 표현을 별도로 보관해야 했고, 문자열과 숫자 사이의 변환도 느렸습니다. 값 자체가 달라지는 경우도 있었습니다. "2.3456789"를 인코딩했다가 문자열로 되돌리면 마지막 자리가 바뀐 "2.3456788"이 됩니다.
원래 CLP는 그대로 복원하기 어려운 이런 값을 로그 타입에 넣었습니다. 그러면 정밀도만 달라져도 로그 타입이 중복됩니다. Uber는 숫자의 부호, 소수점을 뺀 정수 값, 출력된 자릿수, 소수점 위치를 32비트 안에 함께 넣는 커스텀 인코딩을 만들었습니다.
커스텀 float 인코딩 비트 배치
| 비트 | 크기 | 내용 |
|---|---|---|
| b31 | 1비트 | 음수 여부 |
| b30-6 | 25비트 | 부호와 소수점을 뺀 정수 값 (0.335면 335) |
| b5-3 | 3비트 | 출력된 총 자릿수 - 1 (범위 0~7, 0.335면 3) |
| b2-0 | 3비트 | 소수점 위치(오른쪽 기준) - 1 (0.335면 3) |
소수점을 뺀 정수에는 25비트를 씁니다. 최댓값이 2^25 - 1 = 33,554,431로 8자리이므로, 출력된 자릿수는 3비트로 나타냅니다. 자릿수와 소수점 위치가 모두 있어야 "0.335", ".335", "000.335"를 구별할 수 있습니다. 이들은 정수 값과 소수점 위치가 같고 자릿수만 각각 4, 3, 6으로 다릅니다. 소수점 위치를 오른쪽부터 세면 음수 부호가 붙어도 0.335와 -0.335에 같은 위치 값을 쓸 수 있습니다. 소수점을 뺀 정수 값이 ±(2^25-1) 범위를 벗어나는 경우를 비롯해, 이 형식으로 정확히 표현하지 못하는 값은 dictionary variable로 처리해 무손실 복원을 보장합니다.
이 인코딩은 부동소수점처럼 보이는 토큰에도 실행됩니다. "23:59:59"나 "2.4.3-uber-159"처럼 숫자가 들어 있고 정수가 아닌 토큰은 인코딩을 시도하기 전까지 부동소수점이 아니라고 배제할 수 없기 때문입니다. 따라서 변환 속도 개선은 실제 부동소수점 값에만 영향을 주지 않습니다. Spark 로그에서 추출한 값으로 평가했을 때 새 인코딩은 IEEE-754보다 일관되게 2~3배 빨랐습니다.
압축률도 5.37% 좋아졌습니다. 정밀도 차이로 로그 타입이 중복되는 문제를 줄였고, 비슷한 숫자의 비트열도 더 비슷하게 남겼습니다. IEEE-754로 표현한 0.334와 0.335는 하위 16비트의 비트열이 달라지지만 새 인코딩에서는 1비트만 다릅니다. 비슷한 종류의 로그에 기록되는 완료 시간처럼 서로 가깝지만 같지는 않은 값에서도 Zstandard가 반복을 찾기 쉬워집니다.
평문 복원 전에 범위를 좁히는 CLP 검색
압축률만 높으면 로그를 찾을 때의 비용은 남습니다. 원본을 Zstandard나 Gzip으로 바로 압축하면 애플리케이션 ID, 호스트, 검색어로 걸러 내기 전에 파일 전체를 평문으로 풀어야 합니다. 완전한 CLP 형식에서는 먼저 사전을 검색하고 조건에 맞는 메시지만 복원합니다. 애플리케이션 ID나 호스트명 같은 메타데이터 열을 추가해 필터 조건을 늘리는 것도 가능합니다.
사전이 없는 Phase 1의 IR에도 검색에 쓸 정보가 있습니다. 이미 메시지를 구성 요소로 나눠 두었으므로, 시간 범위로 찾을 때는 타임스탬프를 확인하고 범위 밖 메시지의 나머지 구성 요소는 건너뛸 수 있습니다. 메시지 경계도 남아 있습니다. 여러 줄에 걸친 스택 트레이스에서 grep이 일치한 한 줄을 돌려주는 데 비해, IR을 검색하면 해당 메시지 전체를 돌려줄 수 있습니다.
이 분리는 Phase 1의 압축률에도 도움이 됐습니다. 사전 중복 제거나 열 단위 압축을 아직 하지 않았는데도, 원본에 Zstandard를 직접 적용할 때보다 압축률이 5~8% 높았습니다. 변수와 분리한 로그 타입을 Zstandard가 네 조각 대신 하나의 반복 문자열로 찾고, 타임스탬프와 숫자도 간결하게 인코딩한 덕분입니다. 검색과 압축 모두에 쓰일 정보를 로그를 생성할 때부터 남긴 것입니다.
CLP 검색을 통합할 observability 플랫폼
Phase 2의 결과는 아직 일부 Spark 로그로 시험한 시제품에서 나온 수치였습니다. Phase 1과 Phase 2를 모두 거친 CLP의 압축률은 Zstandard의 2.16배, Gzip의 2.28배였으며, 다른 로그 데이터셋에서 보고된 결과와도 일치했습니다. Uber는 Phase 2를 배포하면 저장 비용을 2배 넘게 더 줄일 것으로 기대했습니다.
압축 로그를 Parquet 같은 열 기반 형식으로 저장하고 Presto와 연계하는 방안도 계획에 포함됐습니다. Presto 연계는 가능성을 검토하는 단계였습니다. 사용자에게 익숙한 SQL로 로그 전체를 평문으로 복원하지 않고 검색해, 대규모 로그에서도 대화형 분석을 제공하려는 구상입니다.
원문 작성 시점에는 CLP의 검색 기능을 분석·observability 플랫폼에 통합하는 작업도 진행 중이었습니다. 목표는 CLP를 대규모 비정형 로그의 저장·검색 엔진으로 사용해 검색과 분석, SQL 쿼리, 알림, 시각화를 제공하는 것입니다. 한 달 보관을 가능하게 한 Phase 1 배포와, 남겨 둔 로그를 이렇게 활용하는 계획은 구분해야 합니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| Spark 작업 수 | 하루 25만 건 이상 |
| 바쁜 날 Spark 로그 양 | 최대 200TB (INFO 기준) |
| 기존 보관 기간 | 3일 |
| 압축 없는 비용 | 3일치 연 18만 달러, 한 달치 연 180만 달러 |
| 30일간 압축 전 로그 | 5.38PB |
| Phase 1 압축 후 | 31.4TB (169배) |
| Phase 1 적용 한 달치 비용 | 연 1만 달러 |
| 보관 기간 / 저장 비용 변화 | 10배 늘림 / 17배 절감 |
| 전체 CLP 압축률 | Zstandard의 2.16배, Gzip의 2.28배 |
| Phase 1 IR vs 원본 Zstandard | 5~8% 우수 |
| float 인코딩 효과 | 속도 2~3배, 압축률 5.37% 향상 |
| appender 쓰기 버퍼 | 4MB (원본 400MB 이상에 해당) |