본문으로 건너뛰기
끝난 Gradle 빌드에도 타임아웃을 기록한 Jenkins
목차

끝난 Gradle 빌드에도 타임아웃을 기록한 Jenkins (2025-01)

원문 정보

Gradle 빌드는 끝났는데 Jenkins는 계속 기다리다 타임아웃으로 처리했습니다. 빌드를 마친 시각과 로그가 Jenkins 화면에 나타난 시각 사이에 긴 지연이 있었던 것입니다. LINE 클라이언트 앱의 빌드 개선과 CI 파이프라인 관리, 자동화 지원을 맡은 MPR(Mobile Productive & Research) 팀이 이 문제를 찾아 CI/CD를 정상화하기까지는 약 10일이 걸렸습니다.

재실행으로도 풀리지 않은 Jenkins 타임아웃

처음에는 익숙한 빌드 실패처럼 보였습니다. 평소에도 유닛 테스트가 늘어 빌드와 테스트에 걸리는 시간이 길어지면 Jenkins에 설정한 타임아웃을 넘곤 했습니다. 일시적인 자원 부족이나 간헐적인 네트워크 문제로 실패했다면 다시 실행했을 때 대부분 재현되지 않았습니다. 팀도 이번 증상을 그렇게 보고 원인을 찾기 시작했습니다.

이번에는 재실행도 소용없었습니다. 타임아웃을 두 배 이상 늘려도 빌드는 시간 안에 끝나지 않았고, 실패를 확인하기까지 기다리는 시간만 길어졌습니다. 어느새 업무 시간에 수행하는 특정 빌드의 실패율이 80% 정도에 이르렀습니다. 업무 시간이 끝나면 비율은 낮아졌지만 같은 실패가 계속됐습니다. 로컬 빌드에서는 나타나지 않는 문제였습니다.

로그에서 먼저 눈에 들어온 것은 Gradle 데몬이 예기치 않게 종료됐다는 메시지입니다. Gradle 플러그인과 Develocity를 비롯한 관련 도구의 변경 사항을 확인했으나 원인을 찾지 못했습니다. Develocity에 빌드 정보를 보내지 않는 --no-scan 옵션을 적용해도 증상은 그대로였습니다.

메모리 부족(OOM)도 의심했습니다. 실제 테스트를 실행한 CI 슬레이브의 시스템 로그에는 OOM 메시지가 없었고, 테스트 익스큐터를 40개에서 30개로 줄이고 힙 메모리를 6G에서 8G로 늘려도 문제가 풀리지 않았습니다. 데몬 종료 메시지만 따라가서는 더 나아가기 어려운 상황이었습니다.

완료 기록과 어긋난 Jenkins 타임스탬프

단서는 서로 다른 곳에 쌓인 빌드 기록에 있었습니다. 팀의 CI는 Git 소스 리포지터리와 Jenkins, 여러 플러그인으로 구성돼 있습니다. Gradle 빌드 정보는 Develocity로 보내고, Jenkins 빌드 로그는 Logstash를 거쳐 Elasticsearch에 모아 Kibana와 Grafana로 시각화하는 방식입니다.

Jenkins가 테스트 중 타임아웃으로 처리한 빌드를 Develocity에서 찾아보니 정상 완료로 표시돼 있었습니다. 타임스탬프도 맞지 않았습니다. 처음 발견한 기록에서는 약 1시간 30분의 차이가 났습니다. 어느 쪽이 실제 실행 시각을 나타내는지 확인하려고, 팀은 빌드 출력을 파이프로 받아 각 줄에 타임스탬프를 붙이는 코드를 작성했습니다. 이 검증에서도 Jenkins 콘솔과 Develocity의 빌드 정보 사이에 30분 이상의 시차가 확인됐습니다.

이 무렵 빌드 로그의 양이 문제 발생 전보다 두 배 이상 늘었다는 사실도 드러났습니다. 로그 전송 경로를 다시 볼 이유가 생긴 것입니다. Develocity로 보내는 경로는 이미 --no-scan으로 시험했으므로, 이번에는 Logstash를 사용하지 않도록 설정했습니다. 그러자 문제가 사라졌습니다. 팀은 늘어난 로그가 Logstash에서 처리할 수 있는 양을 넘어섰다고 판단했습니다.

빌드 스캔 URL을 남긴 Gradle의 QUIET 설정

로그 수집 성능을 높이는 방법은 인프라 비용 때문에 쉽게 선택하기 어려웠습니다. 팀은 출력량을 줄이기로 했습니다. Jenkins에 쌓이는 빌드 로그 대부분이 정상적인 진행을 알리는 내용이었으므로, 이 출력을 줄이면 로그 처리 부담도 낮출 수 있다고 본 것입니다. Gradle 로그 레벨을 QUIET(-q)로 바꿔 시험하자 타임아웃 없이 빌드가 처리됐습니다.

필요한 정보까지 빠지는 문제는 남았습니다. 기존 LIFECYCLE 레벨에서 출력하던 빌드 스캔 정보가 -q에서는 보이지 않았습니다. 팀은 AndroidGradleScanPlugin을 수정해 LIFECYCLE이 꺼져 있어도 Publishing build scan...과 스캔 URL을 quiet 레벨로 출력하도록 했습니다. Jenkins에서 Develocity의 빌드 결과로 찾아가는 경로를 유지한 것입니다.

로그 크기는 1.2MB에서 124KB로, 약 10분의 1이 됐습니다. Grafana에서는 원래 경고와 오류 메시지만 분석에 사용하고 있어 분석 결과에 영향이 없었습니다. Logstash의 부하와 잠재적 오버헤드도 줄었고, Jenkins 빌드 수행 시간은 30분에서 10분으로 짧아졌습니다.

이 조치에는 팀이 로그를 사용하는 방식이 반영돼 있습니다. 필요한 경고와 오류, 빌드 스캔 URL을 남기면서 정상 진행 로그를 줄인 선택입니다. 문제 소지가 있는 곳에는 기록을 남기되, 의미 없는 출력 때문에 필요한 로그를 찾는 시간이 길어지지 않도록 로그 레벨을 사용하는 것이 팀이 얻은 운영 기준이었습니다. 너무 잦은 알림이 실제 문제를 가리지 않게 경고 기준을 명확히 하고, 반복되는 문제를 빨리 처리해야 한다는 점도 함께 남겼습니다.

메시지 전달 방식을 바꾸거나 애플리케이션 자체에서 로그를 줄이는 근본적인 개선은 여전히 남아 있었습니다. 비용이 많이 들고 로그를 필요로 하는 개발 조직들의 이해관계도 맞물려 있어, 곧바로 선택하기 어려운 방법이었습니다.

한 대의 마스터로 모이는 80개 노드의 로그

장애를 해소한 뒤에도 확인할 일이 있었습니다. 로그는 왜 늘었으며, 어느 지점에서 처리가 지연될 수 있었는지 살펴봤습니다.

CI에서는 80개의 Jenkins 슬레이브 노드가 마스터 한 대로 빌드 로그를 보냅니다. 마스터가 로그를 출력하고 Logstash가 이를 Elasticsearch로 전달하므로, 여러 노드의 로그가 몰리면 이 경로에 부하가 걸릴 가능성이 있었습니다. Logstash 플러그인에서 로그를 변환하고 필터링하는 단계도 팀이 짚은 부하 발생 후보였습니다. 어느 한 지점을 실제 병목으로 확정한 것은 아니었습니다.

출력량이 커진 배경에는 프로젝트의 모듈화가 있었습니다. 2020년에 10개 안팎이던 Gradle 서브 프로젝트는 2024년 334개로 늘었습니다. CI를 처음 구성할 때 서브 프로젝트당 약 400줄이던 로그도 함께 증가했습니다. 2024년 Develocity에 수집된 빌드 로그는 23000줄 이상, 약 1.2MB였습니다.

프로젝트 수만 늘어난 것이 아니었습니다. Java와 Kotlin 컴파일러, KSP와 린트 같은 개발 도구가 제공하는 정보까지 빌드 로그에 모이고 있었습니다. 더 이상 권장하지 않는 API를 사용했다는 Java 컴파일러 경고, AndroidManifest의 네임스페이스 경고, 기본값이 없는 리소스를 제거한다는 경고, 단위 테스트 중 반복되는 JVM 경고가 그 예입니다. 각 서브 프로젝트가 출력하는 내용도 늘어난 이유였습니다.

64KB 출력으로 재현한 파이프의 지연

로그를 줄이자 장애가 사라졌지만, 로그양이 어떻게 실행 시간과 타임스탬프를 바꾸는지는 별도로 검증했습니다. 팀은 더미 로그를 다섯 줄 출력하는 print.py와 입력을 한 줄씩 읽어 타임스탬프를 붙이는 ts.py를 만들었습니다. print.py에서는 로그 크기와 타임스탬프 출력을 조절하고, ts.py에서는 한 줄을 처리할 때마다 지정한 시간만큼 쉬도록 했습니다. 두 프로그램을 파이프로 연결하면 로그를 생성하는 쪽과 읽는 쪽을 나눠 시험할 수 있었습니다.

읽는 쪽을 늦추는 것만으로는 출력 프로그램이 느려지지 않았습니다. 출력량이 작을 때 ts.py가 줄마다 1초씩 쉬도록 하자 이 프로그램은 총 6.058초가 걸렸지만, print.py는 0.027초 만에 끝났습니다. 파이프에 버퍼가 있었기 때문입니다.

출력량을 늘리자 달라졌습니다. 팀은 원문에서 인용한 리눅스 2.6.11 이후의 파이프 용량인 65,536바이트를 기준으로, 로그 출력량을 64KB로 늘리고 읽는 쪽에 1초씩 지연을 줬습니다. 그러자 더미 출력 프로그램의 수행 시간도 0.079초에서 4.094초로 늘어났습니다. 로그를 읽는 쪽의 지연이 출력하는 쪽의 실행 시간에까지 영향을 준 것입니다.

생성한 로그에도 타임스탬프를 넣자 양쪽의 시각이 어긋나는 모습이 드러났습니다. CI에서 관찰했던 현상과 같았습니다. Gradle 빌드가 Develocity에는 완료로 기록돼 있어도, 생성된 로그를 Jenkins 화면으로 보내는 과정에서는 버퍼 크기만큼씩 처리하느라 지연이 생겼습니다.

이 실험으로 팀은 로그양 증가가 원인이라는 가설을 검증했습니다. 표준 입출력으로 로그를 보여 주는 CI에서는 버퍼보다 많은 로그를 출력할 때 처리가 끝나기를 기다리는 블로킹이 발생할 수 있습니다. 빌드가 얼마나 빨리 실행되는지뿐 아니라, 그 빌드가 남긴 로그를 얼마나 빨리 처리하는지도 수행 시간에 영향을 주고 있었습니다.

장애 추적과 조치에서 확인한 수치
항목값
장애 해소까지 걸린 기간약 10일
업무 시간 특정 빌드의 실패율80% 정도
시도한 익스큐터 수 조정40개에서 30개
시도한 힙 메모리 조정6G에서 8G
Jenkins 슬레이브 노드 수80개
Gradle 서브 프로젝트 수2020년 약 10개, 2024년 334개
서브 프로젝트당 로그CI 구축 초기 약 400줄
2024년 빌드 로그23000줄 이상, 약 1.2MB
리눅스 파이프 용량2.6.11 이후 65,536바이트
재현 테스트 (64KB 출력, 1초 지연)더미 프로그램 수행 시간 0.079초에서 4.094초
-q 적용 후 로그 크기1.2MB에서 124KB
-q 적용 후 Jenkins 빌드 수행 시간30분에서 10분

원문은 Develocity와 Jenkins 콘솔의 타임스탬프 차이를 처음에는 약 1시간 30분, 파이프로 검증한 뒤에는 30분 이상으로 적고 있습니다.

마지막 수정 일자