목차
멈춘 Salt 배포의 원인을 좁혀 가는 Cloudflare (2025-11)
원문 정보
- 원문: Finding the grain of sand in a heap of Salt
- 매체 · 게시일: The Cloudflare Blog · 2025-11-13
- 저자: Opeyemi Onikute, Menno Bezema, Nick Rhodes
- 원문 내용을 바탕으로 재구성한 요약입니다.
피크 시 15분 동안 수백 건의 변경이 수천 대 서버에 쌓입니다. 그 속에서 Salt 실패의 원인을 찾는 일은 소금 더미에서 모래알 하나를 찾는 것과 비슷했습니다. 커밋만 살펴서는 부족했습니다. 외부 서비스의 실패나 개별 소프트웨어 릴리스에서도 문제가 시작될 수 있기 때문입니다.
실패를 신호로 삼는 Salt 배포
Salt는 서버가 원하는 설정에서 벗어나지 않도록 관리하는 구성 관리 도구입니다. master가 ZeroMQ 메시지 버스로 작업과 설정을 보내면, 각 서버의 minion이 자신에게 해당하는 작업을 실행하고 결과를 돌려줍니다. 패키지·파일·서비스의 원하는 상태를 선언한 state는 시스템 작업을 구현한 Python 실행 모듈을 호출할 수 있습니다.
Cloudflare의 설정 변경은 Debian 패키지로 묶여 APT 서버에 배포됩니다. master는 APT source 파일이 가리키는 suite에서 패키지를 받아 설정을 적용하고, 서버는 Prometheus로 상태를 보고합니다. 정상으로 보인다고 바로 다음 환경으로 넘기지는 않습니다. 복잡한 문제가 드러날 시간을 확보하는 soak 기준을 통과해야 합니다.
highstate 실패는 배포를 멈추는 신호입니다. Cloudflare는 변경의 영향 범위를 제한하고 실패 시 Salt 배포 파이프라인을 기본적으로 중단해, 고객에게 영향이 번지는 것을 막도록 설계했습니다. 하지만 멈출 때마다 다른 설정 변경도 대기합니다. 잘못된 버전의 문제는 후속 버전에도 이어지고, 새 버전이 계속 앞선 버전을 대체하므로 배포 전체를 중단해야 합니다. 안전하게 멈추는 장치는 있었지만, 다시 배포하려면 사람이 원인을 찾아 서둘러 고쳐야 했습니다.
minion으로 옮긴 작업 이력
Salt는 렌더링부터 컴파일, 실행까지 여러 단계에서 실패합니다. Jinja·YAML 오류, 누락된 pillar·grain 데이터, 잘못된 실행 의존 관계, 인증 실패나 네트워크·방화벽 문제까지 원인도 다양합니다. 그래도 자동 분석에 쓸 재료는 있었습니다. state별 반환 정보에는 성공 여부, 설명, 변경 사항, 소요 시간이 담기며 JSON으로도 출력할 수 있습니다.
문제는 보관 장소였습니다. SRE는 minion에 SSH로 접속해 로그에서 오류와 작업 ID인 JID를 찾은 뒤, 연결된 여러 master를 뒤져 해당 작업의 결과를 찾아야 했습니다. 작업은 minion에서 실행했지만 결과는 master에 남았습니다. master 로그의 보존 시간은 4시간뿐이었고, master 접근 권한이 없는 사용자는 조사할 수 있는 범위마저 좁았습니다.
Cloudflare는 master의 local_cache returner와 비슷한 custom returner를 만들어 작업 결과를 minion에 직접 캐시했습니다. 결과를 선별하고 캐시 크기를 관리하면서 보존 기간도 늘렸습니다. 이제 어느 master가 작업을 처리했는지 알아낼 필요가 없습니다. minion에서 한 번 조회하면 작업 세부 정보와 오류 맥락을 얻고, 관련 파일 변경과 커밋 작성자를 추적할 기반도 갖추게 됐습니다.
Salt Blame의 빈틈을 드러낸 컴파일 오류
이력을 가까이 가져온 다음에는 외부 서비스가 Salt 내부 동작을 몰라도 실패 정보를 조회할 수 있어야 했습니다. 이를 위해 만든 실행 모듈이 Salt Blame입니다. 사람을 비난하지 않는 문화를 지향하는 Cloudflare도 소프트웨어에는 Blame이라는 이름을 붙였습니다.
Salt Blame은 로컬 작업 이력, 작업 당시의 최신 커밋, Git 커밋 이력을 모읍니다. 캐시를 최신순으로 거슬러 가며 실패 구간의 첫 실패와 그 직전 성공 작업을 찾습니다. 그런 다음 두 작업 사이의 커밋 중 실패와 관련된 파일을 수정한 항목을 후보로 제시합니다. 성공에서 실패로 바뀐 구간으로 조사 범위를 좁히는 방식입니다.
커밋 후보와 함께 실패한 state와 출력도 보여 줍니다. 예를 들어 file.managed가 참조한 nginx.conf를 Salt 파일 서버에서 찾지 못했다면, 오류 출력에 그 이유가 남습니다. 실패 원인이 소스 변경에만 있지는 않으므로, 이런 출력도 별도의 단서가 됩니다.
초기 모듈은 실패한 state 목록만으로도 많은 원인을 찾아냈습니다. 그러나 컴파일 오류는 보이지 않았습니다. 컴파일에 실패하면 state 자체가 실행되지 않고, 내부 반환 코드도 state 실패의 2와 다른 1이어서 검사에서 빠졌기 때문입니다. Cloudflare에서 컴파일 오류는 대부분 컴파일 단계에 필요한 Salt 의존 서비스의 실패로 발생했고, 드물게 소스 변경에서도 비롯됐습니다. 모듈이 이 오류까지 처리하도록 보완한 뒤 SRE에게 배포하면서 진단 범위를 넓혔습니다.
여러 데이터센터를 살피는 채팅 명령
로컬 명령은 빨라졌지만 바쁜 당직 근무에는 여전히 번거로웠습니다. 여러 서버와 데이터센터에서 실패가 나면 노드를 옮겨 다니며 같은 명령을 실행해야 했습니다. Cloudflare는 엔지니어들이 실제로 문제를 논의하는 채팅에 진단 기능을 가져왔습니다. minion, 데이터센터, 데이터센터 그룹을 각각 조사하는 명령입니다.
계층별 작업은 병렬로 실행합니다. 한 서버의 실패를 살피거나 여러 데이터센터의 공통 실패 유형을 모아 Git 커밋, 릴리스, 외부 서비스 실패와 연결할 수 있습니다. 개별 minion의 Blame 처리는 평균 30초 미만, 여러 데이터센터의 결과 반환은 1분 이내였습니다.
여러 데이터센터를 함께 조사하는 기능은 pre-production의 실패를 추적하는 데 곧바로 도움이 됐습니다. 이곳에서 막힌 변경은 다른 데이터센터로도 전파되지 못했습니다. 진단 기능을 추가한 뒤 Salt 실패를 디버깅하고 해결하는 시간은 5% 넘게 줄었습니다.
5%의 효과는 반복될수록 쌓입니다. 하루 평균 60분을 쓴다고 가정하면 5%를 줄이는 것만으로 한 달에 90분을 아낍니다. 이는 사고 실험이며, 실제 배포 지연 시간은 공개하지 않았습니다.
Cloudflare는 배포 파이프라인에 영향을 주는 알려진 조건에서 진단을 자동 실행하도록 더 확장했습니다. 사람이 명령을 입력하기를 기다리는 시간까지 줄인 것입니다. 원인을 찾아 후속 수정이나 되돌리기를 수행하는 시간이 짧아지면서 엣지로 변경을 전달하는 속도도 개선됐습니다.
빠른 진단 다음의 월별 원인 분석
빠르게 고친 실패도 이력으로 모으면 다른 질문에 답할 수 있습니다. 어떤 원인이 반복해서 배포를 막는지입니다. Cloudflare는 Prometheus와 Grafana로 Git 커밋, 릴리스, 외부 서비스 실패, 원인을 특정하지 못한 state 실패를 추적합니다. 반복해서 실패하는 state를 찾는 일은 안정적인 릴리스 관행을 더 널리 적용하는 데도 쓰입니다.
원인에 따라 후속 작업도 달라집니다. 커밋 관련 실패가 급증하면 코딩 관행과 린팅을 개선할 신호로 보고, 외부 서비스 실패가 늘면 내부 시스템의 회귀를 조사합니다. 릴리스 관련 실패의 증가는 배포 관문과 릴리스 진행 관리를 보강할 신호입니다.
지표는 월별로 분석하고 내부 티켓과 에스컬레이션으로 후속 작업을 진행합니다. 이 활동은 아직 초기 단계입니다. 직접적인 효과는 드러나지 않았으며, 실패를 줄여 Saltstack과 릴리스 과정의 전반적인 상태를 개선하리라 기대하고 있습니다.
진단에 쓰던 시간을 재발 방지에 돌리면서 생기는 간접 효과도 앞으로 측정할 계획입니다. 탐지 정확도를 높이는 작업도 남아 있습니다. Cloudflare는 외부 입력의 연관성 분석에 덜 의존하도록 더 많은 로직을 Saltstack 네이티브 모듈로 옮기는 방안을 검토합니다. 외부 시스템이 변하면서 생기는 회귀를 피하고, 당직 SRE가 새로운 문제에 집중할 시간을 확보하려는 방향입니다.
운영 규모와 진단 수치·반환 코드
| 항목 | 값 |
|---|---|
| 조사 환경의 변경 규모 | 피크 시 15분 동안 수백 건의 변경, 수천 대 서버 |
| 기존 master 로그 보존 시간 | 4시간 |
| Salt 실패 디버깅·해결 시간 개선 | 여러 데이터센터 진단 기능 추가 후 5% 초과 감소 |
| 개별 minion의 Blame 처리 시간 | 평균 30초 미만 |
| 여러 데이터센터의 진단 결과 반환 | 1분 이내 |
| 시간 절감 사고 실험 | 하루 평균 60분을 쓴다고 가정할 때 5% 감소로 월 90분 절약. 실제 공개 실측치가 아닌 예시 |
| 일반 명령의 실패 종료 코드 | salt·salt-call은 state가 하나라도 실패하면 기본적으로 1 |
| Salt 내부 반환 코드 | 컴파일 오류 1, state가 False를 반환하면 2, pillar 컴파일 오류 5 |
| 실패 원인 지표 분석 주기 | 월별 |