본문으로 건너뛰기
45분 늦던 알림을 바꾼 Netflix의 Atlas 스트리밍
목차

45분 늦던 알림을 바꾼 Netflix의 Atlas 스트리밍 (2023-04)

원문 정보

한 플랫폼 팀의 자동화로 밀린 알림

중요한 애플리케이션 상태 알림이 엔지니어에게 45분 늦게 도착했습니다. 몇 해 전 Netflix SRE 팀이 메트릭 알림 시스템 담당자를 호출한 이유입니다. 알림이 얼마나 조치로 이어지는지는 용도에 따라 달라도, 신뢰성은 양보할 수 없습니다. 오탐은 나쁘고 미탐은 최악입니다.

조사해 보니 설정된 알림 수가 최근 5배로 늘어 있었습니다. 한 내부 플랫폼 팀이 자기 사용자에게 알림 자동화를 제공하려고 프로그램으로 수만 개의 알림을 만든 결과였습니다. 당시 알림 시스템은 설정된 쿼리마다 cron으로 시계열 DB인 Atlas를 조회하는 방식입니다. 쿼리가 급증하자 요청을 제한하는 쓰로틀 비율이 높아졌고, 백오프를 동반한 재시도도 많아졌습니다. 같은 알림을 다시 검사하기까지의 간격이 벌어지면서 모든 사용자의 알림이 늦어졌습니다.

새로 만든 알림을 꺼서 급한 불은 껐습니다. 하지만 다른 플랫폼 팀들도 같은 자동화를 원했습니다. 그 요구를 받아들이면 다른 사용자들의 MTTD, 즉 평균 탐지 시간이 나빠지는 설계였습니다. 앞으로 6개월 안에 알림 쿼리가 자릿수가 달라질 만큼 늘어날 전망이었으므로, 새 알림을 비활성화하는 조치만으로 끝낼 수는 없었습니다.

20배의 쿼리를 감당한 Atlas 스트리밍

Netflix가 택한 방향은 Atlas DB 조회를 거의 없애고, 대부분의 알림 쿼리를 실시간으로 들어오는 메트릭으로 평가하는 방식입니다. 전환 후에는 몇 해 전보다 20배 많은 쿼리도 무리 없이 처리합니다. 같은 규모를 Atlas 스토리지 확장으로 감당할 때 드는 비용의 일부만으로 얻은 결과입니다.

이제 여러 플랫폼 팀이 사용자 대신 알림을 프로그램으로 만들고 관리해도 다른 사용자에게 영향을 주지 않습니다. 평가하는 알림 수와 관계없이 MTTD SLA도 유지합니다. 한 팀의 자동화가 전체 탐지를 늦추던 문제가 풀린 것입니다.

Atlas 확장을 가로막은 스토리지 비용

처음부터 스트리밍을 선택한 것은 아닙니다. 병목이 Atlas였으니, 먼저 Atlas를 키우는 방안을 생각했습니다. 문제는 비용입니다. Atlas는 하루 수십억 개의 시계열을 받아 최근 2주 치를 메모리에 보관하며, 이미 규모와 비용 모두 Netflix에서 손꼽히는 서비스였습니다.

컴퓨트와 스토리지가 분리돼 있어 이론상 쿼리 계층만 늘릴 수는 있습니다. 하지만 어떤 종류의 쿼리든 데이터를 읽는 부분은 스토리지 계층으로 내려갑니다. 조회를 더 많이 받아내려면 메모리 스토리지도 커져야 했고, 이미 비싼 스토리지에 드는 비용은 감당하기 어려운 수준이 됩니다.

캐시도 해법이 되지 못했습니다. 알림의 정확성을 결정하는 것은 가장 최근에 들어온 데이터포인트이기 때문입니다. 가령 에러 합계를 RPS 합계로 나누고 100을 곱한 값이 최근 5분 중 4분 동안 50%를 넘으면 알리는 쿼리가 있습니다. 최신 데이터포인트가 알림 조건을 충족시키는 상황에서 오래된 캐시 값을 읽으면, 빠진 데이터를 가져와 평가할 때까지 탐지가 늦어지거나 미탐처럼 보입니다.

최근 조회한 데이터를 재사용하는 최적화로는 이 요구를 충족하기 어렵습니다. 그래서 알림 팀은 저장된 데이터를 반복해서 조회하던 방식에서 벗어나, 메트릭이 들어오는 흐름에서 알림을 평가하기로 했습니다.

데이터 구독으로 평가하는 Atlas 쿼리

스트리밍 평가도 시작점은 알림 쿼리입니다. 알림 UI나 API 클라이언트가 제출한 쿼리는 전체 스냅샷과 갱신 알림을 제공하는 맞춤 설정 DB에 저장합니다. 알림 서비스는 이 갱신을 받아 새로 생기거나 바뀐 쿼리를 Edda Slots로 해시하고, 담당 노드에 배정합니다.

담당 노드는 쿼리를 평가하는 데 필요한 데이터를 정의한 ‘데이터 표현식’으로 쿼리를 나눕니다. 앞의 에러 비율 예시라면 에러 합계와 RPS 합계에 해당하는 표현식입니다. 노드는 이 표현식으로 상류의 브로커 서비스를 구독합니다.

브로커는 각 데이터 표현식을 구독 목록과 연결하는 관리자입니다. 활성 데이터 표현식을 모두 담은 Query Index도 유지합니다. 새 데이터포인트가 들어오면 이 인덱스를 조회해, 해당 데이터가 필요한 구독자가 있는지 판단합니다.

데이터를 받은 뒤의 계산은 알림 서비스와 atlas-eval 라이브러리가 맡습니다. atlas-eval은 표현식별로 도착한 데이터포인트를 그 값이 필요한 알림 쿼리에 연결합니다. 한 쿼리에 여러 표현식이 있으면 시간 경계부터 맞춥니다. 에러 합계와 RPS 합계를 같은 시간 구간에 맞춰 모은 뒤 최종 평가 단계로 넘기는 방식입니다. 이 단계에서 비율을 계산하고, 임계값을 넘은 구간 수를 세는 rolling-count를 유지합니다.

atlas-eval은 Atlas의 Query, Data, Math, Stateful 연산자 대부분을 스트리밍으로 평가합니다. 모든 쿼리를 옮길 수 있는 것은 아닙니다. offset, integral, des 같은 일부 연산자는 스트리밍 경로에서 지원하지 않습니다.

스택트레이스까지 찾아가는 Telltale

스트리밍 전환은 카디널리티 제약도 완화했습니다. Atlas 백엔드가 카디널리티 제한 때문에 거부하던 쿼리를 스트리밍 경로에서는 올바르게 평가합니다. 자유 형식 로그에서 뽑은 메트릭처럼 카디널리티가 매우 높은 데이터에도 모니터링과 알림을 적용할 수 있게 됐습니다.

이 변화가 쓰인 곳이 Netflix의 종합 애플리케이션 상태 모니터링 시스템인 Telltale입니다. Telltale는 메트릭 캐시를 폴링하던 방식에서 실시간 Atlas 스트리밍으로 옮겼습니다. 지연 시간이나 에러율 같은 SLI 메트릭에서 이상을 탐지하면, 상류·하류 서비스의 비슷한 메트릭과 로그에서 추출한 맞춤 메트릭 사이의 상관관계를 계산합니다. 에러율 상승을 특정 예외의 증가와 연결해 대표 스택트레이스까지 가리킬 수 있으며, 이는 MTTR을 줄이는 데 도움이 됩니다.

연결의 출발점은 로그 메시지의 지문(fingerprint)입니다. 로그 파이프라인은 각 메시지의 지문을 만들고, 카디널리티가 매우 높은 지문 태그를 로그 이벤트 카운터에 붙여 Atlas 스트리밍으로 내보냅니다. Telltale는 이 메트릭을 스트림으로 받아 SLI 이상과 상관관계가 있는 지문을 찾습니다. 그런 다음 지문 해시로 로그 백엔드를 조회해 대표 스택트레이스를 가져옵니다.

탐색 범위는 영향을 받은 서비스에 머물지 않습니다. N홉 떨어진 서비스에서도 상관된 이상과 예외를 찾을 수 있습니다. 이런 시스템은 참여하는 서비스가 많을수록 효과가 커지며, 이상적으로는 전체 서비스 그래프를 포함하는 것이 좋습니다. 몇 해 전 Telltale를 쓰던 서비스는 약 100개였지만, Atlas 스트리밍 덕분에 수천 개가 더 합류했습니다.

팀은 높은 카디널리티의 맞춤 메트릭과 SLI 이상을 연결해, 알림을 받고 취할 조치를 더 구체화할 수 있으리라 기대합니다. 예를 들어 HTTP 에러율 상승 알림이 정밀하게 상관관계를 찾은 대표 사례로 영향받은 고객 집단을 가리킨다면, 개발자가 문제를 재현하는 데도 도움이 될 것입니다.

Atlas 조회 결과와 어긋나는 순간

전환에는 수년이 걸렸습니다. 어려움 중 하나는 스트리밍 평가 결과와 Atlas DB 조회 결과가 어긋날 때의 디버깅이었습니다. 특히 Atlas에 데이터가 없거나, 카디널리티 제한 등으로 해당 쿼리를 지원하지 않는 경우가 까다로웠습니다. 이 문제는 전환이 오래 걸린 이유 중 하나입니다.

초기 징후는 스트리밍 방식이 관측성의 주요 과제인 메트릭과 이벤트의 상관관계 분석에도 도움이 될 가능성을 보여 줍니다. 로그에 이어 나중에는 트레이스까지 연결할 수 있을지도 모릅니다. Netflix 팀은 이 가능성을 더 탐색하려 합니다.

마지막 수정 일자