본문으로 건너뛰기
Uber 사내망의 긴 레이스를 바꾼 Kubernetes 관측 플랫폼
목차

Uber 사내망의 긴 레이스를 바꾼 Kubernetes 관측 플랫폼 (2026-01)

원문 정보

무거운 등산화로 달리던 Uber 사내망

새 장비가 들어오면 설정 파일부터 고쳤습니다. 라우터가 다른 리전으로 옮겨 가거나 장비가 유지보수 상태에 들어가도, Telegraf 폴러가 읽을 정적 설정을 사람이 바꿔야 했습니다. 계속 변하는 전 세계 사내망을 따라가기에는 버거운 방식이었습니다.

Uber는 글로벌 사내망 운영을 울트라마라톤에 빗댑니다. 오랫동안 쓰던 모놀리식 모니터링 시스템은 이 경주에 신고 나온 ‘무거운 등산화’였습니다. 튼튼하지만 느렸습니다. 유연하게 바꾸거나 규모를 키우기도 어려워, 더 오래 달릴수록 기존 도구의 한계가 드러났습니다. 새로 만든 오픈소스 기반 클라우드 네이티브 관측 플랫폼은 그 등산화를 대신할 ‘탄소 섬유 러닝화’입니다.

대상은 CorpNet, 곧 사내망입니다. 사무실과 데이터센터, 클라우드 환경과 내부 서비스를 다루며, 서비스의 프로덕션 텔레메트리는 범위에 들어가지 않습니다. 스위치, 라우터, PDU, IoT 센서 같은 장비의 상태와 내부 리전 사이의 연결·지연을 살피고, 기업용 네트워킹과 내부 애플리케이션을 지원하는 운영 데이터 흐름도 관측합니다. 이 사내망 역시 자신이 뒷받침하는 시스템만큼 관측하기 쉽고 안정적이며 자동화된 환경으로 만드는 것이 목표였습니다.

수동 설정을 대신한 Dynamic Config App

장비 목록이 바뀌면 수집 설정도 따라 바뀌어야 합니다. Dynamic Config App은 이 연결을 맡습니다. ServiceNow를 원천 데이터로 삼아 Elasticsearch의 인벤토리를 계속 갱신하고, 앱은 그 안에서 장비의 추가·제거·재배정을 추적합니다. 변경 사항은 Telegraf 설정에 반영되므로 사람이 파일을 편집하거나 에이전트를 재배포할 필요가 없어졌습니다.

에이전트가 받아 가는 것은 설정 URL입니다. 각 Telegraf 에이전트를 실행할 때 이 URL을 인자로 지정하며, /v1/snmp/cisco?region=EMEA 같은 경로로 리전이나 사이트, 장비 유형에 맞는 장비 목록을 요청합니다. 앱은 이 조건에 따라 폴링 대상을 걸러 설정을 제공합니다. 원문의 그림 2에는 이때 쓰는 Telegraf 실행 명령이 나옵니다.

설정을 다시 읽는 판단은 Telegraf가 합니다. 에이전트는 주기적으로 URL을 확인하고, Last-Modified 타임스탬프가 달라졌으면 설정을 자동으로 다시 읽습니다. 인벤토리의 변경을 설정으로 만드는 앱과, 수정 시각을 확인해 설정을 갱신하는 에이전트가 연결된 방식입니다.

덕분에 USC, EMEA, APAC 사이에서 폴링을 즉시 재분배하고, 리전·사이트·장비 유형 태그로 수집 범위를 조정합니다. 새 수집기를 도입하거나 플러그인을 바꿀 때도 에이전트 재배포 없이 전 세계에 변경을 적용합니다. 수집 설정을 실제 인벤토리에 맞추는 작업이 더는 수동 파일 편집에 묶이지 않습니다.

장비 가까이에 둔 Kubernetes 보급소

프로브를 놓는 위치도 측정 품질을 좌우합니다. Uber는 USC, EMEA, APAC에 플랫폼을 배포해 측정 프로브를 장비와 지리적으로 가까운 곳에 두었습니다. 지연이 낮고 정확한 측정값을 얻기 위한 배치입니다. 울트라마라톤 코스 곳곳에 보급소를 두듯, 글로벌 사내망을 관측하는 거점을 나눴습니다.

각 구성 요소는 Kubernetes 위에서 실행하는 컨테이너 서비스입니다. 서비스끼리는 API로 통신하며, 새 연동을 추가하도록 모듈을 나눴습니다. 구성 요소가 멈추면 Kubernetes가 자동으로 다시 띄웁니다. 원문의 그림 1은 이 전체 설계를 보여 줍니다.

수집부터 보관까지도 도구마다 역할이 있습니다. Telegraf는 SNMP, API, MQTT를 처리하는 가벼운 수집 에이전트이고, Prometheus는 실시간 시계열 메트릭을 맡습니다. 장기 보관과 전역 조회는 Thanos가 담당합니다. 짧은 오르막을 빠르게 오르는 Prometheus에 긴 경주를 견딜 Thanos를 짝지은 구성입니다.

Grafana와 Kibana에서는 대시보드와 알림을 한곳에서 봅니다. 인벤토리를 담는 Elasticsearch는 메타데이터를 색인하고 검색하는 도구이기도 합니다. 지나온 경로를 되짚고 패턴을 찾게 해 주는 지도와 나침반에 해당합니다. 이 스택이 지향하는 것은 데이터 품질과 확장성, 그리고 실제 조치로 이어지는 데이터입니다.

장애의 맥락을 모으는 Alert Ingestion App

모니터링은 장비가 켜져 있는지 알려 줍니다. 하지만 어디까지 왔는지 표시하는 체크포인트만으로는 달리는 속도가 왜 떨어졌는지 알 수 없습니다. 관측성으로 넘어가려면 느려진 이유를 설명할 맥락이 있어야 합니다. 수집한 정적 메트릭에 맥락과 자동화를 더하는 역할을 Alert Ingestion App이 맡았습니다.

Telegraf와 Dynamic Config App이 다리와 폐라면, 이 앱은 코치이자 레이스 전략가입니다. FastAPI, Celery, Redis로 만들었으며 Prometheus뿐 아니라 Meraki, HPE MIST, 그 밖의 웹훅 연동에서도 알림을 받습니다. 입력은 비동기로 받고 처리는 병렬로 수행합니다. 알림을 걸러 우선순위를 매긴 뒤 중요한 이벤트를 적절한 팀으로 보내, Slack이나 PagerDuty에 알림이 쏟아지는 일을 줄입니다.

비슷한 이벤트는 한데 묶습니다. 여러 주자가 한꺼번에 계시 매트를 지나는 장면처럼 모여드는 이벤트를 그룹으로 처리해 알림 폭주를 줄이는 방식입니다. 여기에 맥락과 상관관계를 더하면 엔지니어는 문제가 발생했다는 신호뿐 아니라 그 이유를 파악할 정보도 얻습니다.

알림은 한 번만 게시합니다. 이후 상태가 바뀌면 새 알림을 중복으로 올리는 대신 기존 게시물을 실시간으로 수정합니다. 맥락을 보강하고 중복을 없앤 알림 덕분에 Uber는 진단과 해결 속도를 높였습니다.

이벤트의 이력도 끊기지 않습니다. Prometheus, MQTT 센서, 네트워크 API에서 들어온 알림을 모두 하나의 Elasticsearch 인덱스에 저장하므로, 엔지니어는 시스템과 리전을 가로질러 첫 신호부터 해소까지의 경로를 되짚습니다. 원문의 그림 3은 이 알림 수집 구성을 보여 줍니다.

오픈소스 전환으로 없앤 반복 라이선스료

Uber는 플랫폼을 옮기면서 해마다 나가던 수십만 달러의 라이선스 비용을 없앴습니다. 절약한 예산은 더 혁신적인 작업으로 돌렸습니다. 운영 도구의 확장 방식도 달라졌습니다. API로 연결한 모듈형 설계는 새 연동을 받아들이기 쉬워, 앞으로 만날 다른 지형에도 대응할 기반이 됐습니다.

AIOps의 훈련 일지가 된 알림 이력

발생한 알림과 해소된 알림이 한곳에 쌓이면 과거의 달리기를 기록한 훈련 일지가 생깁니다. 이 이력이 AIOps의 재료입니다. AI 엔진은 모든 알림 소스의 데이터를 처리해 패턴을 찾습니다. 엔지니어가 근본 원인을 더 빨리 파악하고 MTTR을 줄이도록 돕는 것이 목표입니다.

같은 기반은 대화형 AI 에이전트도 지원합니다. Uber가 든 예는 Slack 봇입니다. 엔지니어가 특정 사이트 코드에서 지난 24시간 동안 알림이 어떻게 변했는지 자연어로 물으면, 봇이 맥락을 담아 답하는 방식입니다. 장애 대응 중 곁에서 속도를 맞춰 주는 페이스메이커가 이 봇의 역할입니다.

플랫폼을 구성하는 도구
역할기술
메트릭 수집Telegraf (SNMP, API, MQTT)
메트릭 저장Prometheus, Thanos
시각화Grafana, Kibana
인벤토리와 검색Elasticsearch (원천 데이터는 ServiceNow)
알림 수집FastAPI, Celery, Redis
알림 입력원Prometheus, Meraki, HPE MIST, 웹훅, MQTT 센서
알림 출력Slack, PagerDuty
배포Kubernetes, USC·EMEA·APAC 세 리전
마지막 수정 일자