본문으로 건너뛰기
흩어진 장애 단서를 연결하는 Netflix의 관측성 온톨로지
목차

흩어진 장애 단서를 연결하는 Netflix의 관측성 온톨로지 (2026-10)

원문 정보

관계를 다시 찾느라 길어진 장애 조사

영화 목록이 줄지어 뜨는 홈 화면이 약 1.5초 느려졌습니다. Netflix가 든 회귀 사례입니다. 새 클라이언트 버전이나 A/B 테스트 롤아웃, 인프라의 로드 셰딩이 모두 용의자였습니다. 여섯 홉 아래 서비스의 배포 때문에 GraphQL 쿼리가 잘못된 데이터를 돌려줬을 가능성도 있습니다. 알림이 울린 뒤 조사에는 약 4시간이 걸렸습니다.

데이터는 이미 모으고 있었습니다. Netflix는 메트릭, 이벤트, 로그, 트레이스(MELT)를 하나의 관측성 데이터 계층에 모아 사용자가 겪는 일과 애플리케이션의 동작, 백엔드의 응답을 살핍니다. 각각이 원인을 묻는 질문의 4분의 1쯤에 답하는 재료입니다. 그런데 조사 시간 대부분은 어려운 계산에 쓰이지 않았습니다. 시스템들이 이미 알고 있던 관계를 다시 짜 맞추는 데 들었습니다. 그 관계를 사람이나 기계가 읽을 수 있는 형태로 적어 둔 곳이 없었던 것입니다.

이런 탐색을 개인의 기억에 맡기기에는 규모가 큽니다. Netflix는 2024년 11월 Jake Paul과 Mike Tyson의 경기를 동시 스트림 약 6,500만 개로 중계했습니다. 평소에도 하루 20억 건이 넘는 요청과 초당 3,800만 건 이상의 실시간 로깅 이벤트를 처리합니다. 전체 그림을 아는 팀도, 그 그림을 담은 대시보드도 없습니다. 라이브 콘텐츠와 팟캐스트, 실시간 스트림이 늘면서 시스템을 이해하고 수정할 시간은 더 절실해졌습니다. 저자들은 이 탐색을 어두운 정글에서 눈을 가린 채 건초 더미 속 바늘을 찾는 일에 비유합니다.

같은 대상을 다르게 부르는 운영 도구

각 도구는 자기 영역을 잘 알고 있습니다. 텔레메트리 플랫폼 Atlas에는 애플리케이션과 시계열이, 알림 시스템 Radar에는 임계값과 알림 발생 이력이 있습니다. incident.io는 인시던트의 심각도와 대응자를 기록하고, PagerDuty는 당직 로테이션을 관리하며, Spinnaker는 무엇이 언제 배포됐는지 압니다. 지난 분기에 비슷한 문제를 해결한 사람이 누구인지는 Slack 기록에 남아 있습니다. 쿼리 엔진이 읽을 수 없는 형태로 남은 지식입니다.

도구 사이로 넘어가면 이름부터 어긋납니다. 같은 대상이 한쪽에서는 애플리케이션, 다른 쪽에서는 서비스, 또 다른 곳에서는 클러스터입니다. 접미사와 대소문자가 다르기도 하고, 몇 사람만 기억하는 이름 변경이 끼어 있기도 합니다. 결국 이 이름들의 대응 관계를 아는 사람이 있어야 데이터를 연결할 수 있습니다. 여러 시스템을 가로지르는 조사에서 그 사람이 병목이 됩니다.

2023년경이라면 데이터를 더 모으거나 대시보드를 개선하려 했을 문제입니다. 2026년에는 에이전트를 떠올리기 쉽습니다. 하지만 관계를 알 수 없는 상태는 그대로입니다. 맥락이 부족한 에이전트가 부정확한 분석을 내놓으면 온콜 엔지니어는 잘못된 단서를 따라가게 됩니다. 찾아야 하는 것은 아무 바늘이 아니라 바로 그 바늘입니다.

Netflix는 이를 데이터 모델링 문제로 다뤘습니다. 운영 엔티티의 타입과 속성, 허용되는 관계를 명시한 Observability Ontology를 만들었습니다. 온톨로지는 여러 시스템이 같은 대상을 이해하도록 정한 공통 규칙입니다. 이 규칙에 맞춰 주어·술어·목적어로 이뤄진 트리플을 기록하고, 서로 연결한 사실을 지식 그래프에 저장합니다.

지식 그래프에서 조사를 시작하는 AutoRCA

그래프가 바꾼 것은 조사의 출발점입니다. 담당 팀을 찾고, 무엇이 배포됐는지 복원하고, 여러 시스템의 신호를 연결하고, 지난 분기의 비슷한 사건을 떠올리는 데 한두 시간이 들었습니다. 이제는 온톨로지와 그래프가 그 맥락을 모아 줍니다. 엔지니어는 반나절을 들여야 얻던 그림을 손에 쥔 채 조사를 시작합니다.

이 그래프 위에서 동작하는 사내 에이전트형 AI 솔루션이 AutoRCA입니다. 하나의 질문을 중심으로 여러 전문 에이전트를 조율하며, 각 전문 에이전트는 해당 도메인을 잘 아는 사람들이 만듭니다. 저자들은 홈 화면이 느려진 사례에서 이 에이전트들이 그래프를 바탕으로 원인을 추적하는 추론 사슬을 예로 듭니다.

에이전트들이 서로 정보를 주고받는 인터페이스는 온톨로지입니다. 트레이스를 분석하는 팀이 발견한 사실을 ops:Application의 트리플로 기록하면, 로그를 분석하는 에이전트가 같은 애플리케이션의 트리플을 읽습니다. 서로의 존재를 알거나 별도의 소통 규칙을 합의할 필요가 없습니다. 새 전문 에이전트도 그래프의 어휘를 한 번 배우면 나머지 여섯이 남긴 결과를 읽을 수 있습니다.

사람이 해야 할 판단은 남아 있습니다. 예시의 알림은 여전히 오후 3시 30분에 울리고, 엔지니어가 증거를 검토하며, 코드를 이해하는 사람이 수정안을 작성합니다. AutoRCA도 아직 초기 단계라 가설의 순위가 틀릴 때가 있습니다. 각 가설에 근거를 붙이는 이유입니다. 조사에 필요한 맥락을 빨리 제공하되, 엔지니어가 그 가설을 확인할 수 있어야 합니다.

애플리케이션의 신원부터 검증하는 지식 그래프

공통 어휘를 만든다고 해서 모든 용어를 받아들이지는 않았습니다. Netflix는 범용 Service 타입을 두지 않았습니다. 도구마다 서비스라는 말이 가리키는 대상이 네 가지로 달랐기 때문입니다. 애플리케이션은 정확히 하나의 타입, ops:Application으로 표현합니다.

이름만 있다고 애플리케이션이 되지는 않습니다. 생성 전에 약 4만 9,000개 항목이 있는 소프트웨어 카탈로그로 검증합니다. 사용자 이름이나 팀 이름, 네트워크 토폴로지에서 추출한 의존성 이름처럼 검증되지 않은 문자열은 통과하지 못합니다. 저자들이 권하는 출발점도 엔티티 종류마다 기준이 되는 카탈로그 하나를 정하고, 생성 전에 검증하는 것입니다. 의존성 엣지에는 양방향으로 상한을 뒀습니다. 인기 있는 서비스 하나에 수천 개의 역의존성이 붙어 그래프를 지배하는 일을 막기 위한 선택입니다.

이름과 타입이 정해지면 짧은 사실만으로도 도구 사이의 질문을 풀 수 있습니다. 예를 들어 api-gateway는 Application이고, 소유자는 Team Bedrock이며, us-east-1에 배포돼 있습니다. INC-5377은 Incident이고, api-gateway에 영향을 주며, 심각도는 SEV 2입니다. 트리플 여섯 개입니다. 이 사실들을 연결하면 Team Bedrock이 소유한 us-east-1의 애플리케이션에 어떤 인시던트가 영향을 줬는지 쿼리 한 번으로 찾습니다. 이전에는 인시던트 도구, Spinnaker, Radar를 따로 확인해야 했던 질문입니다.

그래프에 담을 대상도 텔레메트리에서 멈추지 않았습니다. 인시던트 채팅에는 시도했다가 버린 가설, 효과가 있었던 완화책, 누가 원인을 이해하고 있었는지가 남습니다. Slack 채널이 조용해지면 함께 잊히던 지식입니다. 메시지 200개, 참여자 50명, 서비스 15개가 얽힌 인시던트 채널 같은 대화를 Netflix는 순서 있는 트리플로 바꿉니다. 텔레메트리에 시스템의 행동이 남는다면, 논의에는 사람이 무엇을 이해했는지가 남습니다. 저자들이 가장 값지게 여긴 엣지도 이런 논의에서 나왔습니다.

이를 표현하는 기반은 W3C 표준입니다. 데이터 모델에 RDF, 온톨로지에 OWL, 검증에 SHACL, 쿼리에 SPARQL을 사용합니다. 명세가 분명하고 구현이 널리 존재하며, 그래프 저장소를 바꿔도 모델을 옮길 수 있다는 이유로 골랐습니다. 온톨로지는 운영 도메인을 하나씩 맡는 12개 네임스페이스로 나뉩니다.

저장소는 자체 개발한 RDF 그래프 데이터베이스 QuipuDB입니다. Rust 기반 임베디드 키-값 데이터베이스 redb 위에 분산 쿼드 스토어를 만들었습니다. 원시 텔레메트리와 로그, 인시던트 논의를 파싱해 트리플을 저장하고, 수집 작업(harvest)마다 전체 그래프의 Turtle 직렬화본도 보관합니다. 사람이 읽고 diff를 확인하기 좋은 기록입니다. 처음에는 보관용이었지만, 디버깅에서도 예상보다 유용했습니다.

LLM의 출력을 제한하는 Enricher 파이프라인

그래프를 만드는 도구들의 출력은 일정하지 않습니다. LLM은 논의를 요약하고, 퍼지 매칭은 서비스 이름을 식별하며, 확률적 엔진은 인과 사슬을 제안합니다. 어느 도구도 같은 출력을 매번 보장하지 못합니다. 그런데 완성된 그래프는 같은 SPARQL 쿼리에 같은 답을 줍니다. 그 사이에서 온톨로지가 출력의 범위를 제한합니다.

저자들은 이 파이프라인을 엔트로피를 낮추는 사다리에 비유합니다. 여기서 엔트로피는 아직 비정형 상태로 남아 있는 정보의 비율입니다. 사다리 꼭대기의 LLM은 어떤 산문이든 쓸 수 있지만, 타입 시스템을 어기는 트리플은 내보낼 수 없습니다. 예를 들어 category는 incident, question, discussion, decision 중 하나여야 하고, sentiment는 positive, neutral, negative, urgent 중 하나여야 한다는 계약을 둡니다. 결과는 thread:123 slack:category "incident" 같은 트리플과 인시던트 관련 여부를 나타내는 isIncidentRelated 불리언으로 남습니다.

사다리는 다섯 계층으로 이어집니다. 각 단계의 분석은 비결정적이어도, 전체 사슬은 타입과 출력 계약에 맞는 결정적 결과를 만듭니다. 저자들이 가장 강하게 옹호하는 원칙도 여기에 있습니다. 확률적 도구의 출력을 충분히 좁혀 쿼리 엔진이 신뢰할 수 있는 데이터로 만드는 것입니다.

실제 처리는 그래프에 정보를 보태는 수십 개의 enricher가 맡습니다. 각 enricher는 잡음이 섞인 입력을 가져와 분석하고, 타입이 있는 트리플을 그래프에 추가한 뒤 성공 여부와 추가한 트리플 수를 반환합니다. 분석에는 확률적 도구를 써도 됩니다. 대신 모든 enricher가 지켜야 하는 조건은 같습니다.

  • 모든 엔티티에 rdf:type 지정
  • 모든 URI에 하나의 명명 규칙 적용
  • 모든 ops:Application에 카탈로그 검증 적용

실행은 순차적입니다. 그래프를 불러오고 트리플을 더한 뒤 저장하며, 뒤의 enricher는 앞의 enricher가 남긴 결과를 읽습니다. 이 순서로 한 부류의 경쟁 상태를 없앴습니다. 전체 처리 시간은 늘어나지만 Netflix가 받아들인 비용입니다. 앞선 결과를 바탕으로 분석할 때 얻는 정확도를 병렬 실행의 속도보다 높게 평가했습니다.

외부 시스템을 기다리는 방식은 다르게 정했습니다. 메트릭, 로그, 이벤트 API 호출은 best-effort로 처리하므로, 느린 하위 API가 있으면 그래프의 정보가 덜 풍부해질 수 있어도 수집 작업 전체가 멈추지는 않습니다. 이들 시스템의 정보까지 온톨로지에서 쿼리할 수 있도록 Metrics Ontology와 Alerts Ontology 같은 모델로 표현하는 작업도 진행 중입니다.

가설에 근거를 붙이는 상관관계 엔진

상관관계 엔진은 모인 신호를 인과 사슬이나 상관 사슬로 연결합니다. 현재 읽는 신호는 13종입니다. 로그 오류, 메트릭 이상, 느린 트레이스, 실패한 트레이스, 알림, 인시던트, 배포, 설정 변경, 실험, 오토스케일링, 커밋, 종단 병목, 오류 패턴을 함께 살핍니다.

신호의 순서도 판단에 들어갑니다. 배포 뒤의 로그 오류, 설정 변경 뒤의 메트릭 이상, 실패한 트레이스 뒤의 인시던트처럼 알려진 인과 순서쌍에는 높은 사전 가중치를 줍니다. 그 밖에 상관이 높은 신호들은 상관 사슬로 묶습니다. 사슬마다 10분 창 안에서 시간적으로 얼마나 가까운지, 심각도가 어떤지를 평가하고 신뢰도 0.6 미만은 버립니다.

남은 결과는 검증할 가설입니다. 엔진은 사슬을 제안하면서 그 근거가 된 그래프 레코드와 신뢰도를 함께 저장합니다. 예시에 나온 신뢰도 0.87의 사슬도 사람이나 에이전트가 확인할 강한 가설로 취급합니다. 숫자만 보고 결론을 받아들이지 않도록, 어떤 기록이 그 주장을 뒷받침하는지 함께 남기는 방식입니다.

지난 장애의 추론이 남는 지식 플라이휠

api-gateway의 타임아웃 인시던트를 처음 해결했다면, 그때 알아낸 관계를 그래프에 기록합니다. 다음 수집 주기는 그 지식이 있는 상태에서 시작합니다. 한 번의 조사에서 찾은 관계가 다음 조사에서는 이미 알려진 패턴이 될 수 있습니다.

이 순환은 Observe, Enrich, Infer, Adapt로 이어집니다. Observe에서 신호를 모으고, Enrich에서 타입이 있는 트리플을 추가합니다. Infer는 원시 데이터만으로 보이지 않던 패턴을 찾는 단계입니다. Adapt에서는 이렇게 얻은 지식을 다시 반영해, 확립된 패턴을 탐지 규칙으로 만듭니다. 한 바퀴를 돌 때마다 그래프에 지식이 더 남습니다. 온톨로지가 스키마를 넘어 기억이 되는 과정입니다.

여러 주기를 거치며 얻을 수 있는 통찰의 예로 저자들은 api-gateway 배포가 SEV-2의 40%를 일으킨다는 패턴, api-gateway 배포 문제의 30%가 Connection Timeout에서 비롯된다는 패턴을 듭니다. 실측 비율을 보고한 수치는 아닙니다. 축적한 지식에서 이런 통찰을 찾아 드러내면, 다음 인시던트에 대응하는 속도를 높이는 데서 더 나아가 인시던트를 미리 줄일 수 있다는 설명입니다.

사람이 검토하는 온톨로지 변경

온톨로지도 코드처럼 관리합니다. 버전을 남기고 리뷰와 테스트를 거치며, 변경은 PR로 제안하는 방식입니다. 저자들은 이런 절차가 에이전트를 활용한 개발에도 맞고, 여러 팀이 모델에 기여하기에도 좋다고 봅니다.

개념과 인스턴스는 분리합니다. 개념은 사람의 시간 척도에서 변하지만 인스턴스는 계속 바뀌므로, 둘을 한데 묶으면 각자의 변화에 대응하기 어려워집니다. 공통 어휘를 바꾸는 일과 그 어휘로 새 사실을 기록하는 일을 구분하는 원칙입니다.

승인은 사람에게 남깁니다. 에이전트가 코드 수정안이나 enricher, 온톨로지 변경을 제안할 수 있어도, 모든 제안은 사람의 리뷰를 거쳐야 합니다. 이는 완성된 그래프에서 얻은 가설을 검토할 때뿐 아니라 그래프를 만드는 규칙을 바꿀 때도 적용하는 경계입니다.

Upper로 넓히려는 운영 모델

Netflix가 지향하는 자동 근본 원인 분석에서는 회귀가 감지될 때 그래프 근거로 순위를 매긴 가설이 함께 도착합니다. 자동 복구는 여기서 더 나아간 목표입니다. 확신도가 높은 진단에 표적 롤백, 트래픽 전환, 코드 변경 같은 조치안까지 붙이려 합니다. 장기적으로는 회원이 알아채기 전에 예측한 장애에 대응하는, 스스로 치유하는 인프라를 바라봅니다. 모두 앞으로 도달하려는 단계입니다.

Observability Ontology를 Upper와 연결할 계획도 있습니다. Upper는 Netflix 통합 데이터 아키텍처(UDA)의 중심에 있는 도메인 모델링 언어입니다. 팀들이 도메인을 서로 연결된 기계 판독 모델로 기술하고, 그 모델을 구체적인 스키마와 시스템으로 옮길 때도 의미와 제약을 보존하도록 합니다.

연동이 이뤄지면 애플리케이션, 알림, 배포, 인시던트가 Netflix 전반에서 모델링한 다른 도메인과 이어집니다. 엔지니어와 에이전트가 함께 쓸 의미 계층을 넓히려는 계획입니다. 시작은 인시던트를 Upper로 모델링하는 개념 검증입니다. 그 결과를 바탕으로 두 시스템이 어디서 수렴할지 정할 예정입니다.

원문의 주요 수치와 설정값
항목값
중계 규모Jake Paul과 Mike Tyson 경기, 동시 스트림 약 6,500만
일상 규모하루 20억 건 이상의 요청, 초당 3,800만 건 이상의 실시간 로깅 이벤트
예시 조사 시간약 4시간
소프트웨어 카탈로그약 4만 9,000개 항목
온톨로지 네임스페이스12개
상관관계 엔진 신호 유형13종
상관 사슬 점수10분 창 안의 시간적 근접성과 심각도, 신뢰도 0.6 미만은 폐기
인시던트 채팅 예시메시지 200개, 참여자 50명, 서비스 15개
마지막 수정 일자