목차
규칙 밖의 실패 로그까지 살피는 Netflix Pensive AI (2026-10)
원문 정보
- 원문: Making Failure Diagnosis Reliable with Pensive AI
- 매체 · 게시일: Netflix TechBlog · 2026-10-26
- 저자: Praneeth Yenugutala, Victor Dusa, Anastasia Samoilova, Megan Ren, Justin Wei, Marcelo Mayworm
- 원문 내용을 바탕으로 재구성한 요약입니다.
새 로그 형식을 따라가야 했던 Pensive
Netflix에서는 Titus, Spark, Trino, Druid 등에서 하루 수백만 건의 데이터·ML 워크로드가 돌아갑니다. 피크일에는 약 10만 건이 실패합니다. 실패는 시작일 뿐입니다. 실무자는 여러 로그에서 단서를 찾고, 코드와 플랫폼 중 어디에 원인이 있는지 판단한 뒤, 재시도할지 설정을 바꿀지 에스컬레이션할지 정해야 합니다. 해결하기 까다로운 실패는 일부만으로도 엔지니어의 시간을 쓰게 하고 컴퓨트를 낭비하며 파이프라인 진행을 방해합니다.
Netflix가 먼저 내놓은 답은 Pensive였습니다. 실패한 워크로드의 로그를 모아 정규식과 직접 작성한 Java 규칙으로 오류를 추출·분류하고, Maestro 같은 제품에 재시도와 조치 방법을 전달했습니다. 실패의 약 50%는 이 시스템 덕분에 셀프서비스로, 때로는 자동으로 처리됐습니다.
규칙 하나가 알아보는 로그 모양은 한정돼 있습니다. 예를 들어 SparkContainerOOM 규칙은 GENIE_STDERR에서 컨테이너가 물리 메모리 한도를 넘어 종료됐다는 메시지를 찾고, 재시작 불가로 분류합니다. 새로운 실패를 다루려면 누군가 로그를 읽고 규칙을 추가해야 했습니다. 엔진과 로그 형식이 바뀌면 기존 규칙도 손봐야 합니다. 어느 3개월 동안 Pensive가 처리한 분류는 약 700만 건이었고, 그중 절반가량이 unknown으로 남았습니다.
Pensive AI는 기존 규칙의 처리 경로를 유지하면서 AI 오류 추출과 진단을 추가했습니다. 모든 실패에는 빠르고 비용이 낮은 오류 추출을 자동으로 실행합니다. 사용자가 더 깊은 분석을 요청하면 로그 전반의 증상에 LLM의 지식과 추론을 더하는 Pensive AI Debugging을 실행합니다. 두 경로는 로그 소스, LLM 게이트웨이, 트레이싱과 캐시를 공유합니다.
AI 오류 추출은 이제 기존에 unknown으로 남았던 사례를 포함해 모든 실패를 다룹니다. 그렇다고 로그 더미를 모델 앞에 놓는 것만으로 일이 끝나지는 않았습니다. 응답은 제때 돌아와야 하고, 플랫폼이 바뀌어도 품질과 비용을 확인할 수 있어야 했습니다.
90초 안에 돌아와야 하는 Pensive 응답
Maestro의 실패 후처리에는 90초라는 제한이 있습니다. 워크플로의 한 단계를 한 번 실행한 단위인 단계 시도(step attempt)가 실패하면, Maestro는 Pensive에 오류와 재시작 가능 여부를 요청합니다. AI 추출도 이 요청 안에서 실행하므로 기존 필드까지 담은 전체 응답이 90초 안에 돌아와야 합니다.
긴 스택 트레이스를 모델이 토큰 하나씩 다시 출력하게 하면 느리고 비쌉니다. 출력 토큰을 생성하는 데는 입력 토큰을 읽는 것보다 훨씬 오래 걸리기 때문입니다. Pensive는 로그 각 줄에 번호를 붙여 {lineNumber, text} 레코드로 보내고, 모델에는 오류가 시작되는 줄과 끝나는 줄의 번호만 받습니다. 정수 두 개면 됩니다.
화면에 보여 줄 오류 텍스트는 Pensive가 가진 원본 로그에서 복원합니다. 모델이 긴 로그를 옮겨 쓰지 않으니 비용과 지연이 줄고, 표시하는 내용도 원본에서 가져오므로 환각을 줄입니다. 잘못된 범위를 고를 가능성은 남습니다. 이 부분은 추출 품질 평가에서 확인합니다.
호출 시간도 제한했습니다. 기존 규칙은 항상 실행하고, 로그별 AI 추출은 병렬로 돌리되 90초보다 충분히 짧은 공통 마감 시간을 둡니다. 기한을 넘긴 호출의 결과는 제외합니다. 기존 규칙의 결과와 제때 도착한 AI 결과를 한 응답으로 합쳐 캐시하는 방식입니다.
결과를 클라이언트에 전달하는 형식도 달라졌습니다. 기존 모델에는 오류 문자열 하나만 있었지만, 새 모델에는 로그 소스별 오류 목록과 원본 로그로 바로 이동하는 링크가 있습니다. 데이터 파이프라인 UI인 Data Portal에서 오류를 읽다가 해당 로그로 이동할 수 있게 한 것입니다. 기존 필드를 그대로 바꾸면 클라이언트가 깨지므로, 기존 필드와 새 필드를 나란히 두고 모두 채웁니다.
실패한 Maestro 단계를 보여 주는 Data Portal 화면은 새 필드를 먼저 읽고, AI 오류가 없으면 기존 값을 표시합니다. SQL 쿼리 에디터, Workbench 노트북, 일부 Slack 클라이언트는 아직 기존 경로를 사용합니다. 각 클라이언트에 호환되는 스키마 변경이 필요하지만, 두 필드를 함께 제공하면 모든 팀이 같은 시점에 전환하지 않아도 됩니다. 로그 보관 기간의 제약 때문에 과거 실패에는 새 결과를 소급해서 채우지 않았습니다.
같은 실패를 조사하는 사람들의 공통 진단
오류 추출에는 몇 초가 걸립니다. 근본 원인과 조치안을 만드는 Pensive AI Debugging은 수십 초에서 1분이 걸리는 작업입니다. 대부분의 실패 단계는 아무도 열어 보지 않으므로, 이 분석은 사용자가 요청할 때만 실행해 비용을 낮춥니다. 프로그램 API, MCP, Data Portal UI는 모두 Netflix 데이터 플랫폼의 공통 진입점에서 이 기능을 사용합니다.
캐시 키는 실패한 단계 시도입니다. 누가 요청했든 같은 실패를 조사하는 사람들은 같은 진단을 봅니다. Data Portal에서 생성한 응답을 MCP에서도 바로 읽을 수 있고, 두 번째 요청은 키-값 조회로 끝납니다. 아주 오래된 워크로드를 다시 찾는 경우는 드물어, 완료된 응답은 90일 뒤 만료됩니다.
요청이 겹치면 조건부 쓰기로 생성 중 레코드를 확보한 호출자만 응답을 만듭니다. 나머지는 공유 결과를 기다립니다. 생성 중 상태가 포기 타임아웃을 넘기면 포기된 작업으로 간주해 레코드를 회수합니다. 호출자는 캐시 읽기, 없으면 생성, 기존 응답을 덮어쓰는 재생성 중 필요한 동작을 선택합니다. UI와 프로그램 접근, 평가 하네스가 이 방식을 함께 쓰면서 응답을 하나의 변하지 않는 실패에 연결합니다.
사용자는 생성이 끝날 때까지 빈 화면을 보고 있을 필요가 없습니다. 서비스가 server-sent events로 생성 중인 응답을 보내면 GraphQL 계층이 이를 WebSocket 구독으로 다시 발행해 Data Portal에 전달합니다. 각 이벤트에는 지금까지 생성한 응답 전체가 들어갑니다. 텍스트를 조금 중복해서 보내는 대신 재생 버퍼나 토큰 재조립이 필요 없어졌고, 이벤트가 빠지거나 늦게 도착해도 다음 이벤트가 화면을 바로잡습니다.
연결이 끊겨도 생성은 계속됩니다. 최종 응답은 캐시에 저장되며, 강제 새로고침을 한 UI는 로딩 상태에서 완료 결과를 폴링합니다. 단일 페이지 앱 안에서는 활성 스트림을 뷰와 컴포넌트의 수명주기와 분리했습니다. 다른 화면으로 이동해도 진행 중인 응답은 끊기지 않습니다.
사용 여부에 따라 달랐던 로그 탐색
진단이 실무자의 일을 덜어 줬는지는 제품 사용 기록에서 살폈습니다. 실패한 단계 화면에는 이미 로그 링크가 있었으므로, 수동으로 디버그 로그를 탐색한 동작을 측정했습니다. Pensive AI를 아무도 사용하지 않은 단계 시도에서는 사용한 사람이 있는 시도보다 탐색 동작이 평균 321% 더 많았습니다.
이는 관찰 비교입니다. Pensive AI가 탐색을 줄였다는 인과관계나 평균 해결 시간의 구체적인 감소 폭을 입증하지는 않습니다. Netflix 팀은 초점이 잡힌 진단을 받은 사용자가 원본 로그를 덜 열어 보는 경우가 많다는 신호로 해석했습니다. MCP 접근도 제공하므로 각 팀은 같은 서비스로 터미널 작업 흐름이나 자체 에이전트 경험을 만들 수 있습니다.
개별 응답을 개선할 때는 피드백과 트레이스를 연결합니다. Pensive 요청을 따라가는 트레이스에는 로그 가져오기와 추출 도구 호출마다 자식 span이 있습니다. Braintrust 기반 백엔드는 프롬프트, 모델 출력, 도구 호출과 지연을 한 화면에 보여 줍니다. 평가 체계가 충분히 갖춰지기 전에도 응답이 부족했던 이유를 맥락 속에서 살피고 빠진 정보를 보완하는 데 도움이 됐습니다. 운영에서는 API와 UI가 응답에 trace 식별자를 함께 반환합니다.
디버깅 응답의 좋아요·싫어요는 생성 시 기록한 logId로 LLM 트레이스와 연결됩니다. 업무 시간에는 싫어요가 들어올 때마다 Slack에 알림을 보냅니다. 이 피드백은 초기에 드러난 문제와 컨텍스트 공백을 해결하는 데 쓰였고, 지금도 개선을 이끕니다. 트레이스와 피드백은 정답·평가 데이터셋의 자료로도 남습니다.
같은 실패를 거듭 비교하기 위한 평가 자료
평가에는 S3에 보관한 로그를 씁니다. 원본 로그는 짧게는 7일, 길게는 30일 뒤 만료되기 때문입니다. 운영 요청에서 가져온 로그를 사용자 응답 경로 밖에서 비동기로 보관하며, 기존 객체는 덮어쓰지 않습니다. 평가 사례마다 같은 스냅샷을 유지하려는 조치입니다.
입력이 고정돼야 점수 변화를 평가 대상 시스템의 변화로 설명할 수 있습니다. 보관본을 읽으면 병렬 실험이 원본 시스템에 부하를 주지 않고, S3에 캐시한 입력을 재사용해 평가 비용도 줄입니다. 이 로그는 오프라인 평가와 릴리스 게이트가 함께 사용합니다.
오류 추출과 디버깅에는 별도의 평가 프레임워크를 마련했습니다. 오류 추출에서는 기존 Pensive가 처리하던 실패를 놓치지 않는지가 기준입니다. 기존 규칙을 운영 로그에 실행해 얻은 오류 구간을 AI 출력과 비교하면 사람이 일일이 라벨을 달지 않고도 회귀 평가 자료를 만들 수 있습니다. 규칙 자체가 낡았을 가능성이 있어 완전한 정답은 아닙니다. 현재는 평가의 라벨 기준으로 쓰는 규칙을 고정해 두고, 추출 결과와 호출 지연을 함께 확인합니다.
- 포함도: 표현이 달라도 기존 오류가 AI 추출 결과에 남아 있는지 LLM 판정자가 확인
- 정밀도: 다른 LLM 판정자가 AI 오류만 보고 각 오류가 단독으로 의미 있고 조치 가능한지 평가
- 반복 노이즈: 스크립트로 데이터셋 전체에서 지나치게 자주 등장하는 로그 줄 탐지
- 지연: 모든 추출 호출의 소요 시간 기록
반복 노이즈는 개별 응답만 읽어서는 드러나기 어렵습니다. 워크플로의 약 30%를 넘겨 등장하는 줄은 명시적으로 제외할 후보로 삼습니다. 실제 제외 목록은 3줄뿐이지만, 제외하기 전에는 이 줄들이 거의 모든 추출 오류에 들어갔습니다. 프롬프트 변경으로 일반적인 잡음을 줄인 뒤에도 남는 반복 문구를 데이터셋 전체에서 찾아낸 것입니다.
품질 점수만 높다고 채택할 수는 없습니다. 추가 작업에 지나치게 오래 걸리는 개선은 지연과 AI 비용을 늘리기 쉽습니다. 모델과 시스템을 고를 때 품질, 지연, 유지보수 부담, 비용을 함께 만족해야 했던 이유입니다.
디버깅의 기준 응답은 사내 엔지니어링 지원 Slack 스레드에서 만듭니다. LLM이 오케스트레이션된 워크플로의 링크가 있고, 해결된 문제를 다루며, Pensive AI의 대상 범위에 드는 스레드를 고릅니다. 다른 모델이 그 논의에서 기준 디버깅 응답을 작성하고, 해당 실패의 로그와 짝지어 평가 사례로 만듭니다.
이 자료는 사후 평가용입니다. 실제 서비스에서는 그런 Slack 논의가 생기기 전에 사용자에게 안내하는 것이 목표입니다.
개발부터 운영까지 이어지는 품질 게이트
프롬프트를 그대로 둬도 로그 선택이나 트리밍 로직, 원본 시스템이 바뀌면 모델이 읽는 내용과 추출 품질이 달라질 수 있습니다. Netflix는 로컬 개발부터 배포까지 같은 평가 하네스와 평가자를 사용합니다.
풀 리퀘스트마다 격리된 프리뷰 환경에 배포하고, CI가 그 환경에서 평가 실험을 실행합니다. 정밀도와 포함도 임계값을 넘어야 머지할 수 있습니다. 빌드가 승격된 뒤에도 같은 평가를 반복해, PR을 각각 검사할 때 드러나지 않았던 상호작용을 찾습니다. 기준을 넘지 못하면 온콜 엔지니어에게 알리고 조사나 롤백으로 이어집니다.
프로덕션에서는 주기적인 평가가 서서히 생기는 드리프트와 외부 변화를 감시합니다. 개발자도 CI와 같은 배포 환경 경로로 실험을 원격 실행할 수 있습니다. 로컬·프리뷰·승격·프로덕션에서 얻은 결과를 비교할 수 있도록 평가 경로를 이어 둔 것입니다.
재시도 결정 앞에 남은 Pensive AI의 과제
오류를 보여 주는 일에서 재시도를 결정하는 일로 넘어가면 검증 기준도 높아집니다. 앞으로 추진할 Pensive AI Error Classification이 다루려는 영역입니다. 기존 규칙은 오류 추출 외에도 재시작 가능 여부와 플랫폼·사용자 원인을 분류합니다. Maestro는 이 결과에 따라 빠르게 실패 처리하거나 재시도 횟수를 조정하며, 기본적으로 플랫폼 오류를 사용자 오류보다 더 많이 재시도합니다.
분류의 대부분을 AI로 옮기면 남아 있는 규칙 유지보수 부담을 크게 줄이고, 성공 가망이 낮은 unknown 실패를 재시도하는 일도 피할 수 있습니다. 그러나 가장 비싼 실수는 복구 가능한 실패를 재시작 불가로 분류하는 것입니다. Maestro가 복구될 수 있는 단계를 하드 실패로 처리하면 사용자 알림과 수동 조치가 뒤따릅니다. 일시적이지 않은 실패를 계속 재시도하는 일도 컴퓨트를 낭비하고 파이프라인을 늦춥니다. AI에 이 판단을 맡기기 전에 평가 프레임워크가 이런 결과를 제대로 검증하도록 조정해야 합니다.
더 깊은 조사를 위한 계획은 Pensive AI Deepthink입니다. 사용자가 선택해서 실행하는 관리형 에이전트 기능으로, Debugging보다 비용과 지연이 큽니다. 사내 문서와 매뉴얼, 과거 Slack 논의, 소스 코드, 읽기 전용 웨어하우스 쿼리, Spark 실행 상세에서 맥락을 더 모으려는 구상입니다.
Deepthink의 라우팅 단계는 Spark 실패, 데이터 감사 실패, 지연된 워크플로 같은 스킬로 조사를 보낼 계획입니다. 공통 시작 절차는 정해진 방식으로 유지하되, 이후 조사를 문제 유형에 맞춰 필요한 정보를 더 잘 찾도록 하려는 방향입니다. Spark 팀과는 앞으로의 플랫폼 마이그레이션에서 장애 분석과 A/B 비교에 Pensive AI 응답을 사용하는 방안을 논의하고 있습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 피크일 실패 워크로드 | 약 10만 건 |
| 기존 Pensive가 셀프서비스·자동 처리한 실패 | 약 50% |
| 3개월간 분류 건수 / unknown 비중 | 약 700만 건 / 약 절반 |
| AI 오류 추출 커버리지 | 모든 실패 |
| 수동 디버그 로그 탐색 차이(미사용 vs 사용) | 평균 321% 더 많음(관찰 비교) |
| Maestro 후처리 타임아웃 | 90초 |
| 디버깅 응답 생성 시간 | 수십 초에서 1분 |
| 디버깅 캐시 만료 | 완료 후 90일 |
| 평가용 로그 원본 만료 | 7일에서 30일 |
| 반복 노이즈 제외 후보 기준 | 워크플로의 약 30% 초과, 실제 제외 3줄 |