목차
작은 장애까지 배움으로 남기는 Netflix의 인시던트 관리 (2025-09)
원문 정보
- 원문: Empowering Netflix Engineers with Incident Management
- 매체 · 게시일: Netflix TechBlog · 2025-09-19
- 저자: Molly Struve
- 원문 내용을 바탕으로 재구성한 요약입니다.
기록에서 빠진 일상의 작은 인시던트
Netflix는 더 많은 인시던트 선언을 원했습니다. 더 많은 팀이 작은 서비스 이상까지 기록하고, 대응이 끝난 뒤 그 경험에서 배워 시스템을 개선하는 계기로 삼기를 바랐습니다.
오랫동안 인시던트를 여는 조직은 중앙 SRE 팀 CORE(Critical Operations and Reliability Engineering)뿐이었습니다. CORE는 스트리밍에 집중했고, Jira와 Slack 채널 하나로 대응했습니다. 초기에는 충분했던 방식입니다. 하지만 회사가 성장하고 사업이 다양해지면서, 수천 개의 마이크로서비스가 뒷받침하는 스트리밍 밖의 기능에서 발생한 많은 장애는 기록에 남지 못했습니다.
사후 기록을 위한 도구가 없었던 것은 아닙니다. 운영 중 예상하지 못한 일을 적는 템플릿 OOPS가 있었지만, 그 존재를 알거나 쓸모를 이해하는 엔지니어가 드물었습니다. 작고 일상적인 인시던트가 눈에 띄지 않은 채 지나갔고, 배울 기회도 함께 사라졌습니다.
새벽 3시의 대응을 위한 Incident.io
Netflix가 만들고 싶었던 것은 ‘포장도로(paved road)’였습니다. 새벽 3시에도 누구나 쉽게 인시던트를 선언하고 대응을 이끌 수 있는 프로세스입니다. 중앙 SRE 팀만 선언하던 관행을 바꾸고 각 팀이 자기 인시던트를 책임지게 하려면, 도구와 문화가 함께 달라져야 했습니다.
새 도구를 고를 때 가장 앞에 둔 기준은 직관성이었습니다. 일 년에 몇 번만 쓰는 엔지니어도 교육을 거의 받지 않고 사용할 수 있어야 했습니다. Netflix 고유의 사내 데이터를 연결하는 기능, 팀별 유연성과 공통 표준의 균형도 선택의 조건이었습니다. 친근함 역시 빠질 수 없었습니다. 인시던트 선언을 부담 없이 받아들이는 문화를 만드는 데 도구가 도움이 되기를 기대했습니다.
직접 개발하는 안은 현실적이지 않았습니다. 엔지니어링 역량은 있었지만 일정이 빠듯했고, 큰 초기 투자에 더해 이후에도 유지·운영을 계속 맡아야 했습니다. Netflix는 ‘꼭 필요할 때만 만든다’는 원칙에 따라 외부 제품을 비교해 Incident.io를 골랐습니다. 선정 당시의 요건은 모두 충족했습니다. 이 기준들이 실제 전환 과정에서 발휘한 영향은 예상보다 더 컸습니다.
Netflix의 맥락을 담은 대응 도구
대응자가 집중할 곳은 장애 완화입니다. Netflix는 그 과정에서 엔지니어가 감당하는 인지 부담을 줄이려고 팀, 소프트웨어 서비스, 사업 영역뿐 아니라 하드웨어 기기 정보까지 플랫폼에 연결했습니다.
이 사내 맥락을 바탕으로 적절한 팀을 자동으로 호출하거나 알림에서 인시던트 필드를 미리 채우는 자동화가 가능해졌습니다. 연동의 쓰임은 개별 대응에 그치지 않습니다. 여러 인시던트에 걸친 사내 데이터를 연결하면 시스템 전반의 문제를 찾아내는 데도 도움이 됩니다.
팀마다 대응하는 방식은 조정할 수 있도록 했습니다. 워크플로를 각 팀에 맞추면서도 용어와 표준 메타데이터는 공통으로 유지했습니다. ‘영향받는 영역과 도메인’ 같은 주요 필드가 그 예입니다. 대응자는 조직 어느 곳의 인시던트에서도 익숙한 항목과 언어를 접하므로 상황을 빠르게 파악할 수 있습니다.
선언의 문턱을 낮춘 친근한 인터페이스
도구는 쓰는 과정에서 익힐 수 있었습니다. 엔지니어가 기능을 하나씩 발견하며 사용하자 도입도 자발적으로 확산됐습니다. 도입 4개월 만에 엔지니어링 팀의 20%가 사용했고, 그로부터 6개월 뒤에는 50%를 넘었습니다.
더 흥미로운 변화는 인시던트라는 말의 의미였습니다. 이전에는 ‘무서운 대형 장애’를 떠올렸다면, 이제는 서비스 품질을 떨어뜨리거나 이용을 방해하는 작은 이상도 주의와 학습이 필요하면 인시던트로 받아들였습니다. 일부 엔지니어는 인터페이스가 ‘유쾌하다(jolly)’며 인시던트를 열고 싶어진다고까지 했습니다. 친근한 인상이 선언의 심리적 문턱을 낮추고, 인시던트를 여는 일을 자연스럽고 긍정적인 경험으로 바꿨습니다.
공개된 정량 결과는 이 도입률뿐이며, 후속 글 예고는 없습니다.
도구 밖에서도 계속 손보는 프로세스
사용하기 쉬운 도구만으로는 충분하지 않았습니다. Netflix는 사용자가 부담을 느끼지 않을 만큼 가벼우면서도 복잡한 인시던트를 감당할 수 있는 프로세스를 만드는 데 많은 노력을 들였습니다. 균형을 찾는 데는 시간이 걸렸습니다. 사용자와 적극적으로 대화하며 공통 기준을 다듬었고, 지금도 조정을 이어 가고 있습니다.
교육도 직접 찾아가서 했습니다. 가벼운 안내 문서와 한 장짜리 참고표, 짧은 시연 영상을 만들어 엔지니어링 팀을 돌며 소개하고, 시작하는 데 장벽이 거의 없다는 점을 보여 줬습니다. 대부분은 쉽게 받아들였습니다. 회의적인 엔지니어들과는 시간을 들여 필요한 것을 파악하고, 인시던트 관리가 평소 업무에 들어갈 수 있도록 도왔습니다.
자기 인시던트를 직접 선언하고 관리하게 된 팀들 사이에는 책임감과 학습 문화가 새롭게 자리 잡았습니다. Netflix는 이 변화를 자랑스럽게 여기지만 전환이 끝났다고 보지는 않습니다. 프로세스를 계속 다듬고 엔지니어와 리더에게 인시던트의 가치를 알리는 일도 이어 가고 있습니다. 앞으로도 이런 배움의 기회를 활용해 회원을 위한 플랫폼을 개선할 계획입니다.
도입률과 도구 선택의 근거
| 항목 | 값 |
|---|---|
| 도입 4개월 시점의 엔지니어링 팀 사용률 | 20% |
| 그 뒤 6개월 시점의 사용률 | 50% 초과 |
| 도구 요건 | 직관적 UX, 사내 데이터 연동, 맞춤화와 일관성의 균형, 친근함 |
| 기존 방식 | CORE 단독 선언, Jira와 Slack 채널 하나 |
| 기존 사후 작성 템플릿 | OOPS (채택률 낮음) |