본문으로 건너뛰기
Netflix의 클라우드 비용을 설명하는 FPD와 CEA
목차

Netflix의 클라우드 비용을 설명하는 FPD와 CEA (2024-12)

원문 정보

  • 원문: Cloud Efficiency at Netflix
  • 매체 · 게시일: Netflix TechBlog · 2024-12-17
  • 저자: J Han, Pallavi Phadnis (Platform DSE)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

여러 소유자가 있는 서비스의 비용

Netflix에서는 서비스 하나에도 소유자가 여럿일 수 있습니다. 플랫폼마다 비용을 추정하는 방식도 다릅니다. Platform DSE(Data Science Engineering) 팀은 이런 환경에서 자원 사용과 비용을 설명하기 위해, 기반 데이터를 모으는 일과 비용을 귀속하는 일을 별도 계층으로 나눴습니다.

Netflix는 AWS의 컴퓨트·스토리지·네트워크에 오픈소스와 자체 소프트웨어를 조합해 서비스를 운영합니다. 각 팀은 셀프서비스 플랫폼에서 워크로드를 만들고 배포하며, 때로는 맞춤형 워크로드도 만듭니다. “프로세스보다 사람”을 중시하는 문화 속에서 다른 팀을 위한 맞춤형 SaaS를 만드는 일도 흔합니다. 이런 자유는 혁신과 개발 속도에 도움이 되지만, 사용량을 해석하고 납득할 만한 기준으로 비용을 귀속하는 작업은 더 까다로워집니다.

팀이 만든 Foundational Platform Data(FPD)는 인벤토리, 즉 자원 목록과 소유·사용량 데이터를 모으는 중앙 계층입니다. 그 위의 Cloud Efficiency Analytics(CEA)는 비즈니스 로직을 적용해 여러 용도에 맞는 시계열 효율 지표를 제공합니다. Data & Insights 조직은 이렇게 정제한 데이터를 엔지니어링 팀과 공유해 서비스와 팀별 사용량·비용 패턴을 파악하도록 돕습니다. 인프라에서 나온 데이터를 다시 엔지니어링의 판단 근거로 돌려주는 지속적인 피드백입니다.

계산의 근거를 드러내는 CEA

CEA는 소비자가 어떤 자원을 왜 자신의 이름이나 조직 아래에서 보게 됐는지, 그 비용은 어떻게 계산됐는지 이해하도록 설계했습니다. 비용 숫자에 이르는 과정도 설명해야 합니다. 이를 위해 팀은 모델을 구획별로 나누고 계산 근거를 투명하게 드러내는 방식을 택했습니다. 비즈니스 로직이 바뀔 때 조정하기도 쉬워집니다.

계산의 재료는 FPD가 모은 인벤토리와 소유·사용량 데이터입니다. CEA는 여기에 비즈니스 로직을 적용해 여러 세분화 수준에서 비용과 소유 귀속을 계산합니다. 비용 회계에서는 자산을 단일 소유자에게 귀속하거나, 멀티테넌트 자산의 비용을 나눠 배분합니다. 사용량과 비용은 소비자의 용도에 맞춰 다른 집계 수준으로도 제공합니다.

이 설계가 지향하는 범위는 사내 플랫폼과 AWS 직접 사용을 모두 포함합니다. 어느 쪽을 선택하든 FPD의 명확한 기반 데이터와 CEA의 정밀한 귀속 계산을 바탕으로 효율 지표를 제공하려는 목표입니다.

공통 모델과 맞춤 처리 사이의 FPD

CEA의 계산에 앞서 FPD는 플랫폼별 데이터 제공자와 협력해 기반 데이터를 모읍니다. Spark 플랫폼을 예로 들면, 해당 플랫폼의 제공자에게서 인벤토리와 소유·사용량 데이터를 받는 방식입니다. 팀은 생산자와 데이터 계약을 맺어 품질과 신뢰성을 확보하고, 소유 정보에 공통 데이터 모델을 적용합니다. 모델과 처리 방식을 표준화해 확장성과 일관성을 높이려는 선택입니다.

공통 모델이 있어도 플랫폼마다 조금씩 맞춤 처리가 필요합니다. 소수의 틀로 여러 플랫폼을 받아들이려 할 때 남는 차이입니다. 중앙 기준 데이터를 관리하는 팀에는 그 처리 부담을 어디에 둘지가 계속 고민으로 남습니다.

이 경계를 정할 때는 생산자와 소비자가 투명하게 논의합니다. 우선순위도 자주 점검합니다. 표준 모델을 유지하는 일과 각 플랫폼에 필요한 처리를 맡기는 일 사이에서, 비즈니스 요구에 맞춰 부담을 배분하는 방식입니다.

신뢰할 지표를 위한 파이프라인 점검

효율 지표의 기준 데이터를 제공하는 팀은 정확성과 신뢰성, 쉬운 접근을 약속합니다. 복잡한 데이터와 계산 방식을 이해할 수 있도록 상세한 문서도 갖춰야 합니다. 지연·장애·변경이 생겼을 때 소비자가 무엇을 기대할 수 있는지는 명확한 SLA로 정합니다.

그 약속을 지키기는 쉽지 않습니다. 상류 데이터가 늦게 도착할 수 있고, 소비자에게 전달하기 전 필요한 변환도 있어 완전성과 정확성을 유지하기가 어렵습니다. 인프라 데이터의 규모도 큽니다.

이상 징후를 빠르게 조사하고 원인을 찾으려면 파이프라인 각 계층에서 데이터 감사를 수행하고 상태 지표를 확인할 수 있어야 합니다. 팀은 피드백을 반영해 감사 방식을 계속 개선하며 SLA를 맞춥니다. 비용 계산법을 설명하는 일뿐 아니라, 그 계산에 사용한 데이터의 상태를 확인하는 일까지 기준 데이터 제공자의 책임에 들어갑니다.

비용에서 보안까지 넓히려는 FPD

원문이 나온 시점에 팀은 FPD와 CEA에 플랫폼을 계속 추가해, 이듬해에는 비용을 거의 빠짐없이 파악할 수 있게 하겠다는 목표를 세웠습니다. 엔지니어가 어떤 자원을 얼마나 효과적으로 쓰는지 이해하고, 서비스를 만들고 유지할 때 효율을 고려하도록 돕기 위한 계획입니다.

장기적으로는 FPD의 활용 범위를 보안과 가용성 같은 영역으로 넓히려 합니다. 예측 분석과 ML로 자원 사용을 최적화하고 비용 이상을 탐지하는 선제적 접근으로 나아가는 것도 목표입니다. 원문에는 구체적인 수치 결과가 제시되지 않았습니다.

구성요소와 계획
항목내용
FPD인벤토리·소유·사용량의 중앙 데이터 계층, 생산자와 데이터 계약
CEAFPD 위의 분석 계층, 비용과 소유 귀속, 시계열 효율 지표
비용 귀속 방식단일 소유자로 해소하거나 멀티테넌트는 비용 분배
원문의 과제플랫폼별 맞춤 처리, 데이터 보증, 추상화 계층
계획내년 거의 완전한 비용 가시성, 장기적으로 보안·가용성으로 확장
마지막 수정 일자