본문으로 건너뛰기
GPU 장애에도 긴 학습을 이어 가는 Netflix의 복구 설계
목차

GPU 장애에도 긴 학습을 이어 가는 Netflix의 복구 설계 (2026-10)

원문 정보

가장 느린 GPU에 묶인 몇 주짜리 학습

수백 개 GPU가 몇 주 동안 함께 돌아도 학습 속도는 가장 느린 참가자 하나에 묶입니다. 대형 학습 잡은 여러 머신에 걸쳐 갱(gang)으로 실행됩니다. 각 랭크가 매 스텝 데이터를 주고받으며 보조를 맞추는 방식입니다. 참가자 하나를 잃으면 전체가 멈춥니다. GPU뿐 아니라 고속 네트워크 어댑터와 인터커넥트까지 실행 내내 버텨야 하지만, 이 규모에서는 도중에 GPU나 링크가 고장 날 수 있어 플랫폼이 사람 없이 대응할 준비를 해야 합니다.

그 GPU가 만드는 결과는 Netflix 홈 화면에 나타납니다. 어떤 행을 어떤 순서로 보여 줄지, 행 안에 어떤 작품과 아트워크를 놓을지는 수억 명의 시청 행동으로 학습한 모델이 고릅니다. GPU는 이 모델을 학습시키고, 점점 더 실시간 서빙에도 쓰이고 있습니다. Netflix의 생성형 AI 투자 역시 추천과 회원에게 보여 줄 홍보 자산, 제작 파트너의 창작 도구까지 이어집니다.

GPU 용량은 인프라에서 가장 빠르게 늘고 비용도 가장 많이 드는 부분에 속합니다. 머신을 잃은 학습 잡이나 건강한 용량을 확보하지 못한 추론 서비스는 회원과 제작자가 의존하는 작업을 지연시킵니다. 느린 이웃을 기다리며 쉬는 GPU, 장치 하나의 결함 때문에 통째로 빠진 머신은 돈을 내고도 쓰지 못하는 용량입니다. 신뢰성을 높이는 일은 GPU 한 개가 끝내는 유용한 작업을 늘리는 일이기도 합니다.

Netflix는 Kubernetes 네이티브 Compute 플랫폼에서 이 문제를 노드·하드웨어, 스케줄러·플랫폼, 학습 루프, 관측성의 네 계층으로 다룹니다. 노드 점검과 플랫폼은 불량 하드웨어가 잡에 닿기 전에 막습니다. 학습 루프는 그래도 발생하는 머신 손실의 비용을 줄이고, 관측성은 메트릭과 서비스 수준 목표(SLO), 실패 원인 판별로 각 계층이 제 역할을 하는지 확인합니다. 추론이 GPU 사용에서 차지하는 비중이 커지면서, 몇 주짜리 학습을 지키던 이 장치들이 상시 서빙에도 더 중요해지고 있습니다.

죽지 않고 기어가는 학습 잡

클라우드 제공자의 기본 점검은 머신이 켜져 있고 접근 가능한지 확인하는 데서 출발합니다. 호스트의 전원·네트워크·하드웨어 상태, OS 접근 가능 여부, 연결된 스토리지 상태를 봅니다. 호스트를 퇴역시키거나 재부팅할 예정이면 유지보수 이벤트를 보내고, 장애가 생긴 인스턴스를 자동 복구하는 기능도 제공합니다. Netflix는 이를 모두 사용하며, 유지보수 이벤트는 자체 점검의 입력으로도 받습니다.

여기까지 통과했다고 분산 학습을 맡길 수 있는 것은 아닙니다. 인스턴스 수준 점검만으로는 GPU의 온칩 메모리나 인터커넥트, 머신 사이의 네트워크 패브릭이 부하를 견딜지 알 수 없습니다. 드라이버가 응답하고 GPU가 보이는지 확인하는 점검을 더하면 죽었거나 사라진 GPU는 찾습니다. 하지만 상태 조회에 답하는 불량 GPU는 남습니다.

온칩 메모리나 펌웨어의 결함은 잡이 메모리를 할당하거나 연산을 지속해서 수행할 때에야 드러나기도 합니다. 네트워크 어댑터도 존재 여부만으로는 부족합니다. 어댑터가 보이더라도 링크 수가 기대보다 적으면 집합 연산은 대역폭의 일부만 쓰며 계속 돌아갑니다. 잡은 죽지 않고 기어갑니다. 갱으로 실행되는 잡에서는 머신 하나의 이런 문제가 나머지 GPU까지 기다리게 만듭니다.

점검 결과 자체도 의심해야 합니다. 하드웨어는 정상이라고 답하면서 부하를 견디지 못할 수 있고, 그 하드웨어를 검사하는 도구도 고장 납니다. Netflix의 헬스 체크는 이 전제에서 시작합니다.

진단 도구의 고장까지 드러내는 헬스 체크

점검은 GPU 장치 수준과 노드 수준으로 나눠 실행합니다. 오픈소스 Kubernetes node-problem-detector를 바탕으로 만든 에이전트가 모든 GPU 머신에서 30초마다 실행되어 결과를 Kubernetes 노드 조건으로 기록합니다. 노드를 NotReady로 표시할 때 쓰는 것과 같은 메커니즘입니다. 컨트롤러는 이 조건을 보고 새 작업을 받을 수 있는지 판단하며, 필요하면 taint 설정과 드레인, 종료, 교체로 이어 갑니다.

GPU별 점검에는 NVIDIA DCGM을 사용합니다. 드라이버 오류 코드, 복구 불가능한 메모리 오류, 인터커넥트 무결성, 열 상태가 검사 대상입니다. 머신 간 통신을 맡는 Elastic Fabric Adapter는 호스트 상태를 읽어 인터페이스 개수와 링크 상태를 확인합니다.

검사 항목만 늘려서는 충분하지 않았습니다. 드라이버가 멈추면 진단 도구도 멈출 수 있고, 그 도구의 응답을 기다리는 점검까지 끝없이 멈춰 있을 수 있습니다. Netflix는 드라이버나 진단 도구가 응답하지 않으면 점검을 타임아웃시키고 머신을 비정상으로 표시합니다. 확인할 수 없는 상태를 실패로 처리하는 fail closed 방식입니다. 멈춘 드라이버가 멈춘 진단 도구 뒤에 숨어 정상 머신으로 남지 않게 합니다.

드라이버 오류 코드를 읽는 경로도 하나에 의존하지 않습니다. 이 코드는 GPU 결함을 알려 주는 가장 강한 신호지만, 코드를 읽는 도구가 망가지면 신호를 놓칩니다. 그래서 커널 로그 dmesg를 직접 읽는 대체 경로를 두고 Xid와 SXid 오류를 확인합니다.

아예 실행되지 않는 점검도 있었습니다. 한 업그레이드에서 네트워크 어댑터 점검이 쓰던 바이너리가 빠졌습니다. 점검은 아무것도 보고하지 않은 채 멈췄고, 어댑터 수가 맞지 않는 머신이 며칠 동안 작업에 투입됐습니다. 느린 잡의 원인을 추적하고서야 이 누락을 발견했습니다. 지금은 필요한 의존성이 없으면 점검 자체가 실패합니다. 조용히 사라지는 점검은 머신이 건강하다는 거짓 확신을 주므로, 점검이 없는 것보다 나쁩니다.

오류 코드를 확보한 뒤에도 해석할 일이 남습니다. 벤더의 오류 카탈로그는 새 GPU 세대를 뒤늦게 따라가거나 실제 운영에서 관찰한 동작과 어긋날 수 있습니다. 한 세대에서는 GPU 리셋이 필요한 코드가 다른 세대에서는 무해하기도 합니다. 정상 부팅 때마다 통상 치명적인 코드가 한꺼번에 나오는 세대도 있었습니다. Netflix는 GPU 계열별로 치명 오류를 판별하는 자체 매핑을 유지하며, 이런 부팅 신호는 잡음으로 처리해 새 머신을 불필요하게 드레인하지 않습니다.

두 번의 점검 뒤에 제거하는 시작 taint

점검 결과가 늦으면 스케줄러가 먼저 일을 줄 수 있습니다. Netflix에서도 새 머신의 점검이 아직 안정되지 않았는데 용량이 스케줄러로 넘어가는 틈이 있었습니다. 느린 점검이 문제를 표시하기 직전에 잡이 배치될 수 있었던 것입니다. 지금은 점검이 실행되고 결과가 안정될 때까지 새 용량을 잡아 둡니다.

부팅 직후의 머신은 먼저 시스템 점검을 통과하고, GPU와 토폴로지를 확인한 뒤 GPU 진단을 실행합니다. 그다음에도 바로 일을 주지 않습니다. 헬스 체크가 두 번 실행될 때까지 기다립니다. 네트워크 어댑터 수를 세는 점검처럼 한 주기보다 오래 걸리는 검사가 있기 때문입니다. 한 차례 점검을 돌렸다는 이유로 용량을 풀면, 긴 점검의 결과가 나오기 전에 잡이 들어올 수 있습니다. 이 대기를 마친 뒤에야 시작 taint를 제거합니다.

잡에 하드웨어를 할당할 때도 검증합니다. 짧은 집합 통신 실행과 쌍별 네트워크 테스트로, 실행 첫 1분 안에 실패할 머신을 잡이 받아들여지기 전에 걸러냅니다. 부팅과 상태 조회를 통과했는지에 더해 실제 통신을 견디는지까지 확인하는 절차입니다.

오류마다 다른 대기 시간을 둔 Karpenter

실행 중 점검이 실패했다고 곧바로 머신을 교체하지는 않습니다. 먼저 문제(problem) 조건을 표시해 새 작업의 배치를 막고, 진행 중인 잡은 그대로 둡니다. 잡을 강제로 옮기면 중단 비용이 크고 많은 문제가 저절로 풀리기 때문입니다. 문제가 허용 시간을 넘겨 계속되면 실패(failure) 조건으로 올립니다. 이때는 머신을 비우고 태스크를 드레인한 뒤 종료·교체합니다. 빨리 작업을 옮기기 위해 평소의 중단 한도도 무시합니다.

이 흐름에는 Karpenter의 노드 자동 복구를 사용합니다. Netflix는 각 노드 조건마다 조치 전까지 기다릴 시간을 정하는 정책과 컨트롤러를 추가했습니다. 치명적인 오류에는 몇 분 안에 대응하고, 간헐적으로 나타나는 신호에는 더 긴 시간을 줍니다. 클러스터에서 한꺼번에 중단시킬 비율에는 별도의 상한을 둡니다. 점검을 잘못 배포했을 때 복구 기능이 클러스터 전체를 연쇄적으로 종료시키지 않도록 한 제한입니다. 이 기능은 모든 Karpenter 사용자가 쓸 수 있도록 업스트림에 반영할 계획입니다.

복구 수단도 결함에 맞춰 고릅니다. 소프트웨어가 멈춘 상태는 문제를 일으킨 잡을 종료하면 풀립니다. 많은 일시적 장치 결함은 GPU 하나를 리셋하는 것으로 해결되며, 장시간 가동 중 어긋난 펌웨어 상태는 머신 재부팅으로 되돌립니다. 이런 결함은 새 머신을 기다리는 대신 몇 분 안에 용량을 돌려줍니다.

종료와 교체는 신뢰할 만한 테스트에서 실패한 하드웨어에 사용합니다. 이때 GPU의 불변 하드웨어 식별자를 기록합니다. 재부팅이나 인스턴스 교체로 바뀌지 않는 식별자입니다. 클라우드 제공자에게 해당 장치를 알리고 자체 불량 장치 목록에도 남겨, 반복해서 실패하는 GPU가 새 인스턴스로 돌아오는 일을 막습니다. 머신을 해체할 때 수행하는 더 깊은 진단과 GPU 식별자 기록도 이 목록을 유지하는 데 씁니다.

네트워크 고장처럼 보였던 NCCL 타임아웃

사전 검증과 자동 복구를 갖춰도 잡 실행 중 머신을 잃는 일은 남습니다. 학습 루프는 그 손실을 견뎌야 합니다. 잡은 상태를 체크포인트로 저장하고, 머신을 잃으면 몇 주짜리 실행을 처음부터 다시 시작하지 않고 마지막 정상 체크포인트에서 재개합니다. 워커는 탄력적으로 운용하고 재시도할 수 있게 구성합니다. 스케줄러도 플랫폼이 일으킨 실패를 태스크와 잡 수준에서 자동 재시도합니다.

재시도에는 실패 원인 판별이 앞서야 합니다. 모든 실패를 다시 실행하면 애플리케이션의 버그를 가리고, 플랫폼이 고칠 수 없는 오류를 반복하면서 GPU 시간을 소비합니다. Netflix가 실패를 플랫폼 원인과 애플리케이션 원인으로 먼저 나누는 이유입니다.

GPU의 집합 통신 라이브러리인 NCCL에서 발생한 일부 타임아웃이 그 차이를 보여 줍니다. 처음에는 네트워크 결함처럼 보였습니다. 원인을 추적해 보니 워커 수가 많을 때 데이터 로딩이 정체되는 문제였습니다. GPU와 네트워크는 정상이었고, 고쳐야 할 곳은 데이터 파이프라인이었습니다. 이를 하드웨어 장애로 분류했다면 원인을 남겨 둔 채 건강한 머신만 계속 교체했을 것입니다.

가동 시간 차트 너머의 굿풋

느린 GPU 하나를 기다리는 잡은 가동 시간 차트에서는 건강해 보일 수 있습니다. 실제로는 거의 아무 일도 끝내지 못할 수 있습니다. Netflix는 플릿이 완료하는 유용한 작업량인 굿풋(goodput)을 최적화 기준으로 삼습니다. 머신 전체의 고장만 찾는 것으로는 부족하고, 각 잡을 하나의 분산 시스템으로 보면서 나머지 랭크를 기다리게 하는 느린 랭크도 찾아야 합니다.

이를 추적하는 SLO는 다음 항목을 구분합니다.

  • 가용성: 특정 시점에 스케줄링에 쓸 수 있는 GPU 용량
  • 잡 시작 성공: 용량이 있을 때 잡이 지체 없이 시작하는지
  • 잡 성공: 플랫폼이 일으킨 실패 없이 잡이 끝나는지

각 SLO는 하드웨어, 드라이버, 플랫폼, 사용자 원인으로 나눠 봅니다. 가용성이 떨어져도 불량 하드웨어 때문인지, 스케줄러 변경이나 사용자 설정 때문인지에 따라 살펴볼 계층이 달라집니다. 원문에 제시된 구체적인 SLO 목표치는 설명용 예시입니다.

실행 중에는 드라이버 오류, 메모리 오류, 열 이벤트를 관측하고, 문제가 생기면 앞서 정한 단계에 따라 자동 복구합니다. 할당 시점의 검증, 실행 중 관측, 느린 랭크의 식별, 복구가 반복되는 과정입니다. 배치 스케줄러, Kueue, Ray 가운데 어느 경로로 잡을 실행하든 이 과정은 같습니다.

기본 점검과 수동 드레인에서 계층별 점검과 자동 복구로 전환한 뒤, GPU 노드 가용성은 지속적으로 99.95%를 넘었고 잡 성공률은 약 98%에서 99.5% 이상으로 올랐습니다. 불량 머신이 풀에 남거나 온콜 엔지니어의 조치를 기다리는 시간이 줄면서 스케줄링할 수 있는 용량이 늘었습니다. 대부분의 결함은 잡이 배치되기 전에 잡혔고, 실행 중 드러난 문제에는 자동 복구와 재시도가 대응하면서 플랫폼 문제로 실패하는 잡도 줄었습니다.

작은 추론 잡을 위한 MIG 파티션

추론 잡 하나가 GPU 전체를 필요로 하지는 않습니다. 작은 잡마다 전용 GPU를 주면 용량이 남습니다. Netflix는 MIG로 GPU를 분할해 메모리 수준에서 격리합니다. 한 파티션의 결함이나 메모리를 많이 쓰는 잡이 다른 파티션에 영향을 주지 않게 하는 방식입니다. 머신을 재시작하지 않고 파티션을 재구성하므로, 수요에 따라 작은 파티션 여러 개와 큰 파티션 소수 사이에서 풀 구성을 바꿉니다.

현재 GPU와 네트워크 어댑터 할당은 device plugin 기반입니다. Karpenter가 지원하면 Kubernetes Dynamic Resource Allocation(DRA)으로 옮길 계획입니다. GPU가 네트워크 어댑터나 CPU와 통신할 때 PCIe 루트가 맞지 않으면 대역폭 손실이 생깁니다. DRA 전환 뒤에는 Compute/IMEX 도메인, PCIe 루트, NUMA 노드에 맞춘 토폴로지 인지 배치를 추진하려 합니다.

DRA는 고장에 대응하는 단위도 바꿀 수 있습니다. GPU 하나에 문제가 생겼을 때 그 장치만 격리하고, 같은 머신의 나머지 GPU는 계속 서비스하게 할 수 있습니다. 작은 추론 잡 여러 개가 머신을 공유할수록 전체 머신을 빼지 않는 이점이 커집니다. 잡이 메모리나 텐서 코어 지원처럼 필요한 능력을 요청하고, 플랫폼이 알맞은 GPU 유형을 배정하는 할당도 가능해집니다. 사용자가 미리 특정 GPU 모델을 골라 고정하지 않아도 되는 방향입니다.

정상 범위에서도 잡을 늦추는 GPU

GPU가 스로틀링을 보고하지 않아도 학습은 느려질 수 있습니다. 다른 GPU보다 10~15도 뜨거운 GPU 하나가 허용 온도 안에 머물면서도 갱 전체의 속도를 정할 수 있기 때문입니다. Netflix는 큰 온도 차 자체를 결함으로 보고, 잡을 멈춘 뒤 더 시원한 GPU로 옮기는 방안도 검토하고 있습니다.

더 많은 결함을 작업 전에 찾는 일도 남아 있습니다. 부하를 주는 능동 점검의 대상과 번인 범위를 넓혀 사용자가 겪기 전에 실패를 걸러내고, 잡 사이에 수행하는 주기적 진단도 늘릴 계획입니다. 일부 Xid 오류는 전체 노드를 교체하지 않고 제자리에서 해결하도록 복구를 더 세분화하려 합니다. NCCL RAS(신뢰성·가용성·서비스성) 모니터링 역시 확장해 집합 연산 불일치나 멈춤을 더 일찍 찾으려 합니다.

GPU가 일을 기다리는 시간을 줄이기 위해 sched_ext 기반의 커스텀 리눅스 스케줄러도 계획하고 있습니다. GPU들이 다음 연산에 들어가기 전에 결과를 주고받는 집합 조율 시점과 데이터 로딩에 관여하는 프로세스에 우선순위를 주려는 것입니다. 이를 플릿 전체에 적용해 GPU 유휴 시간을 줄이는 방향입니다. 머신 한 대에서는 작은 개선이어도, 수백 대의 처리량에서 몇 퍼센트가 달라지면 그만큼 쓸 수 있는 GPU 용량이 커집니다.

원문의 주요 수치와 설정값
항목값
노드 수준 에이전트 실행 주기모든 GPU 머신에서 30초마다
헬스 체크 해제 조건점검이 두 번 돈 뒤 시작 taint 제거
할당 시점 검증짧은 집합 통신 실행과 쌍별 네트워크 테스트
GPU 노드 가용성지속적으로 99.95% 초과
잡 성공률약 98%에서 99.5% 이상
온도 격차의 결함 후보동료 GPU보다 10~15도 높은 경우
추적하는 SLO가용성, 잡 시작 성공, 잡 성공(하드웨어·드라이버·플랫폼·사용자 원인별)
마지막 수정 일자