본문으로 건너뛰기
학습 루프를 넘어선 Netflix LLM 후속 학습 프레임워크
목차

학습 루프를 넘어선 Netflix LLM 후속 학습 프레임워크 (2026-02)

원문 정보

  • 원문: Scaling LLM Post-Training at Netflix
  • 매체 · 게시일: Netflix TechBlog · 2026-02-13
  • 저자: Baolin Li, Lingyi Liu, Binh Tang, Shaojing Li
  • 원문 내용을 바탕으로 재구성한 요약입니다.

코드 몇 줄 뒤에 남은 분산 시스템

시작은 간단해 보입니다. 도메인 데이터를 모으고, Hugging Face에서 오픈 웨이트 모델을 받아 배치를 돌리면 됩니다. 실험에서는 코드 몇 줄로 표현할 일입니다. 하지만 그 코드를 멀티 노드 GPU 클러스터에서 실행하고, 중단된 학습을 복구하고, 학습 사이에 추론까지 끼워 넣으려면 이야기가 달라집니다.

Netflix가 LLM을 적용하려는 곳은 추천·개인화·검색입니다. 사전 학습으로 얻은 폭넓은 언어 능력과 일반 지식을 Netflix의 카탈로그, 회원 상호작용 이력의 미묘한 차이에 맞춰야 합니다. 후속 학습은 모델을 이런 구체적인 의도와 도메인 제약, 프로덕션의 신뢰성 요구에 맞추는 과정입니다. 이 규모에서는 모델링만큼 엔지니어링이 큰 문제가 됩니다.

모델을 읽는 일부터 달라집니다. 체크포인트가 GPU 한 장에 들어가지 않으면 FSDP나 TP 같은 샤딩 전략을 정하고, 전체 모델을 한 장치에 올리지 않은 채 부분 가중치를 디바이스 메시에 직접 읽어야 합니다. 로딩 뒤에도 전체 미세 조정과 LoRA 중 무엇을 쓸지, activation checkpointing과 컴파일을 어떻게 적용할지, 정밀도는 무엇으로 맞출지 결정해야 합니다. 특히 RL에서는 롤아웃과 정책의 정밀도가 일치해야 합니다.

여기에 데이터 파이프라인 운영과 분산 상태 관리, 학습·추론의 실행 순서까지 더해집니다. Netflix AI Platform 팀이 내부 Post-Training Framework를 만든 이유입니다. 프레임워크가 분산 시스템의 배관 작업을 맡아야 연구자가 모델에 집중할 수 있다는 판단이었습니다.

Netflix의 모델 실험을 위한 Post-Training Framework

기성 도구를 조립하는 것보다 나은 점이 있어야 직접 프레임워크를 유지할 이유도 생깁니다. Netflix가 투자한 곳은 내부 워크로드에 맞춘 성능과 Netflix 고유의 모델·비즈니스 요구였습니다. Thinking Machines의 Tinker 같은 도구는 표준 채팅이나 지시 튜닝에 적합하지만, 정해진 틀이 더 깊은 실험을 제약할 수 있었습니다.

내부 모델은 표준적인 언어 모델의 범위를 벗어나기도 합니다. 과제별 목적에 맞춰 출력 투영 헤드를 바꾸거나, 시맨틱 ID와 특수 토큰으로 어휘를 확장하거나, 자연어가 아닌 도메인 시퀀스로 트랜스포머를 처음부터 사전 학습하는 경우입니다. 일부 모델은 회원 상호작용 이벤트를 학습하며, 고도로 맞춤화된 추론 엔진과 연결해 비즈니스 지표를 최적화하는 RL 루프가 필요할 수도 있습니다. 이런 실험에는 별도의 환경과 보상 계산, 실행 조율이 필요하지만 성능·추적·내결함성까지 일회성 파이프라인마다 다시 마련하고 싶지는 않았습니다.

그래서 고정된 미세 조정 방식보다 유연성과 확장성을 앞세웠습니다. 기반은 오픈소스에 두었습니다. AWS에서 GPU를 프로비저닝하는 내부 ML 컴퓨트 플랫폼 Mako 위에서 PyTorch, Ray, vLLM을 대체로 그대로 쓰고, 프레임워크는 그 위의 라이브러리로 동작합니다. 사용자는 보통 설정 파일에서 SFT·DPO·RL·지식 증류 레시피를 고른 뒤 과제에 맞는 구성 요소를 연결합니다.

공통 기능은 Data·Model·Compute·Workflow로 나눴습니다. Data에는 SFT·보상 모델링·RL용 데이터셋 추상화를, Model에는 Qwen3와 Gemma3, Qwen3 MoE와 GPT-OSS 같은 모델을 지원하는 정의를 마련했습니다. LoRA도 모델 정의에 통합했습니다. 개발자가 저수준 분산 코드를 직접 쓰지 않고 큰 모델을 디바이스 메시에 나눌 수 있도록 고수준 샤딩 API를 제공합니다.

잡 제출 방식은 클러스터 크기가 바뀌어도 같습니다. 단일 노드부터 수백 GPU까지 같은 인터페이스를 쓰고, 손실 같은 품질 지표와 MFU 같은 효율 지표를 추적합니다. MFU 계산은 커스텀 모델 구조와 LoRA도 반영합니다. 체크포인트에는 학습한 파라미터뿐 아니라 옵티마이저·데이터로더·데이터 믹서 상태까지 담아, 중단 뒤에도 정확히 이어서 실행하도록 했습니다. Workflow는 이런 공통 기능을 단순한 학습 루프 밖의 다단계 작업으로 연결하는 역할입니다.

학습 레시피와 분산 실행, RL 오케스트레이션에는 Torchtune, Torchtitan, Verl의 작업을 참고했습니다. Netflix AI for Member Systems 팀은 협업과 피드백으로, Training Platform 팀은 인프라 기반으로 기여했습니다. 이렇게 마련한 공통 기반은 대규모 파운데이션 모델의 후속 학습부터 특화 전문가 모델의 미세 조정까지 지원합니다.

가장 느린 배치를 기다리는 GPU 워커

데이터 준비에서는 무엇을 학습할지부터 정해야 합니다. 지시 따르기, 멀티턴 대화, 사고 사슬을 학습할 때는 어떤 토큰이 손실에 기여하는지 정확히 통제해야 합니다. Hugging Face 채팅 템플릿은 대화를 직렬화할 뿐, 학습할 부분과 무시할 부분을 구분해 주지는 않습니다. 명시적인 loss masking으로 어시스턴트 토큰만 학습 대상으로 삼지 않으면 프롬프트와 다른 비대상 텍스트까지 학습해 품질이 떨어집니다.

연산을 낭비하는 문제도 있습니다. 시퀀스 길이가 제각각이면 배치의 빈자리를 채운 패딩에 GPU 연산을 쓰고, FSDP 워커마다 텐서 모양이 달라져 동기화 오버헤드도 생깁니다. 길이 분포의 꼬리가 긴 데이터에서는 특히 긴 시퀀스를 받은 워커가 뒤처집니다. 빠른 워커도 동기화 지점에서는 가장 느린 배치를 기다려야 합니다.

여러 샘플을 고정 길이 시퀀스에 채우는 패킹이 이 낭비를 줄입니다. 이때 document mask로 서로 다른 샘플 사이의 어텐션을 차단하면, 샘플을 함께 담으면서도 서로를 참조하지 않게 만들 수 있습니다. 패딩이 줄고 워커가 처리하는 텐서 모양도 일정해집니다. 앞의 loss masking이 학습 대상 토큰을 고른다면, 이 마스크는 함께 담긴 샘플 사이의 어텐션을 막습니다.

패킹 시점도 문제였습니다. 일반적인 빈 패킹은 도움이 되지만 Netflix의 데이터 규모에서 오프라인으로 처리하면 전처리 지연이 늘고 데이터셋을 최신으로 유지하기 어려웠습니다. 팀은 저장소에서 샘플을 스트리밍하면서 메모리에서 동적으로 묶는 on-the-fly 시퀀스 패킹을 만들었습니다. 클라우드와 디스크에서 데이터를 읽으므로 로컬 저장소보다 큰 데이터셋도 처리하며, CPU 부담이 큰 패킹을 비동기로 실행해 GPU 작업과 겹치게 했습니다.

효과는 길이 분포가 가장 치우친 데이터에서 컸습니다. 원문의 Figure 5는 A100과 H200에서 내부 데이터셋 두 개를 비교한 결과이며, 그중 가장 치우친 데이터셋의 유효 토큰 처리량은 최대 4.7배 늘었습니다. 모든 데이터에서 같은 배율을 얻었다는 결과는 아닙니다.

어휘 확장으로 드러난 LM 헤드의 성능 절벽

어휘가 커지면 출력층에서 메모리 문제가 생깁니다. 128k를 넘는 큰 어휘에서는 logits의 모양이 [batch, seq_len, vocab]이어서 피크 메모리 사용량이 급증합니다. 손실 계산에서 무시할 토큰을 출력 투영 전에 제외하고, 시퀀스 차원을 청크로 나눠 logits와 손실을 계산하면 이 부담을 줄일 수 있습니다.

Netflix가 만난 또 다른 문제는 어휘 크기에 따른 성능 절벽이었습니다. 내부 워크로드는 커스텀 토큰과 시맨틱 ID를 자주 추가하는데, 특정 어휘 크기에서는 LM 헤드가 고도로 최적화된 cuBLAS 커널 대신 훨씬 느린 CUTLASS 경로를 탔습니다. 해당 레이어의 실행 시간이 세 배로 늘었습니다.

해법은 프레임워크 안에 넣었습니다. 어휘 크기를 64의 배수로 자동 패딩해 빠른 커널이 선택되도록 했습니다. 개발자가 커널 선택의 저수준 제약을 알아야 어휘를 확장할 수 있는 상황을 피한 것입니다. 내부 워크로드에 맞춘 최적화가 공통 프레임워크를 직접 유지하는 이유가 된 사례입니다.

SFT의 드라이버에 더해진 RL 제어 역할

처음 프레임워크는 SFT를 중심으로 설계했습니다. 데이터 흐름은 정적이고 학습 루프는 하나였습니다. 하지만 2025년에 DeepSeek-R1과 GRPO 같은 효율적인 온-폴리시 RL 기법이 등장하면서, SFT만 지원하는 것으로는 부족해졌습니다.

SFT의 학습 신호는 조밀하고 즉각적입니다. 각 토큰 위치에서 전체 어휘의 logits를 계산하고, 미분 가능한 손실을 역전파합니다. 사전 학습과 닮은 이 실행 방식은 모든 워커가 같은 프로그램을 서로 다른 데이터에 적용하는 SPMD에 잘 맞습니다. GPU 워커는 각자 데이터 샤드를 처리하고 PyTorch 분산 프리미티브로 동기화합니다.

당시 드라이버의 역할은 작았습니다. 동일한 Ray 액터 N개를 띄우면 각 액터가 학습 루프 전체를 실행했습니다. 더 크게 돌리려면 같은 워커를 늘리면 됐습니다. 모델링 로직과 하드웨어를 분리하면서도 실행을 단순하게 유지하는 방식이었습니다.

온-폴리시 RL에서는 이 가정이 성립하지 않습니다. 학습 신호가 희소하고 늦게 도착하며, 예를 들어 에피소드가 끝나야 스칼라 보상 하나를 받기도 합니다. 업데이트에 쓰는 데이터도 현재 정책이 생성해야 합니다. 롤아웃을 만들고, 보상과 참조 모델의 추론 결과를 얻고, 정책을 업데이트하는 단계 사이에 의존 관계가 생깁니다.

각 단계 자체는 SPMD로 실행할 수 있습니다. 하지만 전체 알고리즘은 프롬프트, 샘플링한 궤적, 보상, advantage를 단계 사이에 넘기고 각 작업의 수명을 관리해야 합니다. 동일한 학습 루프를 여러 개 띄우는 것만으로는 이 흐름을 조율할 수 없습니다.

팀은 시스템을 Policy, Rollout Workers, Reward Model, Reference Model로 나눴습니다. 드라이버도 실행을 시작해 주는 역할에서 능동적인 컨트롤러로 바뀌었습니다. 언제 롤아웃을 생성할지, 어떻게 배치로 묶어 채점할지, 언제 최적화를 실행할지, 단계마다 클러스터 자원을 어떻게 배분할지를 드라이버가 결정합니다. 단일 컨트롤러가 전체 흐름을 맡고, 각 단계에서는 SPMD를 쓰는 하이브리드 실행 모델입니다.

오케스트레이션을 전부 새로 만들지는 않았습니다. Verl의 핵심 인프라를 통합해 Ray 액터의 수명 관리와 GPU 할당을 맡기고, 팀은 Data·Model·Compute 추상화에 집중했습니다. 그 결과 개발자는 별개의 API나 실행 개념을 처음부터 익히지 않고 같은 인터페이스에서 SFT와 RL을 오갈 수 있게 됐습니다.

vLLM과 학습 코드 사이의 토큰 경계

토크나이저에서는 통제력을 높이려던 선택이 품질 문제로 돌아왔습니다. 초기 프레임워크는 SentencePiece와 tiktoken 같은 저수준 라이브러리를 직접 사용했습니다. 추론 스택인 vLLM은 기본적으로 Hugging Face AutoTokenizer를 썼습니다. 이 차이로 학습과 서빙의 토큰화가 조용히 어긋났습니다.

작은 차이도 토큰 경계를 바꿨습니다. 정규화 방식이나 특수 토큰 처리, 채팅 템플릿이 조금만 달라도 학습 때와 서빙 때 모델에 들어가는 토큰이 달라졌고, 문제는 나중에 원인을 설명하기 어려운 품질 저하로 나타났습니다. 토크나이저를 더 직접 제어하는 일이 학습과 추론의 일관성까지 보장해 주지는 않았습니다.

팀은 AutoTokenizer를 단일 기준으로 정했습니다. 여기에 얇은 호환 계층인 BaseHFModelTokenizer를 두어 패딩 토큰을 설정하고, loss masking에 필요한 생성 마커를 삽입하며, 특수 토큰과 시맨틱 ID를 관리합니다. Netflix에 필요한 처리를 이 계층에서 하되, 바이트 수준의 토큰화 경로는 프로덕션과 동일하게 유지합니다.

Hugging Face와의 호환성은 토크나이저에만 한정하지 않았습니다. Hugging Face Hub가 오픈 웨이트 모델과 토크나이저, 설정의 기본 배포 채널인 만큼, 내부에서 최적화한 모델 표현을 쓰더라도 체크포인트는 표준 Hugging Face 형식으로 읽고 씁니다. 내부 구현을 선택했다고 해서 가중치를 주고받는 형식까지 별도로 만들지는 않았습니다.

공통 최적화와 지원 범위를 정한 모델 정의

모델 구현은 자체적으로 유지합니다. transformers의 모델 클래스로 직접 학습하는 대신, Hugging Face 체크포인트를 읽고 쓸 수 있는 최적화된 통합 모델 정의를 사용합니다. 토크나이저에서는 서빙과 같은 동작을 지키는 데 집중했다면, 모델에서는 여러 아키텍처에 최적화를 일관되게 적용할 자리가 필요했습니다.

이 계층에서 FlexAttention, 메모리를 아끼는 청크 단위 cross-entropy, 일관된 MFU 계산과 LoRA 확장을 제공합니다. 모델 계열이 바뀔 때마다 같은 기능을 다시 구현하는 부담을 줄입니다. 모듈 이름 규칙도 통일했습니다. 코드가 서로 다른 아키텍처에서 Attention·MLP·출력 헤드를 찾아 교체할 수 있고, TP와 FSDP 래핑 정책도 같은 규칙을 바탕으로 적용합니다.

유지 비용은 남습니다. 새 모델 계열을 지원하려면 Hugging Face 참조 구현과 내부 정의를 연결해야 합니다. 팀은 변환 작업의 상당 부분을 AI 코딩 에이전트에 맡기되, 엄격한 logit 검증기를 통과하도록 했습니다. 무작위 입력에서 내부 모델의 logits가 Hugging Face 모델의 logits와 허용 오차 안에서 일치해야 합격입니다.

검증 기준은 기계로 확인합니다. 에이전트는 이 기준을 통과할 때까지 자율적으로 수정과 검증을 반복하며, 이 방식으로 새 아키텍처를 지원하는 데 걸리는 시간을 줄였습니다. 에이전트가 만든 변환 코드의 정확성을 logit 비교로 확인하는 절차입니다.

그럼에도 학습할 수 있는 아키텍처는 명시적으로 지원한 것에 한정됩니다. vLLM, SGLang, torchtitan도 공유하는 의도된 제약입니다. Netflix는 이를 보완할 Hugging Face 폴백 백엔드를 계획하고 있습니다. 사용자가 네이티브 transformers 모델로 새로운 아키텍처를 실험하도록 하되, 이 경로에서는 일부 프레임워크 최적화가 적용되지 않을 수 있습니다. 아직 구현을 마친 기능은 아닙니다.

에이전트형·추론 중심·멀티모달 아키텍처로 연구 범위가 넓어지는 가운데, 팀은 이 기반이 새 아이디어를 확장 가능한 GenAI 프로토타입으로 옮기는 데도 쓰이리라 기대합니다. 그 범위를 넓혀 가는 과정에서도 오픈소스와의 호환성을 지키고, Netflix에 필요한 Data·Model·Compute·Workflow 추상화는 직접 관리하려는 방향입니다.

원문의 주요 구성 요소와 수치
항목값
컴퓨트 플랫폼Mako (AWS GPU 프로비저닝)
오픈소스 기반PyTorch, Ray, vLLM, Verl(RL 오케스트레이션)
지원 레시피SFT, DPO, RL, 지식 증류
지원 모델 예시Qwen3, Gemma3, Qwen3 MoE, GPT-OSS
큰 어휘의 메모리 위험 기준어휘 128k 초과
on-the-fly 시퀀스 패킹 효과가장 치우친 데이터셋에서 유효 토큰 처리량 최대 4.7배
어휘 크기 패딩64의 배수, cuBLAS 대신 CUTLASS로 떨어질 때 해당 레이어 3배 느려짐
새 모델 변환 검증무작위 입력에서 Hugging Face logits와 허용 오차 내 일치
마지막 수정 일자