목차
containerd 전환 뒤 마운트 락에 막힌 Netflix 노드 (2025-11)
원문 정보
- 원문: Mount Mayhem at Netflix: Scaling Containers on Modern CPUs
- 매체 · 게시일: Netflix TechBlog · 2025-11-07
- 저자: Harshad Sane, Andrew Halaney
- 원문 내용을 바탕으로 재구성한 요약입니다.
읽는 데만 30초 넘게 걸린 마운트 테이블
금요일 밤, Netflix에서 재생 버튼을 누르면 뒤에서는 수백 개의 컨테이너가 몇 초 안에 뜹니다. 수요가 늘면 AWS에서 새 인스턴스를 받아 자원이 모두 할당될 때까지 파드를 배치합니다. 빈 노드가 순식간에 꽉 차는 환경입니다.
이 속도를 따라가려고 런타임을 바꾸던 중 일부 노드가 오랫동안 멈추기 시작했습니다. 단순한 헬스 체크도 30초 만에 타임아웃됐습니다. 마운트 테이블은 읽는 데만 30초 넘게 걸릴 만큼 커진 상태였습니다. systemd의 스택에는 마운트 이벤트를 처리하느라 바쁜 모습이 보였고, kubelet은 containerd와 통신하다가 자주 타임아웃을 만났습니다.
문제 노드에는 공통점이 있었습니다. 거의 모두 r5.metal이었고, 레이어가 50개 넘는 이미지로 애플리케이션을 띄우고 있었습니다.
컨테이너마다 달라진 호스트 사용자 범위
Netflix는 virtual kubelet과 docker를 kubelet과 containerd로 교체하면서 호스트 사용자 범위를 배정하는 방식도 바꿨습니다. 사용자 네임스페이스는 양쪽 모두 쓰던 기능입니다.
예전에는 모든 컨테이너가 호스트의 같은 사용자 범위를 공유했습니다. 이미지 레이어를 untar할 때 UID를 옮겨 두면 권한이 맞았습니다. 어느 컨테이너든 같은 호스트 사용자를 썼기 때문입니다.
새 런타임에서는 컨테이너마다 고유한 호스트 사용자 범위를 줍니다. 컨테이너가 탈출해도 자기 파일만 건드릴 수 있도록 보안을 강화한 선택입니다. 여기에 맞춰 컨테이너마다 이미지를 다시 untar하고 UID를 옮기는 비용을 피하려고 커널의 idmap을 사용했습니다. 파일을 복사하거나 소유권을 바꾸지 않고 컨테이너별 UID를 매핑하는 기능입니다.
그 매핑을 적용하는 과정에서 레이어마다 마운트 작업이 생겼습니다.
레이어 수만큼 반복한 마운트
containerd의 플레임그래프를 보니 컨테이너의 루트 파일시스템(rootfs)을 조립하는 시간 대부분이 커널 락을 기다리는 데 쓰이고 있었습니다. 레이어를 마운트하는 과정에서 생긴 대기입니다.
사용자 네임스페이스를 쓰는 containerd는 레이어마다 open_tree()로 디렉터리 참조를 얻고, mount_setattr()로 컨테이너의 사용자 범위에 맞는 idmap을 설정합니다. 이어 move_mount()로 그 매핑이 적용된 바인드 마운트를 호스트에 만듭니다. 이 바인드 마운트들을 overlayfs의 lowerdir로 삼아 rootfs를 만든 뒤에는 바인드 마운트를 모두 해제합니다.
컨테이너가 한꺼번에 뜨면 모든 CPU가 마운트와 언마운트를 반복합니다. 각 작업이 커널 VFS의 마운트 테이블을 보호하는 전역 락을 잡아야 하므로, 레이어가 많을수록 비용도 커지는 방식입니다.
레이어 50개짜리 이미지라면 컨테이너 하나에 바인드 마운트 50번, overlayfs 마운트 1번, 언마운트 50번이 필요합니다. containerd는 이 절차를 두 번 밟습니다. 이미지 안의 사용자 정보를 읽을 때 한 번, 실제 rootfs를 만들 때 한 번입니다. 그런 컨테이너를 100개 띄우는 예에서는 100 × 2 × (1 + 50 + 50) = 20,200번의 마운트 작업이 전부 전역 락을 요구합니다.
동시성이 커지자 드러난 인스턴스 격차
Netflix는 레이어가 많은 이미지를 만들고, 그 이미지를 쓰는 워크로드 수백 개를 테스트 노드에 보내 문제를 재현했습니다. 벤치마크에 사용한 인스턴스는 아래와 같습니다.
| 인스턴스 | CPU | 소켓과 NUMA 구성 |
|---|---|---|
| r5.metal | 5세대 Intel | 듀얼 소켓, 여러 NUMA 도메인 |
| m7i.metal-24xl | 7세대 Intel | 싱글 소켓, NUMA 도메인 하나 |
| m7a.24xlarge | 7세대 AMD | 싱글 소켓, NUMA 도메인 하나 |
컨테이너 약 20개 이하에서는 성능이 비슷했습니다. 차이가 벌어진 곳은 높은 동시성 구간입니다. r5.metal은 컨테이너 약 100개 부근에서 실패하기 시작했고, 7세대 인스턴스는 기동 시간이 짧고 성공률도 높았습니다. 그중 m7a가 가장 일관되게 확장했으며, 높은 동시성에서도 실패율이 가장 낮았습니다.
pause 루프에서 기다리던 CPU
락을 기다리는 동안 CPU가 실행한 명령은 대부분 pause였습니다. perf record와 직접 만든 마이크로벤치마크로 좁힌 지점은 커널 VFS의 경로 조회 함수 path_init()입니다. 여기서 많은 스레드가 전역 시퀀스 락을 기다리며 짧은 스핀 루프를 돌고 있었습니다.
Intel의 Topdown Microarchitecture Analysis에서도 경합이 드러났습니다. 파이프라인 슬롯의 95.5%가 경합 접근(tma_contested_accesses)으로 정체됐고, 전체 슬롯의 57%는 여러 코어가 같은 캐시 라인을 건드리는 false sharing에 해당했습니다. 캐시 라인이 코어 사이를 오가는 캐시 라인 바운싱과 락 경합이 주된 원인이었습니다. 이를 더 키우는 하드웨어 조건으로 살핀 대상이 NUMA와 하이퍼스레딩입니다.
NUMA에서는 프로세서마다 로컬 메모리를 쓰고, 다른 프로세서의 메모리에 접근할 때는 인터커넥트를 건너므로 지연이 더 큽니다. 컨테이너 배치는 지역성을 지킬 수 있지만 전역 락은 원격 동기화 지연의 영향을 받습니다. 소켓과 NUMA 노드가 각각 2개인 48xl과 각각 1개인 24xl을 비교하자, 소켓을 건너는 추가 홉 때문에 지연이 커지고 실패도 빠르게 나타났습니다.
하이퍼스레드가 공유하는 자원도 문제였습니다. 캐시·실행 유닛·메모리 대역폭을 나눠 쓰다 보니, 전역 락에 의존하는 이 워크로드에서는 서로 경쟁했습니다. m7i.metal-24xl에서 하이퍼스레딩을 끄자 컨테이너 기동 지연이 20~30% 줄었습니다. 스레드마다 물리 코어를 쓰면서 락을 더 빨리 잡고 놓을 수 있었기 때문입니다.
같은 락 앞에서 달랐던 캐시 설계
중앙형 캐시를 쓰는 m7i의 하이퍼스레딩을 끄고, 분산형 캐시를 쓰는 m7a와 코어 수를 맞춰 비교해도 약 20%의 성능 차이가 꾸준히 나타났습니다. 캐시 일관성을 관리하는 방식도 경합의 크기에 영향을 줬습니다.
일부 서버 CPU는 코어와 캐시 슬라이스를 메시 인터커넥트로 연결합니다. 각 교차점이 일부 메모리 주소의 캐시 일관성을 맡고, 모든 통신은 같은 주소의 요청을 한 번에 하나만 처리하는 중앙 큐를 거칩니다. 이런 메시 설계의 한 예에서 쓰는 큐 이름이 Table of Requests(TOR)입니다. mount_lock을 향한 원자 연산이 이 큐 하나에 몰리면 요청이 쌓이면서 메모리 스톨과 지연 급증이 생깁니다.
칩렛 기반의 분산형 설계에서는 각 코어 컴플렉스가 자기 마지막 레벨 캐시를 갖고, 그 안에서 캐시 일관성을 관리합니다. 컴플렉스 사이는 고속 패브릭으로 연결합니다. 경합이 여러 도메인에 분산되므로 전역 락 때문에 심한 정체가 생길 가능성이 낮습니다.
스레드 수를 늘려 본 pause_bench
pause_bench는 N개의 스레드가 하나의 전역 락을 놓고 스핀하는 작은 합성 벤치마크입니다. 컨테이너 기동 과정에서 본 차이는 스레드 수를 늘리는 이 실험에서도 나타났습니다.
- r5.metal에서 소켓 하나만 사용하면 스레드가 많을 때 지연이 크게 감소
- m7i.metal-24xl에서 하이퍼스레딩을 끄면 확장성이 더 개선
- m7a.24xlarge에서 가장 좋은 확장성 확인, 분산 캐시가 전역 락의 캐시 라인 경합을 더 원활하게 처리
마운트 작업을 O(1)로 줄인 containerd
당장의 완화책은 이 워크로드를 더 잘 확장되는 CPU 아키텍처로 보내는 것이었습니다. 소프트웨어에서는 containerd upstream과 함께 전역 락을 잡아야 하는 마운트 작업 자체를 줄일 방법을 검토했습니다.
한 방법은 새 커널 마운트 API에서 fsconfig()의 lowerdir+ 지원을 쓰는 것입니다. idmap을 적용한 lowerdir를 경로 대신 파일 디스크립터로 넘기면, 레이어마다 전역 락을 얻어 바인드 마운트를 만드는 move_mount()를 피할 수 있습니다. 이 방법에는 더 새로운 커널이 필요했습니다.
실제로 반영한 수정은 모든 레이어의 공통 부모 디렉터리를 한 번 매핑하는 방식입니다. 더 많은 사용자가 개선의 혜택을 받도록 이 방법을 택했습니다. 레이어 수를 n이라고 할 때 컨테이너당 마운트 작업은 O(n)에서 O(1)로 줄었습니다.
이 수정으로 CPU 아키텍처와 무관하게 컨테이너 기동을 막던 전역 마운트 락 병목을 없앴습니다. 한때 containerd의 플레임그래프를 거의 채웠던 마운트 작업은 수정 뒤에는 눈에 잘 띄지도 않았습니다. 원문의 Figure 11에서는 보라색으로 따로 표시해야 보일 정도입니다.
원문의 주요 수치와 벤치마크 조건
| 항목 | 값 |
|---|---|
| 문제 노드 | r5.metal, 이미지 레이어 50개 이상 |
| 증상 | 헬스 체크 30초 타임아웃, 마운트 테이블 읽기 30초 이상 |
| 마운트 작업 수 예시 | 100개 컨테이너 × 2회 × (1 + 50 + 50) = 20,200 |
| 저동시성 구간 | 컨테이너 약 20개 이하에서 인스턴스 간 차이 작음 |
| r5.metal 실패 시작 | 컨테이너 약 100개 부근 |
| TMA 경합 접근 비중 | 파이프라인 슬롯의 95.5% |
| false sharing 비중 | 슬롯의 57% |
| 하이퍼스레딩 비활성화(m7i.metal-24xl) | 기동 지연 20~30% 개선 |
| m7i 대비 m7a (HT 끔, 같은 코어 수) | 약 20% 차이 |
| 소프트웨어 수정 | 레이어별 마운트 O(n)에서 컨테이너당 O(1)로 |