본문으로 건너뛰기
Workbench UI를 멈춘 JupyterLab 리소스 확장
목차

Workbench UI를 멈춘 JupyterLab 리소스 확장 (2024-10)

원문 정보

키 입력 하나에 평균 7.4초가 걸린 Workbench

Netflix의 ML 엔지니어 Luca Pozzi는 일부 노트북을 돌릴 때 Workbench의 JupyterLab UI가 느려지고 반응을 멈추는 문제를 겪었습니다. 노트북을 실행하는 ipykernel 프로세스를 재시작해도 효과는 잠깐이었습니다. 노트북을 더 돌리면 지연이 돌아왔습니다.

Workbench는 Netflix Data Platform의 Analytics and Developer Experience 조직이 Titus 위에 만든 원격 개발 작업 공간입니다. 데이터 실무자가 대규모 빅데이터·ML 작업을 하는 곳으로, JupyterLab 노트북 실행이 흔한 용도입니다. UI가 느리다는 신고는 여러 사용자에게서 들어왔습니다.

Itay Dafna는 이 불편을 키 입력의 지연으로 쟀습니다. 사용자의 노트북을 실행하는 동안 JupyterLab 터미널에서 j 같은 키를 15초 동안 누르는 방식입니다. stdin 입력은 WebSocket으로 JupyterLab 백엔드에 전달되고, stdout 출력은 돌아와 화면에 표시됩니다. 브라우저 통신을 담은 .har 파일을 내보내 노트북에서 분석하니 지연은 1초에서 10초 사이였습니다. 평균은 7.4초였습니다.

2GB 파일을 읽고 잠드는 재현 코드

복잡한 계산을 빼도 UI는 멈췄습니다. 문제의 노트북에서 코드를 줄여 나가자 외부 라이브러리 없이도 지연을 재현하는 코드가 남았습니다. 2GB 파일을 메모리로 읽은 뒤 os.cpu_count()가 돌려준 CPU 수 N만큼 프로세스를 만들고, 각 프로세스가 60초 동안 잠들게 한 다음 모두 끝나기를 기다리는 코드입니다.

인스턴스의 메모리는 480GB였습니다. 2GB 파일을 읽는 작업이 메모리를 소진할 규모는 아니었고, 새로 만든 프로세스들은 잠들어 있을 뿐이었습니다. 그런데도 UI는 최대 10초까지 멈췄습니다. 읽은 파일은 이후 작업에 쓰지도 않았지만, 그 파일을 읽는 단계를 빼면 지연이 재현되지 않았습니다.

이 결과는 처음 의심했던 라이브러리도 원인에서 제외했습니다. 처음 문제가 생긴 노트북은 C++ 라이브러리 stan의 파이썬 바인딩인 pystan을 사용했습니다. pystan은 asyncio를 쓰는데, asyncio는 중첩할 수 없습니다. pystan 작성자들은 기존 이벤트 루프에서 실행하려고 nest_asyncio를 쓰도록 권장했습니다. nest_asyncio는 제작자가 세상을 떠난 뒤 관리가 끊긴 상태였습니다. 이벤트 루프를 이런 식으로 다루다 보니 pystan의 이벤트가 UI의 WebSocket 처리를 막는 것은 아닌지 의심했습니다.

하지만 이벤트 루프가 있는 프로세스부터 달랐습니다. 노트북은 jupyter-lab 서버의 자식 프로세스인 ipykernel에서 실행되므로, pystan이 영향을 주는 곳은 ipykernel의 이벤트 루프 B입니다. UI의 WebSocket은 서버의 이벤트 루프 A가 처리합니다. 루프 A가 ipykernel의 ZeroMQ 소켓 이벤트도 처리한다는 점은 남았지만, 재현 중 그 소켓의 패킷을 캡처해도 과도한 트래픽은 없었습니다. 사용자도 pystan 없는 노트북에서 지연을 겪었다고 했고, 이제 최소 재현 코드에서도 pystan 없이 같은 문제가 나타났습니다.

8888번 포트에서 멎은 응답

다른 컨테이너가 CPU를 차지했을 가능성도 조사했습니다. Titus는 컨테이너에 할당한 가상 CPU의 합이 에이전트의 물리 CPU 수보다 많도록 운영하므로, 시끄러운 이웃 때문에 CPU를 충분히 쓰지 못할 수 있습니다. 실제로는 이웃 컨테이너도 에이전트 전체도 CPU 사용률이 높지 않았습니다. Workbench 안에서 top으로 확인해도 노트북 실행 중 사용한 CPU는 할당된 64개 중 4개뿐이었습니다.

네트워크에서도 응답이 멎는 구간을 찾았습니다. 터미널에서 j를 누르며 랩톱과 서버 사이의 패킷을 캡처하자, UI가 지연될 때 서버의 8888번 포트에서 랩톱으로 가는 패킷이 5초 동안 끊겼습니다. SSH가 사용하는 22번 포트를 비롯한 다른 포트는 영향을 받지 않았습니다. 이 차이는 네트워크보다 8888번 포트에서 응답하는 JupyterLab 애플리케이션을 가리켰습니다.

UI가 멈추는 동안에는 jupyter-lab 프로세스의 CPU 사용률이 100%로 치솟았습니다. Workbench 전체의 CPU가 부족한 상황은 아니어도, 단일 스레드로 도는 이벤트 루프 A에서는 경합이 의심됐습니다. 노트북은 자식인 ipykernel에서 실행됩니다. 부모인 jupyter-lab은 무엇을 하느라 CPU를 쓰고 있었을까요?

CPU를 감시하다 CPU를 차지한 jupyter_resource_usage

시간은 사용량을 재는 데 쓰이고 있었습니다. 부모 jupyter-lab 프로세스를 py-spy로 프로파일링하니 CPU 시간의 89%가 __parse_smaps_rollup 함수에 잡혔습니다. 터미널 핸들러는 0.47%에 그쳤습니다. 스택을 따라가면 이 함수는 이벤트 루프 A 안에서 실행되며, 호출의 출발점은 JupyterLab 확장인 jupyter_resource_usage였습니다. 확장을 끄고 jupyter-lab을 재시작하자 지연이 사라졌습니다.

확장은 CPU와 메모리 사용량을 표시하려고 통계를 수집합니다. Chrome 개발자 도구의 네트워크 탭에서도 UI가 주기적으로 /metrics/v1 엔드포인트를 호출하는 모습을 확인했습니다. 이 요청을 처리하는 코드는 psutil로 현재 프로세스와 모든 자손 프로세스를 재귀적으로 모은 뒤, 각각에 memory_full_info()를 호출합니다. 자손이 많아질수록 측정 비용도 늘어납니다. ipykernel이 만든 프로세스들은 잠들어 있어도 부모가 조사할 대상에는 포함됐습니다.

여기서 CPU 수가 영향을 줬습니다. Workbench에 할당된 CPU는 64개인데, 재현 코드의 os.cpu_count()는 96을 돌려줬습니다. Titus 컨테이너 안에서 lscpu를 실행하면 에이전트의 물리 CPU 수인 96이, nproc를 실행하면 컨테이너에 할당된 가상 CPU 수인 64가 나왔습니다. 리눅스에는 CPU 네임스페이스가 없어 일부 호출에서 호스트의 CPU 수가 드러납니다. 조사팀은 os.cpu_count()도 lscpu와 같은 정보에 의존했을 것으로 추정했습니다. Python 3.13에는 정확한 수를 얻는 새 호출이 추가됐지만, 조사 당시에는 아직 정식 출시 전이었습니다.

그 차이만큼 측정 대상도 늘었습니다. 재현 코드에서는 잠든 프로세스 96개에 ipykernel과 jupyter-lab을 하나씩 더해 최소 98개를 조사합니다. 할당된 CPU 수를 사용했다면 64 + 1 + 1 = 66개였을 것입니다. CPU 수만큼 프로세스를 만드는 이 코드에서는 CPU가 많을수록 사용량 측정이 오래 걸렸습니다. CPU 사용량을 감시하는 확장이 오히려 CPU 경합을 일으킨 데 이어, CPU가 많아서 더 느려지는 역설까지 나타났습니다.

2GB가 늘린 smaps_rollup 읽기 시간

프로세스 수만으로는 설명이 끝나지 않았습니다. 2GB 파일을 읽지 않으면 프로세스를 두 배로 늘려도 UI가 느려지지 않았습니다. 잠든 자손이 많다는 사실 외에, 파일을 메모리로 읽는 작업이 측정 비용을 키우는 이유가 남아 있었습니다.

__parse_smaps_rollup은 /proc/<pid>/smaps_rollup을 읽습니다. Private_ 항목을 합산해 USS를 구하고 Pss와 Swap을 읽는 함수입니다. 메모리를 많이 쓰면 이 파일도 길어져 파싱이 오래 걸릴 것 같지만, 프로세스마다 파일의 줄 수는 일정합니다. 더구나 /proc 파일은 디스크에서 내용을 읽어 오는 일반 파일이 아닙니다. 커널이 요청을 처리하는 인터페이스입니다.

읽기 시간의 차이는 벤치마크에서 확인됐습니다. 자기 pid의 smaps_rollup을 한 번 읽고, 2GB 파일을 메모리에 읽어 들인 다음 smaps_rollup을 다시 읽었습니다. strace -T로 openat과 read를 추적하니 두 번 모두 read가 반환한 크기는 670바이트였습니다. 크기는 같았습니다. 하지만 읽는 데 걸린 시간은 0.000259초에서 0.027698초로 약 100배 늘었습니다.

차이는 커널이 통계를 모으는 작업에 있었습니다. open 시스템 콜의 핸들러를 따라가면 single_open을 거쳐 show 연산을 담당하는 show_smaps_rollup에 도달합니다. 이 함수의 do-while 루프는 프로세스의 가상 메모리 영역(VMA)을 순회하며 영역마다 smap_gather_stats를 호출합니다. 이 과정의 비용은 가상 메모리 사용량에 비례합니다. 출력할 통계의 줄 수가 같아도, 2GB 파일을 메모리로 읽은 뒤에는 통계를 구하는 데 더 긴 시간이 걸렸습니다.

smaps_rollup 자체도 성능을 개선하려고 만든 인터페이스였습니다. 사용자 프로그램이 /proc/<pid>/smaps를 파싱해 메모리 통계를 합산하는 비용을 줄이려고 2017년 커밋에서 도입됐습니다. 그 개선 뒤에도 가상 메모리 사용량에 비례하는 비용은 남아 있었습니다.

프로세스 98개에 벤치마크의 읽기 시간을 적용하면 98 × 0.027698 ≈ 2.7초입니다. 이 파일을 읽는 데만 그 정도 시간이 든다는 계산입니다. UI 이벤트도 처리해야 하는 루프 A에는 충분히 긴 지연입니다. CPU 수에 따라 늘어난 프로세스 수와 가상 메모리 크기가 함께 비용을 키웠고, 보통 따로 보던 자원이 이 문제에서는 함께 작용했습니다.

응답성을 되찾기 위해 끈 사용량 막대

해결에 앞서 사용량 표시가 꼭 필요한지 확인했습니다. jupyter-resource-usage는 노트북 아래 막대에 노트북 프로세스의 CPU와 메모리 사용량을 보여 주는 확장입니다. 사용자에게는 이 기능이 작업에 중요하지 않았고, 확장을 껐을 때의 UI 응답성으로 요구가 충족됐습니다. 팀은 사용자에게 확장을 끄는 방법을 안내했습니다.

측정값과 환경 수치
항목값
지연 측정 방법터미널에서 키를 15초 누르고 .har 분석
UI 지연1~10초, 평균 7.4초
노트북 실행 중 CPU 사용할당 64개 중 4개
패킷 중단포트 8888에서 5초
인스턴스 메모리 / 읽은 파일480GB / 2GB
CPU 수os.cpu_count() 96(호스트), nproc 64(할당)
py-spy 프로파일__parse_smaps_rollup 89%, 터미널 핸들러 0.47%
smaps_rollup read 시간0.000259초에서 0.027698초로 약 100배
프로세스 수재현 시 98개, 정상 기준 66개
98개 프로세스의 읽기 총 시간약 2.7초
마지막 수정 일자