목차
하드웨어 카운터로 추적한 JVM 슈퍼클래스 캐시의 병목 (2022-11)
원문 정보
- 원문: Seeing through hardware counters: a journey to threefold performance increase
- 매체 · 게시일: Netflix TechBlog · 2022-11-09
- 저자: Vadim Filanovsky, Harshad Sane
- 원문 내용을 바탕으로 재구성한 요약입니다.
48 vCPU에서 벌어진 GS2 노드의 격차
vCPU는 세 배가 됐습니다. 그런데 같은 CPU 목표 55% 근처에서 평균 처리량은 약 25%만 늘었고, 평균 지연 시간은 오히려 50% 넘게 길어졌습니다. CPU와 지연 시간 그래프도 들쭉날쭉했습니다.
출발은 평범한 인스턴스 이전이었습니다. Netflix는 가용 용량을 더 잘 쓰기 위해 워크로드를 주기적으로 재평가하는데, 이번 대상은 연산량이 많고 CPU가 성능을 제한하는 Java 마이크로서비스였습니다. 글에서 GS2라고 부르는 이 서비스를 m5.4xl(16 vCPU)에서 m5.12xl(48 vCPU)로 옮길 계획이었습니다. 처리량이 vCPU 수에 정확히 비례하기는 사실상 어렵지만, 그에 가까운 증가는 기대할 만했습니다. 큰 인스턴스로 모으면 백그라운드 작업의 분담 비용도 줄어 선형 확장에 못 미치는 손실을 상쇄할 여지가 있었습니다. 인스턴스당 처리량을 대략 세 배로 예상한 배경입니다.
카나리에서는 오류가 없었고 지연 시간도 줄었습니다. 그렇다고 늘어난 용량을 확인한 것은 아니었습니다. 표준 카나리 설정은 4xl 기준 인스턴스와 12xl 카나리에 같은 양의 트래픽을 보내므로, 큰 인스턴스의 지연 시간이 낮은 것은 예상한 결과였습니다. Netflix는 새 타입으로 서비스를 재배포한 뒤, CPU 목표 추적 방식의 EC2 Auto Scaling이 ASG 규모를 조정하기를 기다렸습니다. 그 뒤 나타난 결과가 처리량 25% 증가와 지연 시간 악화였습니다.
더 이상한 단서는 노드별 그래프에 있었습니다. GS2는 라운드 로빈 계열 로드 밸런서 뒤에서 동작하는 무상태 서비스였고, RPS로 확인한 노드별 요청량도 거의 같았습니다. 그런데 CPU와 지연 시간은 뚜렷한 두 무리로 나뉘었습니다. 아래쪽에는 사용률과 지연 시간이 낮고 안정적인 노드가, 위쪽에는 둘 다 높고 변동도 큰 노드가 모였습니다. 빠른 노드는 전체의 약 12%였습니다. 이 비율은 시간이 지나도 수상할 만큼 일정했고, 각 노드는 JVM이 살아 있는 내내 같은 무리에 머물렀습니다.
플레임 그래프 너머의 하드웨어 카운터
느린 노드와 빠른 노드가 서로 다른 일을 하고 있는지부터 확인했습니다. 플레임 그래프에는 CPU 사용량 차이가 샘플 수로 드러났지만, 스택 분포는 같았습니다. 기본 hotspot 통계와 Java Flight Recorder로 수집한 이벤트 수·분포에도 눈에 띄는 차이가 없었습니다. JIT 동작이 달라졌을 가능성을 보고 perf-map-agent의 심볼 맵 통계까지 비교했으나 단서를 찾지 못했습니다.
현대 JVM은 대부분의 워크로드에서 고도로 최적화된 성능을 내며, 때로는 C++에 견주기도 합니다. 그래도 성능이 애플리케이션 코드뿐 아니라 JVM 구현 자체에 좌우되는 워크로드가 있습니다. Netflix의 앞선 글 “A Microscope on Microservices”는 관측 배율을 플릿 전체, 마이크로서비스, 인스턴스로 나눴습니다. 이번에는 인스턴스 안에서도 더 깊은 곳, CPU 마이크로아키텍처를 들여다봐야 했습니다.
m5.12xl은 기본적인 PMC, 즉 성능 모니터링 카운터를 노출합니다. PerfSpect로 빠른 노드와 느린 노드의 카운터를 수집하자 이전 도구에서는 보이지 않던 차이가 나타났습니다. 느린 노드의 CPI, 명령어당 사이클 수는 거의 3배였습니다. L1 캐시 활동도 훨씬 많았고 MACHINE_CLEARS는 4배에 달했습니다. 같은 명령어를 실행하는 데 더 많은 사이클을 쓰고 있었습니다. 이런 조합의 흔한 원인 중 하나가 거짓 공유(false sharing)입니다.
서로 무관한 변수가 함께 쓰는 캐시 라인
거짓 공유는 서로 무관한 변수를 읽고 쓰는 코어들이 같은 캐시 라인을 건드릴 때 발생합니다. 캐시 라인은 메모리 페이지처럼 연속된 데이터 덩어리지만 훨씬 작습니다. x86에서는 보통 64바이트이며, 캐시는 이 단위로 데이터를 주고받습니다.
문제는 변수 사이의 관계를 캐시가 구분하지 않는다는 데 있습니다. 코어마다 전용 캐시가 있으므로, 같은 메모리를 일관되게 보려면 캐시 일관성 프로토콜이 필요합니다. 스레드 0이 빨간 변수에 값을 쓰면 해당 라인 전체가 스레드 0의 캐시에서는 modified, 스레드 1의 캐시에서는 invalidated 상태가 됩니다. 이후 스레드 1이 파란 변수를 읽으려 해도 라인 전체를 마지막으로 수정한 캐시에서 다시 가져와야 합니다. 파란 변수 자체는 바뀌지 않았는데도 말입니다.
이렇게 캐시 사이의 일관성을 맞추는 동안 CPU는 기다립니다. 라인이 탁구공처럼 오가는 트래픽은 마지막 레벨의 공유 캐시 컨트롤러도 거쳐야 하므로 정체가 더해집니다. 평소에는 당연하게 여기는 캐시 일관성이, 이웃한 무관한 데이터 탓에 단순한 읽기에도 큰 비용을 만드는 상황입니다.
이 가능성을 염두에 두고 Intel vTune으로 분석하자, 실행이 집중된 메서드의 어셈블리에서 CPI가 100을 넘는 명령어들이 보였습니다. 측정 위치에는 주의가 필요했습니다. PEBS(Processor Event-Based Sampling) 없이 프로파일링하면 기록 위치가 어긋나는 skid가 생길 수 있으며, 보통 명령어 하나만큼 밀리므로 표시된 CPI가 직전 명령어의 값일 가능성이 있었습니다.
해당 구간을 알아보는 단서는 repne scan이었습니다. JVM 코드에서 드문 이 연산 덕분에 병목을 서브클래스 검사 루틴까지 좁혔습니다. 글을 쓰던 당시 JDK 메인라인에도 같은 코드가 있었습니다.
이 워크로드의 클래스 계층에서는 검사 경로가 _secondary_super_cache를 계속 갱신했습니다. 마지막으로 찾은 보조 슈퍼클래스 하나를 저장하는 필드입니다. 바로 옆에는 모든 슈퍼클래스의 목록인 _secondary_supers가 있고, 검사 루틴은 스캔을 시작할 때 이 목록을 읽습니다. 여러 스레드가 한 필드를 쓰고 다른 필드를 읽는 동안 두 필드가 같은 캐시 라인에 놓여 있다면, 앞서 본 빨간 변수와 파란 변수의 상황이 그대로 재현됩니다.
빠른 노드 12%를 설명한 JDK의 데이터 배치
이제 유독 일정했던 빠른 노드의 비율을 설명할 수 있었습니다. 캐시 라인은 64바이트이고 포인터는 8바이트이므로, 두 필드가 서로 다른 라인에 놓일 확률은 8분의 1입니다. 나머지 8분의 7은 같은 라인을 공유합니다. 8분의 1, 즉 12.5%는 실제로 관찰한 빠른 노드 약 12%와 맞아떨어졌습니다.
JDK 패치가 필요했지만 수정 자체는 작았습니다. _secondary_super_cache와 _secondary_supers 사이에 패딩을 넣어 두 필드가 같은 캐시 라인에 들어가지 않게 했습니다. 기능 동작은 그대로 두고 데이터 배치만 바꾼 것입니다.
효과는 배포 직후 나타났습니다. 정오에 레드-블랙 배포를 시작했고, 패치된 JDK를 사용하는 새 ASG가 12시 15분까지 기존 ASG를 대체했습니다. CPU 그래프에서 느린 노드들이 모여 있던 위쪽 무리가 사라졌습니다. 지연 시간에서도 같은 변화가 확인됐습니다.
패딩 뒤에도 쓰기가 몰린 슈퍼클래스 캐시
축하하기에는 일렀습니다. 오토스케일링이 CPU 목표에 도달한 뒤에도 노드당 처리량은 약 150 RPS에서 더 오르지 않았습니다. 목표는 약 250 RPS였습니다. 패치한 JDK에 vTune을 다시 실행했더니, 또 보조 슈퍼클래스 캐시 조회 주변에서 병목이 나타났습니다.
필드를 떨어뜨려 놓았는데 같은 곳이 느렸습니다. 이번에는 여러 스레드와 코어가 같은 변수를 읽고 쓰는 진짜 공유(true sharing)가 문제였습니다. 서로 다른 변수가 우연히 한 라인을 차지해서 생긴 비용은 없앴지만, 공유 변수에 접근할 때 CPU가 강제하는 메모리 순서의 비용이 남아 있었습니다. Netflix는 거짓 공유를 제거한 뒤 처리량이 늘면서 같은 슈퍼클래스 캐시 경로가 더 자주 실행됐고, 높아진 동시성이 메모리 순서를 유지하는 프로토콜에 부담을 준 것으로 해석했습니다.
이런 경우의 흔한 해법은 공유 변수에 쓰지 않는 것입니다. Netflix도 JVM의 보조 슈퍼클래스 캐시에 쓰기를 중단해 캐시를 우회하도록 바꿨습니다. 패딩과 달리 JDK의 동작을 바꾸는 수정이므로 명령줄 플래그로 제어하게 했습니다.
캐시 쓰기를 끈 뒤에는 같은 CPU 목표 55%에서 약 350 RPS에 도달했습니다. m5.12xl로 옮긴 직후 얻었던 처리량의 3.5배입니다. 평균 지연 시간과 꼬리 지연 시간도 함께 줄었습니다.
해결 뒤에야 눈에 들어온 JDK-8180450
답을 찾고 나자 이미 있던 버그 보고가 보였습니다. 5년 넘게 잠들어 있던 JDK-8180450에는 바로 이 문제가 기술돼 있었습니다. 해결하고 나서야 정확히 같은 문제를 발견했다는 아이러니입니다. Netflix는 이번 조사 결과가 기존의 진단과 해결 작업을 보완하리라 봤습니다.
보조 슈퍼클래스 캐시의 쓰기를 끄는 수정은 이 워크로드에서 효과를 냈지만, 모든 경우에 적합하다는 뜻은 아닙니다. 저자들이 방법과 도구, 패치를 함께 공개한 이유도 비슷한 증상을 겪는 사람들이 자기 문제를 진단하는 데 도움을 주기 위해서였습니다.
관측 도구에도 더 열릴 여지가 남았습니다. 이 문제에서는 CPU 마이크로아키텍처 수준까지 내려간 관찰이 병목을 찾는 유일한 길이었고, m5.12xl의 기본 PMC만으로도 vTune에서 유용한 단서를 얻었습니다. 저자들은 클라우드의 모든 인스턴스 타입과 크기에서 더 폭넓은 PMC와 PEBS를 제공한다면 더 깊이 분석하고 더 큰 개선을 얻을 수도 있으리라 제안했습니다. 이는 이번에 측정한 성과와 구분되는 기대입니다.
게시 후에는 독립적으로 진행된 관련 작업을 알게 됐다는 후기도 추가됐습니다. 슈퍼클래스 캐시가 정규식 패턴 매칭에 미치는 영향을 다룬 글, 에이전트로 JDK-8180450을 자동 탐지하는 도구, 다른 진단 접근법을 설명하는 영상입니다. 같은 문제를 추적하는 오픈소스 커뮤니티와 정보를 나누려는 취지로 소개한 자료들입니다.
인스턴스 이전과 JDK 패치의 측정 수치
| 항목 | 값 |
|---|---|
| 인스턴스 | m5.4xl(16 vCPU)에서 m5.12xl(48 vCPU)로 이전 |
| CPU 목표 | 55% |
| 이전 직후 처리량 변화 | 평균 약 25% 증가, 평균 지연 시간 50% 이상 악화 |
| 아래 밴드 노드 비율 | 약 12%(두 필드가 다른 캐시 라인에 놓일 확률 1/8 = 12.5%와 일치) |
| 느린 노드의 카운터 | CPI 약 3배, MACHINE_CLEARS 4배 |
| 패딩 패치 뒤 | 노드당 약 150 RPS에서 정체(목표 약 250 RPS) |
| 슈퍼클래스 캐시 쓰기 비활성화 뒤 | 약 350 RPS(처음 처리량의 3.5배) |