본문으로 건너뛰기
수백 GB 힙에서 오래 멈추던 우버 데이터 플랫폼의 JVM
목차

수백 GB 힙에서 오래 멈추던 우버 데이터 플랫폼의 JVM (2020-02)

원문 정보

  • 원문: Tricks of the Trade: Tuning JVM Memory for Large-scale Services
  • 매체 · 게시일: Uber Engineering Blog · 2020-02-26
  • 저자: Girish Baliga(Pinot·Flink·Presto 팀 매니저), Xinli Shang(Presto committer, Uber Open Source Committee), Fengnan Li(Data Infrastructure Engineering Manager, Apache Hadoop committer), Amruth Sampath(Data Platform Senior Engineering Manager)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

데이터가 늘며 길어진 JVM의 정지

우버의 데이터 플랫폼이 커지면서 서비스가 요구하는 메모리도 크게 늘었습니다. 문제는 용량에서 끝나지 않았습니다. 긴 GC 정지와 메모리 손상, OOM 예외, 메모리 누수가 나타났고, 힙을 늘린 뒤 오히려 GC에 더 오래 걸리는 서비스도 있었습니다.

이 플랫폼의 쿼리는 이용자가 몰리는 행사 때의 승차 수요 예측부터 드라이버 가입 과정의 병목 진단까지 여러 의사결정을 뒷받침합니다. Hadoop 기반 플랫폼은 수백 PB의 분석 데이터를 최소한의 지연으로 받아 HDFS 데이터 레이크에 저장합니다. 대화형 쿼리와 오래 실행되는 쿼리는 Hive, Presto, Spark가 처리하며, 모두 Java나 Scala로 작성되어 오픈소스 JVM에서 동작합니다.

우버 엔지니어들은 GC 파라미터와 힙 크기를 조정하고, 애플리케이션이 객체를 만드는 속도도 낮췄습니다. 바꿔야 할 곳은 서비스마다 달랐습니다. Hive Metastore에서는 지표 수집 코드가, HDFS NameNode에서는 세대별 메모리 배분이, Presto에서는 문자열 메모리를 절약하는 기능이 긴 정지의 원인을 찾는 단서가 됐습니다.

튜닝할 지점을 가려 주는 GC 로그

GC는 힙에서 사용 중인 객체를 가려내고 더 이상 쓰지 않는 객체의 메모리를 회수합니다. 새 객체가 들어오는 Young Generation이 가득 차면 마이너 GC가 실행됩니다. 이때는 모든 애플리케이션 스레드가 멈추는 Stop the World 정지가 발생합니다. 오래 살아남은 객체는 Old Generation으로 옮겨 가며, 이 영역을 회수하는 메이저 GC의 정지 범위는 컬렉터에 따라 달라집니다.

Serial, Parallel, CMS, G1 같은 전통적인 컬렉터는 힙이 커질수록 정지 시간도 늘어납니다. 수백 GB 힙에서는 부담이 큽니다. 여기에 객체가 빠르게 만들어지면 GC 빈도와 정지 시간도 영향을 받으므로, 힙 크기와 객체 생성 속도를 함께 살펴야 합니다.

우버는 HDFS NameNode, Hive Server2, Presto 코디네이터 같은 대규모 서비스에서 JVM 튜닝이 성능과 안정성을 높이는 데 효과적이라고 봅니다. 판단 기준 중 하나는 GC 정지가 자주 100ms를 넘는지입니다. 이런 정지가 반복되면 성능이 나빠지고, 보통 튜닝이 필요한 시점입니다. 그렇다고 JVM 파라미터를 모두 바꿀 이유는 없습니다. 실제로 성능을 크게 좌우하는 설정은 대개 한두 개였고, 우버는 GC 로그에서 그 대상을 좁혀 갔습니다.

요청이 없어도 바쁘던 Hive Metastore

Hive Metastore에서는 객체 생성을 줄이자 요청 지연도 크게 내려갔습니다. 원인은 지표 수집 데몬의 백오프 설정이었습니다. 이를 찾아낸 결정적인 단서는 사용자 트래픽이 없는 인스턴스에서도 힙 사용량이 똑같이 출렁인다는 점이었습니다.

Hive Metastore는 테이블 메타데이터를 보관하며 Hive뿐 아니라 Spark와 Presto에도 이를 제공합니다. 우버에서는 인스턴스 하나가 분당 1,500~2,000건의 요청을 처리하고 50GB 힙을 사용했습니다. 이 서비스가 느려지면 Presto처럼 여기에 의존하는 서비스에서는 지연이 더 크게 나타납니다.

내부 사용자들이 보고한 증상은 간헐적인 지연 급증이었습니다. 평소 100ms 미만이던 요청이 가끔 2~4초까지 걸렸고, 50ms 미만이어야 할 getTable 호출도 3초나 기다려야 했습니다. 우버는 상위 의존 서비스의 성능 저하, 동기화나 큐 경쟁, GC 정지를 원인 후보로 잡았습니다. 의존 서비스에는 성능 저하가 없었고 조사한 API 코드에도 잠금이 없어, GC 로그를 확인하는 쪽으로 조사를 좁혔습니다.

GCeasy 보고서에는 0~1초 사이에 끝난 GC가 2,258번 있었고, 평균 정지 시간은 약 177ms였습니다. 한두 개의 이상치보다 잦은 정지가 문제였습니다. 모두 Young Generation GC였으며, 새 객체가 빠르게 생겼다가 Old Generation으로 넘어가기 전에 사라지고 있었습니다. 가비지 생성 속도는 약 400Mbps였고, 힙 사용량도 크게 오르내렸습니다.

가비지가 많이 생기는 이유로는 바쁜 애플리케이션이나 비효율적인 메모리 관리를 의심할 수 있습니다. 하지만 트래픽을 받지 않는 비운영 인스턴스에서도 같은 패턴이 나왔습니다. 요청량으로 설명할 수 없는 상황이었습니다.

jstack으로 스레드 덤프를 반복해서 확인하자, 실행 가능 상태인 스레드는 거의 없는데 하나만 계속 같은 상태로 남아 있었습니다. JVM 지표를 수집하는 데몬이었습니다. 이 스레드는 mbean에서 JVM의 주요 지표를 읽고 TSDB 서버에 게시하는 작업을 반복했습니다.

반복 사이의 백오프는 1초여야 했습니다. 실제 설정은 1밀리초였습니다. 초당 1,000번씩 mbean 지표를 조회하면서 대량의 객체를 만들고 있었던 것입니다. 백오프를 바로잡자 힙 사용량의 출렁임이 잦아들었고, GC 횟수는 2,258번에서 143번으로 줄었습니다. Hive Metastore의 지연도 크게 낮아졌습니다. 객체 생성 속도를 낮춘 변경이 Young Generation GC로 서비스를 멈추는 횟수까지 줄였습니다.

힙을 키운 뒤 더 오래 멈춘 HDFS NameNode

HDFS에서는 GC 튜닝으로 처리량이 약 50% 늘고 지연이 약 20% 줄었습니다. 이 성과의 배경에는 활성 NameNode를 수평 확장할 수 없다는 제약이 있습니다. 파일과 노드가 늘어도 활성 마스터 하나가 클러스터 메타데이터와 상태를 메모리에 보관해야 합니다.

NameNode가 관리하는 정보에는 모든 파일과 디렉터리의 메타데이터, 블록 복제본이 어느 머신에 있는지 나타내는 매핑이 포함됩니다. 파일 연산을 처리할 때 만드는 중간 객체도 메모리를 차지합니다. 일부 클러스터에서는 메모리 사용량이 200GB를 넘었습니다. 범용 하드웨어로 높은 내결함성과 처리량을 제공하는 HDFS도, 이 지점에서는 NameNode가 중앙 병목이 됩니다.

우버는 ViewFs, HDFS 업그레이드, 작은 파일 수 억제, Observer NameNode, NameNode Federation 등을 시도했습니다. GC 튜닝도 그중 하나입니다. 이 작업들은 확장성 문제를 완화했지만 없애지는 못했습니다. 그 안에서 GC 튜닝은 NameNode가 멈추는 시간을 줄여 요청 지연과 처리량을 개선하는 데 효과적이었습니다.

힙을 늘릴 때 그대로 둔 Young Generation

우버가 앞선 글에서 소개한 첫 번째 튜닝에 이어 두 번째 튜닝을 진행할 때, GC 로그에는 100ms를 넘는 마이너 GC 정지가 많았고 1초를 넘는 경우도 있었습니다. 무시할 만큼 짧으리라 예상했던 정지가 RPC 큐 대기 시간과 종단 간 지연을 늘리고 있었습니다.

NameNode는 Old Generation에 CMS를, Young Generation에 ParNew를 사용했습니다. ParNew는 실행 중 애플리케이션을 멈춥니다. 몇 달 전 메모리 수요가 늘어 총 힙을 120GB에서 160GB로 키웠지만 다른 파라미터는 그대로였고, 그 뒤 GC 시간이 늘었습니다. GCViewer로 보니 정지 시간의 주된 원인은 ParNew였으며, 평균 ParNew 시간은 힙 증설 전보다 약 35% 길어졌습니다.

Old Generation이 커진 일이 Young Generation GC에 영향을 준 것인지 확인했습니다. Eden을 6GB로 고정하고 총 힙이 50GB일 때와 160GB일 때를 비교하자, Old Generation이 클수록 ParNew 시간이 크게 늘었습니다. 우버는 Young Generation의 살아 있는 객체를 참조하는지 확인하려고 Old Generation을 훑는 과정에서 시간이 더 드는 것으로 추정했습니다.

이 가설에 따라 Young Generation 크기와 -XX:ParGCCardsPerStrideChunk를 조정했습니다. 이 파라미터는 Old Generation에서 Young Generation으로 향하는 참조를 찾는 작업을 GC 워커 스레드에 얼마나 잘게 나눠 줄지 정합니다.

운영 파일시스템을 그대로 복제하기는 어려웠습니다. 대신 NameNode 트래픽을 기준으로 시험을 설계했습니다. 메모리 부담이 큰 listStatus, contentSummary, 쓰기 연산에 집중했고, 큰 Apache Spark 작업으로 시험용 NameNode에 파일시스템 연산을 대량으로 발생시켰습니다. 비교한 설정은 아래와 같습니다.

  • 기존 설정: -Xmx160g -Xmn7.4g
  • 기존 설정에 -XX:ParGCCardsPerStrideChunk=32k 추가
  • Young Generation 증설과 작업 분할 조정: -Xmx160g -Xmn16g -XX:ParGCCardsPerStrideChunk=32k

시험한 조합 중에서는 Young Generation을 16GB로 늘리고 ParGCCardsPerStrideChunk를 32k로 설정했을 때 결과가 가장 좋았습니다. RPC 큐 평균 시간은 500ms를 넘던 수준에서 400ms로 줄고, 처리 건수는 8,000에서 12,000으로 늘었습니다. 최대 GC 시간도 22초에서 1.5초로 짧아졌으며, 최대 GC 횟수는 90에서 70으로 감소했습니다.

더 크게 잡는다고 계속 좋아지지는 않았습니다. Young Generation을 32GB로 늘린 시험은 훨씬 나쁜 결과를 냈습니다. 총 힙을 키울 때 Young Generation도 함께 키워야 한다는 점과, 그 크기는 부하 시험으로 골라야 한다는 점이 함께 드러났습니다.

우버가 제시한 일반적인 Young Generation 크기는 총 힙의 20~50%이며, 객체 생성 속도가 높은 서비스에서는 더 크게 잡습니다. 그러나 이 범위만으로 실제 설정값이 정해지지는 않습니다. 총 힙 크기를 먼저 정한 다음 Young Generation 크기를 바꾸며 성능 지표를 비교하는 것이 우버가 권한 순서입니다.

변경 없이 남겨 둔 GC 설정

모든 파라미터가 조정 대상은 아니었습니다. Old Generation에서는 다음 GC를 시작할 점유율 임계값인 CMSInitiatingOccupancyFraction을 살폈지만, 기존 값 40을 유지했습니다. CMS가 전체 정지 시간에서 차지하는 비중이 3.2%에 불과했기 때문입니다.

GC 로그 표본에서 초기 마킹과 최종 리마크 사이 Old Generation의 사용량은 한 시간 동안 약 4GB 늘었습니다. 전체 160GB 힙 중 107GB(67%)를 쓰고 있었으므로, Old GC 없이 한 시간이 더 지나면 111GB(69%)가 될 것으로 계산했습니다. 임계값을 조금 높일 여지는 있었지만 마킹 정지가 길어질 가능성도 있었습니다. 우버는 이 값을 조정하려면 Old Generation의 증가율과 Old GC가 전체 정지에서 차지하는 비중을 함께 봐야 한다고 판단했습니다.

TLABSize도 기본값을 유지했습니다. TLAB는 스레드마다 Eden의 일부를 전용 할당 영역으로 사용해 객체 할당 때 동기화를 피하게 해 줍니다. Java Flight Recorder로 확인한 결과 JVM의 자동 크기 조정이 잘 작동했고, 낭비율도 약 1.1%였습니다. 따로 크기를 고칠 이유가 없었습니다.

애플리케이션과 병행해 일하는 GC 스레드 수인 ConcGCThreads는 기본값 6에서 12, 24로 늘려 보았습니다. RPC 큐 평균 시간은 나아지지 않았습니다. GC에 스레드를 더 배정하면 애플리케이션이 쓸 자원도 줄어들므로 기존 값을 유지했습니다. NameNode에서 효과를 낸 변경은 Young Generation 크기와 참조 탐색 작업의 분할 단위였습니다. 파일시스템의 변화와 프로세스의 메모리 사용 특성을 확인한 덕분에, 수많은 JVM 설정 가운데 바꿀 곳과 그대로 둘 곳을 구분했습니다.

200GB 힙에서도 멈춰 선 Presto 코디네이터

Presto 코디네이터에서는 메모리를 절약하는 기능을 끄자 GC 정지와 오류율이 낮아졌습니다. 저지연 컬렉터 G1을 사용하고 있었지만, 그것만으로 긴 정지가 사라지지는 않았습니다.

Presto는 Hadoop 데이터 레이크에서 대화형 분석 쿼리를 실행하는 분산 SQL 엔진입니다. 클러스터마다 코디네이터 하나가 SQL을 파싱하고 쿼리를 계획하며 여러 워커를 관리합니다. 클라이언트도 이 노드에 쿼리를 제출하므로, 코디네이터가 멈추면 클러스터 전체의 요청 처리가 영향을 받습니다. 우버는 이 역할에 200GB 힙을 할당했습니다.

쿼리가 늘면서 주간 평균 오류율은 최대 2.75%까지 올랐습니다. 신뢰성이 97.25%에 그친 것입니다. 로그를 확인하니 GC 정지가 전체 실행 시간의 6.59%까지 차지했습니다. 정지 중에는 요청 처리도 멈춥니다. 그만큼 지연이 길어지고 세션 타임아웃이 발생했습니다.

문자열 메모리를 절약하던 String Deduplication

정지 시간의 상당 부분은 String Deduplication에 쓰이고 있었습니다. Java 8 update 20에서 도입한 이 기능은 중복 문자열이 차지하는 메모리를 줄입니다. G1이 문자열 객체를 방문해 해시 값을 기록하고, 해시가 같은 문자열을 만나면 char 배열을 비교합니다. 배열 내용까지 같으면 하나의 배열을 공유하게 하고 나머지를 회수합니다.

절약에는 작업 시간이 들었습니다. JDK 문서는 주로 메모리 절약 효과를 설명하고 오버헤드는 간략히 다루지만, 우버는 힙이 수백 GB에 이르면 이 비용이 커질 수 있음을 확인했습니다. String Deduplication을 끄자 GC 정지 비중은 전체 실행 시간의 6.59%에서 3%로 내려갔습니다. 이 변경 전후의 오류율은 2.5%에서 0.73%로 줄었습니다.

메모리를 거의 되찾지 못한 풀 GC

다른 장애에서는 코디네이터가 새 쿼리를 받지 못하고, 이미 실행 중인 쿼리도 진행하지 못했습니다. 서비스 로그에는 RequestErrorTracker의 task status 조회 오류 WARN이 남아 있었으며, jstack에서는 블록된 스레드가 많이 보였습니다. GC 로그에는 긴 정지가 이어진 뒤 JVM OOM이 발생한 기록이 있었습니다.

GCeasy로 확인한 정지 시점에는 풀 GC가 여러 번 실행됐습니다. 회수한 메모리는 극히 적었습니다. 한 번의 풀 GC가 실행을 이어 갈 만큼 메모리를 확보하지 못하자 다시 풀 GC가 발생했고, 이 과정이 OOM과 서비스 중단으로 이어졌습니다.

이런 연속 풀 GC는 보통 애플리케이션에 필요한 양보다 힙을 작게 할당했을 때 생깁니다. 이때는 GC가 실제로 얼마나 회수하는지, 회수한 뒤에도 얼마나 남는지를 봐야 합니다. 우버는 verbose GC 로그에서 최대 메모리 풋프린트를 확인했습니다. 풀 GC가 가비지를 모두 회수한 뒤에도 남는 힙 사용량의 최댓값이며, 총 힙은 이보다 커야 합니다.

힙을 늘릴 때는 호스트의 다른 메모리 용도도 계산해야 합니다. 우버가 제시한 일반적인 기준은 JVM에 사용할 수 있는 RAM의 75% 미만입니다. 운영체제와 다른 프로세스가 쓸 공간을 남기고, Linux에서는 IO 버퍼링도 고려합니다.

우버는 트래픽이 몰리는 경우에 대비해 총 힙을 최대 메모리 풋프린트보다 20% 크게 잡았습니다. 이 장애에서는 기존 힙을 10% 늘리자 연속 풀 GC 문제가 해결되고 힙 사용량도 안정됐습니다. 같은 Presto 코디네이터의 정지라도, 문자열 중복 제거에 쓰는 시간을 줄여야 했던 경우와 실제 사용량에 맞춰 힙을 늘려야 했던 경우는 해법이 달랐습니다.

더 큰 힙에서도 정지가 짧았던 C4

NameNode에서는 설정을 조정한 뒤에도 데이터 증가에 따라 메모리 압박이 커졌습니다. 우버는 컬렉터를 바꾸는 시험으로 범위를 넓혔습니다. 수백 GB에서 TB에 이르는 힙을 쓰는 서비스에서는 전통적인 컬렉터의 긴 정지가 부담이었고, C4, ZGC, Shenandoah처럼 GC 작업을 애플리케이션과 병행하며 점진적으로 수행하는 컬렉터가 유망한 후보였습니다.

먼저 Java 9부터 기본 컬렉터이며 우버에서도 널리 쓰던 G1을 시험했습니다. 운영 부하를 흉내 낸 결과는 기대에 못 미쳤습니다. JVM 힙으로 200GB를 예약한 NameNode에 약 150GB의 오프힙 메모리가 추가로 필요했고, 그러고도 CMS보다 성능이 낫지 않았습니다.

다음 후보는 Azul의 Zing JVM과 기본 컬렉터인 C4(Continuous Concurrently Compacting Collection)였습니다. 최대 650GB 힙까지 시험했을 때 대부분의 정지가 3ms 미만이었다는 점이 선택의 근거였습니다. C4는 GC 스레드가 애플리케이션 스레드와 병행해 일하며, 힙이 커져도 정지 시간이 늘지 않는 특성을 보였습니다.

CMS와 비교할 지표는 RPC 큐 지연으로 잡았습니다. 시험에는 40코어 CPU와 256GB 메모리를 갖춘 장비를 사용했고, 대상 NameNode는 힙으로 200GB를 예약한 상태에서 실제로 약 150GB를 사용했습니다. 운영 트래픽을 재생하는 데는 Dynamometer를 썼습니다. 운영 하드웨어의 5% 미만으로 수천 노드 규모 HDFS 클러스터를 흉내 내는 도구입니다.

이 조건에서 C4의 RPC 큐 지연은 CMS보다 약 30% 낮았습니다. P90 지연은 약 24ms에서 약 17ms로, 29% 줄었습니다. 우버는 요청 지연을 줄이는 효과와 힙이 커져도 정지가 늘지 않는 특성을 근거로 다른 팀에도 C4를 권할 만하다고 평가했습니다.

더 큰 힙에서도 시험을 이어 갔습니다. 파일과 디렉터리를 나타내는 INode를 두 배, 세 배로 늘려 약 300GB와 450GB의 힙을 만들자, CMS는 NameNode를 시작하는 것조차 힘들어했지만 Zing은 처리했습니다. Zing은 CMS와 G1이 감당하지 못하는 큰 힙에서도 동작했으며, CPU가 강력하거나 코어가 많은 장비에서 특히 좋은 성능을 냈습니다.

오프힙 부담은 남았습니다. C4는 CMS보다 오프힙 메모리를 더 사용하므로, 메모리가 이미 부족한 서버에서는 OOM을 피할 여유부터 확보해야 합니다. 짧은 GC 정지라는 결과를 적용할 때 함께 고려해야 할 조건입니다.

글을 쓸 당시 우버는 스테이징의 시험 결과를 바탕으로 운영 HDFS NameNode에 C4를 통합하기 시작했습니다. NameNode 병목을 막고 요청 지연을 낮추리라는 기대였습니다. 운영 도입의 완료나 운영 환경에서의 동일한 개선까지 확인한 결과는 아니었습니다.

다음 튜닝 대상으로 남은 Spark

우버가 더 살펴보려던 영역은 분산 애플리케이션의 GC, 특히 Apache Spark였습니다. 데이터 수집 파이프라인이 Spark 위에서 동작하고 Hive도 Spark에 의존하기 때문입니다. 우버가 공개한 오픈소스 도구 JVM Profiler는 Spark의 GC 동작을 분석하고 개선할 지점을 찾는 데 활용할 수 있는 도구로 제시됐습니다.

원문의 주요 수치와 설정값
항목값
NameNode 메모리일부 클러스터에서 200GB 이상
총 힙 변경120GB에서 160GB, 이후 ParNew 평균 시간 약 35% 증가
시험한 세 번째 설정-Xmx160g -Xmn16g -XX:ParGCCardsPerStrideChunk=32k
RPC 큐 평균 시간500ms 이상에서 400ms
RPC 큐 처리 건수8,000에서 12,000
최대 GC 시간22초에서 1.5초
최대 GC 횟수90에서 70
CMSInitiatingOccupancyFraction기존 40 유지, CMS 정지 비중 3.2%
TLAB 낭비율약 1.1%
ConcGCThreads 시험6, 12, 24 (개선 없음)
G1 오프힙힙 200GB에 약 150GB 추가
C4 시험 힙 규모최대 650GB, 정지 대부분 3ms 미만
C4 대 CMSRPC 큐 지연 약 30% 감소, 약 24ms에서 약 17ms (P90)
Hive Metastore 요청량인스턴스당 분당 1,500~2,000건, 힙 50GB
Hive Metastore 지연평소 100ms 미만, 급증 때 2~4초 (getTable 3초)
Hive Metastore GC 횟수2,258회에서 143회, 평균 정지 약 177ms
Presto 코디네이터 힙200GB
Presto 오류율최대 2.75%, String Deduplication 비활성화 후 2.5%에서 0.73%
Presto GC 정지 비중6.59%에서 3%
힙 크기 기준RAM의 75% 미만, 메모리 풋프린트보다 20% 크게, 증설 10%로 해소
총 성과HDFS 처리량 약 50% 증가, HDFS 지연 약 20% 감소
마지막 수정 일자