목차
남는 메모리로 Go GC 비용을 줄인 우버의 GOGCTuner (2021-12)
원문 정보
- 원문: How We Saved 70K Cores Across 30 Mission-Critical Services (Large-Scale, Semi-Automated Go GC Tuning @Uber)
- 매체 · 게시일: Uber Engineering Blog · 2021-12-22
- 저자: Cristian Velazquez(Sr Staff Software Engineer, Production Engineering)
- 원문 내용을 바탕으로 재구성한 요약입니다.
CPU 프로파일 맨 위의 Go GC
CPU 프로파일 맨 위에는 GC가 있었습니다. 우버의 핵심 Go 서비스 대다수에서 CPU를 가장 많이 쓰는 항목은 GC를 가리키는 runtime.scanobject였습니다.
당시 우버는 수익성을 높이기 위해 컴퓨트 비용을 줄이고 있었습니다. 스케줄러 기반의 클라우드 네이티브 인프라에서 수천 개 마이크로서비스를 운영했고, 대부분 Go로 작성된 서비스였습니다. Maps Production Engineering 팀은 앞서 여러 Java 서비스의 GC를 튜닝해 효율을 크게 높인 경험이 있습니다. 2021년 초에는 Go에서도 비슷한 효과를 낼 수 있는지 살펴보기 시작했습니다.
Go의 GC 구현과 튜닝 방식은 단순했습니다. 덕분에 GC 부담이 큰 서비스를 찾고 설정을 조정하는 작업 대부분을 자동화할 수 있었고, GOGC 최적화는 우버의 컴퓨트 비용 절감 노력 중에서도 효과가 큰 작업으로 이어졌습니다.
GOGCTuner 도입 뒤의 CPU 사용률
그 결과물이 GOGCTuner입니다. 수십 개 서비스에 이 라이브러리를 배포한 뒤, CPU 사용률이 두 자릿수로 개선된 일부 서비스를 자세히 조사했습니다. 이 서비스들에서만 누적 절감량이 약 7만 코어였습니다.
한 관측성 서비스는 수천 코어를 쓰고 있었습니다. 도달 가능한 객체의 집합인 라이브 데이터셋은 크기의 표준편차가 컸고, 최댓값은 최솟값의 10배였습니다. GOGCTuner를 적용하자 이 서비스의 p99 CPU 사용률이 약 65% 줄었습니다. 역시 수천 코어를 쓰던 핵심 Uber Eats 서비스에서는 p99 CPU 사용률이 약 30% 감소했습니다.
CPU 사용률 감소는 p99 지연 개선으로 이어져 SLA와 사용자 경험에도 도움이 됩니다. 사용률을 기준으로 서비스를 확장하므로 장기적으로는 필요한 용량의 비용도 줄어듭니다. 이런 규모의 성과에는 Go의 견고한 GC와 단순한 튜닝 방식뿐 아니라, 크고 다양한 Go 서비스군과 Go·컴퓨트·관측성을 뒷받침하는 내부 플랫폼도 기여했습니다.
고정된 GOGC가 놓친 컨테이너 한도
CPU 부담을 줄이는 데 쓸 메모리는 남아 있었습니다. 우버 호스트의 CPU 대 메모리 비율은 1:5, 즉 코어 1개당 RAM 5GB였지만 대부분의 Go 서비스는 1:1에서 1:2로 설정돼 있었습니다. 메모리 압박으로 GC가 자주 도는 서비스라면 이 여유를 활용해 GC 횟수를 줄일 수 있습니다. 서비스 종류를 가리지 않는 접근입니다.
Go의 GC는 애플리케이션과 함께 실행되면서 모든 객체를 훑어 라이브 데이터셋을 가려냅니다. 당시 조절 손잡이는 GOGC 하나였습니다. 라이브 데이터셋을 기준으로 새 객체 할당에 얼마나 메모리를 허용할지 정하는 백분율이며, 기본값 100%는 살아 있는 객체만큼의 공간을 새 할당용으로 잡는다는 뜻입니다. 힙의 목표 상한은 hard_target = live_dataset + live_dataset * (GOGC / 100)으로 계산합니다. 페이서는 이 상한에 닿기 전에 GC가 시작되도록 적절한 시점을 예측합니다.
문제는 기준이 계속 달라진다는 점입니다. 같은 GOGC라도 라이브 데이터셋이 작으면 새 할당에 쓸 공간도 작습니다. 샤딩된 시스템처럼 인스턴스마다 데이터 크기가 다른 서비스에서는 차이가 커집니다. 실제로 한 서비스의 메모리 사용량은 p99가 1GB, p1은 100MB였고, 100MB를 쓰는 인스턴스가 GC의 영향을 크게 받았습니다.
GOGC를 높이기만 할 수도 없었습니다. 이 값은 컨테이너의 최대 메모리를 모르므로, 라이브 데이터셋이 커지면 계산된 힙 상한이 컨테이너 한도를 넘어 OOM으로 이어질 수 있습니다.
메모리 한도에서 출발하는 GOGCTuner
GOGCTuner는 계산의 출발점을 바꿨습니다. 라이브 데이터셋에 곱할 GOGC를 사람이 고정하는 대신, 컨테이너 메모리 한도나 서비스 담당자가 지정한 상한에 맞춰 GOGC를 동적으로 계산하고 Go 런타임 API로 설정합니다. cgroup에서 읽은 컨테이너 메모리 한도의 70%가 기본 하드 한도이며, 우버의 운영 경험에서 안전했던 값입니다.
설정의 뜻도 분명해집니다. GOGC 100%만으로는 실제 힙이 얼마나 커질지 알기 어렵지만, 메모리 한도의 70%라는 설정은 힙이 사용할 공간을 직접 지정합니다. 서비스 담당자가 라이브 데이터셋의 변화에 맞춰 GOGC를 다시 고를 부담도 줄어듭니다.
평소 라이브 데이터셋이 150M인 서비스를 생각해 볼 수 있습니다. 트래픽이 2배가 되어 라이브 데이터셋도 300M으로 늘면, 수동으로 높여 둔 GOGC가 허용하는 새 할당 공간도 함께 커집니다. 지난 피크보다 라이브 데이터셋이 두 배로 커지는 상황까지 고려해야 하므로, 담당자들은 OOM을 피하려고 넉넉한 여유를 남겼습니다. GOGCTuner를 70%로 설정한 경우에는 CPU를 더 쓰더라도 같은 메모리 한도를 지키도록 GOGC를 조정합니다. 이 보호가 있어 평소에는 더 높은 GOGC도 허용할 수 있었습니다.
보호에는 한계가 있습니다. 튜너가 줄일 수 있는 것은 새 할당을 위한 버퍼뿐이며, 살아 있는 객체 자체를 줄이지는 못합니다. 라이브 객체가 한도를 넘으면 라이브 객체 사용량의 1.25배를 기본 하한으로 적용합니다. 따라서 70% 설정을 어떤 상황에서도 지키는 절대적인 메모리 상한으로 받아들여서는 안 됩니다.
1초 주기의 ticker를 대신한 finalizer
처음 구현은 1초마다 ticker를 실행해 힙 지표를 읽고 GOGC를 조정하는 방식이었습니다. 읽는 작업부터 비용이 컸습니다. ReadMemStats가 프로그램 실행을 잠시 멈추는 stop-the-world를 일으켰기 때문입니다. GC가 1초에 여러 번 일어나면 조정 시점도 실제 GC 주기를 제대로 따라가지 못했습니다.
팀은 GC가 일어나는 순간에 맞춰 실행할 방법을 찾았습니다. 대안은 객체가 수거되기 직전에 실행되는 함수인 finalizer였습니다. 보통 C 메모리 같은 자원을 정리할 때 쓰는 SetFinalizer를 GC마다 GOGC를 조정하는 데 활용했습니다.
핸들러 안에서 runtime.SetFinalizer(f, finalizerHandler)를 호출해 자기 자신을 다시 등록합니다. 이렇게 참조를 유지하면 다음 GC에서도 핸들러가 실행됩니다. 살려 두는 것은 포인터 하나라 비용이 작고, 매 GC에 맞춰 적은 CPU 부담으로 설정을 조정할 수 있었습니다.
GOGC 조정의 끝을 알려 주는 120초 간격
설정을 바꾸는 일만으로는 부족했습니다. 담당자들이 튜닝에 쓰던 메모리 지표부터 실제 상태와 어긋나 있었습니다. MADV_FREE 메모리 정책에서는 사용률이 50%로 표시됐지만, 그 50% 중 20%는 이미 반환된 메모리였습니다. 담당자들은 이 부정확한 숫자를 보고 GOGC를 조정하고 있었습니다.
우버는 빠져 있던 GC 지표를 추가했습니다. p99 GC CPU 비용은 어느 서비스가 GC의 영향을 가장 크게 받는지 보여 줬고, GOGC의 최솟값·p50·p99는 튜너가 상황에 맞춰 어떻게 반응하는지 드러냈습니다. 라이브 데이터셋 크기는 메모리 누수를 확인하는 기준이 됐습니다. 튜닝 뒤 전체 메모리 사용률이 올라 걱정하는 담당자에게도, 살아 있는 객체의 사용량이 일정하다는 그래프로 누수가 아님을 설명할 수 있었습니다.
GC 사이의 간격은 더 튜닝할 여지가 있는지 알려 줍니다. Go는 2분마다 GC를 강제합니다. GC의 CPU 부담이 큰데도 간격이 이미 120초라면, GOGC 조정으로 얻을 수 있는 효과는 끝에 도달한 상태입니다. 그때는 할당 자체를 최적화해야 합니다.
어디에나 맞는 GC 해법은 없습니다. 퍼블릭 클라우드와 컨테이너 워크로드의 성능이 일정하지 않은 만큼, 클라우드 네이티브 환경의 GC 성능도 계속 달라집니다. 우버가 사용하는 Kubernetes, Prometheus, Jaeger 등 CNCF 프로젝트 대부분은 Go로 작성돼 있습니다. 이런 프로젝트를 대규모로 운영하는 다른 환경에서도 같은 접근이 도움이 될 수 있습니다.
GOGCTuner 설정과 서비스별 절감 수치
| 항목 | 값 |
|---|---|
| 호스트 CPU 대 메모리 | 1:5 (코어당 5GB) |
| 기존 Go 서비스 설정 | 1:1 ~ 1:2 |
| GOGC 기본값과 식 | 100%, hard_target = live_dataset + live_dataset * (GOGC / 100) |
| 튜너 기본 하드 한도 | 컨테이너 메모리의 70% |
| 라이브 객체가 한도 초과 시 하한 | 라이브 객체 사용량의 1.25배 |
| Go 강제 GC 주기 | 2분 |
| 누적 절감 | 약 7만 코어 (수십 개 서비스 중 개선폭이 큰 일부) |
| 옵저버빌리티 서비스 | p99 CPU 사용률 약 65% 감소 |
| Uber Eats 핵심 서비스 | p99 CPU 사용률 약 30% 감소 |