본문으로 건너뛰기
스택을 미리 키워 CPU 비용을 줄인 Uber의 Go 런타임
목차

스택을 미리 키워 CPU 비용을 줄인 Uber의 Go 런타임 (2026-05)

원문 정보

스택 확장에 CPU 10%를 쓰던 서비스

우버의 상위 서비스 하나에서 CPU의 약 10%가 고루틴 스택을 늘리는 데 쓰이고 있었습니다. 메모리는 넉넉했습니다. 인스턴스마다 16GB가 있었는데, 대부분의 인스턴스가 스택에 쓰는 메모리는 12~16MB에 머물렀습니다. 우버는 이 여유를 활용해 초기 스택을 크게 잡고, 반복되는 확장에 드는 CPU 비용을 줄이기로 했습니다.

우버에서 Go는 용량 기준으로 가장 많이 쓰는 언어입니다. 서비스의 약 65%가 Go로 돌고, 사용하는 코어는 200만 개가 넘습니다. 이 규모에서 전체 효율을 1% 높이면 수백만 달러를 아낍니다. 런타임이 스택을 늘리는 비용도 그냥 지나치기 어려운 이유입니다.

2KB에서 시작해 두 배씩 커지는 Go 고루틴

고루틴은 OS 스레드의 가벼운 대안이며, 그 차이를 만드는 요소가 스택 처리입니다. pthread_create로 만든 OS 스레드는 RLIMIT_STACK이 unlimited일 때 아키텍처별 기본 스택 크기를 씁니다. 대부분은 2MB이고, POWER와 Sparc-64는 4MB입니다. Go 고루틴의 기본 초기 스택은 2KB에 불과합니다. 작게 시작하는 만큼 OS 스레드보다 많은 동시 작업을 허용합니다.

공간이 모자라면 복사가 시작됩니다. 함수 진입부에서 스택 포인터를 임계값과 비교해 스택이 넘칠 상황을 감지하면 runtime.morestack으로 점프합니다. 런타임은 두 배 크기의 새 스택을 할당하고 기존 내용을 복사합니다. 필요한 공간이 커질 때마다 이 과정을 반복하므로, 메모리를 적게 쓰려던 선택이 CPU 비용으로 돌아옵니다.

go1.19에는 적응형 스택 크기가 도입됐습니다. 실행 중 평균 스택 크기를 추적해 새 고루틴의 초기 크기로 쓰는 방식입니다. 처음부터 평균에 맞춰 할당하니 부담은 줄었지만, 일부 애플리케이션에서는 여전히 스택 확장에 많은 CPU를 쓰고 있었습니다.

초기 크기의 단서가 남아 있던 프로파일

얼마나 크게 시작할지는 CPU 프로파일에서 찾았습니다. 프로파일에는 이미 copystack에 도달한 스택 트레이스가 남아 있었고, 이 경로에서 쓰는 스택 크기를 계산하면 초기값을 정할 근거가 됩니다. 우버가 풀어야 할 문제는 런타임에 계측을 추가하지 않고 이 계산을 자동화하는 일이었습니다.

값을 조금씩 올려 보는 방법도 검토했습니다. 4KB로 배포한 뒤 프로파일에서 copystack 비중이 여전히 높으면 8KB로 올리고, 다시 배포해 확인하는 식입니다. 하지만 여러 서비스로 확대하기에는 품이 너무 많이 듭니다. 실제 평균 스택 크기가 4KB보다 크다면 처음 지정한 값이 오히려 역효과를 낼 수도 있습니다.

평균값을 알고 시작하면 시행착오는 줄어듭니다. 서비스가 현재 평균 시작 스택 크기를 지표로 내보내도록 계측하면, 평균이 4KB인데도 copystack이 보일 때 곧바로 8KB를 시도할 수 있습니다. 그래도 값을 바꿔 배포하고 결과를 기다리는 일은 남습니다. cgo나 비공개 링킹으로 런타임에서 값을 읽는 방법 역시 검토했지만, 읽는 데 드는 오버헤드가 있고 어느 메서드가 copystack을 일으키는지 알아야 호출 위치를 정할 수 있어 채택하지 않았습니다.

프로파일은 그 호출 경로를 이미 갖고 있었습니다. 여기에 함수별 스택 사용량을 계산하는 분석기를 붙이는 쪽을 택했습니다.

함수마다 예약한 공간을 읽는 분석기

분석기는 pprof 라이브러리로 스택 트레이스를 읽고, copystack으로 이어지는 것만 남깁니다. 다음으로 각 트레이스에 등장하는 함수가 스택을 얼마나 쓰는지 구해야 합니다. go tool objdump <binary>를 쓰면 구현은 쉽지만 실행이 느리고, 서브프로세스를 호출하면서 대상 바이너리도 준비해야 합니다. 우버는 운영 환경에 통합하기 좋은 쪽을 골라, 디스어셈블리 라이브러리로 어셈블리 리더를 직접 만들었습니다.

계산의 출발점은 디버그 심볼을 포함해 빌드한 Go 바이너리입니다. Go에서 심볼을 읽고, pprof의 스택 트레이스를 따라 함수마다 어셈블리 명령을 훑습니다. 함수에서 처음 만나는 sub가 스택 프레임 공간을 예약하는 명령이므로, 그 즉시값을 읽으면 예약한 크기를 알 수 있습니다. 이렇게 얻은 함수별 사용량을 트레이스마다 합산합니다.

결과는 총 스택 사용량이 큰 트레이스부터 나옵니다. 가장 큰 값은 약 19KB였습니다. 스택 크기는 2의 거듭제곱이어야 하므로, 이 서비스에 맞는 초기값은 32KB로 정했습니다.

분석기는 스택을 많이 쓰는 함수도 드러냈습니다. go.uber.org/yarpc/internal/observability.(*Middleware).Call은 혼자서 2.6KB를 쓰고 있었습니다. 모든 요청이 거치는 미들웨어인 만큼 줄일 가치가 있었고, 우버는 이 함수의 스택 사용량을 600바이트로 낮췄습니다. 해당 변경은 GitHub에도 공개했습니다.

초기 스택 값을 고정하도록 손본 Go 런타임

우버는 초기 스택 크기를 애플리케이션 시작 때 정적 값으로 지정하기로 했습니다. 이를 위해 선택한 방법이 런타임 커스터마이징입니다. 런타임에 공개 메서드를 새로 추가하는 방식과 비공개 링킹을 비교한 뒤, 런타임 수정 범위가 가장 작은 비공개 링킹을 택했습니다.

고루틴 풀링도 가능한 선택지였습니다. M3 팀은 고루틴 풀을 유지하고 작업을 보내는 방식으로 효과를 봤으며, 워커 풀이 맡는 일이 하나여서 잘 맞았습니다. 하지만 애플리케이션 코드를 고쳐야 하고 복잡성도 늘어납니다. 작업에는 시간과 애플리케이션 이해가 필요합니다. 채널 통신 자체에도 비용이 들며, 크기가 고정된 채널에 부하가 몰릴 때는 작업을 대기시킬지 버릴지도 정해야 합니다.

런타임에서 바꿔야 할 곳은 startingStackSize와 debug 전역 변수였습니다. 런타임은 평균 시작 스택 크기를 계산해 startingStackSize에 저장하고, debug.adaptivestackstart로 이 계산을 끌 수 있습니다. 우버는 적응형 스택 시작을 꺼서 런타임이 지정한 값을 덮어쓰지 못하게 했습니다. 스택 축소도 CPU를 쓰므로 함께 비활성화했습니다.

문제는 접근 권한이었습니다. go1.23부터 linkname을 쓰려면 계약이 필요한데, 공식 런타임의 이 두 변수에는 그 계약이 없었습니다. 우버는 두 변수에 비공개 링킹을 허용하도록 런타임을 패치한 뒤, 내부 모듈에 값을 변경하는 공개 메서드를 만들었습니다. 설정 시스템에서 값을 주입하므로 runtime_environment, zone, region별로 다른 초기 크기를 지정할 수 있습니다. 값은 애플리케이션 시작 때 적용합니다.

비공개 구현에 기대는 만큼 Go 버전이 바뀌면 코드가 깨질 위험은 남습니다. 우버는 빌드 태그로 이를 관리합니다. 현재 버전용 파일에는 값을 바꾸는 메서드를 구현하고, 다음 Go 버전용 파일에는 빈 구현을 미리 둡니다. 새 버전이 나올 때마다 debug가 바뀌지 않았는지, startingStackSize가 여전히 있는지 확인해야 합니다.

Go의 스택 확장은 보통 메모리와 CPU 사이에서 균형을 잘 잡습니다. 우버는 1%의 효율도 수백만 달러가 되는 규모에서 이 조정의 이득이 런타임 패치와 유지보수 비용을 정당화한다고 판단했습니다. 공식 네이티브 해법이 나오기 전까지 내부 수정을 유지하려는 이유입니다.

확장에 쓰는 CPU를 줄인 32KB 스택

초기 스택을 2KB에서 32KB로 올리자, 스택 확장이 차지하던 CPU 비중은 약 10%에서 1% 미만으로 내려갔습니다. 메모리 사용량은 늘었습니다. 대부분의 인스턴스가 스택에 약 50MB를 썼고 일부는 200MB에 이르렀지만, 16GB 컨테이너에서 그 부담은 2% 미만이었습니다.

전체 CPU 소비량에서도 차이가 나타났습니다. 일주일 전 같은 시간대와 비교하면 1-(150/180)으로, 약 16% 감소했습니다. 스택 확장에 쓰는 CPU 비중이 줄어든 결과와 서비스 전체의 CPU 소비량 변화는 구분해서 볼 수 있습니다.

스택 크기와 운영 결과의 수치
항목값
Go 서비스 비중우버 서비스의 약 65% (200만 코어 이상)
OS 스레드 스택2MB (POWER, Sparc-64는 4MB)
고루틴 기본 초기 스택2KB
스택 확장두 배 크기 새 스택으로 복사
적응형 스택 크기 도입go1.19
대상 서비스의 스택 확장 CPU 비중약 10%에서 1% 미만
조정한 정적 스택 크기32KB (분석 결과 상위 사용량 약 19KB에서 2의 거듭제곱으로)
인스턴스 스택 메모리대부분 약 50MB, 일부 200MB (컨테이너 16GB 대비 2% 미만)
CPU 개선1-(150/180), 약 16%
yarpc 미들웨어 스택 사용량2.6KB에서 600바이트

스택을 더 키울 여유가 있는 다음 서비스

우버는 이 조정을 더 많은 서비스에 적용할 계획입니다. 알맞은 초기값을 찾는 데 시간이 많이 드는 만큼, 우선 이득을 볼 후보를 자동으로 찾으려 합니다. 스택 확장에 쓰는 CPU가 많으면서, 스택 메모리 사용량이 상대적으로 낮거나 더 늘릴 메모리 여유가 있는 서비스가 대상입니다.

분석기의 활용도 초기값 조정에만 머물지는 않습니다. 미들웨어의 스택 사용량을 줄였던 것처럼, 자주 실행되면서 큰 스택 프레임을 쓰는 함수를 찾아 최적화하는 데도 쓸 수 있습니다.

마지막 수정 일자