목차
수천 개 서비스의 실행 기록으로 매일 최적화하는 Go PGO (2025-03)
원문 정보
- 원문: Automating Efficiency of Go programs with Profile-Guided Optimizations
- 매체 · 게시일: Uber Engineering Blog · 2025-03-13
- 저자: Shauvik Roy Choudhary(Engineering Manager, Programming Systems 팀), Milind Chabbi(Senior Staff Researcher, Programming Systems Research 팀), Yufan Xu(Software Engineer, Programming Systems 팀), Chris Zhang(Software Engineer, Programming Systems 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
프로파일을 읽느라 길어진 Go 빌드
Uber가 Go 서비스에 프로파일 기반 최적화(PGO)를 적용하자 일부 서비스의 빌드 시간이 최대 8배로 늘었습니다. PGO는 실행 중 수집한 프로파일을 컴파일러에 넘겨 최적화 판단을 돕는 기법입니다. 실행 성능을 높이는 데 쓸 데이터가 빌드에서는 큰 부담이 됐습니다.
원인은 프로파일 처리였습니다. 컴파일 단계를 나눠 시간을 측정해 보니, PGO를 켰을 때 pprof 데이터 파싱이 전체 컴파일 시간의 최대 95%를 차지했습니다. 패키지를 컴파일할 때마다 같은 pprof 파일을 다시 읽고 파싱하고 있었습니다. 패키지마다 반복하는 작업이 개발자와 서비스 소유자가 기다리는 시간을 늘린 것입니다.
Uber는 컴파일에 앞서 프로파일을 한 번 처리해 두는 도구로 이 문제를 풀었습니다. 대부분의 서비스에서 빌드 시간은 원래보다 조금만 늘어나는 수준으로 줄었습니다. 이 도구를 매일 프로파일을 수집하고, 테스트를 거쳐 배포한 뒤 성능을 확인하는 과정에 연결하면서 PGO를 수천 개 서비스에 적용했습니다.
정적 추정으로 놓쳤던 Go의 실행 경로
PGO가 바꾸는 것은 컴파일러의 판단 근거입니다. 컴파일러는 인라이닝, 레지스터 할당, 명령어 스케줄링을 결정할 때 함수 간 호출 빈도, 기본 블록의 실행 빈도, 분기 확률 등을 사용합니다. 이 값을 정적으로 추정하면 실제 실행에 잘 맞지 않는 코드가 나올 수 있습니다. PGO는 실행 중 모은 정보로 그 추정을 보완합니다.
인라이닝이 한 예입니다. 실제로 자주 실행되는 함수를 프로파일에서 찾아 선택적으로 인라이닝하면 함수 호출 오버헤드가 줄어듭니다. 실행 중 어떤 함수가 자주 호출되는지 모르는 정적 휴리스틱과는 판단 근거가 다릅니다. C/C++, Rust, Java, Swift 등은 이미 PGO를 지원했지만 Go에는 이 기능이 없었고, Uber는 Google과 협업해 Go에도 PGO를 만들었습니다.
전통적인 PGO는 계측용 코드를 넣은 바이너리에서 출발합니다. 이 바이너리를 학습 데이터로 실행해 엣지 프로파일을 모으고, 컴파일러에 넘겨 자주 실행되는 경로를 최적화한 바이너리를 다시 만듭니다. LLVM에서는 PGO로 약 20%의 속도 향상을 보고했습니다. 문제는 계측 비용입니다. 이 부담 때문에 최근 연구에서는 하드웨어 성능 카운터나 pprof로 실행을 샘플링해 프로파일을 수집하며, 성능 손실이 거의 없거나 없다는 결과도 나왔습니다.
Go에서는 코드 배치도 성능에 영향을 줍니다. 의존 패키지와 런타임을 정적으로 링크하므로 바이너리가 큰 경우가 많고, 명령어 캐시와 TLB 미스가 CPU 프런트엔드를 멈추게 합니다. 프로파일을 참고해 기본 블록을 배치하거나 함수를 분할·재배치하면 코드 지역성을 높여 이 문제를 완화할 수 있습니다. 이런 최적화는 보통 링크 시점이나 그 이후에 수행합니다.
이 접근은 다른 도구에서도 성과를 냈습니다. Meta BOLT와 Google Propeller는 프로파일 기반 코드 레이아웃 최적화로 데이터센터 워크로드에서 10% 넘는 개선을 보였습니다. Uber가 Go에 적용한 PGO에서는 실행 정보를 바탕으로 인라이닝 대상을 고르는 최적화부터 지원이 시작됐습니다.
미리 만든 호출 그래프를 받는 Go 컴파일러
빌드 시간을 줄이려고 프로파일 수집을 포기할 필요는 없었습니다. Uber가 바꾼 것은 프로파일을 처리하는 시점과 반복 횟수입니다. 오프라인 전처리 도구가 pprof를 한 번만 읽고 파싱해 함수 호출 정보를 추출하면, 컴파일러는 그 결과를 받아 분석과 최적화에 사용합니다.
전처리 결과는 호출 그래프입니다. 추출한 정보를 노드와 엣지에 가중치가 있는 WeightedCallGraph로 만들고, 호출자·피호출자·주소·가중치를 담아 캐시합니다. 컴파일러는 이 그래프에서 자주 실행되는 경로를 파악해 인라이닝과 devirtualization 같은 최적화를 수행합니다. 패키지를 컴파일할 때마다 원본 pprof를 다시 해석하던 비용을 줄인 것입니다.
컴파일러가 만든 코드는 나머지 프로그램과 링크해 최종 실행 파일이 됩니다. 이 단계에서는 프로파일에 따른 코드와 데이터 레이아웃 최적화로 함수와 데이터의 순서도 정합니다. 프로파일에서 얻은 정보가 컴파일과 링크 과정의 최적화 판단에 쓰이는 흐름입니다.
이 전처리 도구는 오픈소스 Go에도 반영됐습니다. Go의 PGO 지원은 버전마다 범위를 넓혔습니다.
- Go 1.20: PGO 기반 인라이닝 도입
- Go 1.21: PGO 기반 devirtualization 추가
- Go 1.23: 빌드 시간을 줄이는 프로파일 전처리 도구 도입
프로덕션에서 다시 시작하는 최적화 주기
프로파일은 계속 갱신합니다. Uber는 프로덕션의 분산 시스템에 있는 여러 인스턴스에서 프로파일을 연속적으로 수집하고, 이를 병합해 서비스를 대표하는 프로파일을 만듭니다. 전처리 도구는 가장 최근에 모은 플릿 전체 프로파일을 대상으로 매일 실행합니다. 프로덕션 빌드가 시작할 때는 이미 처리한 최신 프로파일이 준비돼 있습니다.
서비스에 적용하는 과정도 이 주기에 포함됩니다. 설정 시스템에서 PGO를 적용할 서비스를 등록하고, CI에서는 PGO SDK 변경이 안정성 문제를 일으키는지 검사합니다. 테스트를 통과하면 PGO로 빌드한 서비스를 프로덕션에 배포합니다. 배포 뒤에는 성능 대시보드에서 서비스가 받은 영향을 추적합니다.
이렇게 프로파일 수집부터 전처리, 서비스별 등록, 테스트, 배포, 관찰까지 이어지는 지속적 최적화 체계를 만들었습니다. 컴파일러가 실행 정보를 활용하는 것과 별개로, 그 정보를 매일 준비하고 적용 결과를 확인하는 작업까지 운영 과정에 포함한 것입니다.
인라이닝 예산 밖에 있던 checkValid
PGO가 바꾼 판단은 checkValid에서 드러났습니다. go-json 벤치마크의 프로파일을 비교하니, 기본 인라이너는 자주 실행되는 checkValid 같은 함수를 인라이닝하지 못했습니다. 함수 본문 크기가 기본 인라이닝 예산을 넘었기 때문입니다. PGO는 예산을 늘려 이런 함수 3개를 인라이닝했습니다.
인라이닝한 호출 지점 수도 늘었습니다. 기준 버전에서는 35,545개였고 PGO 버전에서는 36,544개였습니다. 실제로 자주 실행되지만 정적 기준에서는 제외됐던 함수들이 PGO 빌드에서는 인라이닝 대상에 들어간 것입니다.
측정에는 Intel Xeon Gold 6136 CPU, 메모리 128GB, Linux 6.8.0 서버를 사용했습니다. Go에서 가장 널리 쓰이는 서드파티 JSON 라이브러리 중 하나인 go-json의 벤치마크를 20회 반복한 결과, PGO 기반 인라이닝으로 전체 성능이 12% 개선됐습니다. 마이크로벤치마크 상당수에서는 개선 폭이 20%를 넘었습니다.
하드웨어 카운터에도 차이가 나타났습니다. 명령어 수는 2.41%, 사이클은 2.51% 줄었고, L1 명령어 캐시 미스와 iTLB 미스는 각각 10.78%, 34.64% 감소했습니다. 특히 iTLB 미스는 5.07E+06에서 3.31E+06으로 줄었습니다. 코드 실행에 필요한 명령어와 사이클뿐 아니라 명령어를 가져오는 과정에서도 변화가 확인됐습니다.
통계 수집 라이브러리 Tally에서도 이득을 얻었습니다. 빠른 버퍼링과 계층형 통계를 제공하는 이 라이브러리에 PGO 기반 인라이닝을 적용하자 평균 성능이 10% 개선됐습니다. 일부 마이크로벤치마크에서는 50% 넘게 좋아졌습니다.
트래픽 변동 속에서 줄어든 CPU 코어
실서비스에서는 효과를 재는 일이 더 까다로웠습니다. Uber는 수천 개 서비스를 PGO에 등록했지만, 프로덕션에서 서로 다르게 컴파일한 바이너리를 A/B로 비교할 수 없었습니다. PGO를 켠 뒤 CPU 사용량이 줄었다는 사실만으로는 그 감소를 PGO의 효과로 확정하기 어려웠습니다.
서비스가 받은 요청부터 달라집니다. CPU 사용량은 초당 요청 수(RPS)에 크게 좌우되고, 오토스케일링은 그에 따라 자원을 동적으로 조정합니다. 측정하는 동안 서비스 소스 코드도 계속 바뀝니다. 이 변화들이 함께 일어나므로 지표에서 PGO만의 영향을 분리하기가 쉽지 않았습니다.
여러 방법을 검토한 끝에 Uber가 가장 낫다고 판단한 방식은 적용 전후의 시간을 나눠 비교하는 것이었습니다. PGO를 켜기 전 7일과 켠 뒤 7일의 성능 지표를 비교했습니다. 상위 서비스 6개의 CPU 코어 할당을 5개월에 걸쳐 관찰한 그래프에서는 2024년 4월 18일 이후 PGO를 켠 쪽의 코어 수가 줄었습니다. 그래도 요청량과 오토스케일링의 영향을 구분할 근거가 더 있어야 했습니다.
그래서 실행 프로파일을 다시 비교했습니다. 기본 빌드에서는 인라이닝되지 않던 checkValid 같은 주요 함수가 PGO 빌드에서는 인라이닝돼 있었습니다. 벤치마크에서 확인한 컴파일러의 판단 변화가 서비스에서도 나타난 것입니다. Uber는 이 비교를 근거로 측정된 이득이 대부분 PGO에서 왔다고 판단했습니다.
Uber가 보고한 성과는 인라이닝으로 얻은 약 4%의 성능 이득과 상위 서비스 전반에서 CPU 코어 24,000개 감소입니다. 플릿 전체의 효과를 측정하기는 어려웠지만, 적용 전후의 자원 지표와 프로파일에 나타난 인라이닝 변화를 함께 확인해 서비스의 효율 향상을 검증했습니다.
측정 결과와 적용 규모
| 항목 | 값 |
|---|---|
| PGO 도입 버전 | Go 1.20(인라이닝), 1.21(devirtualization), 1.23(전처리 도구) |
| 빌드 시간 증가 | 일부 서비스 최대 8배 |
| pprof 파싱 비중 | 전체 컴파일 시간의 최대 95% |
| go-json 전체 벤치마크 | 12% 개선, 마이크로벤치마크 상당수 20% 이상 |
| iTLB 미스 | 5.07E+06에서 3.31E+06으로 34.64% 감소 |
| L1 명령어 캐시 미스 | 2.22E+09에서 1.98E+09로 10.78% 감소 |
| 명령어 수와 사이클 | 각각 2.41%, 2.51% 감소 |
| 인라이닝 호출 지점 | 35,545개에서 36,544개 |
| Tally 벤치마크 | 평균 10% 개선, 일부 50% 이상 |
| 등록 서비스 | 수천 개 |
| 효과 측정 방식 | PGO 전후 7일씩 비교 |
| 우버 전체 효과 | 약 4% 성능 이득, CPU 코어 24,000개 감소 |