목차
10ms 타이머의 한계를 보완한 Go 프로파일러 pprof++ (2021-05)
원문 정보
- 원문: pprof++: A Go Profiler with Hardware Performance Monitoring
- 매체 · 게시일: Uber Engineering Blog · 2021-05-11
- 저자: Milind Chabbi(Programming Systems Research 팀 Senior Staff Researcher)
- 원문 내용을 바탕으로 재구성한 요약입니다.
10%씩 일하고도 순위가 뒤바뀐 고루틴
똑같은 일을 했다면 측정 결과도 같아야 합니다. 우버는 동일한 고루틴 10개가 실행 시간을 정확히 10%씩 쓰는 goroutine.go를 리눅스가 설치된 12코어 Intel Skylake 서버에서 실행하고, 기본 pprof로 CPU 프로파일을 수집했습니다. 측정 대상은 main.f1부터 main.f10까지입니다.
첫 실행부터 결과가 크게 벌어졌습니다. RUN 1에서 main.f7에 귀속된 시간은 4210ms로 전체의 23.31%였지만, main.f9에는 700ms, 3.88%만 잡혔습니다. 같은 일을 한 고루틴 사이에 최대 6배 차이가 난 것입니다.
다시 실행하자 순위마저 뒤집혔습니다. RUN 1에서 1위였던 main.f7은 RUN 2에서 520ms로 10위까지 떨어졌습니다. 세 번의 실행을 놓고 계산한 변동 계수는 main.f1에서 71%, 전체 함수 평균으로도 28%입니다. 실제 비중인 10%에서 벗어날 뿐 아니라, 같은 프로그램을 다시 측정할 때마다 결과가 크게 달라졌습니다.
실행 시간을 10배, 100배로 늘려도 이 오차는 바로잡히지 않습니다. 샘플을 오래 모으는 것만으로는 해결되지 않는 문제입니다.
우버에서는 Go로 작성한 수천 개 백엔드 서비스가 수백만 개 CPU 코어에서 돌아갑니다. 지연을 줄이고 전체 컴퓨트 자원을 효율적으로 쓰려면 CPU 병목을 알아야 하는데, 출발점인 프로파일부터 믿기 어려웠습니다. 우버가 만든 pprof++는 Go의 기본 pprof에 하드웨어 성능 모니터링을 통합한 프로파일러입니다. 측정의 정확도와 정밀도를 높이고, 시간이 많이 쓰이는 코드 안에서 CPU와 메모리에 무슨 일이 생기는지도 들여다보려는 시도였습니다.
짧은 요청을 따라잡지 못한 OS 타이머
앞선 실험에는 서로 다른 문제가 섞여 있습니다. 정확도는 측정값이 실제 값에 얼마나 가까운지를 뜻합니다. 실행 시간의 25%를 쓰는 API_A()를 프로파일러가 24%로 측정했다면 정확도는 96%입니다. 정밀도는 반복 측정한 값이 얼마나 덜 흔들리는지로, 평균 주변의 최소·최대 값이나 표준 오차, 변동 계수 등으로 나타냅니다.
당시 Go 런타임은 OS 타이머로 실행을 초당 약 100번 인터럽트하고, 그때마다 호출 스택을 수집했습니다. 10ms에 한 번인 셈입니다. 요청 하나가 10ms 만에 끝나는 마이크로서비스라면, 요청 안에서 무슨 일이 일어나는지 보려 해도 적어도 5ms마다 샘플을 남겨야 합니다. 하지만 OS 타이머의 샘플 간격은 10ms보다 짧아지지 않습니다.
이는 신호를 복원하려면 신호에 담긴 최고 주파수의 두 배보다 높은 빈도로 표본을 얻어야 한다는 나이퀴스트 표본화 정리와 느슨하게 관련됩니다. 함수 단위로 정확히 측정하려면 마이크로초 수준까지 내려가야 합니다. 측정 시간을 늘리면 샘플 수는 늘어나지만, 필요한 샘플 수가 자릿수 단위로 커질 때마다 시간을 그만큼 늘리는 방식은 비현실적입니다. 짧은 측정 구간에서도 많은 샘플을 얻고, 밀리초보다 짧게 실행되는 코드까지 포착해야 했습니다.
샘플 수만의 문제도 아닙니다. 리눅스의 OS 타이머인 itimer에서는 스레드 T1의 타이머 인터럽트를 다른 스레드 T2가 처리하면서, 샘플을 T2의 호출 스택에 귀속시킬 수 있습니다. 이때 인터럽트를 처리하는 스레드는 균일한 무작위로 선택되지 않습니다. T2가 T1보다 인터럽트를 더 많이 처리하면 특정 스레드에 샘플이 쏠리는 편향이 생깁니다. 이렇게 모은 샘플은 수가 늘어도 정확해지지 않습니다.
정밀도에도 타이머의 한계가 영향을 줍니다. 해상도가 낮으면 같은 시간 동안 얻는 샘플이 적고, 표본이 작으면 표준 오차가 커집니다. 여기에 예정한 시점과 실제 측정 시점이 어긋나는 측정 스키드(skid)가 더해집니다. N밀리초 뒤 만료되도록 설정한 타이머가 보장하는 것은 N밀리초 이후의 인터럽트이지, 정확히 N밀리초에 발생하는 인터럽트가 아닙니다.
예를 들어 10ms 주기 타이머의 만료까지 1ms가 남았을 때, 4ms 해상도의 OS 스케줄러가 타이머를 확인했다고 가정합니다. 인터럽트가 4ms 뒤에 발생하면 예정 시각보다 3ms 늦습니다. 이 예에서 10ms 타이머의 측정 오차는 최대 30%입니다. 측정 장치에 내재한 무작위 오차를 완전히 없애지는 못하더라도, 더 나은 장치로 줄일 수는 있습니다.
행렬 곱셈의 핫스팟 너머에 있는 원격 DRAM
핫스팟은 기껏해야 증상입니다. 프로파일러가 실행 시간의 90%를 행렬 곱셈에 쓴다고 알려 줘도, 그 코드에 문제가 있는지는 아직 알 수 없습니다. 이미 고도로 최적화된 행렬 곱셈일 수도 있습니다.
여기에 “곱셈 중 접근한 데이터의 50%가 NUMA 시스템의 원격 DRAM에서 왔다”는 정보가 붙으면 이야기가 달라집니다. 데이터 지역성 문제와 최적화할 지점이 곧바로 드러납니다. 기본 Go 프로파일러를 비롯한 기초적인 프로파일러는 이런 내부 동작을 보여 주지 않습니다.
우버가 원한 것은 시간을 더 정확히 나누는 데서 끝나지 않았습니다. 캐시 미스, NUMA 소켓 간 트래픽, 분기 예측 실패까지 코드와 연결해야 시간이 오래 걸리는 이유를 찾을 수 있었습니다.
Go 런타임에 연결한 하드웨어 성능 카운터
일반 상용 CPU에는 하드웨어 성능 모니터링 장치인 PMU가 들어 있습니다. 리눅스는 perf_event 서브시스템으로 이 장치를 노출하고, Intel은 프로세서 계열별로 사용할 수 있는 성능 이벤트를 공개합니다. PMU의 카운터는 지정한 이벤트가 일정 횟수만큼 발생하면 인터럽트를 내도록 설정할 수 있습니다.
pprof++는 이 인터럽트를 받도록 Go 런타임을 수정했습니다. 런타임은 PMU 인터럽트가 올 때마다 호출 스택을 복원하고, 해당 이벤트를 그 스택에 귀속시킵니다. OS 타이머를 쓰던 때처럼 호출 스택을 수집하되, 샘플을 남기는 계기가 하드웨어 이벤트로 바뀐 것입니다. 캐시 미스를 측정한다면 어떤 함수와 소스 라인에서 미스가 발생하는지까지 프로파일에 나타납니다.
인터럽트를 받을 스레드도 지정합니다. 측정 대상 스레드에 PMU 인터럽트를 보내면 다른 스레드의 호출 스택에 샘플이 잘못 붙는 문제를 피할 수 있습니다. PMU가 인터럽트 시점의 CPU 상태를 기록하는 기능은 프로그램 상태를 정확히 재구성하고 정밀도를 높이는 데 쓰입니다. 카운터 임계값을 낮추면 수십~수백 마이크로초 간격으로도 이벤트를 측정할 수 있어, 요청 하나가 수십 ms 안에 끝나는 지연 민감 서비스 내부를 더 촘촘히 관찰합니다.
시간만으로 풀리지 않던 문제에도 단서가 생깁니다. 자료구조 순회에 시간이 많이 든다고 해도 이유는 여러 내부 동작에 가려져 있습니다. 새 데이터를 가져오느라 이전 데이터가 다시 쓰이기도 전에 캐시에서 밀려난다면, 캐시 미스를 프로파일링해 그 현상을 확인할 수 있습니다.
서로 다른 스레드가 이웃한 데이터에 접근하면서 같은 캐시 라인이 두 CPU의 사설 캐시 사이를 핑퐁하듯 오가는 거짓 공유(false sharing)도 있습니다. 이런 문제는 최신 Intel CPU의 HITM 카운터로 진단합니다. 코드가 시간을 얼마나 썼는지와 함께, 그 시간 동안 하드웨어에서 무엇이 일어났는지를 보는 방식입니다.
이벤트를 처음부터 직접 고를 필요는 없습니다. pprof++는 흔히 쓰는 이벤트를 프리셋으로 제공하고, 샘플링 주기도 기본값을 두되 사용자가 바꾸도록 했습니다. cycles를 고르면 코드 구간별 CPU 사이클 사용량을, cacheMisses를 고르면 마지막 레벨 캐시 미스의 발생 비중을 볼 수 있습니다.
결과 파일은 기존과 같은 pprof protocol buffer 형식입니다. go tool pprof를 비롯한 후처리 도구로 호출 스택을 분석하고, 콜 그래프와 플레임 그래프를 그리는 과정도 이어집니다. 비슷한 기능을 갖춘 서드파티 프로파일러가 있어도 Go 런타임 안에 PMU 프로파일링을 통합한 이유가 여기에 있습니다. 기존 실행 환경과 프로파일 처리 도구를 계속 쓸 수 있기 때문입니다.
이벤트와 샘플링 주기를 받는 pprof 인터페이스
사용 조건은 다시 컴파일하는 것입니다. PMU 프로파일링을 지원하는 우버의 맞춤 Go 컴파일러로 프로그램을 빌드해야 합니다. 그 뒤에는 HTTP 엔드포인트, Go 벤치마크, 코드 계측이라는 기존 수집 경로를 대체로 그대로 사용합니다.
서비스에서 열어 둔 HTTP 포트
우버는 이미 수천 개 프로덕션 마이크로서비스의 HTTP 엔드포인트에서 프로파일을 가져오고, 정교한 후처리 도구로 분석하고 있었습니다. pprof++에서도 애플리케이션 코드를 바꾸지 않고 같은 방식으로 포트를 열어 수집합니다. 예를 들어 localhost:6060에 열린 /debug/pprof/profile에서 curl로 결과를 받는 흐름입니다.
달라진 부분은 요청 파라미터입니다. event=로 이벤트를 고르고, period=로 이벤트가 몇 번 발생할 때마다 샘플을 남길지 지정합니다.
event=cycles,period=5000000: 500만 CPU 사이클마다 한 번event=instructions,period=1000000: 100만 retired 명령어마다 한 번event=cacheMisses,period=10000: 마지막 레벨 캐시 미스 1만 번마다 한 번
사이클 예시에 seconds=25를 지정하면 25초 동안 수집합니다. 2.5GHz CPU에서 500만 사이클마다 샘플을 남기는 빈도는 초당 약 500개입니다. event를 지정하지 않으면 기존 pprof의 timer를 쓰고, 기본 수집 시간은 30초입니다.
프리셋 밖의 이벤트도 지정합니다. 서로 다른 NUMA 소켓에 있는 두 코어 사이에서 진짜 공유나 거짓 공유로 생기는 캐시 라인 경합을 찾는 예가 있습니다. Skylake에서는 MEM_LOAD_L3_MISS_RETIRED.REMOTE_HITM의 마스크 0x4와 이벤트 코드 0xD3를 조합한 event=r04d3을 사용합니다. 여기에 period=10000을 주면 해당 이벤트 1만 번마다 한 번 샘플을 수집합니다.
플래그로 고르는 벤치마크 이벤트
기본 Go 벤치마크에서는 go test -bench에 -cpuprofile을 붙여 CPU 프로파일을 받습니다. pprof++에는 cpuevent와 cpuperiod 계열 플래그인 -cpuprofileevent와 -cpuprofileperiod가 추가되었습니다.
예제는 BenchmarkXYZ를 실행하면서 100만 CPU 사이클마다 샘플을 남기거나, branchMisses로 분기 예측 실패를 수집합니다. CPU의 1차 명령어 캐시 미스가 잦은 코드를 찾을 때는 Skylake의 FRONTEND_RETIRED.L1I_MISS를 씁니다. 마스크 0x1, 코드 0xc6에 해당하는 이벤트는 r01c6이고, 예제의 샘플링 주기는 1만 번당 한 번입니다.
관심 구간을 감싸는 프로파일링 API
기존 코드 계측은 관심 구간을 StartCPUProfile과 StopCPUProfile로 감싸고, 결과를 기록할 io.Writer를 넘기는 방식입니다. pprof++는 runtime/pprof 패키지에 pprof.StartCPUProfileWithConfig를 추가해 측정할 이벤트와 주기를 지정하도록 했습니다.
설정에는 ProfilingOption을 사용합니다. 타이머를 쓰는 OSTimer부터 CPUCycles, CPUInstructions, CPUCacheReferences, CPUCacheMisses, CPUBranchInstructions, CPUBranchMisses까지 준비되어 있습니다. 직접 이벤트를 지정하는 옵션은 CPURawEvent입니다. 예를 들어 CPUCycles로 100만 사이클마다 샘플을 남기도록 설정하고, 측정할 구간 뒤에서 StopCPUProfile을 호출합니다.
한 번의 실행에서 여러 이벤트를 수집하는 기능도 제공합니다. 환경 변수 GO_PPROF_ENABLE_MULTIPLE_CPU_PROFILES로 켜고 끄며, 이벤트마다 별도의 io.Writer가 있어야 합니다.
예제에서는 CPU 사이클, retired 명령어, 마지막 레벨 캐시 미스, 2차 TLB를 놓치는 retired 로드 명령어를 함께 수집합니다. 마지막 항목은 MEM_INST_RETIRED.STLB_MISS_LOADS로, 마스크는 0x11, 코드는 0xd0입니다. 이처럼 서로 다른 하드웨어 이벤트를 각자의 프로파일로 남긴 뒤 기존 pprof 도구로 분석합니다.
리눅스용으로 공개한 Go 프로토타입
2021년 5월 공개한 pprof++는 Go 1.15.8과 Go 1.16 릴리스 브랜치를 바탕으로 만든 프로토타입입니다. GitHub에 공개했으며, 당시 지원 OS는 리눅스뿐입니다. x86_64(AMD64)용 바이너리인 go1.15.8.linux-amd64.tar.gz와 go1.16.linux-amd64.tar.gz도 제공했습니다.
예제 프로그램은 src/net/http/pprof/examples/와 src/runtime/pprof/examples/에 있습니다. 다운로드부터 초기 설정, 사용 과정까지 보여 주는 영상 데모도 함께 소개했습니다.
초기 프로토타입은 Pengfei Su가 2019년 여름 우버 Programming System Group 인턴으로 일하며 개발했습니다. 글이 공개된 시점에는 UC Merced 조교수였습니다.
시연 결과와 샘플링 수치
| 항목 | 값 |
|---|---|
| 시연 프로그램 | 동일한 고루틴 10개(main.f1~f10), 각 10% |
| 측정 환경 | 12코어 Intel Skylake 서버급 머신, 리눅스 |
| RUN 1 최대 귀속 | main.f7, 4210ms, 23.31% |
| RUN 1 최소 귀속 | main.f9, 700ms, 3.88% |
| main.f7 순위 | RUN 1에서 1위(4210ms), RUN 2에서 10위(520ms) |
| main.f1 변동 계수 | 71% |
| 전체 함수 평균 변동 계수 | 28% |
| 기본 pprof 샘플링 | 초당 약 100회(OS 타이머, 10ms당 한 번이 하한) |
| 사이클 샘플링 예 | 500만 사이클마다 한 번, 2.5GHz에서 초당 약 500샘플 |
| 기본 수집 시간 | 30초 |