목차
Go pprof로 CPU 사용처를 따라 찾은 카리브의 병목 (2024-12)
원문 정보
- 원문: 실시간 메시징 시스템 개발 - “성능 테스트 설계와 분석”
- 매체 · 게시일: 카카오 기술블로그 · 2024-12-12
- 저자: tim.aeom (인터랙션플랫폼), 편집 marron.b
- 원문 내용을 바탕으로 재구성한 요약입니다.
구독자가 받아야 할 6000개의 메시지
카리브 개발 시리즈의 1편은 시스템을 구축하며 맞닥뜨린 기술적 과제를 다뤘습니다. 2편에서 다루는 성능 테스트는 구독자가 메시지를 제대로 받았는지부터 따집니다.
초당 100개가 발행되는 채널을 60초 동안 구독했다면, 각 구독자는 6000개의 메시지를 받아야 합니다. 테스트 시간 안에 절반인 3000개만 도착했다면 사용자 입장에서는 서비스에 문제가 생긴 것입니다. 하나도 받지 못했다면 서비스 중단입니다. CPU 스로틀이나 메모리 누수로 서버 상태를 진단하더라도, 서비스가 제 역할을 했는지는 사용자의 수신 결과에서 확인해야 합니다.
일반적인 API 서버는 요청부터 응답까지를 트랜잭션 하나로 보고, 초당 처리 수인 TPS로 성능을 잽니다. 카리브에서는 구독과 발행을 함께 봐야 합니다. 구독(Subscribe) API는 오래 유지되는 연결인 Long Live Connection을 만들고, 사용자는 채널을 구독해 메시지를 받습니다. 발행(Publish) API를 호출하는 목적도 그 채널의 구독자들에게 메시지를 전달하는 데 있습니다.
구독 API만 측정해 100K TPS를 달성했다고 가정해 보겠습니다. 이 수치가 나와도 실제 서비스에서는 서버당 구독자가 1K 수준일 때 서비스 불가 상태에 빠질 수 있습니다. 연결을 얼마나 많이 맺는지만으로는 메시지 전달 성능을 알 수 없기 때문입니다. 구독자 수와 메시지 발행량을 함께 고려하지 않으면 예상보다 훨씬 낮은 부하에서 장애를 만날 수 있습니다.
N과 M을 늘려 찾는 한 채널의 한계
카리브가 정한 시나리오는 N명의 구독자가 1개 채널을 구독할 때 초당 M개의 메시지를 처리하는 상황입니다. N과 M을 높여 가며 메시지가 모두 도착하는지 확인했습니다. 이 프로젝트에서는 구독자 수 N과 초당 발행량 M이 곧 성능 지표였습니다.
실시간 메시징은 메시지 하나를 여러 구독자에게 전파하는 fan-out 방식입니다. 구독자가 늘면 연결을 유지하는 데 필요한 메모리 할당량이 증가하고, 메시지를 전달하는 쓰기 I/O도 많아져 CPU 사용량이 올라갑니다. 발행량을 늘려도 I/O와 CPU 사용량이 증가합니다. 구독자 수와 발행량이 가장 큰 영향을 주는 이유입니다.
채널과 구독자를 관리하는 데이터 구조도 성능에 관여합니다. 실시간으로 항목을 추가하고 제거해야 하므로 lock 같은 동기화가 필요하고, 이 과정에서 경합이 생길 수 있습니다. 메시지 크기나 구독 채널 수 역시 결과를 바꾸는 요인입니다.
성능을 비교하는 목적은 같은 자원으로 더 많은 사용자에게 서비스를 제공하는 데 있습니다. 그렇다고 자원을 적게 쓰는 것만으로 좋은 성능을 판정하기는 어렵습니다. 응답이 더 느려졌을 수도 있기 때문입니다. 비교할 인터페이스와 테스트 대상 외의 환경을 맞춰야 하는 이유입니다.
팀은 초기 실험에서 장비 리소스, 런타임과 네트워크 환경, 구독 유지 시간, 구독 채널 수, 메시지 크기를 바꿔 가며 비교했습니다. 그 결과 구독자 수와 발행량의 영향이 가장 컸습니다. 다른 요인은 이들보다 영향이 작거나 실제 운영 시나리오에 맞지 않는 등의 이유로 값을 고정했습니다.
Redis에 10ms마다 메시지를 보내는 테스트 환경
발행 클라이언트는 Publish API를 거치지 않고 전역 브로커인 Redis에 직접 메시지를 보냈습니다. 카리브의 publish API가 하는 일은 Redis에 메시지를 전달하는 것이 전부였습니다. 팀이 측정하려는 대상은 그 뒤에서 메시지를 구독자들에게 fan-out 하는 과정이었습니다.
초당 100개를 발행하는 예에서는 10ms마다 메시지를 1개씩 보냈습니다. 발행 간격에도 이유가 있습니다. 1초마다 100개를 몰아서 보내면 수백 ms 안에 전송이 끝나고 나머지 시간에는 아무 일도 일어나지 않습니다. 사용자들이 정확히 같은 타이밍에 맞춰 활동하지는 않으므로, 짧은 주기로 나눠 메시지를 최대한 고르게 보냈습니다.
구독 클라이언트는 가상 유저들이 Subscribe API를 호출하도록 만들어 N명의 구독자를 재현했습니다. 컨테이너를 쓰면 여러 프로세스에서 요청을 보내기 수월합니다. 서로 다른 지역과 프로세스, 스레드에서 요청하는 실제 환경에 더 가깝고, rate limit이나 포트 고갈(file descriptor), 네트워크 이슈처럼 부하를 만드는 쪽에서 고려할 복잡한 경우도 줄어듭니다. 클라이언트는 부하를 만드는 데서 그치지 않고 각 구독자가 받은 메시지 수도 확인했습니다.
서버 컨테이너에는 예상한 실서비스 환경과 최대한 비슷하게 리소스를 할당했습니다. 실험이 끝날 때까지 처음 값을 유지했고, 효율을 높이기 위한 약간의 조정은 테스트가 모두 끝난 뒤에 했습니다. 서버는 VM 위의 Docker 컨테이너로 실행됐으므로, 리소스도 컨테이너 단위로 추적했습니다. 지표 수집에는 cAdvisor를 사용했습니다.
이런 실험을 뒷받침한 것은 사내 인프라 도구였습니다. 쿠버네티스 클러스터를 만드는 DKOS, VM 인스턴스를 제공하는 krane, Docker 이미지 빌드와 배포를 위한 D2Hub 덕분에 팀은 비즈니스 로직의 성능 테스트에 집중할 수 있었습니다. 테스트의 최종 목표는 서버의 부하 한계를 측정하고, 컨테이너에 할당할 리소스와 실서비스에 배포할 레플리카 수를 정하는 것이었습니다.
CPU 100% 뒤의 사용처를 찾는 Go pprof
N과 M을 늘리자 CPU 사용량과 메시지 유실률이 올라갔습니다. CPU가 100%에 이르면 부하 한계에 도달했다고 해석할 수 있고, 기대한 수보다 적게 받은 메시지는 유실로 판단했습니다. 한계에 닿을 때마다 팀원들은 병목으로 의심되는 곳을 고치고 다시 테스트했습니다.
실험은 점점 빨라졌습니다. N과 M의 최댓값을 찾고 개선 가설을 검증하는 속도도 높아졌지만, 성능이 나아질수록 실제 병목을 찾기는 어려워졌습니다. 테스트 결과가 알려 주는 것은 CPU를 모두 쓰고 있다는 사실과 서비스가 제대로 동작하지 않는다는 사실까지였습니다. 어느 코드에서 자원을 많이 쓰는지는 보이지 않았습니다.
Go로 개발한 카리브에는 pprof를 적용했습니다. pprof는 함수별 CPU 시간뿐 아니라 메모리 할당, 고루틴 스케줄링, lock으로 인한 병목도 분석하는 도구입니다. 팀은 이 가운데 고루틴 스케줄링과 CPU 점유율 정보만으로도 많은 단서를 얻어 성능을 개선했습니다.
30초 샘플에 드러난 busy1()
원문은 작은 pub/sub 애플리케이션으로 프로파일을 읽는 과정을 보여 줍니다. 예제에서 net/http/pprof를 import하면 /debug/pprof/ 엔드포인트가 생깁니다. CPU 프로파일은 일정한 주기로 실행 중인 함수 콜스택을 수집하므로, go tool pprof 'http://localhost:8090/debug/pprof/profile?seconds=30'처럼 수집 기간을 지정합니다.
처음에는 샘플링하는 동안 API를 몇 번 호출해도 관련 함수가 결과에 나타나지 않았습니다. 30.07s 동안 수집했지만 CPU 샘플의 합계는 30ms(0.1%)였습니다. 여기서 Subscribe와 Publish에 각각 5초 동안 바쁘게 도는 busy1()을 넣었습니다. 구독 API를 한 번, 발행 API를 세 번 호출하며 다시 수집하자 30.08s 동안 CPU 샘플 17.87s(59.41%)가 잡혔습니다.
이 결과에서 busy1()의 flat은 0.10s, cum은 17.04s였습니다. flat은 함수 자체에서 쓴 CPU 시간이고, cum은 그 함수가 호출한 하위 함수의 시간까지 포함한 누계입니다. busy1() 자체가 CPU를 오래 점유한 것은 아니지만, 그 아래에서 실행한 함수까지 합치면 큰 비중을 차지한 것입니다.
실제로 상위에 나타난 함수는 채널과 관련된 runtime.empty, runtime.selectnbrecv, runtime.chanrecv였습니다. list 명령으로 소스 코드를 펼치면 case <-timeout: 줄에 flat 100ms와 cum 17.04s가 표시됩니다. 함수 목록에서 보던 CPU 사용량을 코드의 어느 줄과 연결해야 하는지 확인하는 과정입니다.
수집 기간보다 길어진 CPU 샘플의 합계
여러 번 Subscribe와 Publish를 호출한 다른 예제에서는 30.19s 동안 수집한 CPU 샘플의 합계가 42.14s(139.60%)였습니다. 샘플 시간이 경과 시간보다 깁니다. 멀티 프로세서 환경에서는 각 프로세서에서 실행 중인 콜스택을 수집하기 때문에 이런 결과가 나옵니다.
애플리케이션에 4 Core를 할당했다면 샘플 합계가 수집 기간의 최대 4배인 400%에 가까워질 수 있습니다. 따라서 샘플 합계와 경과 시간만 비교하기보다, 전체 CPU 샘플에서 각 함수가 차지하는 비중인 flat%, cum%를 함께 읽어야 합니다.
호출 관계는 그림으로 보면 더 잘 드러납니다. graphviz를 설치하고 web 명령을 쓰면 Subscribe와 Publish가 같은 busy1()을 호출하는 관계를 그래프로 볼 수 있습니다. 노드와 엣지의 색상과 크기에도 의미가 담겨 있습니다. 저장한 프로파일을 go tool pprof -http=:8080으로 열면 웹에서 소스 코드와 Flame graph도 확인할 수 있는데, 필자는 특히 Flame graph가 호출 관계를 파악하는 데 도움이 됐다고 설명합니다.
분석 범위는 CPU에 한정되지 않습니다. 메모리 할당과 누수, 고루틴 스케줄링과 경합도 살펴볼 수 있습니다. 메모리 프로파일링으로 성능을 튜닝한 사례로는 같은 블로그의 「Golang GC 튜닝 가이드」를 함께 소개합니다.
프로파일링 자체도 성능에 영향을 줍니다. 여러 지표를 한꺼번에 수집하면 서로 영향을 줄 수 있으므로, 운영 환경과 성능 테스트에서 어떤 수집 기능이 켜져 있는지 확인해야 합니다. 해결하려는 문제에 맞춰 지표를 고르고, 그 수치가 무엇을 나타내는지 해석해야 합니다. 설득력 있는 숫자라도 잘못 읽으면 먼 길을 돌아가게 됩니다.
구독자에게 퍼질수록 커진 카리브의 I/O
실제 카리브의 프로파일에서는 메시지 전달을 위한 I/O가 CPU 사용량 대부분을 차지했습니다. 구독자가 많아질수록 같은 메시지를 더 많은 사람에게 보내야 했고, 그만큼 I/O 연산이 늘어났습니다. 한 번의 Publish로 얼마나 많은 구독자에게 메시지를 전달할 수 있는지라는 처음의 문제가 CPU 사용처에서도 드러난 것입니다.
팀은 이 결과를 바탕으로 I/O 연산을 줄이는 여러 방법을 시도했습니다. 병목을 발견한 뒤 어떤 개선안을 적용했는지는 시리즈 3편에서 이어집니다.
원문을 작성할 당시에는 프로젝트를 마친 지 1년이 지났고, 팀은 카리브 기능을 여러 서비스에 적용하는 데 힘쓰고 있었습니다. 관심도 사용자가 편하게 쓸 수 있는 기능과 사용성 개선으로 이어졌습니다. 사용자가 없으면 성능도 빛을 발하지 못한다는 생각에서입니다.
테스트 조건과 pprof 예시 수치
| 항목 | 값 |
|---|---|
| 테스트 시나리오 | N명 구독자, 1개 채널, 초당 M개 메시지 |
| 발행 간격 | 초당 100개이면 10ms마다 1개 |
| 구독 유지 예시 | 60초, 초당 100개 발행이면 구독자당 기대 수신 6000개 |
| 지표 수집 | cAdvisor, 컨테이너 단위 |
| 예제 CPU 프로파일 1 | Duration 30.07s, Total samples 30ms (0.1%) |
| 예제 CPU 프로파일 2 | Duration 30.08s, Total samples 17.87s (59.41%) |
| 멀티 프로세서 예제 | Duration 30.19s, Total samples 42.14s (139.60%) |