목차
카리브의 메시지 전달 비용을 줄인 Go 성능 최적화 실험 (2024-12)
원문 정보
- 원문: 실시간 메시징 시스템 개발기 - “성능 개선 레슨런”
- 매체 · 게시일: 카카오 기술블로그 · 2024-12-12
- 저자: george.5 (인터랙션플랫폼, 알렉스 플랫폼 개발), 편집 marron.b
- 원문 내용을 바탕으로 재구성한 요약입니다.
pprof에 드러난 카리브의 I/O 부하
카리브의 성능 개선은 pprof에서 출발했습니다. 실시간으로 메시지를 주고받으며 발생하는 많은 I/O 연산이 CPU에 부하를 주고 있었습니다. 팀은 메시지를 모아 보내는 방법을 찾고, 내부 전달 경로에서 같은 작업을 거듭하는 지점도 살폈습니다.
구축 과정의 시행착오를 다룬 1편, 성능 테스트를 설계하고 분석한 2편에 이은 마지막 3편입니다. 앞서 확인한 부하를 줄이려던 시도 중에는 실제 개선으로 이어진 것도, 테스트 후 기존 방식을 유지한 것도 있었습니다.
수신자마다 되풀이하던 JSON 마샬링
같은 메시지를 받는 사람이 늘면, 같은 내용을 JSON으로 바꾸는 작업도 늘고 있었습니다. 카리브는 각 커넥션이 메시지를 받을 때마다 네트워크 전송을 위한 마샬링을 수행했습니다. 메시지 수에 수신자 수를 곱한 만큼 같은 작업을 반복한 것입니다.
처리 위치를 앞당겼습니다. 카리브 내부에서 Redis 메시지를 받아오는 작은 구조체가 Delivery이고, Broker는 Delivery가 건넨 메시지를 목적지 채널로 보냅니다. 이 Delivery에서 메시지를 한 번만 마샬링한 뒤 결과를 함께 전달하도록 바꾸면, 수신자가 늘어도 같은 메시지를 다시 마샬링하지 않아도 됩니다. 마샬링 횟수는 메시지 수만큼으로 줄었고, CPU 사용량은 기존보다 약 25% 감소했습니다.
남은 마샬링의 비용도 살폈습니다. 표준 encoding/json은 사용하는 데 불편함이 없었지만, 팀은 라이브러리에 따른 성능 차이를 확인하려고 README의 벤치마크 결과가 우수한 go-json을 적용했습니다. 카리브에서 직접 비교한 결과, 메시지 유실률이 약 2.5% 개선되었습니다.
50ms마다 코르크를 열던 TCP_CORK
작은 데이터를 자주 보내면 헤더 오버헤드가 커집니다. 팀은 실시간성을 해치지 않는 범위에서 메시지를 모아 보내려 했고, socketify와 µWebSockets 코드를 살피다가 코르크라는 개념을 발견했습니다.
TCP에는 이미 작은 데이터를 모아 보내는 Nagle 알고리즘이 있습니다. 데이터가 MSS(최대 세그먼트 크기)만큼 쌓이거나 더 보낼 데이터가 없으면 전송하고, 나머지 경우에는 이전 전송의 ACK(응답)를 기다렸다가 모은 데이터를 보냅니다. TCP_NODELAY는 Nagle을 끄고 바로 전송하는 옵션입니다. 실시간성이 중요한 스트리밍 서비스 등에 쓸 수 있지만 오버헤드가 큽니다.
TCP_CORK는 데이터를 모으면서도 전송 시점을 직접 제어하는 선택지였습니다. 옵션을 켜면 MSS보다 작은 데이터를 버퍼링하고, 끄면 쌓인 데이터를 내보냅니다. 데이터를 코르크로 막아 두었다가 원하는 때 여는 방식입니다. ACK를 기다릴 필요는 없지만, 운영체제가 중간에 데이터를 강제로 전송하는 시점은 네트워크 스택 구현에 따라 달라질 수 있습니다.
카리브에서는 50ms마다 코르크를 열었습니다. 메시지 유실률과 CPU 점유율이 모두 나아졌지만, pprof에는 다른 비용이 보였습니다. Go에서 TCP_CORK를 켜고 끌 때마다 발생하는 setsockopt 같은 시스템 호출이 예상보다 많은 CPU를 쓰고 있었습니다. 네트워크 I/O를 줄인 자리에 소켓 상태 관리와 컨텍스트 스위칭 비용이 늘어난 것으로 보였습니다.
버퍼링 위치를 옮긴 gobwas
모아서 보내는 효과는 확인했습니다. 남은 문제는 그 일을 어디에서 처리하느냐였습니다. 팀은 Go 웹소켓 라이브러리 gobwas가 제공하는 프레임 버퍼링 기능으로 눈을 돌렸습니다. 애플리케이션에서 웹소켓 프레임을 버퍼에 담고, TCP_CORK와 같은 50ms 주기로 flush하도록 바꿨습니다.
차이는 부하를 높였을 때 드러났습니다. 60초 동안 테스트하면서 10초마다 세션을 끊고 재연결하는 조건에서, TCP_CORK만 적용한 경우에는 구독자 2K에서 메시지 유실이 25% 발생했습니다. 3K로 늘리면 I/O timeout과 함께 유실률이 더 높아졌습니다. gobwas 버퍼링을 사용한 경우에는 구독자 6K에서도 유실률이 17%였습니다. 팀은 이 결과를 바탕으로 gobwas 방식을 적용했습니다.
Delivery의 병목을 줄인 메시지 묶음
메시지 전달 과정에는 마샬링 외의 병목도 있었습니다. pprof에서 Redis 메시지를 내부 채널로 전달하는 Delivery에 병목이 나타났고, 팀은 이를 실행하는 고루틴이 예상보다 적게 스케줄링되는 것은 아닌지 의심했습니다.
기존에는 메시지를 가져올 때마다 채널로 보내고 콜백을 실행했습니다. 이를 메시지를 모아 채널에 보내는 방식으로 바꾸고, 묶음마다 콜백을 별도 고루틴에서 실행하도록 했습니다. 변경 후 메시지 유실률은 기존 대비 약 60% 개선되었습니다.
개선 수치는 측정 결과입니다. 그 이유는 추정으로 남았습니다. 팀은 여러 고루틴이 메시지 묶음을 나눠 처리하면서, 전달 로직이 스케줄링되어 실행되는 시간이 늘어났을 것으로 보았습니다. 특정 고루틴을 우선 실행하거나 계속 상주시키고 싶어도 세밀하게 제어하기는 어려웠습니다.
예상과 다른 결과를 낸 Go 메모리 실험
Heap Escape를 피하려던 실험은 기존 방식을 유지하는 쪽으로 끝났습니다. 카리브는 각 커넥션으로 메시지를 보낼 때 Go 채널에 포인터를 전달하고 있었습니다. 팀은 이 포인터 전달이 힙 할당을 일으켜 성능을 낮출 수 있다고 보고, 메시지를 값으로 전달하도록 바꿔 테스트했습니다.
Go 컴파일러는 escape analysis로 변수의 수명과 메모리 사용량을 분석해 스택과 힙 중 어디에 할당할지 정합니다. 수명을 알 수 없어 힙에 할당하는 경우에는 스택 할당보다 비용이 큽니다. 이런 Heap Escape는 채널이나 슬라이스에 포인터 또는 포인터를 포함한 값을 전달·저장할 때, 인터페이스 메서드를 호출할 때, 슬라이스가 지정한 capacity를 넘을 때 자주 발생합니다.
카리브의 결과는 예상과 달랐습니다. 포인터를 전달하는 쪽의 성능 지표가 더 좋았습니다. 대량의 메시지를 매번 복사하는 비용이 Heap Escape 비용보다 컸기 때문입니다. 팀은 채널에 메시지 포인터를 넘기는 방식을 유지했습니다. 이 환경에서는 힙 할당을 피하는 것보다 복사를 줄이는 편이 유리했습니다.
적용할 지점을 찾지 못한 Zero Allocation
Zero Allocation은 Go 벤치마크에서 연산당 평균 메모리 할당 횟수인 allocs/op이 0인 상태입니다. 힙 할당이 많아지면 GC 오버헤드도 커질 수 있으므로, 미리 할당한 메모리를 재사용하거나 스택 메모리를 활용해 할당을 줄이는 방법을 살폈습니다.
원문의 슬라이스 벤치마크에서는 크기가 정해져 있고 64KB 이하인 경우 스택에 저장되는 결과를 확인했습니다. 인라이닝을 막은 함수가 슬라이스를 반환하면 힙에 저장됐습니다. 원문은 이 크기 기준이 Go 1.17부터 적용됐다고 설명합니다. 또 capacity가 부족할 때 2배씩 늘어나는 동작을 짚고, capacity를 0으로 시작하는 경우와 미리 정한 경우를 비교해 할당을 줄인 결과를 제시합니다.
개념과 벤치마크 결과는 확인했지만, 당시 카리브 코드에서는 이를 적용해 크게 개선할 지점을 찾지 못했습니다. Zero Allocation은 이후 적용할 곳이 생기면 다시 시도하기로 했습니다.
검토에서 멈춘 io_uring
I/O는 개선 뒤에도 가장 큰 부하 지점이었습니다. 팀은 시스템 호출 비용을 더 줄일 후보로 리눅스의 비동기 I/O API인 io_uring을 검토했습니다.
io_uring은 요청을 담는 Submission Queue와 완료 결과를 담는 Completion Queue를 커널과 사용자 공간이 공유 메모리로 사용합니다. 이 방식으로 시스템 호출 빈도와 컨텍스트 스위칭 비용을 줄입니다. Submission Queue Polling을 켜면 특수 커널 스레드가 요청을 감지해 추가 시스템 호출 없이 처리합니다. CPU를 더 쓰므로 I/O 작업이 잦은 워크로드에 적합한 기능입니다.
카리브에서도 시험해 볼 만했지만, Go에 적용하는 문제는 남아 있었습니다. 원문 작성 당시 Go 내부에서도 io_uring 도입은 논의 단계였습니다. 고루틴 사이에서 링 버퍼 접근을 어떻게 조정할지, Go 내부 구조에서 투명하고 효율적으로 적용할 수 있을지 우려가 있었습니다. 팀은 관련 자료를 검토한 뒤 카리브 적용을 보류했습니다.
연결마다 늘어나는 Go의 고루틴
카리브 팀은 Go의 고루틴과 채널이 콜백 기반 비동기 프로그래밍을 단순하게 풀어 준다고 평가했습니다. 사람의 선형적인 사고와 맞지 않는 흐름을 다루기 쉬워졌고, 사용하기 쉬우면서도 좋은 성능의 애플리케이션을 만들 수 있었습니다.
연결이 많아지면 그 사용성 뒤의 비용도 커졌습니다. 표준 net.Conn을 사용하는 프레임워크는 연결마다 하나 이상의 고루틴을 사용하므로, 연결 수가 늘수록 메모리와 하드웨어 비용이 빠르게 증가했습니다. 스케줄링 비용을 줄이거나 특정 고루틴의 실행을 우선하는 제어도 쉽지 않았습니다. 카리브처럼 성능과 대량 연결을 함께 다루는 시스템에서는 Go와 고루틴 스케줄링을 더 깊이 이해해야 했습니다.
카리브 v2의 개발과 성능 개선은 마무리됐습니다. 원문 작성 시점에는 v3를 배포하며 기능을 추가하고 있었습니다.
실험에서 확인한 성능 변화
| 개선 항목 | 결과 |
|---|---|
| TCP_CORK, 50ms 주기 | 유실률과 CPU 개선, 다만 setsockopt 시스템 호출 오버헤드 발생 |
| TCP_CORK 단독 한계 | 구독자 2K에서 25% 유실, 3K에서 I/O timeout |
| gobwas 웹소켓 프레임 버퍼링, 50ms 주기 | 구독자 6K에서 17% 유실 |
| 중복 마샬링 제거 | CPU 약 25% 감소 |
| go-json 교체 | 메시지 유실률 약 2.5% 개선 |
| Delivery 메시지 묶음과 고루틴 콜백 | 메시지 유실률 약 60% 개선 |
| 채널 값 전달로 Heap Escape 회피 시도 | 오히려 포인터 전달이 더 좋아 기존 방식 유지 |
TCP_CORK와 gobwas 버퍼링을 비교한 테스트는 60초 동안 진행했고, 10초마다 세션을 끊고 재연결했습니다.