목차
Redis의 부하를 서버로 옮긴 실시간 메시징 시스템 카리브 (2024-12)
원문 정보
- 원문: 실시간 메시징 시스템 개발기 - “삽질 과정”
- 매체 · 게시일: 카카오 기술블로그 · 2024-12-12
- 저자: aiden.ahn (인터렉션플랫폼, 알렉스 플랫폼 개발), 편집 marron.b
- 원문 내용을 바탕으로 재구성한 요약입니다.
15만 접속 앞에서 드러난 라이브 서버의 한계
알렉스 라이브 서버의 목표는 서버당 10K 커넥션이었습니다. 그러나 사회적 이슈로 접속자가 급증했을 때, cpu 8 / mem 8GB VM 30대에서 약 15만 접속자에게 초당 60개 이상의 메시지를 보내는 상황을 버티지 못했습니다. 대당 약 5K 커넥션에서도 서비스가 정상적으로 동작하지 않았습니다.
새 시스템을 만들기 전에 비교 기준부터 잡았습니다. 장애 상황을 바탕으로 cpu 6 / mem 12GB 장비의 한 채널에 모든 커넥션을 연결하고, 각 커넥션은 10초마다 재접속하도록 했습니다. 약 500 Bytes 메시지를 초당 100개 발행하자 약 1K 커넥션까지만 정상적으로 수신했습니다. 2K에서는 전달해야 할 메시지의 20~30%가 테스트 시간 안에 도착하지 못했고, 4K에서는 그 비율이 60~70%에 이르렀습니다.
문제는 리소스 사용량만이 아니었습니다. 라이브 서버는 댓글 도메인과 강하게 결합되어 다른 용도로 확장하기도 어려웠습니다. 이를 대체할 카리브는 댓글의 실시간 반응 전달에서 출발하되, 범용 메시징 시스템을 지향했습니다. 페이로드는 내용을 해석하지 않는 단순한 스트링으로 취급하고, publish는 API로 받아 이후 메시지를 단방향으로 전파하는 팬아웃 방식입니다. 대규모 커넥션에 대응하려면 서버를 늘릴 수 있어야 한다는 목표도 세웠습니다.
Java 개발팀이 처음 선택한 Go
개발팀에 익숙한 언어는 Java였습니다. 기존 라이브 서버도 모두가 친숙한 Spring의 spring-boot-starter-websocket으로 만들었지만, 성능을 튜닝하는 과정은 순탄하지 않았습니다. Go를 선택한 계기는 테스트 클라이언트였습니다. 기존 서버에 부하를 주려고 Go로 작성한 클라이언트의 성능이 인상적이었고, 경량 스레드를 가진 Go라면 적은 리소스로 많은 커넥션을 감당할 수 있으리라 기대했습니다.
카리브는 알렉스 플랫폼의 첫 Go 시스템입니다. 프로젝트 레이아웃을 잡는 일부터 예상보다 오래 걸렸습니다. 당시 참고할 만한 성숙한 프로젝트는 시스템 애플리케이션이나 라이브러리가 많았고, 웹 애플리케이션에 가져올 사례는 찾기 어려웠습니다. golang-standards 저장소도 큰 도움이 되지는 않았습니다. 그나마 다양한 사례를 다룬 iris 프레임워크 예제가 구성에 도움이 되었습니다.
설정은 유명한 viper가 있으니 수월할 줄 알았습니다. 하지만 Spring의 application properties처럼 페이즈별 설정을 조합하려 하자, 플래그 → 환경변수 → 파일로 고정된 우선순위에 막혔습니다. 키를 소문자로 강제하는 점도 한계였습니다. 대신 찾은 koanf는 Provider로 파일, 환경변수, vault의 설정을 명시적으로 로드하고 병합하는 방식입니다. 함께 제공하는 Vault Provider로 연동도 쉽게 처리했고, 저자는 Go 프로젝트를 진행한다면 koanf를 적극 추천합니다.
새 서버가 들어와도 제자리에 남는 커넥션
단방향 팬아웃에는 SSE(Server-Sent Events)가 처음부터 후보였습니다. 서버에서 클라이언트로만 메시지를 보내며, HTTP 위에서 동작해 상태 관리와 압축의 이점을 공유합니다. 브라우저에서는 EventSource로 연결을 관리할 수 있고 서버 구현도 간단했습니다. 걸림돌은 지원 대상에 포함된 IE11입니다. SSE를 지원하지 않는 IE11을 위해서는 롱폴링이나 웹소켓이 필요했습니다.
웹소켓은 양방향 스트리밍을 지원하고 브라우저 호환성도 넓습니다. 대신 연결 이후의 프로토콜이 열려 있어 직접 설계하거나 적합한 프로토콜을 골라야 합니다. HTTP가 제공하는 상태 관리, 압축, 캐싱도 기본으로 갖추고 있지 않습니다. 롱폴링은 가장 구현이 간단하고 레거시 디바이스에서도 쓸 수 있지만, 요청을 반복하는 데서 생기는 오버헤드가 부담이었습니다.
그런데 조사 중 예상 밖의 사례를 만났습니다. 유튜브 채팅은 폴링을 사용했고, PubNub도 C로 작성한 효율적인 롱폴링 기술을 쓰고 있었습니다. 폴링을 다시 들여다보니 Ajax만 있으면 되는 호환성, 메시지를 모아서 내려주는 효과가 보였습니다. 가장 큰 장점은 로드 밸런싱이었습니다.
기존 소켓 서버가 각각 2500 커넥션에서 부하 한계에 이른 상황을 가정해 보겠습니다. 새 서버를 넣어도 기존 연결은 제자리에 남습니다. 한번 맺은 연결이 오래 유지되므로 서버를 추가한 효과가 바로 나타나지 않는 것입니다. 롱폴링은 일반 API 서버처럼 짧은 연결을 반복하므로 새 서버가 들어오면 거의 즉시 부하가 분산됩니다. 롱폴링이 아니어도 짧은 주기로 재연결하면 어느 정도 같은 효과를 얻을 수 있습니다.
약간의 지연도 활용할 여지가 있었습니다. 접속자가 한 채널에 몰릴 때 일정 구간의 메시지를 모아서 내려주면, 트래픽이 커질수록 부하에 유리한 부분이 있으리라 판단했습니다. 그렇게 카리브는 SSE와 롱폴링을 함께 지원하게 되었습니다. SSE 역시 주기적으로 재연결하고 메시지를 모아 보내도록 설계했습니다.
Singleflight 뒤에도 남은 Redis의 부하
주기적인 재연결을 택하자 메시지 브로커에 필요한 조건도 달라졌습니다. 연결이 끊긴 사이의 메시지를 잠시 보관하고, 다시 연결하면 원하는 위치부터 가져와야 했습니다. 메시지를 밀어 보내는 Redis pub/sub로는 이 요구를 충족하기 어려웠습니다. 카리브가 선택한 것은 Redis 5.0부터 지원된 Redis Streams입니다. 타임스탬프 형식으로 메시지가 쌓여 특정 시점 이후의 메시지를 가져오기 쉬웠습니다.
첫 비교 테스트는 6 Core / 12GB VM에서 진행했습니다. 한 채널에 초당 100개의 메시지를 발행하고 커넥션을 10초마다 다시 연결하는 부하를 60초 동안 유지했습니다. 롱폴링과 SSE 모두 2K 커넥션까지 정상이었고, 4K에서는 약 40%가 유실되었습니다. 기존 서버가 1K까지만 정상이었던 것에 비하면 적어도 2배의 성능 향상으로 보였습니다.
Redis 지표를 보자 이야기가 달라졌습니다. 4K 커넥션에서 CPU 사용량이 75%를 넘어섰습니다. 커넥션마다 주기적으로 xrange를 요청하니, 접속자가 늘수록 Redis에 부하가 몰렸습니다.
같은 요청을 서버 안에서 모아 처리하기 위해 Go의 Singleflight를 적용했습니다. 같은 키로 실행한 비동기 요청이 이미 진행 중이면 새 요청을 보내지 않고 기존 요청의 응답을 공유하는 패키지입니다. 약 200라인의 간단한 로직이었지만 효과는 컸습니다. 적용 뒤에는 10K 커넥션에서도 Redis CPU 사용량이 2% 미만으로 줄었습니다.
카리브 v1은 이 개선을 거쳐 기존 라이브 서버를 대체했습니다. 6 Core / 12GB VM에서 채널에 초당 100개 이벤트가 발생할 때, 기존 서버의 한계는 1K였으나 v1은 5K 이상을 감당했습니다. PM 15대와 VM 48대로 구성했던 클러스터도 VM 33대로 바꾸면서 더 많은 커넥션을 처리하게 되었습니다.
하지만 운영 환경에는 테스트와 다른 모습이 있었습니다. 테스트는 과거 장애처럼 한 채널에 접속자가 극단적으로 몰리는 상황에 집중했지만, 실제로는 여러 채널에 접속자가 분포했습니다. 이때는 Redis 부하가 여전히 높아 피크 타임 CPU 사용률이 40%에 육박했습니다. Singleflight가 한 채널의 대규모 유입에 효과를 보였어도, Redis에 부하가 집중되는 문제는 남아 있었습니다.
채널별 메시지 분배를 넘겨받은 카리브 v2
v2에서는 커넥션마다 Redis에서 채널의 메시지를 가져오는 pull 방식을 바꿨습니다. 주기적인 조회는 실시간성이 떨어지는 대신 성능에 유리하리라 기대했지만, 실제 효용은 크지 않았습니다. 메시지가 별로 발행되지 않아도 커넥션이 많으면 Redis에 부하를 주었습니다.
Redis의 역할을 줄이기로 했습니다. 최상위 레벨까지만 메시지를 분류하는 전역 브로커로 두고, 채널별로 메시지를 나누는 로컬 브로커 역할은 각 카리브 서버가 맡았습니다. 카리브 서버가 큰 부하를 감당하게 되지만, 이 서버들은 스케일 아웃이 쉬우므로 대규모 트래픽에 대응하기 더 낫다는 판단입니다.
먼저 여러 채널에 연결이 분산된 조건으로 확인했습니다. 2 core / 4GB VM에서 1000개 채널에 10000 커넥션을 나누고, 각 커넥션은 10초마다 재접속했습니다. 전체 채널을 합쳐 약 500 Bytes 메시지를 초당 50개 발행했을 때, Redis CPU 사용량은 v1의 15%에서 v2의 1% 미만으로 내려갔습니다. 불필요한 내부 폴링이 사라지면서 카리브 서버의 CPU도 100%에서 75%로, 메모리는 600MB에서 500MB로 줄었습니다.
여기까지는 목표대로였습니다. 그러나 같은 사양의 VM에서 모든 연결을 한 채널에 모으고 60초 동안 유지하며 초당 100개 메시지를 발행하자, v2는 1K 커넥션부터 메시지 15%를 테스트 시간 안에 전달하지 못했습니다. v1에서 확보했던 5K 이상의 수용량과 견주면 1/5 이하였습니다. 부하를 카리브 서버로 옮겼으니 성능 하락은 예상했지만, 이 정도로 낮을 줄은 몰랐습니다.
연결 감지를 직접 다룬 웹소켓
내부 메시지 전파를 push 방식으로 바꾸면서 클라이언트 프로토콜도 달라졌습니다. 실효성이 줄어든 롱폴링 지원을 중단하고, 사내에서 요청이 있었던 웹소켓을 추가했습니다. HTTP 기반의 SSE에는 연결 유지와 오류 처리를 위한 안정적인 규격이 있었지만, 웹소켓에서는 직접 처리할 부분이 많았습니다.
서버나 클라이언트가 연결을 강제로 닫으면 상대가 감지할 수 있습니다. 네트워크 문제로 끊긴 연결은 다릅니다. 양쪽 모두 즉시 알아채지 못하므로 RFC 6455에 정의된 ping/pong 컨트롤 프레임으로 연결을 확인해야 했습니다. 일부 Go 라이브러리가 이를 자동으로 처리했지만, 카리브는 성능 최적화를 위해 직접 다뤘습니다. 메시지 전송이 오랫동안 없을 때만 ping/pong을 보내 네트워크 I/O를 줄이는 방식입니다.
메시지 전송 포맷은 SSE를 참고해 data와 retry를 담은 JSON으로 정의했습니다. retry는 연결이 끊긴 뒤 다시 접속하기까지 기다릴 시간입니다. 처음에는 곧바로 재접속하면 될 텐데 왜 기다려야 하는지 와닿지 않았습니다. 하지만 장애나 배포로 모든 연결이 끊기면 재접속 요청도 한꺼번에 몰릴 수 있습니다. Thundering herd problem입니다. 클라이언트마다 retry를 무작위로 다르게 주는 jitter를 적용하면 재접속이 한 시점에 몰리는 상황을 막을 수 있습니다.
6000 커넥션까지 유실 없이 도달한 메시지
병목을 분석하고 여러 개선안을 적용한 뒤, 2 core / 4GB VM에서 한 채널에 5000 커넥션을 연결해 다시 측정했습니다. 연결은 60초 동안 유지했고 메시지 크기는 약 500 Bytes였습니다. 이번 테스트의 발행량은 초당 50개입니다. 이 조건에서 v2 SSE와 웹소켓의 메시지 유실률은 모두 0%였고, v1 SSE는 14%였습니다. 카리브 CPU는 세 경우 모두 100%를 사용했습니다.
초당 100개를 발행하는 조건도 확인했습니다. 웹소켓은 6000 커넥션까지 유실 없이 전달해 수신 기준 초당 600,000 메시지를 처리했습니다. 8K 커넥션에서는 약 5%의 메시지가 늦게 도착했으며, 개발팀은 서비스 가능한 수준으로 판단했습니다. 기존에 사용하던 6 Core / 12GB의 1/3 사양에서 얻은 결과입니다.
실서비스에서는 메달이 결정되는 순간이 가장 큰 부하로 이어졌습니다. 2024년 8월 4일 오후 10시 6분경, 파리 올림픽 남자 양궁 개인 결승전에서 단일 채널에 약 48K 동시 접속이 발생했습니다. 분당 수백 건의 메시지를 각 접속자에게 전달했지만 큰 문제없이 감당했습니다. v2 오픈 뒤 과거 라이브 서버 장애 때와 같은 15만 동접까지 발생한 것은 아니지만, 사회적 이슈 때마다 높은 트래픽을 받으며 실제 서비스의 성능과 안정성을 확인했습니다.
이 글은 실시간 메시징 시스템 개발기 3부작의 첫 편입니다. 성능 테스트의 설계와 분석은 2편에서, 병목 발견부터 개선안 도출과 실제 적용까지의 과정은 3편에서 이어집니다.
성능 테스트 수치
기존 라이브 서버 (cpu 6 / mem 12GB, 한 채널, 초당 100개 메시지)
| 커넥션 | 메시지 수신 |
|---|---|
| 1000 | 정상 |
| 2000 | 20~30% 유실 |
| 4000 | 60~70% 유실 |
카리브 v1 초기 테스트 (6 Core / 12GB, 1 채널, 100건/초, 60초)
| 커넥션 | 기존 서버 | 카리브 롱폴링 | 카리브 SSE |
|---|---|---|---|
| 1000 | 정상 | 정상 | 정상 |
| 2000 | 20~30% 유실 | 정상 | 정상 |
| 4000 | 60~70% 유실 (앞선 측정) | 약 40% 유실 | 약 40% 유실 |
v1 대 v2, 1000개 채널에 10K 커넥션 (2 core / 4GB)
| 항목 | v1 | v2 |
|---|---|---|
| 카리브 CPU | 100% | 75% |
| 카리브 Memory | 600MB | 500MB |
| Redis CPU | 15% | 1% 미만 |
v2 초기, 한 채널 (2 core / 4GB)
| 커넥션 | 수신 | CPU | Memory |
|---|---|---|---|
| 500 | 정상 | 75% | 40MB |
| 1000 | 15% 유실 | 100% | 75MB |
개선 후, 한 채널 5000 커넥션, 초당 50개 (2 core / 4GB)
| 항목 | v1 SSE | v2 SSE | v2 웹소켓 |
|---|---|---|---|
| 유실율 | 14% | 0% | 0% |
| 카리브 Memory | 300MB | 200MB | 350MB |
| Redis CPU | 0.4% | 0.2% | 0.3% |