본문으로 건너뛰기
AI에 반복 작업을 맡긴 카카오톡 메시징 서버 스트레스 테스트
목차

AI에 반복 작업을 맡긴 카카오톡 메시징 서버 스트레스 테스트 (2026-05)

원문 정보

기다림과 재실행이 쌓이는 측정 라운드

설정값 하나를 바꿔도 처음부터 다시였습니다. 서버를 빌드하고 배포한 뒤, 부하를 만드는 클라이언트의 사용자 수를 10 > 50 > 100 > 150 ...처럼 약 10회 늘리는 데 약 50분이 걸렸습니다. 대부분 빌드부터 부하 측정까지를 10회 이상 반복했고, 측정이 끝나면 grafana 패널을 하나씩 캡처해 보고서를 채워야 했습니다. 동료들 사이에서 “스트레스 테스트 돌리다가 내가 스트레스 받아버린다”는 말이 나온 배경입니다.

이 일을 하는 톡메시징 개발 플랫폼팀은 카카오톡의 메시지 수발신과 채팅방 목록 관리를 담당합니다. 서버가 한계를 드러내는 지점을 미리 확인하려고 상시 스트레스 테스트 환경을 갖췄습니다. 한계치를 넘는 부하를 주어 장애 발생 지점과 복구 능력을 확인하는 환경입니다.

반복 측정에 시간을 쓰는 이유는 변경을 적용해도 괜찮다는 근거를 얻기 위해서입니다. 더 높은 부하를 견디도록 튜닝할 때도 있고, 변경 전 수준을 유지하는지 확인할 때도 있습니다. 팀이 AI에 맡긴 일은 이 판단 사이에 끼어 있던 빌드, 배포, 측정, 지표 수집과 보고서 작성이었습니다.

서버 한 대의 그래프 너머에 있는 판단 근거

측정 목적에 따라 분석의 깊이가 달라집니다. 예를 들어 평시 트래픽에서 netty worker 수의 적절한 설정을 찾으려면 설정별 RPS 부하 지점을 확인하는 것으로 충분합니다. 매번 객체 수준까지 내려갈 이유는 없습니다. 목적을 먼저 정해야 트래픽 시나리오와 확인할 지표의 범위도 정해집니다.

비교의 출발점은 변경 전 수치입니다. 팀은 평시와 peak의 RPS, CPU·메모리 사용량을 총량과 대당 수치로 남겨 두고, 커넥션 수와 server-to-server 같은 연결 특성, 프로토콜 처리와 비즈니스 로직이 부하에서 차지하는 비중도 확인합니다. 테스트 서버는 운영 서버보다 적으므로 절대 수치를 나란히 놓을 수는 없습니다. 기본 비교는 대당 RPS로 하고, 변경 후 전체 서버에서 처리할 총 RPS는 별도로 계산합니다.

서버 한 대에서는 작아 보이는 차이도 운영 규모로 환산하면 달라집니다. 가상의 모듈 포팅 사례에서 대당 평균 CPU가 약 60%에서 약 65%로 5%p 올랐다고 가정합니다. 평시 40K TPS를 처리하면서 같은 CPU 사용률을 유지하려면 서버가 120대에서 약 130대로 늘어나는 예시입니다. 약 10대를 추가할지, 더 튜닝할 곳을 찾아 재테스트할지 판단해야 합니다. 성능 저하를 감수하더라도 유지보수나 운영에서 얻는 이득이 있는지 따질 때 이런 수치가 근거가 됩니다.

후보가 많다면 측정 전에 범위를 좁힙니다. 클라이언트 라이브러리, 인코더/디코더, 프로토콜, 서버 프레임워크를 모두 조합하면 테스트와 해석에 쓸 시간이 커집니다. 팀은 도메인의 커넥션 특성과 트래픽 패턴에 맞는지, 운영에 익숙하고 모니터링 도구가 받쳐 주는지, EOL·라이선스·보안 정책에 막히지 않는지를 살폈습니다. 모든 테스트에 들어가는 절차는 아닙니다.

실험에서는 바꿀 변수만 바꿉니다. TPS, 평시·버스트 부하 패턴, 지속 시간, 측정 시점과 클러스터 상태, 장비, 서버 내부 로직, JVM heap은 통일합니다. 여러 변수를 한꺼번에 바꾸면 결과의 원인을 구분하기 어려워 다시 통제하고 측정해야 합니다. 그래프에도 CPU·메모리, 부하 패턴, 측정 시간, 클라이언트 수와 단위를 명시합니다.

이 비교를 목표에 가까워질 때까지 반복한 뒤에는 설정값과 변경 사항을 한 묶음으로 남깁니다. 팀이 결정에 쓸 자료이기 때문입니다. 결과를 공유할 때도 “문제없습니다”라는 평가에 그치지 않고, 주요 변수와 전후 수치를 함께 제시합니다.

신년 자정의 트래픽을 재현하는 Locust

테스트 대상 서버의 JVM heap, CPU·메모리 한도, 네트워크는 실제 운영 인스턴스와 같은 스펙으로 관리합니다. 장비 스펙이 다르면 측정값 자체가 의미를 잃습니다. 서버 대수의 차이는 앞서 설명한 대당 비교와 계산으로 다룹니다.

부하는 Locust가 만듭니다. 내부 클러스터 자원에 맞춰 워커 수를 조절하고, 필요하면 수백 파드까지 늘렸다가 테스트 후 정리합니다. 클라이언트 자원이 부족해서 서버 성능 측정에 노이즈가 생기지 않도록 넉넉하게 확보하는 방식입니다. 부서원의 선호에 따라 org.openjdk.jmh:jmh-core를 사용한 경우도 있었습니다.

많은 요청을 보내는 것만으로는 부족합니다. 평시 정오와 신년 자정에는 요청의 구성이 다릅니다. 메시지 전송 비중은 52%에서 61%로, 채팅방 입장은 23%에서 27%로 늘고, 채팅방 리스트 조회는 18%에서 8%로, 메시지 조회는 7%에서 4%로 줄어듭니다. READ와 WRITE를 담당하는 프로토콜의 비율이 달라지면 병목 위치와 최대 부하 RPS도 달라질 수 있습니다.

팀은 모듈별로 실제와 비슷한 트래픽 비율의 시나리오를 모아 두었습니다. 주로 평시 양상을 테스트하고, 최악의 상황을 볼 때는 실제로 겪었던 신년 자정의 발송 폭증을 재현합니다. 새 시나리오를 만들 때마다 코드를 다시 작성하지 않도록 설정도 나눴습니다.

  • TaskXXX: 호출할 프로토콜과 호출 비율
  • TestProperties: directChatCount·multiChatCount로 방 타입별 생성 수 조절, maxFriendCount로 단톡방 멤버 수 조절
  • target: 메시징 내부에서 부하를 줄 대상 모듈

한 채팅방에서 여러 명이 한꺼번에 write하는 상황, 새벽 0시의 메시지 burst, 수백 명이 있는 단톡방에 입장하는 순간도 이 설정 조합으로 흉내 냅니다. 평소 패턴에서는 잘 드러나지 않는 도메인 특유의 부하입니다. 작년에 출시한 메시지 입력 중 기능 역시 스트레스 테스트로 병목을 파악한 뒤 안정적으로 내놓았습니다.

운영 중 겪은 문제에서 출발한 검증 대상

새 기능이나 큰 개편만 테스트하는 것은 아닙니다. 과거에는 metric 수집 주기 때문에 애플리케이션 부하가 늘어난 적이 있었습니다. 그 뒤로 logstash, fluent bit, opentelemetry 같은 관측·로깅 컴포넌트를 추가하거나 교체할 때 처리량과 elapsed time의 손실, 호스트의 CPU·메모리·네트워크 변화를 더 살피게 됐습니다. 높은 트래픽에서 지표 수집이나 알림이 늦어지는지도 확인 대상입니다.

온프레미스 호스트를 전환할 때도 문제가 드러났습니다. slab 메모리 누수나 백신 실행 시간대의 큰 자원 소모를 애플리케이션 개발자가 함께 모니터링하며 확인했습니다. 평소에는 부하로 보이지 않던 보안·인프라 시스템이 고부하에서 변수가 된 사례입니다. 지금은 호스트 OS를 바꾸거나 보안·모니터링 에이전트를 추가할 때도 응답시간과 처리량을 검증한 뒤 적용합니다.

프로토콜과 프레임워크 선택에는 별도의 벤치마크를 사용합니다. 비즈니스 로직 없이 IO sleep을 가정한 상태에서 같은 부하를 주고, worker 수를 늘리며 시스템 메트릭을 비교합니다. CPU 부하를 더하거나 IO wait를 늘렸을 때의 RPS별 latency도 확인합니다. webflux가 IO에 유리하다거나 virtual thread가 좋다는 설명만으로는 현재 모듈에 맞는 조합을 결정할 수 없기 때문입니다.

메인 서버를 cpp에서 kotlin으로 포팅할 때도 전후 차이를 측정했습니다. 테스트에서 확인한 시스템 메트릭을 바탕으로 추가 gc 튜닝을 진행했고, 가능한 한 이전 성능을 유지해 투입 초반부터 안정적으로 운영했습니다.

RPS의 흔들림에서 따라 내려간 병목

부하 구간을 드러내는 곡선

처음부터 지금의 측정 방식이 있었던 것은 아닙니다. 쟈미는 대조군과 비교군 서버에 같은 RPS를 걸어 나란히 비교하려 했지만, 저부하와 고부하 구간의 데이터 차이가 커서 중간 지점을 찾는 데 시간을 썼습니다. 반복해도 결과가 명확하지 않았습니다.

방법을 바꾼 계기는 고연차 개발자의 조언이었습니다. 두 서버를 같은 user 수로 비교하기보다, 한 서버에서 user 수를 점진적으로 늘려 부하 구간의 곡선 전체를 그려 보라는 내용입니다. 그러면 베이스라인과 병목을 한 그래프에서 볼 수 있습니다. 사용자 수를 단계적으로 올리는 테스트는 여기서 시작됐습니다.

분석도 endpoint에서 출발합니다. 워커 수를 늘릴 때 어느 RPS에서 포화되는지, 같은 워커 수로 부하를 줄 때 처리량이 일정하게 유지되는지 봅니다. 예상보다 낮은 RPS에서 포화되거나 처리량이 급격히 흔들리면 안쪽 지표를 확인할 신호입니다.

응답시간은 P50·P95·P99를 함께 봅니다. P95·P99가 급증하면 내부 처리량 한계를 의심하고, P50이 운영 수치나 목표보다 길어져도 원인을 찾습니다. 에러는 종류에 따라 확인할 곳이 다릅니다. 5xx는 서버 처리량 한계에 도달했을 가능성이 높고, timeout이 클라이언트 cutoff에서 비롯됐다면 부하를 만드는 클라이언트의 자원이 부족한지 확인합니다. 400 에러는 비즈니스 로직이 깨졌을 가능성이 있어 시나리오 데이터를 점검합니다.

서로 영향을 주고받는 JVM 지표

서버가 살아 있고 에러율이 0%여도 자원에는 여유가 없을 수 있습니다. 평시와 peak에서 해당 RPS를 소화하는 데 얼마나 많은 자원을 쓰는지 확인해야 합니다. CPU 지표는 thread와 cpu profile로, 메모리는 jvm heap으로, I/O는 외부 호출 client와 thread로 탐색 범위를 좁히는 단서가 됩니다. 네트워크 대역폭의 한계도 확인합니다.

팀의 시스템은 대부분 JVM 기반입니다. grafana에 런타임 지표를 모아 두고, 분석에 부족한 항목이 있으면 jvm metric을 추가로 노출합니다. thread state에서 blocked가 늘면 lock 경합을, waiting이 늘면 외부 호출 응답 대기를 가리킵니다. 요청을 처리하지 못하는 모습은 같아도 살펴볼 원인은 다릅니다.

Executor queue의 잔여 작업이 차오르면 thread 처리 속도가 요청 유입 속도를 따라가지 못한다는 뜻입니다. 고부하가 계속되거나 다음 peak가 들어올 때 먼저 문제가 될 곳이므로 활성 thread 수, prestart core size, 할당된 core 수를 함께 확인합니다. netty 기반 서버에서는 별도로 netty pending queue도 봅니다. 트래픽이 많아 pending이 쌓이면 처리율이 고정되며, 과도한 트래픽에 backpressure를 주도록 설계한 지표입니다.

GC는 pause count·sum·max, ZGC spike, allocation rate를 함께 읽습니다. allocation rate가 평소보다 몇 배로 뛰면 일시적으로 사용하는 객체가 비정상적으로 많이 만들어진다는 신호입니다. GC가 이를 따라가지 못하면 heap에도 영향을 주고, GC pause가 길어지면 latency가 급증할 수 있습니다. Old Gen이 계속 늘고 GC 이후에도 떨어지지 않는다면 회수하지 못한 객체가 누적되고 있는 것입니다.

실제로 지표가 연쇄적으로 나빠진 테스트가 있었습니다. heap 점유 → ZGC pause가 못 따라감 → CPU load 상승 → executor queue 차오름 → readTimeout으로 이어진 병목입니다. 메모리에서 시작한 부하가 CPU와 큐로 이어졌으므로 어느 한 항목만 봐서는 원인을 잡기 어려웠습니다.

그래프만으로는 찾지 못한 객체

heap이 계속 늘고 GC 뒤에도 회수되지 않으면 그래프만으로는 답을 얻기 어렵습니다. 어떤 객체가 남았는지 확인해야 합니다. heap dump에는 그 시점에 살아 있는 객체와 참조 관계가 담기므로, GC root에서 시작하는 참조 경로를 따라 문제가 되는 코드까지 좁혀 갈 수 있습니다.

고부하 테스트에서 비즈니스 로직의 객체 생성 속도를 GC가 따라가지 못해 old gen이 차오른 사례가 있었습니다. 이때는 용량 때문에 hprof 대신 jmap -histo로 살아 있는 객체의 클래스별 개수와 바이트를 확인했습니다. 이후 해당 코드를 수정하고 RPS 향상을 확인했습니다.

CPU를 많이 쓰는 메서드는 JFR이나 async-profiler의 CPU profiling으로 찾습니다. 일정 시간의 stack 샘플을 flame graph로 보면 메서드 단위까지 분석할 수 있습니다. jstack의 thread dump는 한 시점의 blocked·waiting 상태와 stacktrace를 확인하는 도구입니다. CPU가 높아 한계 지점을 찾는 상황인지, CPU는 낮은데 처리율이 나오지 않아 blocking을 찾는 상황인지에 따라 사용 목적이 달라집니다.

여기까지 오면 코드 수정을 위한 디버깅에 가깝습니다. 확인한 한계가 시스템 자원에 있으면 스케일 업·아웃, JVM 런타임에 있으면 튜닝, 객체 수준에 있으면 코드 픽스 PR로 이어집니다. 어느 쪽에서도 원인을 찾지 못했다면 추가로 노출할 지표를 다시 살핍니다. 한 라운드에 드는 시간은 이 탐색이 어디까지 내려갔는지에 따라 달라집니다.

라운드의 반복을 맡긴 Claude skill

팀은 Claude Code와 Codex를 각자 선호에 따라 사용합니다. 스트레스 테스트 자동화는 개발자가 기계적으로 반복하던 일을 Claude skill 또는 command로 묶는 데서 시작했습니다. 배포부터 보고서까지 작업 단위를 나눠 두었습니다.

  • /deploy-target: 대상 서버 이미지 빌드·푸시·배포와 헬스체크 API 확인
  • /deploy-stress: 시나리오 변경에 따른 클라이언트 이미지 빌드·푸시·배포, 워커 수 조정(기본 300)
  • /run-stress: locust master 헬스체크와 워커 실행 여부 확인, SWARM·STOP·RESET·USER_COUNT 명령으로 트래픽 조절
  • /render-dashboard: 대시보드 json의 패널별 promQL을 지정 시간 범위로 조회해 HTML 생성
  • /make-report: 지표 HTML을 파싱해 AI 분석 결과를 md 또는 HTML로 생성

대시보드를 파일로 남긴 데도 이유가 있습니다. 내부 지표 저장소가 영구적이지 않았기 때문입니다. /render-dashboard를 실행하면 45분치 대시보드 전체가 HTML 하나로 남고, 보고서도 이 파일을 바탕으로 작성합니다.

묶어서 처리할 작업은 사람이 명시했습니다. LLM을 사용하면 고정된 스크립트에 의존하지 않고 작업을 빠르게 바꿀 수 있고, skill 묶음은 LLM이 실행 순서를 정하는 기반이 됩니다. 예컨대 round3와 같은 조건에서 target server의 compression type을 application/json으로 바꿔 비교해 달라고 요청하면, LLM이 필요한 skill과 호출 순서를 결정해 한 라운드를 진행합니다.

데이터를 나눠 읽는 subagent와 메인 세션

자동화 뒤에도 기다림은 남았습니다. /render-dashboard와 /make-report가 여러 지표를 순차로 수집하면, 테스트가 끝난 뒤에도 수집과 보고서 작성을 오래 기다려야 했습니다. 팀은 skill 안에 분석 항목을 나눠 subagent에 위임하라는 지침을 넣었습니다.

분담 대상은 client의 rps·latency, server의 rps·latency, JVM heap·GC, client pool, 시스템 자원입니다. 각 subagent가 promQL 조회부터 그래프 캡처와 분석까지 수행하고 메인에는 결론을 돌려줍니다. raw PromQL 출력을 메인에서 전부 받으면 컨텍스트가 무거워지고 compaction 시간까지 대기 시간에 더해집니다. 원자료를 다루는 일은 별도 컨텍스트에서 끝내고, 메인은 필요할 때만 HTML·md 결과를 열어 실행 순서를 관리하도록 했습니다.

긴 테스트는 background bash로 실행합니다. 특정 시점마다 로그 같은 이벤트를 내보내면 Monitor가 감지해 메인 세션에 알립니다. 약 50분 동안 메인이 멈춰 있지 않아도 되므로 개발자는 진행 상황을 확인하면서 이전 결과의 재분석을 요청할 수 있습니다.

짧은 요청이 통하려면 도메인 지식도 있어야 합니다. 팀은 서버군 별칭과 프로토콜 코드값을 정리한 도메인 하네스를 마련해 사전 설명을 줄였습니다. 자주 쓰는 사내 시스템을 자동화한 플러그인 모음도 스트레스 테스트 명령이 동작하는 기반이 됐습니다.

실패율 0 뒤에 남아 있던 오류

보고서가 그럴듯하다고 측정까지 올바른 것은 아니었습니다. AI 리포트의 실패율은 0인데 서버 지표의 에러 카운트는 계속 증가한 적이 있습니다. 원인은 LLM이 빠르게 만든 클라이언트 코드였습니다. 코드를 고치고 나서야 서버 지표가 옳았음을 확인했습니다.

비교군과 대조군의 결과가 지나치게 같았던 테스트도 있었습니다. 변경을 이렇게 잘 흡수할 수 있는지 한참 들여다봤지만, 실제로는 양쪽이 같은 이미지로 실행 중이었습니다. 배포 skill은 명시된 작업을 수행하고 “배포완료”를 반환했으나 내부 image cache가 남아 새 이미지가 올라가지 않았습니다. 그런데도 AI 보고서는 전후 비교 없이 성능이 “아주 좋음”이라고 평가했습니다.

배포 완료라는 응답만으로는 새 이미지가 실행됐는지 확인할 수 없었습니다. 실패율 0이라는 숫자도 서버의 에러 지표와 어긋났습니다. 테스트에 문제가 생겼을 때 AI가 근본 원인을 찾기보다 그럴듯한 설명을 붙였던 사례입니다.

개발자가 성공 조건과 환경 검증을 충분히 명시하지 못한 부분도 있었습니다. 반복 작업을 고르는 일뿐 아니라 AI가 올바르게 실행했는지 판단하고, 결과를 해석할 지식을 제공하는 일에도 사람의 경험이 들어갔습니다. 실패를 겪을 때마다 성공·실패·검증 기준을 구체화해 보강했고, 그만큼 AI의 결과도 정밀해졌습니다.

트래픽 비율과 의사결정 예시 수치
항목값
메시지 전송 비중 (평시 정오 / 신년 자정)52% / 61%
채팅방 입장 비중23% / 27%
채팅방 리스트 조회 비중18% / 8%
메시지 조회 비중7% / 4%
사용자 수 증가 단계10 > 50 > 100 > 150 … 약 10회, 약 50분
/deploy-stress 기본 워커 수300
한 사이클 반복 횟수대부분 10회 이상
가상 시나리오 대당 평균 CPU약 60%에서 약 65%로 +5%p
가상 시나리오 평시 40K TPS 처리 서버120대에서 약 130대로 +10대
subagent 분할client rps·latency, server rps·latency, JVM heap·GC, client pool, 시스템 자원
마지막 수정 일자