목차
0.1% 미만의 핫 챗을 겨냥한 LINE 오픈챗 서버 (2023-04)
원문 정보
- 원문: LINE 오픈챗 서버가 100배 급증하는 트래픽을 다루는 방법
- 매체 · 게시일: LINE Engineering 블로그 · 2023-04-21
- 저자: 김인제 (Square Dev 팀)
- Tech-Verse 2022 세션 내용을 옮긴 글입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
콘서트와 함께 붐비는 오픈챗
유명 가수의 콘서트를 팬들이 함께 보며 실시간으로 메시지를 나눕니다. 배우의 방송 출연을 함께 보거나 온라인 게임 이벤트를 즐기는 오픈챗에서도 대화가 쏟아집니다. 수천 명이 한 챗에서 활발히 메시지를 주고받으면 트래픽이 일반 챗의 100배 이상으로 치솟을 수 있습니다. 서버 팀은 이런 챗을 ‘핫 챗’이라 부릅니다.
오픈챗 서버 전체가 처리하는 API 요청은 1분에 천만 개, 하루에 약 100억 개입니다. 활발한 챗 하나에서도 1분에 최대 20만 건의 요청이 나옵니다. 5천 명이 참여해 1초에 수백 개의 메시지를 보내던 챗에서 실제로 확인한 규모입니다.
메시지 하나가 요청 하나로 끝나지는 않습니다. 오픈챗은 메시지 전송과 리액션, 읽음 같은 행위를 모두 이벤트로 다룹니다. 서버가 이벤트를 스토리지에 저장하고 Kafka로 전달하면, 퍼블리시 서버라는 별도 서버 그룹이 이를 소비해 참여자들에게 새 이벤트가 생겼다는 푸시를 보냅니다. 클라이언트는 푸시를 받고 페치 이벤트 API로 새 이벤트를 가져옵니다. 5천 명이 참여한 챗이라면 이벤트 하나를 전달하기 위해 페치 이벤트 API 요청도 5천 개가 발생하는 방식입니다.
요청이 집중되는 이유는 저장 방식에도 있습니다. 오픈챗은 MySQL, Redis, HBASE, Kafka 등에 데이터를 저장할 때 챗 ID를 기준으로 샤딩합니다. 챗 수가 늘어나면 샤드를 추가해 확장할 수 있지만, 하나의 핫 챗 안에서 생긴 데이터는 이 기준으로 더 나눌 수 없습니다. 그 챗의 요청은 하나의 샤드, 하나의 키로 몰립니다.
조회 요청을 줄이기 위해 조절한 서버 푸시
핫 챗이 나타나자 MySQL과 Redis의 한 샤드로 가는 요청량이 3배 이상 늘고, 스토리지 부하 때문에 응답 타임아웃이 발생했습니다. Kafka에서도 특정 파티션의 오프셋 랙이 커졌습니다. 핫 챗을 처리하는 서버 그룹은 GC와 CPU 사용량까지 급증한 상태였습니다.
샤드나 복제본을 늘리는 방법도 고려했습니다. 하지만 핫 챗은 전체 오픈챗의 0.1% 미만이고, 매일 생기지도 않습니다. 언제 나타날지 모르는 극소수의 챗을 위해 스토리지를 늘리는 것은 오버헤드가 크다는 판단이었습니다. 팀은 핫 챗을 실시간으로 찾아 그 챗의 페치 이벤트 API 요청만 줄이기로 했습니다.
감지에는 Kafka와 버킷을 썼습니다. 페치 이벤트 API가 호출될 때마다 Kafka로 이벤트를 보내면, 퍼블리시 서버가 이를 소비해 챗별로 최근 몇 초 동안 들어온 요청 수를 버킷에 기록합니다. 요청 수가 스토리지에 큰 부하를 주기 시작하는 임곗값을 넘으면 해당 챗을 핫 챗으로 판단하고, Redis에 잠시 표시해 둡니다.
이 표시는 푸시를 보낼 때 사용합니다. 퍼블리시 서버는 이벤트가 생긴 챗이 핫 챗인지 Redis에서 확인하고, 핫 챗이면 확률적으로 푸시를 보내지 않습니다. 푸시가 줄면 클라이언트의 페치 이벤트 API 호출도 줄어듭니다.
이벤트마다 푸시를 보내지 않아도 되는 이유가 있습니다. 사용자는 푸시 하나만 받아도 그 사이 새로 생성된 이벤트를 모두 가져갈 수 있습니다. 1초에 수십 개의 이벤트가 생기는 챗에서도 사용자에게 거의 영향을 주지 않고 조회 요청량을 줄일 수 있었던 조건입니다. 감지와 스로틀링을 적용한 뒤에는 핫 챗 때문에 발생하던 스토리지 부하와 응답 타임아웃 등의 이슈가 더 이상 발생하지 않았습니다.
참여 QR 코드 뒤에 몰린 MySQL 요청
이번에는 메시지를 가져가는 요청이 아닌, 챗에 들어오려는 요청이 몰렸습니다. 2021년까지는 거의 없던 일입니다. 2022년부터 팔로워가 수백만 명인 인플루언서들이 소셜미디어에 오픈챗 참여 QR 코드를 올리는 등 활용 범위가 넓어지면서, 한 챗에 1초에 2천 개의 참여 요청이 들어오는 경우가 생겼습니다.
참여 요청을 처리하려면 챗 멤버 데이터를 MySQL에 저장해야 합니다. 실제로 초당 2천 개 이상이 몰렸을 때는 한 샤드에 INSERT 쿼리가 집중되면서 느린 쿼리와 CPU 사용량이 급증했습니다. 그 샤드로 가는 요청의 처리가 지연되고, 오픈챗 서버에서는 응답 타임아웃이 발생했습니다.
몇 초 늦어진 조인 스로틀링
병목을 조사하는 동안에도 참여 요청은 계속 몰렸습니다. 팀은 MySQL 처리 한계를 넘지 않도록 조인 스로틀링부터 빠르게 적용했습니다. 참여 요청 처리를 마칠 때마다 Kafka로 이벤트를 보내 퍼블리시 서버가 챗별 요청 수를 버킷에 기록하고, 설정한 MySQL 처리량 한계를 넘으면 “잠시 뒤 다시 참여 요청해 주세요”라는 팝업을 반환하는 방식입니다. 핫 챗의 참여 요청을 잠시 제한해 다른 챗에 미치는 영향을 줄이려 했습니다.
문제는 몇 초의 지연이었습니다. 참여 요청 처리와 완료 이벤트 전달에는 Redis, MySQL, Kafka 등 여러 스토리지가 관여합니다. 특히 핫 챗 때문에 Kafka의 특정 파티션에 오프셋 랙이 쌓이면 퍼블리시 서버의 집계가 늦어지고, 조인 스로틀링도 그만큼 늦게 작동할 수 있습니다.
초당 수천 개의 요청이 몰리는 상황에서는 그 몇 초 동안 요청이 모두 MySQL로 넘어갑니다. 부하가 커져 처리 지연이 늘어나면 스로틀링은 더 늦어집니다. 실제로 이 악순환 끝에 모든 참여 요청이 허용되면서 MySQL 처리 한계를 넘겨 응답 타임아웃이 발생한 적이 있습니다.
Redis에서 요청 수를 즉시 집계하는 방안도 있었습니다. 그러나 0.1%의 핫 챗을 위해 99.9%에 해당하는 일반 챗의 모든 참여 요청까지 Redis에 기록하는 것은 오버헤드가 크다고 판단했습니다. 팀은 로컬 캐시를 사용해 챗별로 허용하는 참여 요청의 최대치를 제한했습니다.
참여가 몰리자 드러난 MySQL의 테이블 락
MySQL 조사에서 드러난 병목은 참여 요청마다 실행하던 쿼리에 있었습니다. 챗 멤버 INSERT 쿼리는 이미 가입한 사용자인지, 멤버 이름이 중복되는지 검사하려고 내부에 SELECT 서브 쿼리를 사용했습니다. MySQL은 이런 쿼리를 벌크 INSERT로 취급합니다.
당시 팀은 innodb_autoinc_lock_mode를 기본값인 1로 쓰고 있었습니다. 이 모드에서 벌크 INSERT는 AUTO-INCREMENT 값을 증가시키기 위해 테이블 락을 잡습니다. 참여 요청이 몰리자 락 경합도 급증했고, MySQL CPU 사용률은 100%에 도달했습니다.
팀은 테이블 락을 잡지 않는 2(interleaved) 모드로 변경했습니다. 이 모드에서는 여러 값을 함께 INSERT할 때 AUTO-INCREMENT 값이 연속적이지 않을 수 있습니다. 오픈챗의 쿼리는 한 번에 한 명만 INSERT했고, 값의 연속성을 가정한 로직도 없어서 변경해도 괜찮다는 판단이었습니다. 변경 뒤에는 초당 수천 개의 참여 요청에도 MySQL CPU 사용률이 10~20%를 유지했습니다.
멤버 수를 세는 쿼리에도 병목이 있었습니다. 기존에는 state = JOINED인 멤버 수를 집계하고 MySQL 쿼리 캐시에 저장했습니다. 참여가 몰리지 않을 때는 성능을 높여 주던 캐시입니다. 하지만 초당 2천 개 이상의 참여 요청이 들어오자 요청 하나를 처리할 때마다 테이블 락을 잡고 멤버 수를 다시 계산해 캐시를 갱신하는 작업이 큰 부하를 만들었습니다. 이 문제는 멤버 수를 집계하는 별도 테이블을 도입하고 MySQL 쿼리 캐시를 제거해 해결했습니다.
다른 샤드를 지키는 벌크헤드
한 샤드가 느려지거나 사용 불능이 되더라도 다른 샤드로 가는 요청은 계속 처리해야 합니다. 데이터를 샤딩하는 데서 그치지 않고, 요청이 서로에게 미치는 영향도 격리해야 했습니다.
팀은 샤드별로 서킷 브레이커와 벌크헤드를 도입했습니다. 서킷 브레이커는 타임아웃 같은 에러가 많이 발생한 샤드로 가는 요청을 빠르게 실패 처리합니다. 벌크헤드는 한 샤드에 몰린 요청이 스레드 풀을 독점하지 못하게 막습니다. 이 조치까지 적용한 뒤에는 한 챗에 초당 수천 개의 참여 요청이 몰려도 안정적으로 처리할 수 있었습니다.
API 합계 너머의 핫 챗 대시보드
핫 챗은 패턴도 발생 시점도 미리 예측하기 어려웠습니다. API 단위의 요청량만 보아서는 부하가 핫 챗에서 비롯됐는지, 어느 챗이 핫 챗인지 알 수 없었습니다. 국가와 애플리케이션 종류, 챗별 요청량까지 볼 수 있어야 핫 챗을 찾고 병목을 조사할 수 있었습니다. 팀은 어떤 챗이 핫 챗인지, API 요청이 얼마나 발생하는지 실시간으로 확인하는 대시보드를 만들었습니다.
설정을 바꾸기 위해 서버를 재시작할 필요도 없앴습니다. 핫 챗 감지 임곗값, 푸시 스로틀링을 적용할 시간과 강도, 특정 챗에 적용할지 여부를 LINE의 오픈소스인 LINE Central Dogma로 동적으로 변경하도록 구현했습니다. 갑자기 부하가 몰려도 설정을 바로 조절할 수 있는 방식입니다. 메모리에서 작동하는 로컬 캐시와 이런 동적 설정은 병목을 조사하는 중에도 핫 챗에 신속하게 대응하는 데 도움이 됐습니다.
다음 핫 챗을 위한 전용 스토리지
팀은 핫 챗이 생기면 데이터를 전용 스토리지로 자동으로 옮기거나, 핫 챗 부하를 더 잘 분산할 방법을 찾아 적용할 계획을 밝혔습니다. 감지 기준을 최근 부하에 따라 달라지는 값으로 바꾸는 것도 향후 과제입니다. 활발한 정도에 따라 기준을 여러 개 두고, 더 활발한 핫 챗에는 더 강한 스로틀링을 적용하는 방안도 구상했습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 오픈챗 서버 전체 API 요청 | 1분에 약 천만 개, 하루 약 100억 개 |
| 활발한 챗 하나의 요청 | 1분에 최대 20만 개 |
| 핫 챗의 트래픽 | 일반 챗 대비 100배 이상 |
| 핫 챗 비중 | 전체 오픈챗의 0.1% 미만 |
| 참여 요청이 몰린 최대치 | 한 챗에 1초 2천 개 이상(2022년부터) |
| 핫 챗 때 한 샤드 요청량 | 3배 이상 증가 |
innodb_autoinc_lock_mode | 기본값 1에서 2(interleaved)로 변경 |
| 변경 뒤 MySQL CPU | 10~20% 유지 |