본문으로 건너뛰기
Redis 용량 걱정을 덜어 낸 LINE 알림 센터의 MongoDB
목차

Redis 용량 걱정을 덜어 낸 LINE 알림 센터의 MongoDB (2022-10)

원문 정보

증설로 버티던 Redis의 한계

알림 종류와 스펙이 늘고 새 계정이 유입되면서, LINE 통합 알림 센터의 Redis 사용률이 가용량의 80%를 넘어섰습니다. 스왑 인/아웃에 페일오버까지 발생했습니다. 알림을 더 담을 공간이 급했습니다.

LINE Integrated Notification Center(LIN)는 여러 서비스의 알림을 한곳에서 보여 주고, 사내 서비스가 알림 센터를 따로 구축하지 않아도 되도록 만든 프로젝트입니다. 당시 LINE 홈 탭과 LINE VOOM 탭의 소셜 알림 센터를 운영하고 있었으며, 이듬해 상반기에는 전문 크리에이터를 위한 LINE VOOM Studio 알림 센터도 출시할 예정이었습니다. 서비스는 늘어날 텐데, 저장 공간은 이미 부족했습니다.

당장의 위험을 넘기기 위해 할 수 있는 작업부터 진행했습니다.

  • Redis 스케일아웃
  • 리스타트로 메모리 파편화 해소
  • gzip으로 데이터 압축
  • sortedset 데이터 구조를 skiplist에서 ziplist로 변경
  • 만료 데이터 주기적 삭제

이 조치들로 위험한 상황은 잠시 피했지만 임시방편이었습니다. 서비스가 성장하면 용량 걱정이 계속될 것이었고, Redis를 계속 증설하기에는 비용도 부담스러웠습니다. 마침 서버 데이터 센터를 이전해야 하는 상황이 겹쳤습니다. LIN은 이때 메인 스토리지도 바꾸기로 했습니다.

새 알림 스펙을 받아 줄 문서

MongoDB를 고른 이유는 알림을 사용하는 방식에서 출발합니다. 애플리케이션은 알림 데이터를 부분적으로 꺼내 쓰지 않고, 전체를 하나의 객체로 다룹니다. 알림끼리 중복 데이터 없이 독립적이어서 별도 정규화도 필요하지 않았습니다. 알림 하나를 문서 하나에 담기 좋은 조건이었습니다.

알림의 모양도 고정돼 있지 않았습니다. 버튼을 추가하거나 기존과 전혀 다른 형태를 만들고, 클릭 위치마다 다른 랜딩페이지를 여는 기능까지 검토하고 있었습니다. 데이터 형태를 자유롭게 바꿀 수 있는 스키마리스 구조와 다양한 데이터 타입·쿼리는 이런 변화에 대응할 여지를 줬습니다.

조회 방식도 단순해졌습니다. Redis에서는 itemKey에 해당하는 알림을 찾으려면 인덱스 역할의 키에서 revision을 얻고, 그 값으로 다시 알림을 가져와야 했습니다. MongoDB에서는 문서의 itemKey 필드에 인덱스를 설정하면 됐습니다. 실제로 알림을 카테고리별로 분류하는 새 기능도 인덱스를 추가해 대응했습니다.

LIN은 한 컬렉션의 여러 쿼리에 맞춰 복합 인덱스와 세컨더리 인덱스를 구성했습니다. 서비스 중에도 백그라운드로 인덱스를 추가할 수 있다는 점이 선택에 도움이 됐습니다. 포그라운드 생성은 완료될 때까지 해당 컬렉션의 작업을 막으므로, 운영 중에는 백그라운드 생성을 권장했습니다.

알림의 만료 기한은 한 달입니다. Redis는 키 단위로 TTL을 설정하지만, MongoDB의 TTL 인덱스를 쓰면 알림 문서마다 만료 기한을 두고 스토리지에서 삭제할 수 있었습니다. 고가용성, 확장성, 사내 DB 팀의 지원과 Reactive MongoDB 클라이언트 유무도 검토했습니다. 전환 후에는 빠른 접근이 필요한 간단한 데이터만 Redis에 남기고, 알림을 구성하는 주 데이터는 MongoDB로 옮겼습니다.

MongoDB 전환 뒤 길어진 응답 시간

용량 문제는 해결됐습니다. LIN은 전환으로 대략 75%의 비용을 절감했습니다. 같은 비용을 기준으로 보면 Redis의 가용량은 5.3TB였지만 MongoDB에서는 20TB 이상을 확보할 수 있었습니다. 저장 공간 때문에 미뤘던 기능을 다시 시도할 여유도 생겼습니다.

그 대신 응답은 느려졌습니다. 디스크를 사용하면서 일반적인 지연 시간은 Redis 때의 2배~2.5배로 늘었습니다. 쓰기 배타적 락 때문에 지연이 불규칙하게 커지는 경우도 있어 최대 지연 시간은 최대 5배까지 증가했습니다.

LIN이 이 변화를 받아들일 수 있었던 것은 알림 센터가 Redis를 써야 할 만큼 지연에 민감한 서비스는 아니었기 때문입니다. 지연에 민감한 서비스라면 같은 선택을 하기 전에 충분한 성능 테스트가 필요합니다. LIN에서도 개발 환경 테스트는 순조로웠지만, 실제 트래픽을 받자 저장 공간만으로는 설명되지 않는 문제들이 드러났습니다.

프라이머리의 읽기를 넘겨받은 세컨더리

소셜 알림 센터를 문제없이 릴리스한 뒤에도 홈 탭 알림 센터에서는 읽기 타임아웃이 발생했습니다. 홈 탭의 트래픽은 소셜보다 7배 이상 많았습니다. 모든 읽기 요청을 받던 프라이머리에 부하가 집중됐습니다.

처음부터 세컨더리에서 읽지 않은 데는 이유가 있었습니다. 앱 푸시로 새 알림을 확인한 사용자가 알림 센터를 열었는데, 정작 그 알림이 보이지 않는 상황을 피하려 했습니다. 세컨더리에 아직 데이터가 복제되지 않았다면 생길 수 있는 문제였습니다.

LIN은 프라이머리에 알림을 저장하고, 두 세컨더리 중 하나에도 반영됐음을 확인한 뒤 앱 푸시를 보냈습니다. 모든 세컨더리를 기다리면 하나만 고장 나도 복구될 때까지 알림을 생성할 수 없기 때문입니다. 이 방식에서는 어느 세컨더리에서 읽든 최신 알림이 있다는 보장은 할 수 없었습니다.

읽기를 분산하기 전에 확인한 것은 실제 복제 지연이었습니다. 측정 결과는 최대 2초였습니다. LIN에서는 알림 저장 후 푸시를 발송하고, 사용자가 이를 확인해 LINE 앱을 실행한 다음 알림 센터에 들어오는 과정이 2초 안에 끝날 수 없다고 판단했습니다. 이 확인을 바탕으로 읽기 요청을 세컨더리로 옮겼고, 프라이머리 부하와 타임아웃을 해소했습니다.

이 판단에는 LIN의 사용자 동선과 측정한 지연 시간이 함께 들어 있습니다. 다른 서비스에서도 세컨더리로 읽기를 분산하려면, 최신 데이터가 잠시 보이지 않을 때 기능에 문제가 생기는지 해당 서비스의 조건으로 검토해야 합니다.

최대 100개를 모두 읽던 fetch API

사용자가 알림 센터를 열면 fetch API가 알림 목록을 가져옵니다. LIN은 사용자당 알림을 최대 100개까지만 보관하므로, 처음에는 MongoDB에서 그만큼 읽고 WAS에서 만료 여부와 다른 제외 조건을 확인한 뒤 페이징했습니다. DB의 조회는 단순하게 두고 애플리케이션에서 나머지를 처리하려던 선택이었습니다.

쓰기 중인 문서와 겹친 검색 범위

fetch API에서 불규칙한 타임아웃이 발생하자, 문제가 생긴 사용자부터 살폈습니다. 알림을 많이 가지고 있으면서 짧은 시간에 새 알림도 많이 받는 사용자들이었습니다.

이들은 읽을 문서도, 수정할 문서도 많았습니다. 문서 범위 검색에 포함된 문서에서 쓰기가 진행되면 쓰기 배타적 락 때문에 읽기가 지연됐습니다. 최대 개수만큼 넓게 읽는 방식이 잦은 쓰기와 겹치면서 문제가 된 것입니다.

알림을 읽는 동안 새 알림을 쓰는 동작 자체는 유지해야 했습니다. 대신 겹치는 범위를 줄였습니다. WAS에서 하던 필터링과 페이징을 MongoDB 쿼리로 옮겨, 실제로 읽어야 하는 문서만 조회하도록 바꿨습니다. 만료되거나 최대 보관 개수를 넘은 알림을 실시간으로 삭제하던 처리도 새벽 배치로 전환했습니다. 알림 생성 트래픽이 적은 시간에 삭제해 쓰기에 따른 락 발생 빈도를 낮췄습니다.

성능 테스트에서는 지연 증가와 함께 떨어지던 처리량이 개선 후 안정적으로 유지됐습니다. 과도한 쓰기가 짧은 시간에 몰리면 같은 문제가 재발할 여지는 남았습니다. 출시 예정이던 LINE VOOM Studio에는 인플루언서 사용자가 있으므로, 이들을 미리 감지해 쓰기 요청을 큐에서 지연 처리하는 방식으로 대비할 계획이었습니다.

이 사례는 MongoDB 4.2에서 발생했습니다. 5.0부터 지원하는 lock-free read operations로는 스토리지 수준에서 문제를 해결할 수 있을 것으로 기대했습니다.

find 뒤에 이어지던 getMore

쿼리로 읽을 양을 정해도 클라이언트가 한 번에 그만큼 가져온다는 보장은 없었습니다. 디버깅 로그에는 알림 목록을 조회하는 find 뒤로 예상하지 못한 getMore가 이어졌습니다. 알림 56개를 가져오는데 처음에는 32개, 다음 요청에서는 나머지 24개를 받고 있었습니다.

배치 크기는 클라이언트가 한 번의 요청과 응답으로 받는 문서의 최대 개수입니다. 당시 LIN이 사용하던 spring-data-mongodb 클라이언트의 기본값은 32였습니다. 쿼리의 limit을 100으로 설정해도, 알림 100개를 가져오려면 네 번의 네트워크 왕복이 필요했습니다.

애플리케이션의 메모리와 처리 성능에는 100개를 한 번에 받아도 문제가 없었습니다. 배치 크기도 limit과 같은 100으로 바꾸자 find 한 번으로 조회가 끝났습니다. getMore 호출이 없어지면서 그에 따른 지연도 사라졌습니다. LIN에서는 클라이언트의 기본 배치 크기가 서비스의 조회량보다 작았던 것이 불필요한 왕복의 원인이었습니다.

100명의 기록으로 짧아진 복구 시간

넉넉해진 저장 공간을 새 기능에 쓰려던 시도에도 제약이 생겼습니다. LIN에는 여러 발신자가 보낸 같은 문구의 알림을 하나로 합치는 병합 기능과, 댓글을 지우면 이미 보낸 알림도 삭제하는 소급 기능이 있었습니다. Redis에서는 용량 부족으로 병합된 알림의 소급까지 지원하지 못했습니다.

병합 알림을 고치려면 발신자들의 데이터가 남아 있어야 합니다. 예를 들어 ‘옥스안드 외 3명’이 댓글을 달았다는 알림에서 옥스안드가 댓글을 지우면, 두 번째 발신자의 이름과 ‘외 2명’으로 표시를 바꿔야 합니다. 다른 사람들도 차례로 댓글을 삭제하는 상황까지 처리하려면 각자의 알림 데이터를 모두 보관해야 했습니다.

MongoDB에서는 최대 100명의 데이터를 한 문서에 넣어 이 기능을 지원하려 했습니다. 저장 공간은 충분했습니다. 문제는 커진 문서가 복제 로그인 oplog의 보관 기간을 줄였다는 점입니다.

oplog는 프라이머리의 변경을 세컨더리에 비동기로 반영하기 위한 기록입니다. 크기가 고정된 capped collection에 저장하므로 공간이 차면 오래된 로그부터 삭제됩니다. insert는 문서 전체를, update는 변경 작업 내용을 기록합니다. 문서가 크거나 변경량이 많아 로그 하나의 크기가 커지면, 같은 공간에 보관할 수 있는 로그 수가 줄어듭니다.

홈 탭 알림 센터는 알림 생성 요청도 많았습니다. 큰 로그가 짧은 시간에 쌓이면서 보관 기간이 대략 3~10시간까지 줄었습니다. 장애가 난 세컨더리는 복구할 때 놓친 oplog를 받아야 하므로, 이 기간은 서버 복구에 쓸 수 있는 시간이기도 합니다. 사내 MongoDB 지원 팀이 권장한 최소 24시간에 못 미쳤습니다.

LIN은 병합 알림 소급 기능을 보류했습니다. 이 기능을 위해 추가했던 데이터를 삭제한 뒤에는 oplog 보관 기간을 약 50시간으로 안정적으로 유지했습니다. 용량이 충분하더라도 큰 문서에 insert와 update가 얼마나 자주 발생하는지 함께 봐야 했습니다.

문서를 나누거나 자주 바뀌는 필드를 다른 컬렉션으로 분리하는 방법도 검토할 수 있습니다. LIN은 보류한 소급 기능을 지원하기 위해 문서 크기를 줄일 방법을 찾을 계획이었습니다.

원문의 주요 수치
항목값
전환 전 Redis 사용률가용량의 80% 이상
병합 알림 한 문서의 최대 발신자 수100명
oplog 보관 기간소급 기능 추가 시 대략 3~10시간, 제거 후 약 50시간
oplog 권장 보관 기간최소 24시간
사용자당 알림 최대 개수100개
알림 만료 기한한 달
spring-data-mongodb 기본 배치 크기32 (100으로 변경)
홈 탭 대 소셜 알림 센터 트래픽7배 이상
프라이머리-세컨더리 동기화 지연최대 2초
비용약 75% 절감
가용 용량5.3TB에서 같은 비용으로 20TB 이상
평균 지연 증가Redis 대비 2배~2.5배
최대 지연 증가최대 5배
마지막 수정 일자