본문으로 건너뛰기
재시도할 곳과 한도를 살피는 LINE의 Pushsphere
목차

재시도할 곳과 한도를 살피는 LINE의 Pushsphere (2025-11)

원문 정보

새 요청까지 막아 버린 재시도

실패한 푸시를 다시 보내다가 정상 요청까지 막혔습니다. LINE 메신저에서 Firebase의 특정 리전 서버에 일시적인 장애가 났을 때의 일입니다. 재시도가 한꺼번에 몰려 할당량을 넘겼고, 전체 푸시 요청이 일시적으로 429 too many request 응답을 받았습니다.

메신저에서 이런 실패는 가볍지 않습니다. 할인 이벤트 알림을 놓치면 아쉬운 정도로 끝나겠지만, 사랑하는 아내가 보낸 중요한 연락이라면 이야기가 달라집니다. LINE에서 푸시는 메시지 전달과 음성·화상 통화를 맡으며, 나라에 따라서는 지진이나 화산 분화 같은 재난 소식까지 전달합니다. 개발팀이 안정적이고 신속한 푸시 전달을 삶과 죽음의 문제로 표현한 배경입니다.

안정성과 속도만 챙겨서도 부족했습니다. 많은 사용자가 같은 사건을 겪으면 메시지 발송량이 평소의 수배에서 수십 배까지 치솟습니다. 새해 0시 0분, 지진, 인공위성 발사체를 미사일로 착각한 상황 중 발송량이 가장 많은 것은 지진입니다. 빠르고 안정적인 전달이 절실한 순간에 트래픽까지 몰리는 문제를 풀어야 했습니다.

LINE과 푸시 서비스 사이의 게이트웨이

Pushsphere는 LINE 메시징 서버의 요청을 받는 게이트웨이 서버와, Apple의 푸시 서비스 APNs나 Google의 FCM으로 알림을 보내는 클라이언트 라이브러리로 구성됩니다. 복잡한 전송 판단을 맡는 쪽은 클라이언트입니다. Armeria가 제공하는 클라이언트 측 로드 밸런싱과 자동 재시도를 목적에 맞게 고쳤습니다. 구현 언어는 Kotlin이며 쿠버네티스에서 운영하고, Armeria의 네트워킹 스택에는 Netty를 직접 활용합니다.

호출 API는 iOS와 Android가 같습니다. Profile이 PushProvider 정보를 담아 목적지를 결정하고, 호출하는 쪽에서는 푸시 클래스의 팩토리 메서드로 내용을 작성한 뒤 기기 토큰과 함께 요청 객체를 만들어 전송합니다. 플랫폼마다 다른 처리는 라이브러리 내부의 일입니다. 입력을 검증하고 메시지를 APNs나 FCM 형식으로 변환한 뒤, 엔드포인트 매니저가 제공한 목록에서 보낼 곳을 고릅니다. APNs 인증에는 mTLS, FCM 인증에는 OAuth 2.0을 사용합니다. 준비된 요청은 Armeria를 거쳐 Netty로 비동기 전달되며, 전송 후에는 재시도 모듈과 서킷 브레이커가 후처리를 맡습니다.

L4를 거치지 않고 찾아가는 쿠버네티스 노드

초기에는 푸시 트래픽이 한곳으로 모였습니다. 쿠버네티스 클러스터 하나에 L4 로드 밸런서 하나를 두고 LINE 메신저의 모든 푸시 요청을 받아 내부 서버로 나눴습니다. 이 L4는 트래픽을 균등하게 분배하지 못해 특정 서버에 과부하를 일으킬 수 있었고, 단일 장애점이기도 했습니다. L7 로드 밸런서 역시 요구 처리량인 40만 QPS를 감당하지 못해 대안이 되지 못했습니다.

당시 환경에는 다른 제약도 있었습니다. 고립된 쿠버네티스 네트워크에서는 클라이언트 측 로드 밸런싱을 쓸 수 없었고, 사내 쿠버네티스 클러스터는 멀티 리전을 지원하지 않았습니다. 자원을 효율적으로 배분하려고 선택한 쿠버네티스였지만, 더 높은 신뢰성을 확보하려면 이 제약을 풀어야 했습니다.

여기에 적용한 해법은 같은 팀의 다른 글에서 소개한 CDCP(Central Dogma Control Plane)입니다. xDS 기반 서비스 메시인 CDCP에서 LINE 메시징 서버가 엔드포인트 정보를 받아, 쿠버네티스 노드의 포트로 직접 요청을 보내도록 바꿨습니다. 이렇게 프록시 없는 서비스 메시를 구성하면서 중앙 로드 밸런서를 없앴습니다. 트래픽을 균등하게 분배하고 중간 네트워크 경로의 단일 장애점도 없앤 구성입니다. 새 엔드포인트는 실시간으로 반영하고, 설정은 동적으로 갱신합니다.

여러 데이터 센터로 확장하는 길도 열렸습니다. 원문 작성 당시 Pushsphere는 2곳의 데이터 센터에서 운영 중이었습니다. LINE 메시징 서버와 Pushsphere 서버는 자신이 속한 데이터 센터와 서로의 가용성을 바탕으로 트래픽을 조정하는 존 인식 라우팅을 사용합니다. 가까운 IDC로 요청을 보내 네트워크 지연을 줄이려는 방식입니다. 보통 Envoy 같은 사이드카로 구현하는 기능이지만, 개발팀은 이 부분도 직접 구현했습니다.

할당량과 실패 이력을 살피는 로드 밸런서

게이트웨이 뒤에는 직접 통제할 수 없는 APNs와 FCM이 있습니다. 전체 클러스터의 상태가 양호해도 일부 인스턴스가 문제를 일으키는 일은 자주 발생합니다. 응답이 늦거나 타임아웃이 나고, 연결이 갑자기 끊기기도 합니다. 재시도 횟수와 간격뿐 아니라 다시 보낼 대상, 문제가 생긴 대상을 제외하고 후보로 복귀시킬 시점까지 판단해야 하는 구간입니다.

새 요청을 위해 남겨 두는 할당량

Firebase는 앱마다 분당 전송할 수 있는 최대 메시지량을 할당합니다. Google에 요청해도 쉽게 늘릴 수 없는 한도입니다. 개선 전에는 최대 재시도 횟수를 3으로 고정하는 식이었는데, 특정 리전의 장애로 요청들이 저마다 재시도하면 정상 요청에 쓸 할당량까지 소진할 수 있었습니다. 재시도가 몰리면서 푸시 서비스에 과부하를 주면 장애가 더 길어질 가능성도 있습니다.

Pushsphere는 재시도 전에 남은 할당량을 확인하도록 바꿨습니다. 각 서버가 할당량을 나눠 갖고, 이를 기준으로 지금 재시도할 수 있는 양을 정밀하게 계산합니다. 요청이 몰릴 때는 실패한 요청을 거듭 보내기보다 제한된 한도 안에서 새 요청을 처리하겠다는 선택입니다. 예를 들어 새해 첫날 요청이 너무 많아 할당량을 모두 썼다면 재시도는 작동하지 않습니다. 도달률을 높이려던 재시도가 전체 전송을 막지 않도록 한도와 연결한 것입니다.

방금 실패한 곳을 제외한 재시도 후보

재시도할 여력이 있어도 같은 곳으로 보내면 다시 실패할 수 있습니다. 기본 부하 분산 방식인 라운드 로빈은 단순하고 공정하며 빠르지만, 이전 전송이 실패했다는 사정까지 알아서 고려하지는 않습니다. 엔드포인트가 8개인 예에서는 재시도 때 8분의 1 확률로 이전 엔드포인트를 다시 고를 수 있습니다.

이를 막는 아이디어는 간단했습니다. 로드 밸런서와 재시도 컨텍스트를 연결해, 이전에 사용한 엔드포인트를 재시도 후보에서 제외했습니다. 특정 서버의 실패에 대응해 도달률을 높인 방법 중 하나입니다.

엔드포인트마다 따로 작동하는 서킷 브레이커

APNs와 Firebase는 헬스 체크를 제공하지 않습니다. 클라이언트는 모든 엔드포인트가 정상이라고 가정하고 시작해야 하므로, Pushsphere는 엔드포인트마다 서킷 브레이커를 두고 전송 실패를 관찰합니다. 실패가 누적돼 임계치를 넘으면 서킷 브레이커가 작동하고 엔드포인트 매니저에 알립니다. 매니저는 해당 엔드포인트를 풀에서 즉시 제거한 뒤 후보 풀에서 새 엔드포인트를 골라 넣습니다.

후보 목록도 계속 바뀝니다. APNs는 Firebase와 달리 DNS 질의 때마다 다른 IP를 반환하도록 설정돼 있어, Pushsphere는 주기적으로 DNS를 질의해 후보 풀의 IP 목록을 갱신합니다. 서킷 브레이커가 작동할 때 최신 IP 중 하나를 쓰기 위해서입니다. 오래된 IP는 APNs가 더 이상 사용하지 않을 수 있습니다.

서킷 브레이커를 어디에 두느냐도 도달률에 영향을 줍니다. 풀 전체에 하나만 두면 일부 서버의 실패만으로도 메시지 전송이 막힐 수 있습니다. 엔드포인트마다 따로 둔 이유입니다. 장애가 난 서버를 교체하면서 나머지 엔드포인트로 전송을 이어갑니다.

더 엄격한 조건에서도 줄어든 온콜 알람

클라이언트를 바꾼 효과는 온콜에서 드러났습니다. 기존 시스템은 알람이 너무 많이 울리지 않도록 임계치를 느슨하게 잡았는데도 연간 30건 이상의 알람을 받았습니다. Pushsphere 도입 후에는 조건을 더 엄격하게 설정했는데도, 원문에서 보고한 2025년 알람은 4건이었습니다.

최종 메시지 전송 실패율은 0에 가까웠습니다. 원문에서 집계한 최근 30일 동안 확인이 필요한 의미 있는 에러 메시지는 단 한 건이었습니다. 온콜 멤버들의 밤도 한결 평온해졌습니다.

Java 사용성을 더 다듬을 Pushsphere API

Kotlin으로 작성한 API는 Java에서도 쓸 수 있지만, 언어가 달라 사용성이 부족한 부분이 남아 있습니다. 개발팀이 개선하려는 지점입니다. iOS의 Live Activities 지원과 액세스 토큰·인증서를 더 안전한 저장소에 보관하는 방안도 앞으로 더하고 싶은 개선으로 제시했습니다.

GitHub에 코드는 공개했지만, 개발팀은 진정한 오픈소스라고 부르기에는 부족한 부분이 있다고 보고 보완할 계획입니다. 로드 밸런서 구현을 일반화하고 개발에 사용한 마이크로서비스 프레임워크의 기능을 Armeria에 통합하는 일은 장기 과제입니다. 관리 콘솔은 아직 필요성이 확실하지 않으며, 여유가 생기면 구현해 보고 싶은 대상으로 남아 있습니다.

원문에 제시된 수치와 조건
항목값
운영 데이터 센터2곳
서버 요구 처리량40만 QPS (L7 로드 밸런서로는 처리 불가)
하드코딩된 최대 재시도 횟수(개선 전)3
라운드 로빈에서 이전 엔드포인트 재선택 확률 예시엔드포인트 8개일 때 8분의 1
온콜 알람(기존 시스템)연간 30건 이상(느슨한 임계치)
온콜 알람(Pushsphere)2025년 4건(더 엄격한 임계치)
인증 방식APNs는 mTLS, FCM은 OAuth 2.0
마지막 수정 일자