본문으로 건너뛰기
수억 연결을 유지하며 쓰임을 넓힌 Pushy WebSocket 프록시
목차

수억 연결을 유지하며 쓰임을 넓힌 Pushy WebSocket 프록시 (2024-09)

원문 정보

Pushy의 CPU는 대체로 한가합니다. Netflix 앱과 맺은 수억 개의 WebSocket 연결 대부분이 가끔 도착하는 메시지를 기다리기 때문입니다. 그런데 그 연결을 유지하려면 수천 개의 인스턴스가 필요했고, 규모가 커질수록 확장과 배포에 사람이 개입하는 부담도 늘었습니다.

원래도 운영에 손이 많이 가는 서비스는 아니었습니다. Netflix 팀은 앞으로 몇 년간 안정적으로 운영하며 새 기능을 만들 수 있도록 기반을 손봤습니다. 기기에 메시지를 보내던 서버에는 전달 결과를 즉시 알려 주고, 기기끼리 통신하게 하는 요구도 더해지고 있었습니다.

TV 화면에서 시작된 Pushy의 연결

“Netflix에서 Stranger Things 보여줘”라는 음성 명령을 실행하려면 TV까지 메시지를 보내야 합니다. Alexa의 경우 Amazon이 인증된 요청을 스트리밍 엣지 프록시 apiproxy로 보내 내부 음성 서비스를 호출합니다. 음성 서비스는 사용자 정보와 명령 내용을 바탕으로 기기용 메시지를 만들어 큐에 넣습니다. 큐 소비자가 이를 Pushy에 넘기면, Pushy가 기기로 전달해 명령을 실행하게 합니다. Fire TV에서 시작한 기능입니다.

TV 화면의 갱신도 Pushy가 맡았습니다. RENO(Rapid Event Notification System)를 쓰기 전에는 TV UI가 몇 초마다 백엔드에 행 업데이트를 물었습니다. 바뀐 내용이 없어도 요청은 계속됐고, 자원이 빠듯한 기기에도 부담이었습니다. WebSocket 연결을 유지하자 원천 서비스가 업데이트를 준비한 시점에 바로 보낼 수 있게 됐습니다. 요청률과 비용도 줄었습니다.

처음 연결 대상은 Fire TV, PS4, Samsung TV, LG TV 약 3천만 대였습니다. 모바일 앱과 웹까지 지원하면서 후보 기기는 10억 대에 가까워졌습니다. TLS와 HTTPS를 지원하지 않는 오래된 기기도 포함합니다. 이런 기기와는 양쪽에 암호화·복호화 계층을 두어 기밀 메시지를 주고받습니다.

최근 5년 사이 실제 동시 연결은 수천만 개에서 수억 개로 늘었습니다. 메시지 처리량도 정기적으로 초당 30만 건에 이릅니다. 연결 대상의 확대는 Pushy가 서버 자원을 쓰고 늘리는 방식을 다시 볼 이유가 됐습니다.

CPU가 한가해도 늘어나던 Pushy 인스턴스

Pushy는 연결 수를 보고 확장합니다. apiproxy처럼 CPU가 병목인 서비스는 CPU 사용량으로 확장 시점을 판단하지만, 메시지를 기다리는 연결이 대부분인 Pushy에서는 CPU 사용량이 계속 낮기 때문입니다.

몇 년 동안 적용한 기준은 인스턴스당 평균 6만 연결이었습니다. 수억 대가 연결되면 수천 개의 인스턴스가 필요했습니다. 비용도 컸고, NLB 연결 한도를 피하려면 샤딩을 더 해야 했습니다. 사내에서 비용 효율을 높이려는 움직임이 일자 팀은 노드당 연결 수를 늘리기로 했습니다. 인스턴스 수를 줄이면서 NLB의 여유도 확보하려는 선택입니다.

한 노드에 연결을 많이 모으는 데는 대가가 있습니다. 노드가 죽으면 그곳에 붙어 있던 기기들이 한꺼번에 재연결을 시도합니다. 노드당 연결이 100만 개라면 재연결 요청도 100만 대에서 몰려옵니다. CPU와 메모리를 충분히 확보하는 것만으로 정할 수 있는 값은 아니었습니다.

여러 인스턴스 유형과 튜닝 옵션을 평가한 끝에 노드당 평균 20만 연결을 목표로 삼고, 필요하면 40만까지 받을 여유를 두었습니다. CPU·메모리 사용량과 장애 때 몰릴 재연결 규모를 함께 고려한 결과입니다. 자동 확장도 평균 연결 수가 목표를 더 많이 넘길수록 추가 인스턴스를 지수적으로 늘리도록 바꿨습니다.

연결을 고르게 분산하는 흐름도 있습니다. 연결을 맺는 최초 HTTP 요청은 로드 밸런싱하며, 기기는 약 30분마다 시차를 두고 재연결합니다. 이 과정에서 인스턴스 사이의 연결 분포가 계속 조정됩니다. 지금은 운영자가 거의 손대지 않아도 돌아가는 상태입니다.

수동 확장에서 벗어난 Pushy의 운영 기반

연결을 받는 서버만 늘린다고 운영 작업이 사라지지는 않습니다. 큐에서 메시지를 읽는 프로세서와 기기 연결 정보를 보관하는 Push Registry에도 수동 확장이 남아 있었습니다.

Mantis 잡을 대신한 Spring Boot 서비스

기존 메시지 프로세서는 Mantis 스트림 처리 잡이었습니다. 큐의 메시지를 효율적으로 처리했지만 잡 크기가 고정돼 있어, 수평 확장을 하려면 사람이 개입해야 했습니다. 새 버전을 배포할 때도 수작업이 필요했습니다.

메시지와 코드 변경이 늘수록 이 방식의 유지 부담이 커졌습니다. 팀이 원한 것은 자동 수평 확장, 카나리, 자동 red/black 배포, 더 나은 관측성이었습니다. Netflix의 표준 운영 구성 요소인 paved-path를 사용하는 독립 Spring Boot 서비스로 다시 쓰면 배포 절차와 카나리 설정, 자동 확장 정책을 쉽게 적용할 수 있었습니다.

재작성은 위험하고 먼저 고를 해법도 아닙니다. 이번에는 컴포넌트의 범위가 좁았고, 목표와 성공 기준, 개선 방향이 명확했습니다. 커스텀 잡을 유지하는 부담이 계속 커진다는 점도 판단 근거였습니다. 2023년 중반에 전환을 마친 뒤로는 운영자가 손댈 일 없는 “zero touch” 상태를 유지하고 있습니다.

낮은 읽기 지연을 맡긴 Push Registry

Push Registry는 어느 기기가 어디에 연결돼 있는지 기록합니다. 오랫동안 사용한 저장소는 자동 샤딩과 리전 간 복제를 제공하는 Netflix의 Redis 래퍼 Dynomite였습니다. 낮은 지연과 간편한 레코드 만료는 Pushy에 꼭 맞는 특성이었습니다. 문제는 규모가 커질 때였습니다. Cloud Data Engineering(CDE) 팀의 도움을 받아도 수동 확장은 번거로웠습니다.

그 무렵 CDE가 내놓은 KeyValue(KV)는 “서비스형 HashMap”에 가까웠습니다. 저장 엔진을 추상화해 SLO에 맞는 엔진을 선택할 수 있게 한 서비스입니다. Pushy가 특히 중시한 조건은 낮은 읽기 지연이었습니다. CDE와 함께 레지스트리를 KV로 옮기고 워크로드에 맞춰 튜닝한 뒤로는, 아주 낮은 지연을 유지하며 별다른 개입 없이 운영하고 있습니다.

전달 결과를 돌려주는 직접 푸시

Pushy는 처음에 전달을 보장하지 않는 best-effort 서비스로 출발했습니다. 백엔드가 비동기 큐에 메시지를 넣으면 프로세서가 이를 읽어 Pushy로 보내는 경로입니다. 오랫동안 거의 모든 서비스가 이 간접 경로를 사용했습니다.

직접 푸시는 처음부터 선택지로 존재했습니다. Pushy를 처음 만든 Susheel Aroskar가 추가한 이 경로에서는 Push 라이브러리가 큐를 건너뜁니다. Push Registry에서 대상 기기가 연결된 Pushy를 찾아 바로 메시지를 보내고, 그 Pushy가 전달 성공이나 오류를 상태 코드로 응답하면 라이브러리가 호출자에게 돌려줍니다.

호출자가 결과를 즉시 알 수 있다는 차이가 사용량을 바꿨습니다. 기기가 오프라인이면 재시도할 수도 있습니다. 최근 24시간의 평균을 보면 직접 메시지는 초당 약 16만 건, 간접 메시지는 약 5만 건이었습니다. 이제 직접 푸시가 더 큰 비중을 차지합니다.

알림 없이 끊어진 연결

전달률을 높이려면 연결 상태도 더 정확히 알아야 했습니다. 새 기능을 개발하다 보니, 기기와의 연결이 이미 끊겼는데 Pushy에는 알림이 오지 않아 계속 메시지를 보내려는 사례가 드러났습니다. 오래된 기기의 비정상적인 동작에서 흔히 나타나는 문제였습니다.

클라이언트 팀은 기기의 연결 처리와 재연결 흐름을 고쳤습니다. Pushy 쪽에서는 하트비트를 추가하고 유휴 연결을 정리하며 연결 추적을 개선했습니다. 끊어진 채 남아 있는 연결이 줄자 메시지 전달률도 높아졌습니다. 최근 몇 달간 유지한 전달 신뢰도는 99.999%, 즉 5 nines입니다.

폰에서 TV로 이어진 기기 간 메시징

WebSocket 연결은 양방향입니다. 서버에서 기기로만 보내던 메시지를 기기에서 백엔드 서비스나 다른 기기로도 보낼 수 있게 하면서, Pushy의 쓰임이 넓어졌습니다. 초기에는 Triviaverse 같은 게임에서 폰과 TV를 연결했고, 지금은 Companion Mode의 메시징 기반을 맡고 있습니다.

메시지를 보내기 전에 상대를 찾아야 합니다. 폰에는 같은 계정에 연결된 기기 중 어느 기기와 페어링할 수 있는지 알려 줄 정보가 필요합니다. 다른 기기가 온라인이 되는 시점도 알아야 합니다. 이를 위해 만든 Device List Service는 Pushy가 Kafka 토픽으로 보내는 연결 이벤트를 받아 계정별 기기 목록을 유지합니다. 기기는 같은 계정의 다른 기기가 접속했을 때 알림을 받도록 구독할 수 있습니다.

기기가 대상을 지정해 WebSocket 메시지를 보내면, 이를 받은 Pushy가 Push Registry에서 대상 기기의 연결 정보를 찾습니다. 이어서 직접 푸시와 같은 방식으로 대상이 연결된 두 번째 Pushy에 메시지를 넘깁니다. 두 번째 Pushy가 기기에 전달한 결과는 상태 코드로 첫 번째 Pushy에 돌아오고, 다시 메시지를 보낸 기기에 전달됩니다.

기본 메시지 프로토콜은 JSON입니다. 네트워크 팀은 통신 계층을 캡슐화하는 쪽을 택했습니다. 기기 팀이 기기 간 메시징 프로토콜 위에 자기 애플리케이션의 프로토콜을 정의하고, Pushy는 전송을 맡는 방식입니다. 대부분을 2022년 10월에 만든 뒤로는 작은 수정만 거쳤습니다. 클라이언트 팀이 기능을 개발하는 동안에도 Pushy 팀이 바꿀 부분은 거의 없었습니다. 아직 초기 실험에서 발생하는 트래픽이지만, 기기 간 메시지는 평균 초당 약 1000건입니다.

이벤트 루프를 막지 않는 메시지 처리

각 클라이언트 연결의 Netty 파이프라인에는 PushClientProtocolHandler가 있습니다. 이 핸들러의 channelRead가 들어온 WebSocket 메시지를 파싱하고, 기기 간 메시지라면 연결 컨텍스트와 인증 정보를 DeviceToDeviceManager에 넘깁니다.

매니저는 메시지를 검증하고 필요한 내부 처리를 한 뒤, 대상 기기로 보낼 권한을 확인하고 대상이 연결된 Pushy를 찾는 작업을 비동기로 실행합니다. 이벤트 루프를 막지 않기 위해서입니다. 대상 Pushy는 로컬 캐시에서 먼저 찾고, 없으면 데이터 저장소를 조회합니다. 이 과정에서 캐시 적중, 저장소 호출, 전달률, 지연 백분위도 기록합니다. 팀의 표현대로 Pushy는 “가끔 메시지를 전달하는 메트릭 서비스”입니다.

이 기능은 Netflix 클라우드의 가장자리에서 동작합니다. 통신은 HTTPS를 사용하며, 인증된 WebSocket 연결만 기기 간 메시징을 이용할 수 있습니다. 속도 제한을 적용하고, 보내는 기기가 지정한 대상에 메시지를 보낼 권한이 있는지도 검사합니다.

첫 조회 뒤 KeyValue를 건너뛰는 캐시

폰으로 TV와 상호작용하는 기능에서는 지연이 특히 민감합니다. Pushy는 요청 처리 경로에서 자주 읽지만 잘 바뀌지 않는 값을 캐시했습니다. 기기가 메시지를 보낼 수 있는 대상 목록, 그리고 대상 기기가 연결된 Pushy 인스턴스입니다.

첫 메시지에는 조회가 필요합니다. 이후 메시지는 캐시를 이용해 KeyValue 조회를 건너뜁니다. 이렇게 처리한 요청에서 Pushy가 메시지를 받은 뒤 기기로 응답을 내보내기까지 걸린 시간은 중앙값 1ms 미만, p99 4ms 미만이었습니다.

캐시의 효과는 저장소가 느려졌을 때도 드러났습니다. KV의 읽기 지연은 평소 낮지만, 하부 데이터 저장소 문제로 잠시 높아진 적이 있었습니다. 클라이언트 등록처럼 KV를 사용하는 다른 작업은 느려졌습니다. 기기 간 메시징의 지연은 캐시 덕분에 거의 변하지 않았습니다.

기기 팀과 함께 넓힌 프로토타입

Triviaverse에서 풀었던 어려운 문제는 범용 기기 간 메시징에 다시 쓰였습니다. 팀은 가장 어려운 문제부터 빠른 임시 구현이나 프로토타입으로 풀되, 하나의 용도가 더 넓은 해법으로 자랄 수 있도록 이후의 쓰임도 고려합니다.

이런 프로젝트에는 적어도 여섯 팀 정도가 참여하는 일이 흔합니다. 신뢰와 소통, 팀 사이의 관계가 작업을 뒷받침합니다. 기기 팀과 프로토타입을 만들어 공유하는 일도 그 일부입니다. 폰 컨트롤러의 첫 클릭에 TV가 반응하는 모습을 함께 보면 새로운 기능을 떠올릴 계기가 됩니다.

팀은 WebSocket 메시지 프록시와 메시지 트레이싱, 전역 브로드캐스트, Games와 Live를 위한 구독 기능을 계획하고 있습니다. 후속 글도 이어질 예정입니다.

원문의 주요 수치와 설정값
항목값
동시 연결수천만에서 수억으로 증가
처리량초당 최대 약 30만 건
전달 신뢰도99.999%
후보 기기초기 약 3천만, 현재 10억 대에 가까움
기존 스케일링 기준인스턴스당 평균 6만 연결
새 스케일링 기준평균 20만 연결, 최대 40만까지 여유
재연결 주기기기당 약 30분, 시차 적용
직접 푸시약 16만 건/초 (최근 24시간 평균)
간접 푸시약 5만 건/초 (최근 24시간 평균)
기기 간 메시지평균 약 1000건/초
기기 간 지연중앙값 1ms 미만, p99 4ms 미만
메시지 프로세서 재작성 완료2023년 중반
마지막 수정 일자