목차
Zuul에서 수천만 커넥션을 덜어낸 HTTP/2와 서브세팅 (2023-08)
원문 정보
- 원문: Curbing Connection Churn in Zuul
- 매체 · 게시일: Netflix TechBlog · 2023-08-16
- 저자: Arthur Gonigberg, Argha C
- 원문 내용을 바탕으로 재구성한 요약입니다.
공짜로 여겼던 커넥션의 비용
16코어 Zuul 한 대가 서버 800대짜리 오리진에 연결하면 커넥션은 12,800개입니다. Zuul이 100대면 1,280,000개로 늘어납니다. 오리진은 Netflix가 백엔드를 부르는 이름입니다. 대부분의 클러스터에서 실제 트래픽을 처리하는 데 필요한 것보다 훨씬 많은 커넥션을 열어 두고 있었습니다.
이 숫자는 이벤트 루프마다 독립된 커넥션 풀을 둔 설계에서 나왔습니다. Netty 기반의 Zuul은 코어마다 이벤트 루프 하나를 두고 요청을 논블로킹으로 처리합니다. 풀을 따로 두면 루프끼리 경합을 줄이고, 요청부터 응답까지 같은 스레드에서 끝내 컨텍스트 스위칭도 크게 줄입니다. 당시에는 상호 TLS(mTLS)를 쓰지 않았습니다. 커넥션은 사실상 공짜라는 가정 아래 내린 선택입니다.
그 대가로 커넥션 수에는 곱셈이 붙었습니다. 모든 이벤트 루프의 풀이 모든 오리진 서버에 연결하면, 이벤트 루프 수에 오리진 서버 수와 Zuul 인스턴스 수를 곱한 만큼 커넥션이 생깁니다. 스트리밍 서비스가 성장하면서 양쪽 클러스터가 함께 커졌고, 트래픽 급증에 맞춰 Zuul을 늘릴 때마다 오리진으로 향하는 커넥션도 크게 불어났습니다.
오래 알고 있던 문제입니다. 큰 스트리밍 앱들이 mTLS와 Envoy 기반 서비스 메시로 옮겨 가면서, 이 과도한 커넥션이 본격적인 부담이 됐습니다.
재사용할 기회가 적었던 HTTP/2 커넥션
첫 변경은 HTTP/2(H2) 멀티플렉싱입니다. 커넥션 하나에 여러 스트림을 만들어 동시 요청을 처리하면, 요청이 늘 때마다 커넥션을 더 열지 않아도 됩니다. mTLS 핸드셰이크와 그에 필요한 왕복도 줄어듭니다.
Zuul은 이미 H2를 프록시하고 있었습니다. 그러나 커넥션을 다루는 방식은 HTTP/1(H1)과 같아 멀티플렉싱을 쓰지 못했습니다. Netflix는 H1과의 하위 호환을 유지하면서 H2 커넥션을 초기화하는 부분을 바꿨습니다. 스트림을 하나 만든 직후 커넥션을 풀에 돌려주면, 뒤따르는 요청이 같은 커넥션에 새 스트림을 만들 수 있습니다. 이상적으로는 오리진 서버마다 이벤트 루프당 커넥션 하나만 남는 방식입니다. 변경 자체는 작았지만, 기존 메트릭과 커넥션 관리가 어긋나지 않도록 맞추는 작업이 필요했습니다.
배포 여건도 좋았습니다. TLS에서 H2 사용 여부를 협상하는 ALPN 덕분에, 오리진이 H2를 지원하지 않으면 H1으로 돌아갈 수 있습니다. 고객에게 영향을 주지 않고 넓게 적용할 수 있는 조건입니다. 서비스 메시는 ALPN을 기본으로 활성화하므로 테스트와 배포도 수월했고, 이미 서비스 메시와 mTLS를 쓰는 서비스의 담당자가 따로 작업할 일은 없었습니다.
배포한 기능은 안정적으로 동작했습니다. 그런데 전체 커넥션 수는 그대로였습니다. 일부 오리진은 너무 컸고, 모든 이벤트 루프가 그 서버들에 연결하고 있었습니다. 커넥션이 워낙 많으니 각각을 재사용할 기회가 적었습니다. 멀티플렉싱을 할 수 있게 됐어도, 이런 클러스터에서는 실제로 쓰이지 않았습니다.
이벤트 루프마다 나눈 오리진
H2 멀티플렉싱은 기존 커넥션에 수요가 몰릴 때의 커넥션 급증은 개선하지만, 평상시에는 도움이 되지 않았습니다. 평소 열어 두는 커넥션을 줄이려면 연결 대상부터 좁혀야 했습니다. 오리진을 작은 서버 집합인 서브세트로 나누고, 그 안에서 멀티플렉싱으로 처리량과 여유를 확보하는 접근입니다.
서브세팅은 여러 차례 논의했던 아이디어입니다. 실행을 망설인 이유는 로드 밸런싱이었습니다. 연결할 서버를 제한하더라도 트래픽은 고르게 보내야 합니다. 그래야 카나리 분석이 정확하고, 특정 오리진 인스턴스에 부하가 몰리는 핫스팟도 피할 수 있습니다. 논의를 다시 진전시킨 계기는 Google이 ACM에 발표한 Ringsteady였습니다. Google이 오래 사용한 Deterministic Subsetting을 개선한 알고리즘입니다.
적용 단위는 Zuul에 맞게 바꿨습니다. Google은 중앙에서 전체 서버와 프런트엔드 태스크를 바라보며 서브세트를 배정합니다. Netflix는 이 알고리즘을 Zuul 인스턴스 안의 이벤트 루프에 적용했습니다. 그러면 클라이언트가 각자 로드 밸런싱하는 방식을 유지하면서도 서버 집합을 정확하게 나눌 수 있습니다. Zuul 인스턴스 전체로 보면 여전히 모든 오리진 서버에 연결하지만, 각 이벤트 루프의 풀은 그중 작은 집합에만 연결하는 방식입니다.
요청 경로는 거의 그대로입니다. Netty가 요청을 이벤트 루프에 배정하면 응답까지 같은 루프에서 처리합니다. 인바운드 필터가 목적지를 정한 뒤에는 해당 루프의 커넥션 풀을 불러오고, 루프와 서브세트의 매핑에서 연결할 노드 집합을 얻습니다. 그 안에서 이전에 다룬 변형 choice-of-2로 부하를 분산합니다. 로드 밸런서가 선택을 시작하는 범위만 이벤트 루프에 배정된 서브세트로 좁아졌습니다.
전체를 다시 섞지 않는 Ringsteady 링
서버를 나누는 것만으로는 부족합니다. 오리진이 늘거나 줄 때마다 서브세트 전체를 다시 계산하면 커넥션도 대거 만들고 없애야 합니다. Ringsteady는 서버를 고르게 배치한 링을 만들고, 링을 따라 서버를 할당해 이 문제를 풀었습니다.
분포를 만드는 재료는 저불일치(low-discrepancy) 수열입니다. 구체적으로는 Van der Corput 수열의 이진 변형을 사용합니다. 서버를 넣을 때마다 순번을 단조 증가시키면, 서버가 하나씩 추가되어도 0~1 구간에서 고른 분포가 유지됩니다. 무작위에 기대는 consistent hash보다 더 일관되게 균형을 유지하는 방식입니다.
원문의 십진수 예시는 이 성질을 눈에 보이게 설명합니다. 0~1 구간을 서브세트 4개로 나누면 각각 0.25만큼의 범위를 맡습니다. 노드 50개를 빠르게 추가해도 새 노드들은 서브세트에 고르게 퍼집니다. 많은 노드가 빠질 때도 영향이 고르게 분산됩니다.
노드 하나의 추가나 제거는 서브세트 하나에만 영향을 줍니다. 새 노드도 서로 다른 서브세트에 분산되므로, 서버가 드나들 때 나머지 집합까지 연쇄적으로 바뀌지 않습니다. 모든 서브세트를 다시 섞고 계산할 이유가 없는 것입니다. 일반적으로 변경 하나가 만들거나 없애는 커넥션도 하나에 그치며, 변경 규모가 커져도 전체를 재편하는 데서 생기는 커넥션 교체를 피합니다.
Zuul은 이 링을 Eureka의 서비스 디스커버리 변경으로 관리합니다. 새 오리진이 등록되면 인스턴스를 불러와 링을 만들고, 이후에는 달라진 부분만 반영합니다. 노드를 링에 넣기 전에는 순서를 섞습니다. Zuul 인스턴스들이 우연히 비슷한 배정을 받아 겹치거나 핫스팟을 만드는 일을 피하려는 처리입니다. 이벤트 루프를 기준으로 나눴기 때문에 Zuul 인스턴스 하나에서 전체 분포를 파악하고 제어할 수 있고, 순번도 오리진 링마다 하나씩 관리하면 됩니다.
오리진 크기에 맞춰 조절한 복제 계수
서브세트가 작을수록 무조건 좋은 것은 아닙니다. 부하를 고르게 나누고 장애에도 견디려면 적당한 수의 서버가 들어 있어야 합니다. 대부분의 오리진은 많은 서브세트를 충분히 채울 만큼 크지 않았습니다. 그래서 같은 서브세트를 여러 이벤트 루프에 배정하는 복제가 필요했습니다.
복제 계수를 자주 바꾸는 데도 비용이 있습니다. 링 전체를 다시 섞게 되어 커넥션 생성과 종료가 늘어납니다. Netflix는 여러 차례 조정한 끝에 목표 서브세트 크기에서 출발했습니다. 오리진 노드 수에 맞는 복제 계수를 얻도록 서브세트 크기를 계산하고, 오리진이 커지는 동안에는 원하는 크기에 이를 때까지 기존 서브세트를 키웁니다. 계산한 크기에 맞춰 링을 균등하게 나누는 방식입니다.
목표로 삼은 크기는 서브세트당 대략 25~50개 노드입니다. 예를 들어 노드 400개인 오리진을 50개씩 나누면 서브세트가 8개입니다. 32코어 Zuul 인스턴스에서는 각 서브세트를 이벤트 루프 4개가 사용하므로 복제 계수는 4가 됩니다. 이 예에서 오리진이 노드 200~400개 사이로 변하는 동안에는 서브세트를 다시 섞지 않습니다.
이 조절은 크기가 제각각인 오리진과 이벤트 루프 수를 함께 고려한 결과입니다. 이벤트 루프가 많은 인스턴스에서도 커넥션 수가 선형보다 완만하게 늘게 하면서, 가용성을 위한 복제는 충분히 남기는 것이 목표였습니다. 탄력적으로 복제 계수를 조절해 그 조건을 충족했습니다.
트래픽 균형을 지킨 채 줄어든 커넥션
서브세팅을 적용한 뒤에는 전체 커넥션 수가 뚜렷하게 줄었습니다. 원문은 하루 주기로 오르내리는 사용량이 담긴 일주일치 그래프를 제시합니다. 세 색은 AWS 리전 3곳을, 파란 세로선은 기능을 켠 시점을 나타냅니다. 세 리전 모두 피크 커넥션 수가 약 10배 감소했습니다.
분할만으로 설명되는 감소 폭은 8배입니다. 이벤트 루프 16개인 장비에 서브세트 8개를 두면 각 서브세트는 루프 2개에 배정되고, 각 풀의 연결 대상은 오리진의 8분의 1로 줄어듭니다. 실제 피크에서 약 10배까지 개선된 것은 커넥션이 만들어지고 사라지는 빈도까지 낮아진 영향으로 저자들은 추정합니다.
그 빈도를 살핀 지표는 초당 새로 여는 TCP 커넥션 수입니다. 피크끼리 비교하면 약 8배 개선됐습니다. 오리진이 확장되거나 재배포되어도 서브세트가 안정적으로 유지된 결과입니다. 커넥션 풀에서 새로 만든 커넥션은 피크에 초당 수천 개에서 약 60개로 줄었습니다. 가장 바쁜 시간에도 커넥션 교체가 사실상 거의 없어진 수준입니다.
걱정했던 트래픽 쏠림도 나타나지 않았습니다. 오리진 노드별 RPS는 서로 촘촘하게 모여 있었습니다. 원문의 배포 직후와 12시간 뒤 그래프에는 복제 계수를 조절한 흔적도 보입니다. 오리진이 커져 복제를 줄여도 되는 규모에 이르자, 서버 400대를 크기 100의 서브세트 4개로 나누던 배정이 크기 50의 서브세트 8개로 바뀌었습니다. 서브세트를 재계산한 뒤에도 부하는 고르게 분산됐습니다.
카나리 지표에서도 개선을 확인했습니다. Zuul의 CPU 사용률은 약 4%, 힙 사용량은 약 15%, 지연은 약 3% 줄었습니다.
가장 큰 오리진인 스트리밍 재생 API에서도 효과는 이어졌고, 규모가 클수록 더 뚜렷했습니다. 일부 Zuul 샤드는 피크 커넥션을 최대 1,300만 개 줄였으며, 커넥션 생성과 종료도 거의 없었습니다. 글이 공개된 시점에는 기능을 널리 배포해 같은 트래픽을 수천만 개 적은 커넥션으로 처리하고 있었습니다. 복원력과 로드 밸런싱을 유지한 결과입니다.
글을 쓴 Netflix 엔지니어들은 알고리즘을 개발하고 논문으로 공개한 Google의 Peter Ward, Paul Wankadia, Kavita Guliani에게 감사를 전합니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 서브세팅 전 커넥션 예시 | 16코어, 오리진 800대 기준 12,800개 / Zuul 100대면 1,280,000개 |
| 이상적인 서브세트 크기 | 대략 25~50개 노드 |
| 서브세트 예시 | 노드 400개 오리진은 50개짜리 서브세트 8개, 32코어 인스턴스에서 복제 계수 4 |
| 서브세트를 다시 섞지 않는 구간 | 노드 200~400개 |
| 피크 전체 커넥션 | 세 리전에서 약 10배 감소 |
| 초당 새 TCP 커넥션(이탈 지표) | 피크 대 피크 약 8배 개선 |
| 풀에서 만든 커넥션 | 피크 초당 수천 개에서 약 60개로 |
| Zuul 시스템 메트릭 | CPU 약 4%, 힙 약 15%, 지연 약 3% 감소 |
| 일부 Zuul 샤드의 피크 감소량 | 최대 1,300만 커넥션 |