목차
첫 요청에 클러스터를 조회하는 Netflix의 Envoy 서비스 메시 (2023-08)
원문 정보
- 원문: Zero Configuration Service Mesh with On-Demand Cluster Discovery
- 매체 · 게시일: Netflix TechBlog · 2023-08-29
- 저자: David Vroom, James Mulcahy, Ling Yuan, Rob Gulewich
- 원문 내용을 바탕으로 재구성한 요약입니다.
- 서비스 메시 도입 여정을 다루는 시리즈의 첫 글이라고 원문이 밝힙니다.
한 곳에서 고치고 싶었던 IPC
Netflix가 서비스 메시에서 원한 것은 잘 검증한 IPC(Inter-Process Communication) 구현 하나였습니다. 기능을 추가하거나 버그를 고칠 때 한 곳만 고치고 싶었습니다. 10년 동안 잘 써 온 클라이언트 중심의 통신 방식으로는 점점 늘어나는 구현의 기능과 동작을 일치시키기 어려워졌기 때문입니다.
서비스 간 통신에는 REST뿐 아니라 GraphQL과 gRPC도 쓰이게 됐습니다. Java만 지원하던 환경에는 node.js, Python, 여러 OSS·상용 소프트웨어가 들어왔습니다. 적응형 동시성 제한(adaptive concurrency limiting), 서킷 브레이커, hedging, 장애 주입도 흔히 쓰는 기능이 됐습니다. 더 많은 기능을 더 많은 언어로, 더 많은 종류의 클라이언트에 구현해야 하는 상황이었습니다.
서비스 메시는 이 기능들을 로컬 프록시로 모읍니다. 언어별 클라이언트는 로컬 프록시와 통신하는 법만 알면 되므로 단순하게 유지할 수 있습니다. Netflix가 프록시로 선택한 Envoy는 대규모 환경에서 검증됐고, 복원력 기능이 풍부하며 확장 지점도 잘 갖춰져 있었습니다.
특히 매력적인 부분은 중앙 컨트롤 플레인에서 프록시 설정을 바꿀 수 있다는 점입니다. 요청은 각 클라이언트 쪽에서 분산하면서 설정은 중앙 로드 밸런서를 다루듯 관리할 수 있습니다. 서비스 간 트래픽이 하나의 로드 밸런서를 거치지 않으니, 그 로드 밸런서가 단일 장애 지점이 될 일도 없습니다. Netflix가 기존 통신 설계에서 지켜 온 원칙과도 맞았습니다.
Eureka가 멈춰도 이어지는 서비스 통신
Netflix는 2008년 클라우드 이전을 시작해 2010년에는 스트리밍 전체를 AWS에서 운영했습니다. 클라우드 네이티브 도구가 거의 없던 때입니다. CNCF도 2015년에야 생겼습니다. 필요한 도구는 직접 만들어야 했습니다.
서비스 간 통신에는 중간 계층 로드 밸런서가 제공하는 풍부한 기능이 필요했습니다. 여기에 노드가 계속 생기고 사라지는 환경을 따라가며 장애가 난 대상을 피해서 요청을 보내야 한다는 조건이 붙었습니다. 구성 요소 하나의 장애가 다른 구성 요소로 번지지 않고, 단일 장애 지점도 피하도록 설계한 결과가 클라이언트 측 로드 밸런싱입니다. 2012년 크리스마스 이브 장애는 이 선택을 더욱 굳혔습니다.
서비스 디스커버리를 맡은 Eureka는 통신할 인스턴스를 알려 줍니다. IPC를 맡은 Ribbon은 클라이언트 측 로드 밸런싱과 여러 복원력 기능을 제공합니다. Ribbon의 내부 이름은 NIWS입니다. 이 도구들을 다른 복원력·카오스 도구와 함께 사용하면서 신뢰성이 눈에 띄게 좋아졌습니다.
호출하는 쪽의 인터페이스는 간단했습니다. 대상 서비스 이름과 보안 통신 여부만 알면 됐습니다. Eureka는 보안 없는 통신에 VIP(Virtual IP), 보안 통신에 SVIP(Secure VIP)를 사용합니다. 예를 들어 서비스는 VIP 이름 myservice와 포트 8080, 또는 SVIP 이름 myservice-secure와 포트 8443을 등록할 수 있습니다. 둘 다 등록해도 됩니다.
IPC 클라이언트가 VIP나 SVIP를 지정하면, Eureka 클라이언트 코드가 Eureka 서버에서 받아 온 IP·포트 쌍으로 이를 해석합니다. 재시도나 서킷 브레이커는 필요에 따라 켜거나 기본값을 쓰면 됩니다. 호출자는 서비스 이름을 알고, 실제 인스턴스를 찾는 일은 클라이언트 코드가 처리하는 방식입니다.
물론 장애 지점이 완전히 사라지지는 않습니다. 등록된 호스트 정보의 기준인 Eureka가 새 단일 장애 지점으로 남습니다. 그래도 Eureka가 멈췄다고 서비스 간 통신까지 멈추지는 않습니다. 호스트 정보가 시간이 갈수록 낡아 가더라도 요청은 계속 보낼 수 있습니다. 정보가 불완전해진 채로 동작하는 편이 트래픽을 전부 멈추는 것보다 낫다는 판단이었습니다.
프록시마다 달라지는 클러스터 목록
메시로 옮기더라도 이 호출 방식을 유지해야 했습니다. 기존 클라이언트가 쓰던 VIP 이름과 보안 여부를 그대로 받아들이고, 이전 작업은 최대한 자동화한다는 조건이었습니다. 서비스 소유자에게 새로운 설정 작업을 맡기는 방식으로는 매끄러운 이전을 이루기 어려웠습니다.
Envoy에는 Eureka의 개념을 표현할 수단이 이미 있었습니다. VIP는 Envoy Cluster로 표현해 컨트롤 플레인의 Cluster Discovery Service(CDS)에서 가져오고, 개별 호스트는 Endpoint로 표현해 Endpoint Discovery Service(EDS)에서 가져오면 됩니다.
걸림돌은 클러스터를 언제 정의하느냐였습니다. Envoy는 사용할 클러스터가 프록시 설정에 있어야 합니다. 서비스 A가 B와 C를 호출한다면, A의 프록시에 B와 C를 모두 정의해야 합니다. Netflix에서는 서비스 하나가 수십 개의 클러스터와 통신할 수 있고, 그 목록도 앱마다 달랐습니다. 라이브 스트리밍, 광고, 게임 같은 새 사업이 추가되면서 호출 대상은 계속 바뀌었습니다.
서비스 소유자가 직접 목록을 작성하게 하면 얼핏 간단해 보입니다. 하지만 소유자가 자기 서비스의 호출 대상을 모두 아는 것은 아니며, 알고 싶어 하지 않는 경우도 많았습니다. 다른 팀이 만든 라이브러리가 내부에서 여러 서비스를 호출하고, 텔레메트리·로깅 같은 운영 서비스와도 통신하기 때문입니다. 목록을 정확하게 유지하려면 라이브러리 내부 구현을 이해하고 변경 사항까지 따라가야 했습니다.
호출 그래프에서 Envoy 설정을 자동으로 생성하는 방법도 검토했습니다. 이미 운영 중인 서비스에는 잘 맞지만, 새 서비스를 띄우거나 새로운 업스트림을 호출하려 할 때는 어려움이 생깁니다. 기존 호출 기록으로는 새 호출 대상을 준비하기 어렵습니다.
아예 모든 클러스터를 모든 앱에 보내는 방법은 단순해서 매력적이었습니다. 그러나 대략 계산해 보기만 해도 한계가 드러났습니다. 프록시마다 수백만 개의 엔드포인트를 밀어 넣는 것은 불가능했습니다.
어느 방법이든 도입 과정에 상당한 부담이 남았습니다. Netflix는 클러스터 목록을 미리 완성하려는 대신, 실제로 연결할 때 필요한 정보를 가져오는 쪽으로 방향을 바꿨습니다.
첫 연결 때 클러스터를 가져오는 ODCDS
당시 서비스 메시 작업을 시작한 엔지니어는 몇 명뿐이었습니다. Netflix는 Kinvolk에 협업을 요청했고, Envoy 커뮤니티와 함께 On-Demand Cluster Discovery(ODCDS)를 만들었습니다. 프록시가 클러스터에 처음 연결하려는 순간 그 클러스터를 조회하는 기능입니다.
정보의 출처는 계속 Eureka입니다. Netflix에는 Envoy xDS 서비스를 구현한 컨트롤 플레인이 이미 있었고, 이 컨트롤 플레인이 Eureka의 서비스 정보를 가져와 Envoy에 전달하도록 했습니다. VIP와 SVIP는 별도의 CDS 클러스터로 표현합니다. 예를 들어 myservice에는 myservice.vip와 myservice.svip 클러스터가 생길 수 있으며, 각각에 속한 호스트는 EDS 엔드포인트가 됩니다. 기존 Eureka의 개념을 그대로 사용하므로 Ribbon 같은 클라이언트도 적은 변경으로 옮겨 갈 수 있습니다.
요청이 Envoy에 도착하면 먼저 대상 클러스터를 확인합니다. Netflix는 Host 또는 :authority 헤더에서 클러스터를 추출하도록 설정했습니다. 어느 헤더를 사용할지는 설정할 수 있으며, 이 선택이 ODCDS의 고정 규칙은 아닙니다. 이미 아는 클러스터라면 Envoy는 평소처럼 요청을 처리합니다.
아직 클러스터 정보가 없다면 요청을 잠시 멈춥니다. Envoy가 컨트롤 플레인의 CDS 엔드포인트를 호출하면, 컨트롤 플레인은 서비스 설정과 Eureka 등록 정보로 CDS 응답을 만듭니다. Envoy는 클러스터 정보를 받은 뒤 EDS로 엔드포인트를 가져옵니다. 이때 반환하는 엔드포인트의 기준은 해당 VIP나 SVIP에 등록된 인스턴스의 Eureka 상태입니다.
클러스터와 엔드포인트가 준비되면 멈췄던 요청을 다시 처리합니다. 로드 밸런싱 알고리즘으로 엔드포인트를 고르고 요청을 보내는, 원래 Envoy의 동작으로 돌아갑니다. 조회에는 몇 밀리초가 걸리며 이 추가 지연은 해당 클러스터의 첫 요청에서만 발생합니다. 이후에는 처음부터 설정에 클러스터가 있었던 것처럼 동작합니다.
이제 개별 IPC 클라이언트가 대상 앱에 직접 연결하던 것을 로컬 프록시에 연결하도록 바꾸면 됩니다. 호출자는 여전히 VIP 이름과 보안 여부를 지정합니다. 클러스터 목록을 미리 작성하지 않고도 서비스 메시로 옮겨 갈 수 있게 된 것입니다.
이전 중인 서비스와 아직 옮기지 않은 서비스도 함께 동작합니다. VIP와 인스턴스 상태의 기준을 계속 Eureka에 두기 때문입니다. 모든 클러스터를 프록시에 배포할 때의 부담도 피했습니다. 실제로 통신하는 클러스터의 데이터만 가져오므로 Envoy 메모리 사용량을 낮게 유지할 수 있습니다.
첫 요청의 수 밀리초가 부담인 서비스
첫 요청을 잠깐 멈추는 비용이 모든 서비스에 작지는 않습니다. 첫 요청부터 아주 낮은 지연을 요구하는 서비스에는 수 밀리초도 큰 오버헤드입니다. 이런 서비스는 사용할 클러스터를 미리 정의하거나, 첫 요청 전에 연결을 미리 만들어 두어야 합니다.
Netflix는 과거 요청 패턴을 바탕으로 프록시가 시작될 때 컨트롤 플레인에서 클러스터를 미리 보내는 방안도 검토했습니다. 이는 적용을 마친 기능이 아닌 검토한 방안입니다. 첫 요청의 지연을 별도로 다뤄야 하는 서비스는 일부에 한정됐고, Netflix는 그 부담보다 전체 시스템의 복잡도를 줄이는 이점이 더 크다고 판단했습니다.
갱신 부담이 집중된 EDS 엔드포인트
이 글을 쓸 당시 Netflix의 서비스 메시 도입은 아직 초기였습니다. 자체 적응형 동시성 제한 구현을 Envoy로 옮긴 것은 좋은 출발이었고, 커뮤니티와 함께 개선하고 싶은 부분도 더 있었습니다.
특히 관심을 둔 분야는 incremental EDS입니다. EDS 엔드포인트가 갱신량의 대부분을 차지해 컨트롤 플레인과 Envoy 모두에 과도한 부담을 주고 있었습니다. 필요한 클러스터만 가져오게 만든 뒤에도, 엔드포인트를 갱신하는 비용은 남아 있었습니다.
Netflix는 Kinvolk의 Alban Crequy, Andrew Randall, Danielle Tal, 특히 Krzesimir Nowak의 기여에 감사를 전했습니다. Envoy 커뮤니티에서 리뷰를 맡은 Adi Peleg, Dmitri Dolguikh, Harvey Tuch, Matt Klein, Mark Roth에게도 감사를 표했습니다. 서비스 메시 도입 여정은 이 첫 글에 이어 후속 글에서도 계속될 예정입니다.