본문으로 건너뛰기
쿠버네티스 중계 API 서버의 10초를 줄인 Informer 캐시
목차

쿠버네티스 중계 API 서버의 10초를 줄인 Informer 캐시 (2024-07)

원문 정보

새 파드를 스케줄링할 노드가 있는지 확인하고 싶다는 요구에서 시작한 작업입니다. LY의 Data Platform Dev에서 운영하는 약 800대 규모의 쿠버네티스 클러스터에는 사내 데이터 플랫폼과 MLOps 플랫폼의 ML 잡이 주로 실행되고 있었습니다. 사용자에게 필요한 것은 노드별 리소스 현황이었습니다. 그런데 이 정보를 보여 주려면 먼저 조회 권한 문제를 풀어야 했고, 이를 위해 만든 API 서버에서는 응답 속도가 문제가 됐습니다.

리소스 현황 앞에서 막힌 조회 권한

클러스터 하나를 약 200명의 사용자가 함께 썼습니다. 팀마다 네임스페이스를 만들어 사용하는 멀티 테넌트 환경으로, RBAC에 따라 사용자는 자기 네임스페이스의 오브젝트만 조회하고 수정할 수 있었습니다. 퍼시스턴트볼륨이나 클러스터롤 같은 클러스터 레벨 오브젝트는 일반 사용자에게 보이지 않습니다.

필요한 정보는 kubectl describe <node>의 Allocated resources에서 확인하는 CPU와 메모리 현황이었습니다. 이 명령은 모든 파드를 가져온 뒤 해당 노드에 속한 파드를 골라 리소스를 합산합니다. 따라서 실행하려면 클러스터의 모든 파드를 조회할 권한도 있어야 합니다. 그 권한이 없으면 not authorized만 나옵니다.

모든 파드의 조회 권한을 열고 싶지는 않았습니다. 최소 권한 원칙을 지키면서 사용자가 원하는 정보를 제공하려고, 쿠버네티스 RBAC과 별개로 리소스 현황을 JSON으로 반환하는 중계 API 서버를 두기로 했습니다.

노드 하나에도 필요했던 전체 파드 목록

처음에는 쿠버네티스 Python 클라이언트로 kubectl describe <node>의 계산 로직을 옮겼습니다. 현재 사용량을 보여 주는 kubectl top <node>와는 목적이 다릅니다. 이 API가 구하려는 값은 노드에 파드를 더 스케줄링할 수 있는 리소스의 양입니다.

계산은 노드의 할당 가능한 용량인 Allocatable capacity를 조회하는 데서 출발합니다. 전체 파드 목록에서 해당 노드에 스케줄링된 파드를 fieldSelector로 거른 뒤, 각 파드의 컨테이너에 정의된 CPU와 메모리 요청을 합산합니다. Succeeded나 Failed 상태의 파드는 제외합니다. CPU 요청은 코어와 밀리 코어 단위를 맞춰 더해야 합니다.

노드의 할당 가능한 CPU·메모리에서 요청 리소스인 Requests의 총합을 빼면 계산이 끝납니다. 그 차이가 새 파드를 스케줄링할 수 있는 용량인 free_cpu, free_memory입니다.

문제는 데이터를 가져오는 비용이었습니다. 파드는 네임스페이스 단위로 인덱싱돼 있어, 노드 하나의 리소스를 계산할 때도 클러스터의 모든 파드 목록을 조회해야 했습니다. 이 질의는 응답을 늦추고 kube-apiserver와 etcd에도 큰 부하를 줬습니다. 클러스터가 커질수록 성능이 더 나빠질 우려도 있었습니다.

스레드를 여러 개 만들어 비동기로 처리해 봐도 리소스 하나를 계산하는 데 10초 정도가 걸렸습니다. 엔드포인트를 한 번 호출하고 10초 이상 기다려야 한다면 사실상 쓰기 어려운 API입니다. 전체 파드를 가져오는 비용을 줄일 방법을 찾다가 캐싱을 검토했고, 그 과정에서 Informer를 알게 됐습니다.

Informer를 위해 Go로 다시 만든 중계 API 서버

조회할 곳을 로컬 캐시로 바꿨습니다. kube-apiserver에 직접 질의하는 대신 Informer 캐시에서 오브젝트를 읽도록 Go로 재구현한 결과, 800개 노드의 스케줄링 가능한 리소스를 계산하는 시간이 10초에서 약 0.2초로 줄었습니다.

Informer는 이름처럼 클러스터 오브젝트의 변화를 알려 주는 기능입니다. CREATE, UPDATE, DELETE 이벤트를 지켜보다가 그에 맞춰 로컬 캐시를 갱신합니다. etcd와 별개로 유지하는 이 캐시에서 오브젝트를 읽으면, API 요청마다 kube-apiserver에 직접 질의하는 비용을 줄일 수 있습니다.

캐시를 쓰려면 구현 언어부터 바꿔야 했습니다. Informer는 쿠버네티스 코어의 구성 요소가 아닌 일부 클라이언트의 추가 기능으로, 2024년 당시에는 Go, TypeScript, Java 클라이언트만 지원했습니다. Python 클라이언트에는 2019년에 지원 요청 이슈가 올라왔지만, 글 작성 시점까지 4년째 별다른 진전이 없었습니다.

저자는 가까운 시일 안에 Python에서 Informer를 쓰기는 어렵다고 판단했습니다. 결국 API 서버의 전체 로직을 Go 클라이언트로 다시 구현했습니다. 번거로운 재개발이었지만, 원하는 로컬 캐시를 클라이언트가 제공하는 기능으로 만들기 위한 선택이었습니다.

노드와 파드의 변화를 따라가는 로컬 캐시

이 서버에 필요한 것은 노드와 파드의 캐시입니다. Go 클라이언트의 SharedInformerFactory에서 노드 Informer와 파드 Informer를 선언하면, etcd의 모든 리소스를 복제하지 않고 선언한 타입의 오브젝트만 캐시로 유지합니다. 팩토리를 시작한 뒤 WaitForCacheSync로 동기화를 기다리면 그 시점의 노드와 파드 데이터가 클라이언트 메모리에 들어옵니다.

한 번 복사하는 것만으로는 부족합니다. 서버가 시작할 때 가져온 데이터를 그대로 두면 클러스터에서 파드가 생성되거나 노드가 수정될 때마다 캐시와 실제 데이터가 어긋납니다. Informer는 변경 이벤트를 감시하고, 그 변화를 로컬 캐시에 재생해 최신 상태를 유지합니다.

추적 범위도 선언한 타입에 한정됩니다. 이 구현에서는 노드와 파드의 생성·수정·삭제 이벤트만 따라가며, 네임스페이스나 서비스의 변경 이벤트는 무시합니다. 모든 오브젝트의 이벤트를 감지하고 동기화하는 비용을 들이지 않는 방식입니다.

파드가 새로 배포되는 상황을 예로 들면, Informer가 생성 이벤트를 감지해 RateLimitQueue에 넣고 Syncer가 이를 꺼내 캐시를 갱신하는 흐름입니다. 전체 리소스를 반복해서 풀 스캔하는 대신 변경된 리소스를 갱신하므로 kube-apiserver의 부하 감소를 기대할 수 있습니다. Go 클라이언트의 구성 요소는 역할에 따라 나뉩니다.

  • Reflector: 쿠버네티스 API에서 특정 오브젝트 목록을 가져와 Delta FIFO 큐에 저장
  • Informer: Reflector가 가져온 데이터를 읽어 Indexer로 전달하고, 등록된 이벤트 핸들러를 호출
  • Indexer: 클라이언트 측 Informer 캐시를 관리

조회(get/list)는 Indexer가 관리하는 캐시에서 처리합니다. List()로 노드 목록을 가져오거나 GetByKey()로 특정 파드를 찾으며, 꺼낸 오브젝트는 etcd에서 직접 가져왔을 때와 같은 타입으로 다룹니다. 데이터를 가져오는 곳은 바뀌어도 오브젝트를 다루는 방식에는 큰 차이가 없습니다. 조회 응답이 마스터 노드의 etcd를 거치지 않는다는 점에서 etcd 부하 감소와 응답 속도 향상도 기대할 수 있습니다.

Informer는 주로 오퍼레이터 패턴 구현에 쓰입니다. 관련 참고 글로 같은 매체의 ‘쿠버네티스 커스텀 리소스 정의하고 관리하기(feat.컨트롤러)‘도 소개돼 있습니다. 하지만 중계 API 서버처럼 오브젝트를 빠르게 읽어야 하는 곳에서도 로컬 캐시로 활용할 수 있습니다. 이런 용도에서는 Redis 등으로 etcd의 로컬 캐시를 따로 유지할 필요 없이, Go 클라이언트가 공식 지원하는 Informer로 캐시를 만들고 갱신할 수 있습니다.

원문의 환경과 측정값
항목값
클러스터 규모약 800대
단일 클러스터 사용자약 200명
Python 구현 (비동기 우회 포함)리소스 하나 계산에 10초 정도
Go와 Informer 구현800개 노드 계산에 약 0.2초
Informer 지원 클라이언트 (2024년 기준)Go, TypeScript, Java
Python 클라이언트 Informer 요청 이슈2019년 등록, 글 작성 시점까지 4년째 정체
마지막 수정 일자