목차
이벤트에 맞춰 늘리고 줄이는 쿠버네티스 Redis 클러스터 (2022-02)
원문 정보
- 원문: 쿠버네티스에 레디스 캐시 클러스터 구축기
- 매체 · 게시일: 카카오 기술블로그 · 2022-02-09
- 저자: heo.d (콘텐츠서비스개발팀, 카카오 TV 백엔드)
- 원문 내용을 바탕으로 재구성한 요약입니다. 원문은 if(kakao)2021 발표 내용이라고 밝힙니다.
단독 송출에 대비해 늘렸던 Redis 서버
카카오 TV 팀이 Redis 호출량 알람을 받은 날에는 대형 스포츠 경기가 있었습니다. 이벤트로 몰린 트래픽에 Redis를 과도하게 호출하는 코드 문제까지 겹친 상황입니다. 수정에는 클라이언트 배포가 필요했습니다. 즉시 대응하지 못했지만, 다행히 경기가 끝나면서 장애 없이 지나갔습니다.
며칠 뒤에는 인기 가수의 카카오 TV 단독 송출이 예정됐습니다. 이번에는 팬들이 몰릴 것을 예상해 Redis 서버를 미리 늘렸습니다. 그런데 송출 정책이 바뀌었습니다. 유튜브에서도 방송을 내보내게 되면서, 증설한 서버는 아주 적은 트래픽만 처리한 뒤 반납됐습니다.
MSA 기반 서버들은 쿠버네티스에서 트래픽에 맞춰 늘리고 줄일 수 있었습니다. 캐시 계층은 사정이 달랐습니다. PM 장비에 올린 온프레미스 Redis 클러스터는 증설이 어려워 이벤트에 대비해 늘 여유 용량을 확보해 둬야 했고, 평소에는 리소스 일부만 사용했습니다.
팀은 Redis도 쉽게 늘리고 줄이기 위해 PM에서 VM으로 이전을 검토했습니다. 사내 서비스들이 이미 운영 중이던 쿠버네티스가 선택지였습니다. 운영 편의와 리소스 효율을 고려해 Redis 클러스터도 쿠버네티스에 올리고, 오퍼레이터 패턴으로 관리하기로 했습니다.
급증한 트래픽을 나눠 받는 레플리카
팀이 스케일 아웃 기능을 꼭 필요하다고 본 순간은 긴급 상황입니다. 이벤트로 트래픽이 갑자기 늘거나, 모니터링을 놓쳐 메모리가 이미 찼을 때가 여기에 해당합니다.
모든 메모리 확장을 그 방식으로 처리해야 하는 것은 아닙니다. Redis 클러스터의 슬롯을 옮기려면 여러 단계를 거쳐야 하고, 팀의 경험상 메모리는 한꺼번에 차기보다 완만하게 늘어났습니다. 그래서 메모리 확장이 필요할 때는 대부분 용량이 큰 새 클러스터를 만들어 옮기는 전략으로도 문제가 없습니다.
PM에서 VM으로 옮기며 생기는 성능 문제에는 자원별로 대응했습니다. 메모리가 부족하면 워커 노드의 메모리를 키우거나 Redis 마스터 수를 늘렸습니다. CPU 부하는 레플리카 리드(Replica Read)로 분산합니다. 마스터에서만 읽던 방식을 바꿔 마스터와 레플리카 모두에서 읽고, 핫키나 대량 트래픽이 발생하면 레플리카를 스케일 아웃하는 방식입니다. 이때 클라이언트 라이브러리의 지원 여부도 제약이 됩니다. jedis처럼 레플리카 리드를 지원하지 않는 경우가 있습니다.
이렇게 규모를 조절할 수 있게 되면서 트래픽에 맞춰 리소스를 쓰기 쉬워졌습니다. 클러스터를 처음 만들 때부터 용량을 정확히 산정할 필요도 없어졌습니다.
Redis 클러스터마다 따로 둔 이벤트 큐
클러스터의 규모는 커스텀 리소스로 지정합니다. 팀은 이를 정의할 CRD를 만들고, kredis 커스텀 리소스의 생성·삭제·변경 이벤트를 처리하는 Redis 컨트롤러를 개발했습니다.
컨트롤러는 요청한 구성과 실제 상태를 맞추는 리컨사일(reconcile) 작업을 수행합니다. 마스터와 레플리카 수가 지정한 값과 일치하는지, 슬롯이 고르게 배분됐는지, 파드와 커스텀 리소스와 Redis 클러스터의 상태가 서로 맞는지 확인하는 작업입니다.
예를 들어 Test1을 마스터 2개, 마스터당 레플리카 1개로 정의하면 컨트롤러는 Test1용 이벤트 큐를 만들고 생성 이벤트를 넣습니다. 별도 스레드는 이 값을 읽어 파드 4개를 띄운 뒤 cluster meet, 슬롯 할당, 레플리카 등록을 진행합니다.
Test2를 추가하면 큐와 스레드도 별도로 만듭니다. Test1이 스케일 아웃하는 동안 Test2의 HA 처리가 기다려서는 안 되기 때문입니다. 클러스터마다 작업을 독립적으로 처리하도록 한 선택입니다.
삭제나 변경도 같은 흐름입니다. 컨트롤러가 이벤트를 받으면 파드를 삭제하거나 변경된 구성에 맞춰 클러스터를 조정하고 슬롯을 리밸런싱합니다. 여기에 Redis 파드 삭제 알림을 받는 Watch를 따로 두어 장애 복구에도 대응했습니다.
호스트 네트워크를 택한 Redis 파드
파드 하나에는 Redis 컨테이너와 메트릭 수집용 Exporter 컨테이너가 들어갑니다. 접근 경로로는 쿠버네티스에서 권장하지 않는 호스트 네트워크를 선택했습니다.
인그레스를 쓰면 Redis 파드가 뜰 때마다 컨트롤러가 컨피그맵의 tcp 설정을 수정하고 갱신해야 했습니다. 직접 접근할 때보다 성능이 떨어질 수 있다는 우려도 있었습니다. 팀은 개발 복잡도를 줄이고 캐시 성능을 최대한 확보하려고 호스트 네트워크를 택했습니다. 성능 차이를 실측해 제시한 선택은 아니었습니다.
포트는 커스텀 리소스의 basePort부터 하나씩 증가합니다. 클라이언트가 접속하는 Redis 포트에 10000을 더하면 노드 간 통신용 클러스터 버스 포트가 되고, 5000을 더한 값은 Exporter 포트로 씁니다.
basePort를 10000으로 잡으면 파드 1번의 Redis 포트는 10000, 2번은 10001입니다. 이 배정 방식으로 쿠버네티스 클러스터당 대략 5,000개의 Redis 파드를 운영할 수 있습니다. 실제로 그 수만큼 운영했다는 뜻은 아닙니다. 포트가 겹쳐도 워커 노드가 서로 다르면 더 많이 배포하고 운영할 수 있지만, 팀은 안정적인 운영을 위해 5,000개를 넘기는 구성을 권하지 않았습니다.
basePort 10000일 때의 포트 배정
| 파드 번호 | Redis 포트 | 클러스터 버스 포트 | Exporter 포트 |
|---|---|---|---|
| 1 | 10000 | 20000 | 15000 |
| 2 | 10001 | 20001 | 15001 |
| 3 | 10002 | 20002 | 15002 |
| 5000 | 14999 | 24999 | 19999 |
| 5001 | 15000 | 25000 | 20000 |
파드가 사라졌다 다시 뜨면 접속할 주소도 알려 줘야 합니다. 이 역할은 컨트롤러의 HTTP API가 맡습니다. 팀이 사용한 lettuce는 서버가 시작할 때 컨트롤러에서 주소를 한 번 받아 Redis 클러스터와 연결을 맺고, 이후에는 그 연결로 클러스터 상태 변경 이벤트를 받습니다.
배치에도 조건을 뒀습니다. 마스터와 레플리카가 같은 워커 노드에 있으면 그 노드의 장애로 HA 처리가 막히므로, 레이블에 Redis 노드 ID를 넣고 이를 기준으로 Pod Affinity를 적용해 서로 다른 워커 노드에 배치했습니다.
메트릭을 읽을 포트 번호는 어노테이션에 넣었습니다. Redis Exporter와 Prometheus, Grafana를 연결해 여러 쿠버네티스 클러스터에서 수집한 메트릭을 Grafana 한 화면에서 확인하도록 구성했습니다.
자동 복구를 맡은 Redis 컨트롤러
마스터 선출은 Redis가 맡습니다. 예를 들어 마스터 2번 파드가 죽으면 Redis 클러스터가 자체 통신으로 장애를 감지하고, 선출 과정을 거쳐 레플리카 2번을 마스터로 승격합니다. 컨트롤러는 그사이 받은 파드 삭제 이벤트에 따라 새 파드를 생성하고, 새 마스터의 레플리카로 등록합니다.
컨트롤러 작업 중의 오류에는 롤백으로 대응합니다. 각 작업을 Action 단위로 스택에 저장해 두고, 문제가 생기면 저장된 Action의 반대 Action을 만들어 이전 상태로 되돌리는 방식입니다. 가령 레플리카 스케일 아웃 도중 ReplicaOf 단계에서 통신 오류가 나면, 이 방식으로 증설 전 상태를 복원합니다.
컨트롤러도 죽을 수 있습니다. Deployment가 파드를 다시 띄우면, 새 컨트롤러는 현재 커스텀 리소스 목록과 파드 목록을 읽어 전체 리소스를 리컨사일합니다. 멈춰 있던 사이 상태가 어긋났을 수 있기 때문입니다. 이 작업을 마친 뒤 이벤트 큐를 만들면 다시 이벤트를 처리할 준비가 끝납니다.
이 복구 방식에도 한계는 남습니다. 컨트롤러가 죽으면 Redis에 접근하지 못합니다. 컨트롤러 코드의 문제로 Redis 클러스터에 이상이 생긴 경우에는 코드를 고쳐 배포하기 전까지 정상 복구가 어렵습니다.