본문으로 건너뛰기
새벽 교체 작업에서 출발한 Kubernetes와 Redis 캐시 팜
목차

새벽 교체 작업에서 출발한 Kubernetes와 Redis 캐시 팜 (2020-11)

원문 정보

90대 상면 이전 앞에서 꺼낸 마음의 짐

캐시 장비 한 대를 바꿀 때도 새벽에 일어나야 했습니다. 그런 카카오톡 톡서버파트에 Memcached 장비 90대를 다른 IDC의 서버로 교체해야 한다는 소식이 들어왔습니다. 대규모 상면 계약 만료 때문입니다. 한 대씩 교체하던 절차만 떠올려도 뒷골이 서늘해질 만한 일이었습니다.

톡서버파트는 가입과 인증, 사용자 정보, 프로필, 친구 관계, 디바이스 설정 정보 등의 API를 개발하고 운영합니다. 데이터 접근 트래픽은 초당 4,000,000건을 넘습니다. DB 쿼리 결과를 캐싱해 부하를 나누던 기존 시스템은 256여 대의 물리 장비에 분산된 Memcached였습니다.

노드 변경에 따른 부담을 줄일 장치는 이미 있었습니다. 캐시 클러스터에 Consistent hashing을 적용해, 노드를 추가하거나 삭제할 때 전체 데이터 수(K)를 노드 수(n)로 나눈 K/n만큼만 다시 해싱하도록 유도했습니다. 문제는 그 양도 컸다는 점입니다. 노드 하나가 받는 트래픽부터 워낙 높아, 변경 작업은 트래픽이 가장 뜸한 새벽으로 미뤄야 했습니다.

장비 발주와 Memcached 설치, 모니터링 준비를 마쳐도 작업은 끝나지 않습니다. 새벽에 zookeeper로 관리하는 캐시 호스트 목록을 수동으로 바꾸고, DBA와 함께 애플리케이션 지표와 DB 부하를 지켜봐야 했습니다. 팀이 부른 이름은 ‘최첨단 수동’입니다. 졸린 시간에 호스트 목록을 잘못 고치지 않을까 걱정하는 일까지 따라왔습니다.

장애 복구도 사람을 기다렸습니다. 노드 변경과 장애 조치마다 인프라 엔지니어와 DB 엔지니어에게 장비·작업·모니터링을 요청해야 했고, 감지나 조치가 늦거나 실수가 나면 장애가 번질 수 있었습니다. 팀은 상면 이전을 앞두고 서비스 개발에 밀려 미뤄 둔 ‘마음의 짐’을 꺼냈습니다. 캐싱 시스템을 고칠 때였습니다.

메모리 크기로 나눈 Kubernetes의 Redis 농장

트래픽을 나누려고 늘린 장비에는 메모리가 남아돌았습니다. 어떤 캐시 클러스터는 노드를 60개로 늘리고 나니 각 서버의 32GB 메모리 중 300MB만 사용했습니다. 데이터 수는 한정돼 있는데 노드 수만 늘어난 결과입니다. 전체 캐시 시스템에서도 6.5TB 중 사용하는 메모리는 1.8TB였고, 4.7TB는 쓰이지 않았습니다.

한 물리 장비에 Memcached나 Redis를 여러 개 설치하는 방법도 검토했습니다. 그러려면 어느 장비에 어떤 크기의 저장소를 몇 개씩 배치할지 관리해야 합니다. 필자가 스스로 ‘쿠무새’라 부를 만큼 몰두하던 Kubernetes에서 찾은 해법이 여기 있었습니다. 자원 요구와 제한에 맞춘 자동 배치, 프로세스 복구, 스케일링을 선언적으로 관리하면 팀이 떠안고 있던 일을 줄일 수 있다고 봤습니다.

저장소는 Redis로 통일했습니다. 이미 일부 단순 key-value 데이터를 Redis로 다루고 있었고, 톡서버의 사용 방식에서는 Memcached와 Redis 사이에 성능 등의 차이가 없을 것으로 판단했습니다. 같은 일을 하는 플랫폼을 따로 운영하기보다 활용 가능성이 더 풍부한 Redis를 쓰기로 한 선택입니다. 이렇게 Kubernetes가 재배하는 Redis 농장, 캐시 팜을 만들기 시작했습니다.

캐시 노드의 단위도 바꿨습니다. 물리 장비 한 대를 통째로 쓰는 대신, 기존 메모리 사용량을 분석해 1GB, 4GB, 16GB 타입의 Redis 파드를 배치하고 resource request/limit로 자원을 관리했습니다. 노드당 300MB를 저장하는 클러스터라면 1GB 타입을 쓰면 됩니다. 32GB 장비를 하나씩 할당할 이유가 사라졌습니다.

파드는 용도별로 만들지 않았습니다. 메모리 크기에 따라 StatefulSet을 나누고 Redis 파드를 충분히 준비한 뒤, 어느 데이터에 사용할지는 별도 컴포넌트가 정하도록 했습니다. 데이터센터별로 다중화한 Kubernetes 클러스터 위에서 파티션과 캐시 클러스터를 유연하게 구성하려는 설계입니다. 목적에 맞게 helm chart를 수정하기 어려워 StatefulSet은 직접 정의했습니다.

이 변화로 물리 장비를 256대에서 180대까지 줄였습니다. 줄어든 장비 안에도 사용 대기 중인 Redis 파드가 넉넉히 남아, 신규 서비스나 캐시 확장에 꺼내 쓸 수 있게 됐습니다. 전체 메모리 가용률은 28%에서 48% 정도로 올랐습니다. Redis의 Persistence와 복제로 캐시 팜의 사용 범위를 넓히는 것까지 고려한 메모리 배치였습니다.

hostNetwork에서 달라질 수 있는 Redis 주소

대량의 트래픽을 분산하는 캐시에서 네트워크 오버헤드와 병목도 줄이고 싶었습니다. 팀은 Ingress와 service 레이어를 없애고 오버레이 네트워크도 거치지 않도록, 각 Redis 노드가 hostNetwork로 외부와 직접 통신하게 했습니다. 캐시만을 위한 Kubernetes 클러스터였기에 아키텍처 확장성을 고려할 필요가 적다는 판단도 있었습니다.

그 선택에는 복구 문제가 따라왔습니다. 일반적인 Kubernetes 구성에서는 service가 파드의 위치를 감춰 주므로, 뒤에서 파드가 복구되거나 옮겨져도 클라이언트는 같은 서비스를 사용합니다. hostNetwork에서는 클라이언트가 파드가 배치된 Kubernetes 노드의 IP와 포트로 직접 접근합니다.

가령 Redis 파드가 노드 A의 K 포트에 있다가 self-healing 뒤 노드 B의 N 포트로 옮겨질 수 있습니다. Kubernetes는 이전 위치로 돌아간다고 보장하지 않습니다. 파드는 살아났는데 클라이언트는 예전 주소를 바라보는 상황입니다. 서버의 프로세스 복구만으로는 클라이언트의 연결까지 회복되지 않았습니다.

파티션 이름으로 주소를 찾는 Sentinel

Redis로 저장소를 통일한 선택이 이 문제의 해법으로 이어졌습니다. Redis Sentinel은 health check, failover, discovery를 제공하므로, 클라이언트가 Redis의 실제 주소를 직접 관리하지 않도록 할 수 있습니다. 어떤 Redis 파드가 어떤 데이터를 담당하는지는 어드민 애플리케이션이 Sentinel에 저장해 관리하도록 했습니다.

sentinel monitor User.id::0 127.0.0.1 6379 2라는 명령을 내리면 Sentinel은 해당 Redis 노드와 복제(replication) 노드의 정보를 저장하고 감시합니다. 캐시 팜에서는 이 단위를 파티션이라 부릅니다. 파티션을 모으면 데이터 성격에 따라 나눈 캐시 클러스터가 됩니다.

클라이언트가 사용하는 이름은 User.id::0입니다. Sentinel이 이 이름에 연결된 현재 주소를 관리하면, Redis가 127.0.0.1:6379에서 127.0.0.2:6380으로 옮겨도 클라이언트는 이름으로 노드를 찾습니다. 원문의 Kotlin과 Lettuce 연결 예제도 Redis 주소를 직접 지정하는 대신 마스터 ID로 User.id::0을 전달합니다.

하지만 Sentinel이 모든 주소 변경을 해결해 주지는 않습니다. 복제가 있으면 장애 때 다른 노드로 failover할 수 있지만, 복제가 없으면 새로운 Redis 노드를 스스로 찾아 모니터링 주소를 바꾸지 못합니다. hostNetwork 환경에서 파드만 다른 위치에 되살아나면 연결 문제는 그대로 남습니다.

톡서버의 캐시 팜에서는 캐시 목적의 클러스터에 일반적으로 복제를 쓰지 않도록 했습니다. Redis 복제가 비동기적으로 이뤄져 failover 과정에서 정합성이 깨질 수 있기 때문입니다. 복제 없이도 새 노드를 선택하고 Sentinel의 정보를 갱신할 도구가 필요했습니다.

복제 없는 파티션의 복구를 맡은 Barn

그 역할을 맡긴 도구가 Barn입니다. 개발자는 어드민 Web UI에 원하는 클러스터 상태를 선언하고, Barn의 컨트롤 루프는 이를 Desired state로 삼아 Sentinel에 저장된 실제 파티션 상태를 맞춥니다. 파드를 미리 준비하는 일과 그 파드에 용도를 부여하는 일이 여기서 연결됩니다.

예를 들어 clusterName이 User.id, clusterSize가 10, partitionSize가 1인 상태를 선언했다고 가정합니다. Barn은 Sentinel 목록에 User.id::[0-9]가 있는지 확인합니다. User.id::0이 없다면 Kubernetes에 준비된 Redis 노드 중 장애 분산에 적합한 노드를 마스터로 정하고 Sentinel에 모니터링을 명령합니다. partitionSize가 1인데 복제가 구성돼 있다면 복제 관계를 지웁니다.

이 루프는 장애도 감시합니다. Sentinel에서 ODOWN 상태이면서 복제가 없는 파티션을 발견하면, Barn이 대기 중인 Redis 파드 가운데 대체할 파드를 고릅니다. 이때 노드별·IDC별·캐시 클러스터별 파드 분포를 보고 향후 장애가 가장 잘 분산될 파드를 선택합니다. 이어 Sentinel에 새 파드를 사용하도록 명령하고, 장애가 난 파드는 Kubernetes가 자동으로 복구합니다.

예전에는 개발자가 로그 경보를 보고 장애 노드를 클라이언트 설정에서 뺀 뒤, 인프라팀에 새 장비를 요청하고 다시 설정에 추가해야 했습니다. 이제 서버 쪽 파드 복구는 Kubernetes가, 클라이언트가 새 Redis를 찾도록 하는 일은 Barn과 Sentinel이 처리합니다. hostNetwork로 직접 접근하는 방식도 유지했습니다.

어드민 애플리케이션으로 운영을 자동화하면서 인프라팀과의 소통 비용도 줄었습니다. 장애 복구 때 서버와 클라이언트 양쪽에서 엔지니어가 직접 조치하던 과정을 자동화해 고가용성과 회복 탄력성을 확보한 결과입니다.

삭제 시점까지 업데이트를 미루는 StatefulSet

Redis 버전 업그레이드처럼 파드를 대규모로 교체하는 작업에는 부하를 살필 시간이 필요했습니다. StatefulSet의 안정된 네트워크 식별자와 지속성 있는 스토리지 등 여러 특징 가운데, 팀이 특히 필요로 한 기능은 순차적인 스케일링과 롤링 업데이트였습니다.

여기에 onDelete 업데이트 전략을 사용했습니다. template/spec 변경을 원하는 상태에는 반영하지만 실행 중인 파드를 곧바로 갱신하지 않고, 개별 파드가 삭제된 뒤 다시 생성될 때 변경을 적용하는 방식입니다. 운영자는 이미지 교체를 준비한 뒤에도 서비스와 DB가 부하를 회복하는 과정을 충분히 지켜보며 배포를 진행할 수 있습니다.

필자는 자동화된 시스템을 구성할 때 고려해야 할 치명적인 리스크도 있다고 밝힙니다. 기존 트래픽을 새 캐시 팜으로 마이그레이션한 과정 역시 이 글에서 모두 다루지는 못했습니다. 이 이야기는 if(kakao)2020의 세션 “카카오톡 4M/s 캐시 클러스터 전환기”에서 더 생생하게 전하겠다고 예고했습니다.

원문의 수치와 Redis 타입 예시
항목값
데이터 접근 트래픽초당 4,000,000건 이상
기존 캐시 장비256여 대 → 180대
상면 이전 대상Memcached 장비 90대
메모리 사용 (전체)6.5TB 중 1.8TB 사용, 4.7TB 낭비
낭비 사례60노드 클러스터, 32GB 사양 중 300MB 사용
메모리 가용률28% → 48%
타입 예시 M1request/limit 1.5Gi, maxMemory 1gb, replicas 40
타입 예시 M4request/limit 6Gi, maxMemory 4gb, replicas 30
타입 예시 M16request/limit 24Gi, maxMemory 16gb, replicas 60
마지막 수정 일자