목차
쿠버네티스에서 파드 쏠림을 줄이기 위한 토폴로지 분산 제약 (2024-08)
원문 정보
- 원문: 쿠버네티스에서 파드를 분산 처리하기 위한 토폴로지 분배 제약 조건 활용 사례 소개
- 매체 · 게시일: LY Corporation Tech Blog · 2024-08-16
- 저자: 문범우 (ContentsService2 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
파드 4개가 한꺼번에 멈추는 노드
노드가 2개여도 서비스 전체가 멈출 수 있습니다. 파드 4개가 한 노드에 모두 배치된 경우입니다. 쿠버네티스 스케줄러가 기본적인 분산 배치를 수행하더라도 이런 극단적인 배치가 생길 수 있고, 그 노드에 장애가 나면 모든 파드가 영향을 받습니다. 다른 노드에서 파드를 재기동하겠지만, 다시 기동되기까지 서비스 중단은 피할 수 없습니다.
장애가 없어도 노드를 비워야 할 때가 있습니다. 클러스터 버전 업그레이드가 그런 경우입니다. v1.19에서 v1.20으로 올리는 예를 보면, 노드 하나를 종료하고 업그레이드한 뒤 다시 파드를 배치할 수 있게 만드는 과정을 다른 노드에서도 반복합니다. 파드가 몰린 노드를 종료하는 차례에는 많은 파드가 한꺼번에 내려갑니다. 서비스 성능이 떨어지거나 극단적으로는 서비스가 멈출 수 있는 순간입니다.
파드를 고르게 나누면 일부 노드에 장애가 나도 서비스를 계속 제공하고, 노드의 한정된 자원을 더 효율적으로 쓸 수 있습니다. 외부 요청이 특정 노드로 몰려 성능이 떨어지는 상황도 줄어듭니다. 서비스가 커진 뒤에 분산 설정을 바꿀 수도 있겠지만, 운영 중 설정 변경 자체가 또 다른 리스크입니다. 저자가 서비스 초기부터 분산 배치를 고려하라고 권하는 이유입니다.
분산 의도를 담기 어려운 기본 스케줄링
디플로이먼트를 사용하면 별도 설정 없이도 스케줄러가 배치할 노드를 고릅니다. 파드를 놓을 수 있는 노드를 필터링한 뒤 내부 기준으로 점수를 매겨 가장 높은 노드에 배치하는 방식입니다. 설정 부담은 적습니다. 하지만 운영자가 원하는 분산 기준을 반영하기 어렵고, 파드와 노드가 많아질수록 기본 스케줄링만으로 정교한 분산을 기대하기는 어렵습니다.
배치할 위치를 구체적으로 정할 때는 어피니티를 쓸 수 있습니다. 노드 어피니티는 노드의 레이블을 기준으로 특정 노드를 선택하거나 피하도록 설정합니다. 파드 어피니티는 파드 사이의 관계를 다룹니다. 예를 들어 a 파드를 b 파드와 같은 노드에 두거나, 안티 어피니티로 서로 다른 노드에 두는 식입니다. 분산에도 활용할 수 있지만, 단순히 고르게 나누려는 목적에는 설정이 다소 복잡해집니다.
토폴로지 분산 제약(topology spread constraints)은 이 목적을 더 간단한 설정으로 표현합니다. v1.19에서 처음 도입됐을 때 필수로 쓰인 maxSkew, topologyKey, whenUnsatisfiable, labelSelector만으로도 파드 분산을 구성할 수 있습니다. 파드와 노드가 더 많아지면 다른 옵션을 활용하거나, 서비스 특성상 배치 조건이 복잡해지면 어피니티를 추가로 검토할 수 있습니다.
기동을 우선한 ContentsService2 팀의 설정
ContentsService2 팀은 노드마다 파드를 최대한 고르게 나누되, 분산 조건을 지킬 수 없을 때는 파드가 기동되는 쪽을 택했습니다. 팀에서 사용하는 설정을 간소화한 예입니다.
topologySpreadConstraints:
- maxSkew: 1
whenUnsatisfiable: ScheduleAnyway
topologyKey: **********/hostname
labelSelector:
matchlabels:
app.kubernetes.io/name: api-real팀이 분산 기준으로 고른 것은 노드마다 고유한 hostname입니다. 노드별로 파드를 나누려는 의도에 맞고, 시스템이 자동으로 생성하는 레이블이라는 점도 선택 이유였습니다. 직접 만든 레이블을 사용하면 새 노드를 만들 때마다 값을 적용해야 합니다. 이 작업을 자동화하지 않으면 휴먼 에러가 생길 수 있다고 판단했습니다.
고른 배치를 위한 허용 차이는 maxSkew: 1에, 조건을 지키지 못하더라도 기동하겠다는 선택은 ScheduleAnyway에 담았습니다. 이 설정의 동작을 이해하려면 먼저 파드 수를 어느 범위에서 세는지 살펴봐야 합니다.
레이블 값으로 나뉘는 토폴로지 도메인
분산의 단위가 언제나 노드 하나인 것은 아닙니다. topologyKey는 분산 기준으로 삼을 노드 레이블의 키를 지정하고, 그 키에 해당하는 값이 같은 노드들을 하나의 토폴로지 도메인으로 묶습니다. 도메인은 파드 수를 함께 세는 그룹입니다.
예를 들어 topologyKey를 domain으로 정하고 노드의 레이블 값이 각각 A, B, C라면 도메인도 각각 생깁니다. 그런데 노드 2개가 모두 domain=B라면, 이 노드들은 하나의 도메인으로 취급됩니다. 분산 조건은 도메인 사이에 적용되므로 B에 속한 노드 중 한쪽으로 파드가 몰릴 수도 있습니다. 팀이 노드마다 고유한 hostname을 사용한 설정에서는 노드 하나가 도메인 하나가 됩니다.
어떤 파드를 셀지도 정해야 합니다. labelSelector에 맞는 레이블을 가진 파드만 분산 계산과 관리 대상에 포함됩니다. 모든 파드를 한데 묶지 않으므로, 기능이 다른 파드 그룹마다 서로 다른 분산 기준을 적용할 수 있습니다. 팀 설정에서는 디플로이먼트가 생성하는 기본 레이블을 선택했습니다.
이렇게 정한 도메인 사이에서 최대 파드 수와 최소 파드 수의 차이가 skew입니다. A 도메인에 파드가 2개, B 도메인에 3개라면 B에 속한 노드가 몇 개이든 skew는 1입니다. 도메인마다 파드가 2개씩이면 0이 됩니다. 최대 파드 수가 2개인 상태에서 최소가 1개면 차이는 1, 파드가 없는 도메인이 있으면 차이는 2입니다.
허용할 차이는 maxSkew로 지정합니다. 값을 크게 잡으면 덜 고르게 배치될 수 있고, 너무 작게 잡으면 배치 조건이 엄격해져 스케줄링이 지연될 수 있습니다. 팀은 모든 노드에 최대한 고르게 배치하려고 최소값인 1을 골랐습니다. 0은 지정할 수 없습니다. 신규 파드를 배치하는 순간부터 차이가 생겨 조건을 만족할 수 없기 때문입니다.
분산 조건을 맞출 자리가 없는 순간
고르게 나눌 기준을 정해도 배치할 자리가 부족할 수 있습니다. 서로 다른 도메인에 속한 노드 사이의 skew가 1이고 maxSkew도 1이라면, 새 파드는 파드 수가 적은 쪽에 배치해야 합니다. 그런데 그 노드에 다른 파드가 이미 자원을 쓰고 있어 새 파드가 들어갈 수 없다면 선택이 필요합니다.
이때의 동작을 정하는 옵션이 whenUnsatisfiable입니다. DoNotSchedule을 선택하면 maxSkew를 넘기는 배치를 하지 않고 기다립니다. 조건에 맞는 자리가 생기지 않으면 대기는 무한정 이어질 수 있습니다. 분산 조건을 지키지 못했을 때 문제가 생기는 환경이라면 이 정책을 선택하는 방향이 맞습니다.
ScheduleAnyway는 차이가 maxSkew를 넘더라도 배치 가능한 노드에서 파드를 실행합니다. 이후 알아서 균형을 맞춰 주는 동작은 없습니다. 사용자에게 경고 메시지를 보내지 않으며, 나중에 DoNotSchedule로 바꿔도 기존 파드를 강제로 종료하며 리밸런싱하지 않습니다.
ContentsService2 팀의 프로젝트에는 모든 노드에 파드를 똑같이 나눠야 한다는 조건이 없었습니다. 그런 조건이 있었다면 DoNotSchedule을 선택했겠지만, 이 프로젝트에서는 파드를 노드에 배치해 기동하는 일이 우선이었습니다. ScheduleAnyway는 그 요구를 반영한 선택입니다.
분산 설정에 쓰인 옵션
| 옵션 | 역할 |
|---|---|
maxSkew | 허용하는 파드 수 차이의 최대값, 최소 1 |
topologyKey | skew를 계산할 토폴로지 도메인(노드 그룹)의 기준 레이블 키 |
labelSelector | 분산 계산과 관리에 포함할 대상 파드 |
whenUnsatisfiable | maxSkew 초과 시 정책, DoNotSchedule 또는 ScheduleAnyway |
| 팀 설정 | maxSkew 1, ScheduleAnyway, hostname 레이블, 디플로이먼트 기본 레이블 |