목차
존 하나와 노드 하나를 잃어도 버티는 우버의 OpenSearch (2026-06)
원문 정보
- 원문: Zone-Failure-Resilient OpenSearch® at Uber
- 매체 · 게시일: Uber Engineering Blog · 2026-06-25
- 저자: Smit Patel(Senior Software Engineer, Search Platform 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
재배치 부하를 막는 forced awareness
존 하나가 사라져도 조회와 데이터 색인은 이어져야 합니다. 모든 티어의 사용처를 지원하는 우버의 OpenSearch에서 존 장애 내성(ZFR, Zone Failure Resilience)은 이 기능들이 영향을 받지 않는다는 뜻입니다. 타협할 수 없는 요건입니다.
문제는 장애 뒤의 복구 동작입니다. OpenSearch에는 노드의 논리적 묶음마다 샤드 복제본을 고르게 배치하는 shard allocation awareness가 있지만, 그룹 하나의 노드가 모두 내려가면 기본적으로 잃어버린 복제본을 남은 그룹에 다시 배치하려 합니다. 이때 대량의 데이터 이동으로 디스크 I/O, CPU, 네트워크 사용량이 치솟을 수 있습니다. 복구 부하가 쿼리 지연을 키우고, 심하면 살아남은 존에서 연쇄 장애를 일으킵니다.
우버는 forced shard allocation awareness로 이 동작을 제어했습니다. 현재 존재하는 그룹만 보고 배치하지 않도록, 클러스터에 기대하는 속성값 전체를 미리 명시합니다. 전체 그룹이 3개라면 설정에도 3개를 모두 남겨 둡니다. 그룹 하나가 사라져도 OpenSearch는 해당 속성값을 가진 노드가 빠졌음을 인식하고, 남은 그룹에 복제본을 과하게 할당하지 않습니다.
사라진 그룹의 샤드는 미할당으로 남습니다. 클러스터는 대체로 yellow 상태가 되지만, 살아 있는 존에 갑작스러운 재배치 부하를 주지 않습니다. 존 장애 중에는 모든 복제본을 즉시 복구하는 것보다 남은 존의 안정성을 택한 것입니다.
복구 시점도 이 설정에 따릅니다. 실패한 존이나 그룹이 복구되어 같은 속성값을 가진 노드가 돌아오면 미할당 샤드를 다시 할당합니다. 관리자가 forced awareness 설정을 직접 제거하거나 바꾸는 경로도 있습니다. 예를 들어 남은 존에 용량을 늘린 뒤 그쪽으로 샤드를 재분배하기로 했다면, 설정을 변경해 재배치를 허용합니다.
물리 존의 불균형을 보완하는 isolation group
우버가 물리 존 ID를 배치 기준으로 쓰던 때에도 yellow가 문제였습니다. 그때는 존마다 노드 수가 고르지 않아 awareness가 모든 샤드에 유효한 배치를 찾지 못했습니다. 장애 중 재배치를 멈추려고 남겨 둔 미할당 샤드와는 사정이 달랐습니다.
물리 존을 직접 기준으로 삼기는 까다롭습니다. 우버의 물리 존은 보통 3개보다 많고, 각 존에 노드를 고르게 배치하려면 존마다 같은 용량을 확보해야 하므로 배치가 복잡해집니다. 우버는 컨테이너 오케스트레이션 플랫폼 Odin 위에 만든 isolation group을 그 사이에 두었습니다.
isolation group은 클러스터 노드를 존이나 랙 같은 장애 도메인에 고르고 예측 가능하게 나누는 논리적 분할 단위입니다. OpenSearch를 비롯한 우버의 대부분 기술은 그룹을 3개 씁니다. 존 하나는 그룹 하나에만 대응하므로, 존 전체를 잃어도 용량 손실은 최대 약 33%입니다.
그룹을 나눌 때는 역할별 균형을 지킵니다. 데이터 노드와 클러스터 매니저 노드를 각각 그룹에 고르게 분산해 중요한 역할이 한 장애 도메인에 몰리지 않게 합니다. 물리 장애 도메인과의 대응도 고려합니다. 서로 다른 그룹이 같은 존을 공유하지 않는 배치가 이상적이며, 공유할 때는 스케줄러가 배치 페널티를 부과합니다.
노드를 교체해도 소속은 유지합니다. 대체 노드의 물리 호스트가 달라져도 원래 노드와 같은 isolation group에 속하므로, 샤드를 배치하는 기준은 바뀌지 않습니다.
이렇게 그룹마다 같은 수의 노드를 보장하자 샤드가 100% 할당되고 클러스터가 green 상태를 유지했습니다. 물리 존의 비대칭 때문에 생기던 디스크 편중과 핫 노드도 없어졌습니다. 장애에 대비해 도입한 배치 기준이 평소의 불균형도 해소한 것입니다.
세 그룹을 기준으로 삼은 shard allocation awareness
OpenSearch에 전달하는 정보는 노드의 그룹 속성입니다. technology worker 사이드카 컨테이너가 노드의 isolation group 속성을 가져와 opensearch.yml에 기록하고, 클러스터 수준에서 이 사용자 정의 속성을 기준으로 awareness를 켭니다. isolation group이 물리 배치를 관리하면 OpenSearch는 그 그룹을 기준으로 샤드의 논리 배치를 정합니다.
샤드 사본이 5개인 경우를 보면 배치 규칙이 분명해집니다. 프라이머리 1개와 레플리카 4개를 그룹 3개에 나누면 2, 2, 1로 배치합니다. 어느 두 그룹을 비교해도 사본 수의 차이는 1을 넘지 않습니다.
이 규칙을 지키려면 그룹별 노드 풀이 균형을 이뤄야 합니다. 노드 수가 불균형하고 자원 제약 때문에 고른 분포를 만들 수 없다면, 일부 복제본은 할당되지 않은 채 남습니다. 앞서 물리 존 ID를 쓸 때 겪었던 문제입니다. isolation group으로 노드부터 고르게 나눈 이유가 여기에 있습니다.
우버의 모든 OpenSearch 인덱스에는 레플리카를 최소 2개 둡니다. 프라이머리를 포함하면 샤드마다 사본이 3개 이상이며, 이를 isolation group 3개에 분산합니다. 존 하나나 그룹 하나를 잃어도 데이터를 보존하는 기본 구성입니다.
존 하나 뒤에 겹친 노드 장애
우버가 가장 까다롭게 보는 상황은 존 장애 직후 다른 존에서 노드 하나가 더 멈추는 경우입니다. 샤드 사본이 남아 있어야 하고, 클러스터를 이끄는 매니저 노드도 정족수를 유지해야 합니다.
다른 그룹에 남는 세 번째 복제본
우버의 Tier 3 이하 OpenSearch/Elasticsearch 클러스터는 모두 샤드마다 사본을 3개 이상 유지하며, 이를 isolation group 3개에 나눠 둡니다. 존 장애로 그룹 하나와 그 안의 사본 하나를 잃은 뒤, 다른 존의 노드 장애로 두 번째 사본까지 잃을 수 있습니다. 그래도 나머지 그룹에 세 번째 사본이 남습니다.
5개에서 시작하는 클러스터 매니저
클러스터 매니저 노드에는 사본 수와 다른 계산이 필요합니다. 매니저가 3개일 때 2개를 잃으면 정족수가 무너지고, 클러스터 전체가 멈춘 red 상태가 됩니다. 우버는 매니저를 5개 두고 OpenSearch의 cluster.auto_shrink_voting_configuration: true 설정을 함께 사용했습니다. 이 설정은 살아 있는 매니저 노드에 맞춰 투표 구성을 동적으로 줄입니다.
시작할 때는 매니저 5개를 그룹 3개에 분산합니다. 존 하나가 내려가면 최대 2개를 잃어 3개가 남고, auto-shrink가 투표 구성을 이 3개로 축소합니다. 이제 정족수는 3개 중 2개입니다. 이 정족수로 새 리더를 뽑습니다.
투표 구성이 줄어든 뒤 매니저 하나가 더 멈춰도 2개는 남습니다. 2/3의 정족수를 계속 충족하므로 리더를 선출하고 유지할 수 있습니다.
샤드 배치와 장애 시나리오의 구성 수치
| 항목 | 값 |
|---|---|
| isolation group 수 | 3개 (대부분의 우버 기술 공통) |
| 존 하나 장애 시 최대 용량 손실 | 약 33% |
| 인덱스 레플리카 수 | 최소 2개 (복제본 총 3개 이상) |
| 복제본 5개일 때 배치 | 2, 2, 1 (그룹 간 차이 1 이하) |
| 클러스터 매니저 노드 수 | 5개 |
| 존 장애 직후 남는 클러스터 매니저 노드 | 최대 2개 손실, 3개 생존 |
| 노드 1개 추가 장애 뒤 정족수 | 2개 생존, 2/3 충족 |
| 투표 구성 축소 설정 | cluster.auto_shrink_voting_configuration: true |
| 존 장애 시 클러스터 상태 | 대체로 yellow (재배치 대신 미할당 유지) |
| 3개 복제본 유지 대상 | Tier 3 이하 OpenSearch/Elasticsearch 클러스터 |