본문으로 건너뛰기
15만 대의 설정 배포를 하나로 모은 우버의 UCDP
목차

15만 대의 설정 배포를 하나로 모은 우버의 UCDP (2023-03)

원문 정보

  • 원문: How We Unified Configuration Distribution Across Systems at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2023-03-09
  • 저자: Ahmed Magdy(Senior Software Engineer, Configuration Platform Team), Jacob Damgaard(Staff Software Engineer, Configuration Platform Team 테크 리드)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

갱신 확인에 쓰이던 네트워크 호출

설정이 바뀌었는지 묻는 호출부터 부담이었습니다. 우버 데이터센터 전체 네트워크 호출의 약 25%를 각 설정 파이프라인의 갱신 확인이 차지했습니다. 기존 파이프라인 중 하나는 계층마다 주기적으로 데이터를 가져오는 pull 방식이었고, 이 트래픽으로 호스트의 네트워크가 포화될 수도 있었습니다.

비슷한 일을 하는 파이프라인도 여럿이었습니다. 15만 대가 넘는 호스트에서 파이프라인마다 별도 에이전트를 돌리니, 같은 목적에 쓰는 호스트 자원이 두 배, 세 배로 늘었습니다. 그만큼 서비스를 실행할 여유가 줄고, 엔지니어는 각 파이프라인을 따로 유지보수해야 했습니다.

설정을 만드는 쪽의 요구는 서로 달랐습니다. 비엔지니어가 웹 UI에서 도시별 제품 설정을 바꾸는 제품도 있었고, 엔지니어에게 Git 기반 인터페이스를 제공하는 제품도 있었습니다. 서로 다른 접점 아래에서 설정을 옮기고 배포를 제어하는 일은 겹쳤습니다.

우버는 이 공통 부분을 통합했습니다. 설정 시스템에는 저장소, 저장된 내용을 소비 가능한 형태로 바꾸는 생성기, 배포 파이프라인, 롤아웃 장치, 클라이언트가 있습니다. 이 가운데 설정을 전달하는 배포 파이프라인과 변경의 영향을 감시하며 롤백을 제어하는 롤아웃을 합친 플랫폼이 Unified Configuration Distribution Platform(UCDP)입니다. 도메인별 제품이 공통 기반을 쓰게 해 운영·유지보수·컴플라이언스 부담을 줄이려는 작업이었습니다.

글로벌 배포에서 로컬 파일까지 이어지는 UCDP

UCDP는 push 방식으로 설정을 전달합니다. 생산자는 API로 롤아웃 속도를 지정하고, 서비스나 배치 작업은 클라이언트 라이브러리로 설정을 읽고 변경을 구독합니다. 모든 운영 서버에는 로컬 워크로드에 설정을 제공하는 host-agent가 있습니다.

배포 단위는 관련 설정 속성을 묶은 네임스페이스입니다. 속성(property)은 키와 값으로 이루어진 가장 작은 단위로, 값은 바이트 데이터이며 보통 JSON이나 YAML 덩어리입니다. 관련 네임스페이스를 모은 도메인은 대체로 설정 제품 하나에 대응합니다. 소비자는 보통 네임스페이스 단위로 설정을 구독합니다.

Flipr 같은 생산자가 변경을 만들면 생산자 클라이언트가 Deployer의 RPC API를 호출합니다. 네임스페이스 전체를 스냅샷으로 보낼 수도 있고, 일부 속성만 바꾸는 패치를 보낼 수도 있습니다. 이후 설정은 글로벌 계층에서 존 계층을 거쳐 호스트로 이동합니다.

글로벌 컨트롤 플레인의 Deployer는 업데이트를 아티팩트 저장소에 올리고 글로벌 deploystate를 갱신합니다. 어느 존으로 보낼지는 롤아웃 정책에 달려 있습니다. 한 존부터 시작하거나 여러 존에 한꺼번에 배포합니다. 기존 파이프라인 일부가 전체 플릿에 한꺼번에 내보내는 global blast만 지원했던 것과 달리, UCDP는 배포 진행 속도를 제어하도록 설계했습니다.

각 가용 영역에는 변경을 필요한 호스트에 나눠 주는 Distributor가 있습니다. 존의 goalstate가 바뀌면 이를 지켜보던 Distributor들이 아티팩트를 내려받고 압축을 풀어 네임스페이스 사본을 메모리에 보관합니다. 이때 여러 Distributor가 일관된 상태를 보도록 Apache Zookeeper를 goalstate 저장소로 사용합니다.

호스트마다 모든 설정을 받을 이유는 없습니다. 스테이트풀·스테이트리스 워크로드는 호스트 사이를 옮겨 다니고, 각 호스트에는 그곳의 워크로드가 쓰는 설정만 필요합니다. UCDP는 이 위치를 구독 정보로 파악합니다. Distributor가 활성 구독자가 있는 host-agent에 패치를 보내면, 에이전트는 변경에 맞춰 디스크의 사본을 갱신합니다.

마지막 전달은 로컬 파일에서 끝납니다. 클라이언트는 inotify 파일 감시 이벤트를 받고 디스크에서 변경을 읽습니다. 소비자 클라이언트 라이브러리가 네임스페이스의 인메모리 캐시와 갱신 콜백을 제공하므로, 워크로드가 lease를 만들고 유지하거나 디스크 캐시를 읽는 절차까지 직접 다룰 필요는 없습니다.

재시작 뒤에도 남아 있는 설정 사본

설정을 한 번 전달했다고 일이 끝나지는 않습니다. host-agent나 Distributor를 재시작할 때마다 전체 스냅샷을 다시 보내야 한다면, 15만 대가 넘는 호스트에서 전송 비용이 커집니다. 특히 Flipr는 모든 호스트에 수백 MB의 설정이 필요했습니다.

우버는 디스크에 남아 있는 사본을 먼저 확인하도록 했습니다. host-agent 컨테이너를 업그레이드하면 에이전트가 디스크를 훑어 네임스페이스, 버전, 무결성 확인용 체크섬을 Distributor에 보냅니다. Distributor의 사본과 다를 때만 새 스냅샷을 전송합니다. 같으면 해당 정보를 등록하고 이후의 증분 패치만 보냅니다.

Distributor를 업그레이드할 때도 같은 원리가 적용됩니다. host-agent는 같은 데이터를 가진 다른 Distributor에 다시 연결하고, 이미 가진 설정의 상태를 알립니다. 연결이 바뀌었다는 이유만으로 설정 전체를 다시 받을 필요가 없어졌습니다.

존 계층의 캐시는 재시작 시간도 줄였습니다. 이전 파이프라인은 재시작이나 업그레이드 때 글로벌 계층에서 설정을 다시 가져왔습니다. 인스턴스가 데이터를 채우고 서비스에 복귀하기까지 몇 시간이 걸리기도 했습니다.

UCDP는 디스크 캐시를 읽은 뒤 기준 데이터와 비교해 차이만 채웁니다. 그 결과 시작 시간이 몇 시간에서 몇 분으로 줄었습니다. 처음 부트스트랩할 때는 여전히 데이터를 내려받아야 하므로 오래 걸립니다.

pull을 push로 바꾸고 이미 가진 데이터를 재사용하면서 배포 비용이 줄었습니다. 통합 뒤에는 같은 설정 변경을 더 낮은 전파 지연으로 전달했고, CPU 사용량은 이전의 약 10분의 1로 감소했습니다.

큰 업데이트의 지연을 보장하지 않는 SLA

빠르게 전달하는 것만으로는 부족했습니다. 기존 파이프라인에는 전파 지연을 명확하게 보장하는 SLA가 없었습니다. 업데이트 크기나 소비자 수가 달라지면 얼마나 기다려야 하는지도 불분명해, 지연에 민감한 사용자는 기대보다 늦게 도착하는 설정에 영향을 받았습니다.

그렇다고 모든 변경에 같은 시간을 약속하기도 어렵습니다. 작은 도메인의 설정을 수천 대 호스트에 보내는 일과 큰 도메인의 설정을 소수 호스트에 보내는 일은 다릅니다. 일부 속성을 바꾸는 패치와 전체 스냅샷도 전송량이 다릅니다. 업데이트 크기, 패치인지 스냅샷인지, 구독자가 몇인지가 모두 지연에 영향을 주지만 그 비중은 같지 않습니다.

우버는 우선 업데이트 크기와 종류를 기준으로 SLA를 정했습니다. 작은 업데이트는 종단 간 전파가 가장 빠른 범주이고, 중간 업데이트는 그보다 지연이 큽니다. 큰 업데이트에는 전파 지연을 보장하지 않습니다.

구독자 수까지 SLA에 반영하는 일은 이후 계획으로 남았습니다. 당시 보장 범위는 업데이트의 크기와 종류까지였습니다.

150만 클라이언트 사이의 격리 장치

하나로 합친 배포 경로에는 여러 사용자의 부하가 모입니다. UCDP를 구독하는 클라이언트는 150만 개 이상이며, 도메인 277개와 네임스페이스 7만 1천 개를 다룹니다. 매주 40만 건 넘는 설정 배포로 350TiB 이상의 데이터를 전달합니다.

UCDP가 없으면 우버 사업의 동작을 설정으로 제어할 수 없습니다. 이 경로에서 한 사용자의 과도한 부하가 다른 사용자의 성능을 떨어뜨리거나 시스템 전체를 무너뜨려서는 안 됐습니다.

UCDP에서는 네임스페이스나 도메인의 생산자·소비자를 이해관계자(stakeholder)로 구분하고, 각각 rate limiter를 둡니다. 아웃바운드 데이터에도 존 단위로 한도를 설정했습니다. 이 한도는 UCDP와 하위 의존 시스템의 부하 테스트 결과를 바탕으로 정했습니다.

Zookeeper에는 별도의 제한이 필요했습니다. Zookeeper는 킬로바이트 규모의 데이터를 다루도록 설계됐으며, API가 반환하는 데이터에는 1MB 상한이 있습니다. 한 부모 노드 아래의 직계 자식 수가 늘어 이 상한을 넘으면 Zookeeper가 불안정해집니다.

우버는 노드를 1단계 도메인, 2단계 네임스페이스로 나눴습니다. 한 도메인이 자식 노드 한도에 닿더라도 다른 도메인은 영향을 받지 않도록 한 설계입니다.

UCDP 운영 규모와 개선 수치
항목값
에이전트 호스트 수150,000대 이상
구독 클라이언트150만 개 이상
주간 설정 배포400,000건 이상
주간 배포 데이터350TiB 이상
저장 중인 도메인 / 네임스페이스277개 / 71,000개
기존 파이프라인의 네트워크 호출 비중데이터센터 전체 호출의 약 25%
재시작 후 복귀 시간몇 시간에서 몇 분
CPU 사용량이전 시스템 대비 order of magnitude 감소
전파 지연 SLA 범주작은 것 / 중간 / 큰 것(큰 것은 보장 없음)
Zookeeper 노드 구조1단계 도메인, 2단계 네임스페이스

설정 롤아웃에도 쓸 Change Management

배포 경로를 통합한 뒤에는 설정을 누가 어디서 쓰는지 더 자세히 파악하려 합니다. 서비스와 도메인·네임스페이스의 관계는 다대다입니다. 어떤 서비스가 어느 존과 리전에서 어떤 설정을 쓰는지, 네임스페이스마다 구독자가 몇인지 통계를 모아 롤아웃을 더 안전하게 만들 계획입니다.

코드 롤아웃의 안전장치도 설정 롤아웃으로 가져오려 합니다. 존이나 리전 사이에서 기다리며 상태를 확인하고, 알림이 발생하면 자동으로 롤백하며, 롤아웃 중 통합·부하 테스트를 실행하는 기능입니다. 공용 Change Management 구성요소로 이 기능을 재사용해 코드와 설정의 롤아웃을 연결할 계획입니다.

우버는 보안과 통합 시스템에서의 안전한 코드·설정 롤아웃을 후속 글에서 다루겠다고 예고했습니다.

마지막 수정 일자