목차
조금씩 열고 빠르게 되돌리는 Uber의 설정 시스템 Flipr (2021-04)
원문 정보
- 원문: Flipr: Making Changes Quickly and Safely at Scale
- 매체 · 게시일: Uber Engineering Blog · 2021-04-12
- 저자: Andy Maule(Sr. Staff Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
배포를 마쳐도 꺼져 있는 새 기능
Uber의 소프트웨어에는 매일 많은 변경이 들어갑니다. Flipr에서 처리하는 설정 변경만 해도 한 주에 약 15만 건입니다. 크고 복잡한 시스템에서 의도하지 않은 결과 없이 변경을 반영하기는 어렵고, 그 부담은 개발자의 작업 속도를 늦춥니다. 동적 설정 관리 시스템 Flipr는 신뢰성을 지키면서도 많은 변경을 빠르게 내보내기 위한 도구입니다.
가장 익숙한 사용법은 피처 플래그입니다. 서비스와 앱 코드는 평소처럼 배포하되, 새 코드를 실행할지는 설정 시스템에서 가져온 불리언 값을 검사하는 if 문으로 결정합니다. 속성의 초기값은 False입니다. 새 동작이 모두 이 플래그 뒤에 있으므로, 배포를 마쳐도 애플리케이션의 동작은 그대로입니다.
기능을 여는 일은 그다음입니다. 처음에는 도시 ID가 1인 특정 사용자 두 명에게만 기능을 켜도록 설정을 바꿉니다. 변경은 해당 설정이 필요한 모든 호스트로 전달됩니다. 이를 받은 호스트에서는 다음 client.get 호출부터 새 규칙을 적용하고, 조건에 맞는 요청에 새 코드를 실행합니다.
문제가 생기면 값을 False로 돌립니다. 설정 변경에는 네트워크 호출이 필요할 뿐, 코드를 고칠 필요는 없습니다. 긴 코드 배포를 기다리거나 앱 스토어에 새 바이너리를 배포하는 과정 없이 몇 초 만에 기능을 끌 수 있습니다.
기능을 켠 뒤에는 지표를 살피고 통합 테스트를 실행하며 문제를 찾습니다. 이상이 없으면 해당 도시의 등록된 베타 테스터 전체로 대상을 넓히고, 여러 도시를 거쳐 모든 사용자에게 엽니다. 어느 단계에서든 되돌릴 수 있습니다. 작은 범위에서 기능을 시험하고 점차 넓혀 가는 과정이 빠른 출시와 안전한 변경을 함께 뒷받침합니다.
키 하나로 담기 어려운 뉴욕의 요청
설정 시스템의 이점은 코드를 다시 컴파일하거나 배포하지 않고도 애플리케이션 동작을 바꾼다는 데 있습니다. 보통은 파일이나 데이터베이스, 서비스에 키-값 맵을 저장하고 클라이언트 라이브러리로 값을 조회합니다. Flipr에서는 이 키-값 쌍을 속성이라고 부릅니다. JSON으로 표현한 기본 예시는 문자열 키에 불리언 값을 연결하지만, 다른 타입도 사용할 수 있습니다.
키 하나에 값 하나면 충분한 설정도 많습니다. 기능 #456의 활성화 여부, name 입력란의 256자 제한, 지도 서비스 API의 URL이 그런 예입니다. 이런 설정은 피처 플래그뿐 아니라 네트워크 설정, 서킷 브레이킹, 긴급 운영 제어에도 쓰입니다.
조건이 붙으면 이야기가 달라집니다. 다음 설정을 일대일 키-값 맵에 담으려면 코드를 바꾸거나 키를 지나치게 늘려야 합니다.
- 지금 뉴욕에서 요청하는 admin 그룹 구성원에게만 기능 #456 활성화
- 수요일 오후 4시부터 5시까지 속성 API를 잠그고 “일시적으로 이용할 수 없음” 메시지 표시
사용자가 어느 그룹에 속하는지, 요청 시각이 언제인지는 실행 중에야 알 수 있습니다. Flipr는 이 정보를 값 조회에 사용합니다. get 함수에 런타임 컨텍스트를 추가하고, 같은 키라도 컨텍스트에 따라 다른 값을 반환하도록 만든 것입니다. 키 하나에 여러 값이 연결되는 멀티맵입니다.
속성에는 기본값을 덮어쓰는 예외를 넣습니다. 예외 안에서 적용 조건을 정하는 규칙은 제약이라고 부릅니다. 앞서 두 사용자에게 기능을 열 때도 컨텍스트에 cityId 키가 있고 값이 1인지 확인하는 제약이 들어갑니다. 클라이언트는 전달받은 최신 속성의 규칙과 요청의 컨텍스트를 함께 평가해, 그 요청에 사용할 값을 고릅니다.
조건은 도시나 사용자에 한정되지 않습니다. 지리, 도시 ID, 사용자 ID, 드라이버 ID, 차량 ID, 기기 종류, 앱 버전, 시간, 실험 처치를 불리언 연산으로 조합해 복잡한 예외를 만들 수 있습니다. 이 규칙 체계로 허용·거부 목록과 실험, 지역이나 시간에 따른 타기팅도 처리합니다.
백엔드의 읽기 부하를 나누는 게이트웨이
이 규칙을 사용하는 곳은 700개가 넘는 서비스와 5만 대가 넘는 호스트입니다. 백엔드 시스템이 받는 부하는 약 300만 QPS에 이릅니다. 수많은 서버가 백엔드에 직접 접근하면 과부하가 생길 수 있지만, 대부분의 사용은 읽기입니다. Flipr는 그 특성을 이용해 데이터를 여러 게이트웨이로 나눠 전달하는 팬아웃 캐시를 두었습니다.
설정 변경의 출발점은 주로 UI입니다. 사용자는 속성 예외 빌더에서 속성과 예외를 만들거나 수정하고, 같은 UI에서 롤아웃과 롤백, 피어 리뷰, 권한 관리, 변경 이력을 다룹니다. 그 뒤에는 Uber의 표준 네트워킹 스택으로 노출한 백엔드 API가 있습니다. UI와 게이트웨이가 이 API를 사용하며, 다른 서비스도 프로그램으로 설정을 다룰 수 있습니다. 프로덕션 엔지니어링 팀의 긴급 제어와 운영 기능도 이 API를 이용합니다.
게이트웨이는 설정의 최신 사본을 캐시하고 읽기 트래픽을 받아, 백엔드가 모든 요청을 직접 처리하지 않도록 합니다. 복제는 비동기입니다. 따라서 설정을 바꾼 순간 모든 클라이언트의 읽기에 즉시 반영되는 방식은 아니며, 변경과 읽기 사이에는 최종적 일관성이 적용됩니다.
Uber는 이 팬아웃 캐시와 일관성 모델이 전체 플릿의 설정을 다루는 규모에서도 확장성, 신뢰성, 성능을 입증했다고 설명합니다. 글이 공개된 시점에는 같은 규모를 더 적은 자원으로 감당하려고 구독 기반의 새 분배 시스템으로 옮겨 가고 있었습니다.
Flipr 운영 규모
| 항목 | 값 |
|---|---|
| 활성 속성 | 35만 개 이상 |
| 주당 변경 | 약 15만 건 |
| 사용 서비스 | 700개 이상 |
| 사용 호스트 | 5만 대 이상 |
| 백엔드 QPS | 약 300만 |
네트워크 장애 뒤에도 남아 있는 디스크 사본
게이트웨이에서 설정을 가져오는 주체는 각 호스트의 에이전트입니다. 호스트 에이전트도 팬아웃 캐시의 일부이며, 받아 온 변경을 디스크에 저장합니다. 이 사본은 장애가 나도 남습니다. 게이트웨이나 백엔드, 네트워크에 문제가 생겨도 클라이언트는 디스크에 저장된 설정으로 계속 동작합니다.
호스트에 컨테이너가 여럿 있어도 에이전트는 하나입니다. 그 에이전트가 호스트에 필요한 설정을 최신으로 유지하고 지표와 일관성 모니터링도 맡습니다. 데이터를 가져오는 로직을 클라이언트에서 분리한 덕분에 업그레이드와 변경도 쉬워집니다.
클라이언트 라이브러리는 디스크에 저장된 데이터를 메모리로 읽어 들이고 갱신을 감시합니다. 서비스가 값을 요청하면 메모리에 있는 속성의 제약과 예외를 평가합니다. Uber가 지원하는 모든 언어에 라이브러리가 있으며, 기본 기능인 get 외에 Go 라이브러리의 타입 안전한 get 같은 변형도 제공합니다. 일부 라이브러리에는 백엔드 API를 호출해 속성을 쓰거나 갱신하는 유틸리티도 있습니다.
어긋난 설정 사본을 찾아내는 운영 도구
로컬 사본으로 계속 동작하는 것과 그 사본이 최신인지는 별개의 문제입니다. Flipr는 디스크의 파일이 백엔드와 일치하는지 확인하는 일관성 점검 시스템을 운영합니다. 모든 구성요소에 지표, 알림, 모니터링을 갖춰 온콜 엔지니어가 문제를 즉시 알 수 있도록 했습니다.
불일치를 발견한 뒤 사용할 도구도 있습니다. 캐시를 비우거나 강제로 갱신해 불일치를 완화하고 긴급 상황에 대응합니다. 시스템과 사용자를 지원하는 엔지니어 온콜은 24시간 이어집니다.
변경을 검토하고 되돌리는 안전장치
설정으로 동작을 바꾸더라도 검토 절차는 남습니다. Flipr는 대부분의 변경에 피어 리뷰를 요구하고, 표준 코드 리뷰 도구와 전용 UI로 이를 강제합니다. 접근 제어와 권한 시스템은 승인된 사용자만 설정을 보고 수정하도록 제한합니다.
값을 입력하는 단계에서도 오류를 줄입니다. 속성의 타입을 스키마로 정의할 수 있고, UI는 편집한 값이 스키마를 따르도록 강제합니다. 런타임에 드러날 오류를 줄이기 위한 장치입니다.
검토를 마친 변경도 처음부터 전역에 적용하지 않습니다. 물리적 차원에 걸쳐 점진적으로 롤아웃해, 의도하지 않은 결과가 생겼을 때 피해가 미치는 범위를 줄입니다. 앞서 특정 사용자에서 도시 전체로 기능을 넓혀 간 과정도 이런 안전장치를 활용하는 방법입니다.
되돌리는 과정도 모니터링과 연결합니다. 변경 뒤 문제가 감지되면 설정을 자동으로 롤백할 수 있습니다. 기능을 켠 뒤 지표를 보고 통합 테스트를 실행하는 절차에 더해, 글이 공개된 당시에는 설정 변경을 프로덕션 적용 전에 쉽게 시험할 수 있도록 통합 테스트 기능을 추가할 계획이었습니다.
이 글은 Flipr의 설계와 기능을 소개하는 시리즈의 첫 편입니다. 다음 편에서는 Uber가 운영을 흔드는 문제 없이 시스템을 계속 갱신하는 데 Flipr를 어떻게 사용했는지, 실제 사례를 다룰 예정입니다.