본문으로 건너뛰기
운영 스택에서 테스트까지 함께 처리하는 Uber의 멀티테넌시
목차

운영 스택에서 테스트까지 함께 처리하는 Uber의 멀티테넌시 (2020-03)

원문 정보

테스트 트래픽이 운영 서비스에 영향을 줘서는 안 됩니다. 이를 막으려고 운영과 닮은 스택을 따로 만들면, 데이터 저장소와 메시지 큐까지 갖춘 환경을 하나 더 유지해야 합니다. 그렇게 마련한 테스트 스택도 운영과 달라지기 시작하면 실제 환경을 재현하기 어려워집니다.

Uber는 테스트에도 운영 스택을 재사용하는 길을 택했습니다. 한 마이크로서비스 아키텍처 안에 여러 시스템을 공존시키는 멀티테넌시입니다. 운영 요청과 테스트 요청을 함께 처리하면서도 서로 간섭하지 않게 하려면, 시험할 코드만 따로 띄우는 것으로는 부족합니다. 요청이 지나가는 경로와 그 요청이 남기는 데이터까지 스택 전체가 구분해야 합니다.

B의 버그에 막힌 A 팀의 통합 테스트

마이크로서비스에서는 각 팀이 다른 서비스의 배포를 기다리지 않고 기능과 버그 수정을 내보냅니다. 그렇다고 서비스 사이의 의존성이 사라지지는 않습니다. 각자 SLA를 지키며 자기 일정대로 배포하려면, 바꾼 코드가 주변 서비스와 여전히 맞물리는지 확인해야 합니다.

한 팀이 A, B, C, D를 맡고, 이 서비스 묶음인 System 1이 System 2의 요청을 처리한다고 가정하겠습니다. 요청은 A에서 B로, 다시 C와 D로 이어집니다. System 1과 상호작용하는 다른 서비스에도 각자의 SLA가 있습니다. 이때 B를 고쳤다면 B의 동작뿐 아니라 A·C·D와 이어지는 호출 흐름도 통합 테스트로 검증해야 합니다.

운영과 분리된 스테이징 환경을 두는 병렬 테스트는 익숙한 해법입니다. 이 환경은 늘 켜져 있고 운영 코드를 실행하지만, 테스트 트래픽만 받으며 규모도 운영보다 작은 경우가 많습니다. 변경한 서비스의 새 코드를 여기에 배포하면 운영에 영향을 주기 전에 버그를 찾아 가둘 수 있습니다. 테스트 트래픽이 운영으로 새어 나가지 않도록 네트워크를 물리적으로 분리하고, 테스트 도구도 테스트 스택 안에서만 동작하게 합니다.

문제는 여러 팀이 같은 테스트 스택에 실험 코드를 배포할 때 드러납니다. 서비스 A 팀이 자기 변경을 시험하는데 B의 버그 때문에 실패할 수 있습니다. 운영과 다른 빌드가 실행 중이어서 원인을 찾기도 어렵습니다. A의 변경이 안전하다고 판단하려면 전체 호출 흐름이 통과해야 하므로, A 팀은 B 팀이 정상 코드를 되돌려 놓을 때까지 기다려야 합니다. 시험할 서비스를 별도 샌드박스에 띄우고 그쪽으로 요청을 보내는 라우팅 프레임워크가 이런 막힘을 완화할 수 있습니다.

스택 자체의 유지 비용도 남습니다. 서비스 인스턴스뿐 아니라 데이터 저장소와 큐를 비롯한 인프라 전체를 따로 마련해야 합니다. 테스트 스택이 운영을 충실히 재현하려면 둘을 계속 동기화해야 하는데, 서로 달라질수록 운영 환경을 흉내 내기는 어려워지고 이를 맞추는 인프라 관리 부담은 커집니다.

용량을 시험할 때도 별도 스택이 답을 명확하게 주지는 않습니다. 목표 용량을 검증하려면 먼저 테스트 스택을 키운 뒤, 목표 용량에서 현재 운영 부하를 뺀 델타 부하를 가합니다. 그런데 그 부하가 테스트 스택을 포화시키지 못할 수 있습니다. 이 결과만으로는 운영 스택에 용량을 얼마나 더해야 하는지 분명하게 알기 어렵습니다.

테스트 빌드 B’가 들어선 운영 스택

프로덕션 테스트는 운영 스택 자체를 멀티테넌트로 만듭니다. 테스트 트래픽과 운영 트래픽이 같은 스택을 흐르되, 테넌시에 따라 실행할 코드와 사용할 자원을 구분하는 방식입니다. 스택의 모든 서비스가 실제 요청을 처리하면서 테스트 요청도 받아야 하니 꽤 야심 찬 선택입니다.

B를 시험한다면 테스트 빌드 B’를 격리된 샌드박스에 띄웁니다. 테스트 요청은 B’로 보내고, B’는 운영 중인 C와 D를 호출할 수 있게 합니다. 운영 요청은 평소처럼 운영 인스턴스로 흐르며 B’에는 들어가지 않습니다. B’가 받는 것은 테스트 트래픽뿐입니다.

이 구성이 성립하려면 트래픽의 종류에 따라 목적지를 정하는 라우팅이 있어야 합니다. 요청을 올바른 인스턴스로 보내고 나면, 테스트와 운영 사이에서 자원을 격리해 실제 서비스에 부작용이 없도록 보장해야 합니다. 테스트 요청이 운영 트래픽에 영향을 주어서는 안 된다는 조건은 그대로입니다.

격리 범위는 시험 대상 서비스보다 훨씬 넓습니다. 요청과 큐의 메시지처럼 이동 중인 데이터뿐 아니라, 스토리지와 영속 캐시에 남는 데이터에도 테넌시가 적용돼야 합니다. 설정, 로그, 메트릭, 사설·공용 스토리지, 메시지 큐까지 스택 전체가 대상입니다. 이렇게 테넌시를 코드 격리와 라우팅, 자원 격리와 공정성 보장의 기준으로 삼으면, 같은 스택을 테스트 외의 용도로도 재사용할 수 있습니다.

요청에서 메시지까지 이어지는 테넌시 컨텍스트

테넌시 중심 설계에서는 테넌시를 이동 중인 데이터와 저장된 데이터 모두에 붙는 일급 객체로 다룹니다. 시작점은 엣지 게이트웨이입니다. 요청이 들어오면 request-tenancy 필드에 컨텍스트를 붙이고, 요청이 끝날 때까지 유지합니다. 같은 비즈니스 로직을 처리하면서 새로 만드는 요청에도 이 컨텍스트가 이어져야 합니다.

필드 값에는 제품군과 트래픽의 용도, 테스트 식별자 등이 들어갑니다.

  • product-foo/production
  • product-bar/production/canary
  • product-bar/production/health-probe
  • product-foo/testing/TID1234
  • product-bar/testing/shadow/SID5678

호출을 받는 서비스마다 컨텍스트를 사용할 수 있어야 하지만, 대부분의 서비스는 그 값을 직접 해석할 필요가 없습니다. 이어지는 호출에 빠짐없이 전달하면 됩니다. A에서 시작한 요청을 처리하려고 B가 C와 D를 호출한다면, 그 호출들도 처음 요청과 같은 테넌시를 유지해야 합니다.

일부 서비스는 컨텍스트를 보고 동작을 바꿉니다. 전화번호를 검증하는 감사 서비스라면 테스트 요청의 사용자가 테스트 사용자이므로 검사를 건너뛸 수 있습니다. 은행 게이트웨이와 통신하는 거래 처리 서비스는 더 직접적인 영향을 다룹니다. 테스트 때문에 실제 송금이 일어나지 않도록 은행 게이트웨이를 스텁으로 대체하거나, 은행에 테스트용 스테이징 게이트웨이가 있다면 그쪽을 호출하게 할 수 있습니다.

컨텍스트를 전파하는 데는 OpenTracing과 Jaeger 같은 오픈소스 도구를 활용할 수 있습니다. 이들은 서비스의 언어와 전송 방식에 구애받지 않고 분산 컨텍스트를 전달합니다. 서비스마다 컨텍스트의 내용을 판단할 필요는 없어도, 호출 체인 어디에서든 다음 요청으로 전달할 수 있어야 한다는 요구를 뒷받침합니다.

전파는 서비스 호출에서 끝나지 않습니다. Apache Kafka 큐로 보내는 메시지에도 컨텍스트가 붙어야 합니다. 헤더를 지원하는 새 Kafka 버전에서는 트레이싱 도구로 메시지에 컨텍스트를 넣을 수 있습니다. 요청이 큐의 메시지로 이어져도 어느 테넌시의 작업인지 구분할 수 있어야, 그 뒤의 인프라에서도 같은 기준으로 트래픽과 데이터를 격리합니다.

테스트 인스턴스로 요청을 돌리는 사이드카

테넌시가 붙은 요청은 그 값에 맞는 서비스 인스턴스로 보내야 합니다. 프로덕션 테스트와 트래픽 기록·재생, 섀도 트래픽 모두 이 라우팅에 의존합니다. 카나리 배포에서도 카나리 요청을 격리된 환경의 인스턴스로 보내는 동작이 필요합니다.

어디에서 목적지를 고를지는 기술 스택에 따라 정합니다. 서비스를 작성한 언어와 서비스 사이의 전송 방식·인코딩을 고려해야 스택 전체에 적용할 수 있습니다. 서비스 언어와 전송 방식·인코딩에 구애받지 않는 Envoy나 Istio는 테넌시 기반 라우팅에 잘 맞는 오픈소스 선택지입니다.

요청이 서비스를 떠나는 이그레스에서 결정한다면, 서비스 디스커버리 계층이 테넌시를 보고 대상 인스턴스를 고릅니다. 요청을 받는 인그레스에서 결정한 뒤 다른 인스턴스로 다시 보내는 방법도 있습니다. 이때는 서비스와 함께 배치한 사이드카가 들어오는 모든 트래픽의 프록시 역할을 맡습니다. 사이드카는 먼저 테넌시 컨텍스트를 검사하고, 테스트 요청이면 테스트 인스턴스로 전달합니다. 운영 서비스 A로 들어온 테스트 트래픽을 테스트 인스턴스 A1으로 돌리는 식입니다.

여기서 테스트 트래픽이라는 표시만으로 목적지가 모두 정해지지는 않습니다. 실제로 시험 중인 서비스도 알아야 합니다. 프로덕션 테스트에서는 services_under_test에 시험 대상 서비스별 리디렉션 정보를 담습니다. 라우팅할 때 request-tenancy가 테스트이고 수신 서비스가 services_under_test에 포함돼 있으면, 지정된 테스트 인스턴스로 요청을 보냅니다. 이 조건이 있어야 B’만 시험하면서 C와 D는 운영 인스턴스를 사용하는 구성이 가능합니다.

로그부터 설정까지 테넌시를 지키는 인프라

요청의 목적지를 정했다고 격리가 끝나지는 않습니다. 컨텍스트는 인프라 구성 요소까지 도달해야 하고, 각 구성 요소는 테넌시에 맞춰 데이터와 트래픽을 격리해야 합니다. 로깅, 메트릭, 스토리지, 메시지 큐, 캐시, 설정은 저마다 따로 다뤄야 할 대상입니다.

로그와 메트릭에는 테넌시 컨텍스트를 함께 내보냅니다. 그래야 개발자가 필요한 테넌시만 걸러서 볼 수 있습니다. 테스트와 운영을 구분하지 못해 잘못된 경보가 발생하거나, 휴리스틱과 학습 데이터가 왜곡되는 일을 피하기 위한 조치입니다.

MySQL, Apache Cassandra, AWS의 저장소와 Redis, Memcached 같은 분산 캐시도 같은 요구를 받습니다. 데이터와 함께 컨텍스트를 적절한 입도로 저장하고, 읽고 쓸 때 테넌시를 구분할 수 있어야 합니다. 저장소마다 구현은 달라도 됩니다. 공통으로 요구하는 것은 테넌시에 따라 데이터와 트래픽을 격리하는 능력이며, 컨텍스트를 어떤 형태로 저장하고 격리를 구현할지는 각 저장소의 특성에 달려 있습니다.

데이터를 배치하는 방식에도 선택이 있습니다. 여러 테넌시의 데이터를 같은 곳에 두고 각 데이터에 테넌시를 기록할 수도 있고, 테넌시별로 데이터를 별도 구성 요소에 분리할 수도 있습니다. 같은 곳에 두는 방식은 대개 운영 부담이 더 적습니다. 별도로 분리하면 더 강한 격리를 보장합니다. 기반 스토리지의 아키텍처에 따라 멀티테넌시가 자연스럽게 맞는 경우도 있으므로, 저장소의 특성을 보고 이 선택을 해야 합니다.

Kafka에서는 테넌시용 토픽을 새로 만들거나, 해당 테넌시 전용 Kafka 클러스터를 둘 수 있습니다. 테스트 데이터와 메시지 트래픽을 별도 구성 요소로 보내 운영 시스템에 간섭하지 않게 하는 방식입니다. 요청에 붙인 컨텍스트가 큐와 저장소까지 전파돼야 하는 이유도 여기에 있습니다.

설정 역시 격리 대상입니다. 한 테넌시의 설정을 바꿨을 때 다른 테넌시까지 영향을 받아서는 안 되므로, 서비스의 설정 데이터도 테넌시별로 둡니다. 코드의 실행 경로를 나누면서 설정을 함께 바꿔 버린다면 테넌시 사이의 격리 보장을 지킬 수 없습니다.

그렇다고 각 서비스가 격리 로직을 직접 관리하는 것이 이상적인 형태는 아닙니다. Uber가 지향하는 방식은 서비스가 테넌시를 명시적으로 다루지 않도록 하고, 모든 데이터가 지나는 중앙 지점에 격리 로직을 두는 것입니다. 서비스가 데이터 격리 때문에 부담하는 오버헤드도 최소화해야 합니다.

Uber는 이 지점으로 게이트웨이를 선호합니다. 클라이언트 라이브러리도 대안이지만, 서비스의 구현 언어가 다양하면 언어별 라이브러리의 로직을 같은 상태로 유지하기가 더 어렵습니다. 격리를 스택 전체에 적용하되 그 로직은 중앙에서 관리하려는 선택입니다.

같은 스택에서 동작하는 카나리와 섀도 시스템

같은 라우팅과 격리는 새 코드의 배포에도 쓰입니다. 리뷰와 테스트를 잘 거친 변경이라도 모든 인스턴스에 한꺼번에 배포하면, 놓친 버그에 전체 사용자가 노출됩니다. 카나리 배포는 작은 인스턴스 집합에 먼저 변경을 내보내고, 피드백 루프로 상태를 살피면서 적용 범위를 넓힙니다.

멀티테넌트 스택에서는 카나리도 하나의 테넌트입니다. 카나리 여부를 요청의 속성으로 붙이고, 이를 보고 격리된 카나리 환경으로 라우팅합니다. 서비스에 카나리가 배포돼 있다면 그 서비스의 카나리 트래픽은 모두 해당 인스턴스로 보냅니다. 배포 중에도 자원은 격리합니다. 어떤 요청을 카나리로 보낼지는 사용자 유형, 제품 유형, 사용자 위치 같은 속성을 기준으로 스택의 엣지 가까이에서 결정할 수 있습니다.

실제 운영 트래픽으로 바뀐 코드를 시험하는 방법도 있습니다. 이전에 캡처한 트래픽을 재생하거나, 현재 운영 트래픽의 섀도 복사본을 보내는 방식입니다. 실제 트래픽에서 변경이 어떻게 동작하는지 확인하면 안전성을 판단할 강한 신호를 얻습니다. 이때 운영 트래픽의 복사본은 운영 스택 밖의 안전하게 격리된 테스트 영역으로 보내고, 시험 중인 인스턴스가 내보내는 외부 호출에는 스텁 응답을 돌려줍니다.

트래픽의 캡처와 재생은 통합 테스트의 한 형태입니다. 재생 트래픽을 테스트 테넌시에 포함해도 되지만, 다른 테스트 트래픽과도 더 강하게 격리하려면 별도 테넌시를 부여할 수 있습니다. 이 기반은 라이브 트래픽을 격리된 환경에서 재생하는 실험뿐 아니라 용량 계획과 실제에 가까운 성능 예측도 지원합니다.

테넌트의 단위는 제품군이나 서비스 등급으로도 넓어집니다. 같은 마이크로서비스 스택으로 여러 제품군을 운영하면서 중요한 제품군과 사용자 등급을 보호하고 격리할 수 있습니다. 테스트와 카나리, 섀도 시스템을 공존시키는 데 쓴 설계가 변화하는 사업군을 지원하는 기반이기도 합니다.

Uber에서는 이 격리 보장을 바탕으로 코드와 설정의 자동 롤아웃을 안전하게 만들고 개발 속도를 높였습니다. 서비스마다 독립적인 일정과 SLA를 유지하면서, 같은 마이크로서비스 스택을 테스트 트래픽을 포함한 여러 용도로 재사용할 수 있게 됐습니다.

테넌시 설계의 참조 항목
항목내용
request-tenancy 예product-foo/production, product-bar/production/canary, product-bar/production/health-probe
request-tenancy 테스트 예product-foo/testing/TID1234, product-bar/testing/shadow/SID5678
병렬 테스트의 문제하드웨어 비용, 동기화, 불안정한 테스트, 부정확한 용량 테스트
컨텍스트 전파 도구OpenTracing, Jaeger, Kafka 헤더
라우팅 도구Envoy, Istio, 사이드카 프록시
격리 대상로깅, 메트릭, 스토리지, 메시지 큐, 캐시, 설정
격리 로직의 위치게이트웨이(선호), 클라이언트 라이브러리(대안)
마지막 수정 일자