본문으로 건너뛰기
4,500개 서비스가 실행될 존을 엔지니어 대신 고르는 Up
목차

4,500개 서비스가 실행될 존을 엔지니어 대신 고르는 Up (2023-09)

원문 정보

  • 원문: Up: Portable Microservices Ready for the Cloud
  • 매체 · 게시일: Uber Engineering Blog · 2023-09-07
  • 저자: Mathias Schwarz(Sr. Staff Engineer, Up 팀 창립 멤버), Andrew Neverov(Engineering Manager, Up 팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

공급망에서 시작된 클라우드 이전

우버는 자체 데이터센터를 운영하면서 칩 부족과 공급망 문제로 장비 조달에 오랜 시간을 들여야 했습니다. 공급망 문제의 영향을 줄이려고 선택한 곳은 클라우드였습니다. 2023년 2월 13일, Oracle 및 Google과 협력을 맺고 인프라 공급원을 분산하기로 했습니다.

옮겨야 할 서비스는 4,500개였습니다. 우버에서는 수백 개 팀의 엔지니어 4,000명과 자동화 시스템이 이 무상태 마이크로서비스들을 매주 10만 번 넘게 배포합니다. 내부 운영용 소형 서비스부터 대규모 실시간 연산용 서비스까지 크기와 기능도 제각각입니다. 이들을 하나씩 수작업으로 이전한다면 조율에 드는 부담과 오류를 감당하기 어려웠습니다.

서비스마다 다른 점이 많아도 배포, 용량 관리, 컴플라이언스, 일상 운영에는 공통점이 있었습니다. 이를 중앙에서 처리하고, 수천 명의 엔지니어가 하부 인프라의 세부 사항을 몰라도 서비스를 운영할 수 있어야 했습니다. 클라우드 이전에 필요한 조건도 여기에 있었습니다. 사람이 개입하지 않아도 중앙 배포 시스템이 서비스를 관리하고 옮길 수 있어야 했습니다.

컨테이너화 뒤에도 남은 배치 결정

우버가 배포를 통합한 것은 이때가 처음은 아닙니다. 2014년 우버는 PostgreSQL 데이터베이스 하나에 데이터를 저장하는 Python 모놀리식 애플리케이션이었습니다. 성장에 따라 마이크로서비스로 전환했지만, 배포 방식은 임의의 bash 스크립트부터 전용 Jenkins 작업까지 팀마다 달랐습니다. 서비스가 수백 개로 늘자 중앙 배포 시스템인 µDeploy를 만들었습니다.

µDeploy는 모든 무상태 서비스를 컨테이너화하고 호스트 관리와 배치를 추상화했습니다. 인프라 그룹은 비즈니스 마이크로서비스와 별개로 호스트 플릿을 관리할 수 있게 됐습니다. 그렇다고 서비스 배치까지 자동화한 것은 아니었습니다. 서비스를 온프레미스에서 실행할지, 실행한다면 어느 가용 영역에 둘지는 여전히 서비스 엔지니어가 직접 결정했습니다.

이 배치 단위를 이해하려면 우버의 존과 리전 구분을 봐야 합니다. 여러 존을 묶으면 리전이 됩니다. 같은 리전 안에서는 존 사이의 지연이 동기 호출을 감당할 만큼 낮아서, 같은 리전에 있는 서비스끼리는 대체로 지연 문제 없이 서로 호출할 수 있어야 합니다. 각 존은 우버 소유 머신으로 구성하거나 한 퍼블릭 클라우드 사업자의 용량으로 구성합니다. 한 존 안에 이들을 섞지는 않습니다.

µDeploy는 호스트를 관리하는 부담을 줄였지만, 엔지니어는 여전히 이 물리적 배치를 알아야 했습니다. 새 존을 쓰거나 클라우드로 이전할 때도 서비스 관리와 배치에 많은 수작업이 남아 있었습니다.

몇 주마다 바뀌는 서비스의 존

무상태라고 해서 어느 존으로든 옮길 수 있는 것은 아니었습니다. 기존 서비스는 대체로 이 성질을 갖추지 못했고, 일부는 존별 설정이나 특정 존에 있는 자원에 의존했습니다. 자동으로 옮기려면 이런 의존성부터 풀어야 했습니다.

우버가 정한 이동 가능성(portability)의 기준은 분명했습니다. 서비스가 같은 리전의 어느 존에서든 실행되고, 플랫폼이 사람의 개입 없이 새 존으로 옮길 수 있어야 합니다. 클라우드 사업자 사이의 이동뿐 아니라 온프레미스 존에서 나가거나 그 안으로 들어오는 이동도 포함합니다.

2021~2022년에는 엔지니어링 조직 전체가 모든 서비스를 이동 가능하게 만드는 작업에 참여했습니다. 특정 물리적 위치를 가리키는 문자열 상수나 파일 이름처럼 단순한 위반은 코드에서 찾을 수 있었습니다. 이런 코드를 짚어 내는 린터 규칙을 만들었습니다.

린터만으로는 충분하지 않았습니다. 실제로 사람의 개입 없이 다른 존으로 옮겨 봐야 이동 가능성을 입증할 수 있었습니다. 이를 위해 서비스 소유자가 첫 이동을 시작하는 테스트 도구 모음을 마련했습니다. 기존의 안전한 점진적 롤아웃 도구를 바탕으로 만들었으므로, 문제가 생기면 소유자가 원래 존으로 되돌릴 수 있었습니다. 이동에 성공한 서비스에는 이후 자동으로 옮겨도 된다는 표시를 남겼습니다.

모든 서비스가 이 과정을 마치는 데 몇 년이 걸렸습니다. 이후에는 서비스 엔지니어의 개입 없이 존 구성을 바꿀 수 있게 됐습니다. 검증은 거기서 끝나지 않습니다. 우버는 몇 주마다 모든 서비스를 존 사이에서 계속 옮깁니다. 이동 가능성을 깨뜨리는 변경을 찾아내고, 엔지니어도 자기 서비스가 특정 존에 머물 것이라고 가정하지 않도록 하는 방식입니다.

서비스의 요구를 실제 배치로 바꾸는 Up

서비스를 옮길 수 있게 만든 뒤에는 어디로 옮길지, 어떤 순서로 변경할지를 플랫폼이 맡아야 했습니다. 멀티 클라우드·멀티 테넌트 연합 컨트롤 플레인인 Up이 담당하는 일입니다. Up은 시간이 많이 들고 오류가 잦았던 운영 작업을 자동화 대상으로 삼았습니다. 초기 목표는 엔지니어에게 인프라의 단일 진입점을 제공하고, 서비스를 직접 배포할 때도 안전한 롤아웃 관행을 따르게 하는 것이었습니다. 가용 영역 배치와 번거로운 인프라 마이그레이션 역시 중앙에서 자동화하려 했습니다.

엔지니어가 만나는 가장 위쪽은 Experience Layer입니다. 직접 서비스를 제어하는 UI와 일상적인 배포를 위한 Continuous Delivery 기능이 여기에 있습니다. 시스템 상태를 유지하는 자동화도 이 계층에서 동작합니다. Balancer는 사용률이 낮은 클러스터와 존으로 워크로드를 계속 옮기고, Auto Scaler는 워크로드마다 할당할 용량을 지속적으로 최적화합니다.

그 아래 Platform Layer는 서비스와 서비스 환경이라는 개념, 그리고 서비스 수준 API를 제공합니다. 이 계층에서 서비스의 요구는 목표 상태(goalstate)로 표현됩니다. 실행할 머신에 어떤 능력이 필요한지, 리전마다 컴퓨트 용량을 얼마나 확보해야 하는지처럼 배치가 만족해야 할 조건을 담습니다. 특정 존을 직접 고르는 대신 원하는 배치의 속성을 명시하는 방식입니다.

이 조건을 실제 존과 클러스터 배치로 바꾸는 곳이 Federation Layer입니다. 컴퓨트 클러스터를 능력과 물리적 위치에 따라 조직해 상위 계층이 사용하는 리전과 존을 구현합니다. 배치를 정할 때는 서비스의 목표 상태와 클러스터의 현재 상태를 함께 봅니다. 용량이 남아 있는지, 필요한 다른 제약도 충족하는지가 판단 기준입니다. Up은 새 존이 생기면 그곳으로 서비스를 옮기는 일까지 중앙에서 조율해 고가용성을 뒷받침하는 것을 목표로 했습니다.

한번 정한 배치가 계속 최선인 것은 아닙니다. 클러스터 상태가 달라지면 다른 존이나 클러스터가 더 적절해질 수 있습니다. Balancer의 호출을 비롯한 Experience Layer의 작업은 배치를 다시 계산하고 변경하는 계기가 됩니다.

배치를 계산했다고 한꺼번에 바꾸지는 않습니다. Federation Layer의 Change Management 컴포넌트는 전역 상태 변경을 작은 단위로 나눠 점진적으로 적용합니다. 서비스 상태를 감시하는 시스템들과 연동해 카나리와 시스템 전반의 상태 신호를 확인하고, 문제가 드러나면 이전 설정과 배치로 빠르게 되돌립니다. 자동 이동에도 안전한 롤아웃 절차가 따르는 것입니다.

실제 클러스터는 Up 밖에 있습니다. Regions에 속한 Peloton과 Kubernetes 클러스터가 Up이 정한 배치의 대상이며, 컨테이너를 물리 호스트에 배치하는 작업은 이 클러스터들이 맡습니다.

중앙에서 바꿀 수 있게 된 배포 관행

Up 개발은 클라우드 협력 발표보다 앞선 2018년에 시작했습니다. 2019년 초에 동작하는 프로토타입을 만들었고, 2020년 중반에 정식 제공했습니다. 이후 우버의 모든 사업 부문에서 4,000개가 넘는 서비스를 µDeploy에서 Up으로 옮겼습니다.

이전 과정의 우선순위는 안정성이었습니다. 매일 수백만 명이 사용하는 시스템을 계속 운영하면서 플랫폼을 바꿔야 했습니다. 이전 작업의 상당 부분을 자동화한 덕분에 Up 팀은 복잡한 사용 사례를 처리하고 다른 팀의 이전을 돕는 데 집중했습니다. 전체 작업에는 약 2년이 걸렸습니다. 약 200만 개의 컴퓨트 코어를 새 플랫폼으로 옮기는 일을 2022년에 마쳤습니다.

오토스케일링과 효율화는 비용 절감으로 이어졌습니다. 수천만 달러 규모의 여분 용량을 사업에 돌려주었고, 수작업 서비스 업데이트나 새 존을 구성하고 채우는 일, 복잡한 인프라 환경을 익히는 데 들던 수만 시간의 엔지니어링 시간도 아꼈습니다.

배포 관행도 달라졌습니다. 모든 무상태 서비스가 같은 관행과 자동화에 따라 점진적으로 배포됩니다. 예전에는 롤아웃 정책을 바꾸거나 대규모 라이브러리 롤아웃을 추진하는 데 몇 달이 걸렸습니다. 이제 이런 변경을 중앙에서 적용할 수 있습니다. 서비스를 하나의 플랫폼으로 모은 효과는 개별 이전 작업을 줄이는 데서 그치지 않았습니다.

원문에 나온 규모와 연표
항목값
무상태 마이크로서비스4,500개
배포 횟수매주 10만 번 이상, 엔지니어 4,000명
2014년모놀리식 Python 애플리케이션 + PostgreSQL 1개
2018년Up 개발 시작
2019년 초동작하는 프로토타입
2020년 중반정식 제공
2021~2022년이동 가능성 프로그램
2023-02-13Oracle, Google과 협력 발표
이전된 서비스4,000개 이상
이전된 컴퓨트 코어약 200만 개, 2022년 완료(약 2년 소요)
효과수천만 달러 규모의 여분 용량 반환, 수만 엔지니어링 시간 절감
이동 가능성 유지몇 주마다 모든 서비스를 존 사이에서 계속 이동

늘 신선하게 유지할 서비스

Up으로의 이전을 마쳤어도 클라우드 이전은 진행 중이었습니다. 글이 나온 2023년, 우버는 서비스 플릿의 상당 부분을 클라우드로 옮기고 있었습니다. 자동화와 Up의 추상화 덕분에 서비스 팀은 이 과정의 인프라 세부 사항을 대부분 신경 쓰지 않아도 됐습니다.

같은 해 팀이 집중할 계획이던 또 다른 작업은 서비스를 ‘신선하게’ 유지하는 일이었습니다. 프로덕션 코드에 최신 보안 및 라이브러리 업데이트를 반영하려는 목표입니다. 검사와 테스트를 갖춘 파이프라인으로 코드 배포 전 과정을 자동화하는 Continuous Delivery도 목표로 삼았습니다.

자동화할 대상에는 배포 안전성도 포함됐습니다. 인시던트의 상당수가 코드와 설정 변경에서 비롯됐기 때문입니다. 프리프로덕션 테스트와 점진적 롤아웃 정책 설정처럼 서비스 생애 주기에 남아 있던 수작업을 자동화해, 프로덕션에 도달하는 결함을 크게 줄이려 했습니다. 이는 이미 달성한 절감 효과와 구분되는 이후의 과제입니다.

무상태 서비스 전체를 한 플랫폼에서 관리하게 되면서 인프라 기능 사이의 의존성과 상호작용을 명시적으로 모델링할 기반도 마련됐습니다. Up 팀은 이를 코드에서 일관되게 표현하고 엔지니어에게 통합된 사용 경험을 제공하려 했습니다. 엔지니어가 인프라보다 코드에 집중하도록, 모든 인프라를 한곳에서 관찰하고 운영하게 만드는 것이 다음 목표였습니다.

마지막 수정 일자