본문으로 건너뛰기
노트북 한 대에서 존을 세우는 우버의 인프라 스택 Crane
목차

노트북 한 대에서 존을 세우는 우버의 인프라 스택 Crane (2022-09)

원문 정보

  • 원문: Crane: Uber’s Next-Gen Infrastructure Stack
  • 매체 · 게시일: Uber Engineering Blog · 2022-09-15
  • 저자: Kurtis Nusbaum(Senior Staff Engineer), Tim Miller(Software Engineer), Bharath Siravara(Engineering Director), Brandon Bercovich(Software Engineer). 모두 Uber Infrastructure 팀
  • 원문 내용을 바탕으로 재구성한 요약입니다.

운영에 밀려 고치지 못하던 인프라

2018년 우버에서는 서버가 빠르게 늘었지만 도구와 팀이 그 속도를 따라가지 못했습니다. 서버 관리에는 여전히 사람 손이 많이 들어갔고, 자동화 도구마저 수시로 고장 났습니다. 둘 다 장애의 단골 원인이었습니다. 운영에 매달리느라 소프트웨어를 근본적으로 고칠 시간이 줄었고, 고치지 못한 문제는 다시 운영 부담으로 돌아왔습니다.

새 데이터센터나 가용 영역, 곧 존을 여는 일도 버거웠습니다. 도구는 임시방편에 가까웠고 작업은 여러 인프라 팀에 흩어져 있었습니다. 존 하나를 여는 데 수십 개 팀과 수백 명의 엔지니어가 수개월을 썼습니다. 서버 대부분은 온프렘에 있었으며, 이제 막 운영하기 시작한 클라우드 존도 하나 있었지만 수동 작업에 묶여 클라우드의 여유 용량을 충분히 활용하지 못했습니다.

우버는 이 상태에서 한 걸음 물러나 스택을 다시 설계하기로 했습니다. 여러 해에 걸친 이 프로젝트의 내부 코드명이 Crane입니다. 목표는 서버 10만 대 이상을 지원하면서 온프렘과 클라우드에서 똑같이 동작하는 스택이었습니다. 클라우드 사업자에 구애받지 않고 용량을 쓰며, 사업자 사이의 용량 이전도 중앙에서 쉽게 처리해야 했습니다.

서버를 대하는 기준부터 달라져야 했습니다. 반려동물처럼 한 대씩 돌보던 서버를 가축처럼 다루고, 고장은 자동으로 처리한다는 원칙입니다. 불량 하드웨어를 찾아 조치하는 과정까지 자동화해 서버 한 대의 고장이 장애는 물론 알림으로도 이어지지 않게 하는 것이 목표였습니다. 변경을 배포할 때는 서버·랙·존의 장애 도메인을 고려해야 했습니다.

기존 우버 인프라 밖에 둔 레이어 0

우버가 먼저 풀기로 한 문제는 존 구축이었습니다. 정상 운영에 필요한 구성 요소라면 처음 존을 세울 때도 준비해야 합니다. 구축 과정을 해결하면 새 스택이 정상 운영 중에 겪을 문제도 상당 부분 해결했으리라고 판단했습니다. 수십 명이 6개월 넘게 하던 일을 엔지니어 한 명이 약 일주일에 끝내는 것이 목표였습니다.

기존 스택에는 출발부터 막히는 순환 의존이 있었습니다. 서버를 준비하는 프로비저닝 소프트웨어가 Compute 클러스터에서 실행됐습니다. 그런데 새 존에는 아직 프로비저닝한 서버가 없으니 Compute 클러스터도 없었습니다.

이 순환을 끊는 데는 우버가 이미 쓰던 ‘레이어’라는 서비스 의존성 모델을 적용했습니다. 한 레이어의 서비스는 원칙적으로 더 낮은 레이어의 서비스에만 의존합니다. 그러면 의존 관계가 순환 없는 방향 그래프인 DAG를 이룹니다. 같은 레이어 안에서는 A가 B에 의존하더라도 B가 A에 의존하지 않는 경우에만 예외를 허용했습니다.

맨 아래의 레이어 0에는 전체 호스트 카탈로그를 비롯해 새 존을 세우는 데 필요한 최소한의 의존성을 두었습니다. 이 구성 요소들은 우버가 운영하는 모든 존의 바깥에 있습니다. 기존 우버 인프라에 접근할 수 없는 외부 환경에서도 존을 세울 수 있고, 심각한 장애로 작동하는 우버 인프라가 하나도 남지 않았을 때도 출발점으로 삼을 수 있습니다.

실제 구축 절차는 주로 Starlark 설정과 Go 코드로 만든 자체 IaC(Infrastructure-as-Code)가 맡습니다. 필요한 의존성을 줄이기 위해 IaC 전체를 엔지니어의 노트북에서 실행할 수 있도록 했습니다. 존이 올라오면 자동 실행을 그 존 안의 서비스로 넘깁니다. 새 존을 세우는 데 필요한 것은 이제 IaC 코드와 레이어 0의 의존성뿐입니다.

2022년 9월 글이 나온 시점까지 이 도구로 프로덕션 존 5곳을 열었고, 4곳을 더 준비하고 있었습니다. 존 인프라 부트스트랩의 최단 기록은 3일입니다. 개발자들은 IaC 변경을 시험하려고 클라우드에 테스트 존을 통째로 띄우기도 하는데, 보통 한 시간 정도면 됩니다. 우버가 새 존을 기중기, Crane처럼 스스로 조립된다고 표현한 배경입니다.

존 하나씩 바꾸는 Low Level Config

새 존을 자동으로 세우는 것과 운영 중인 존을 안전하게 바꾸는 것은 이어지는 문제입니다. 우버는 저수준 인프라에서 존 하나를 배포 단위로 삼았습니다. 잘못된 변경이 존 하나를 멈추게 하는 상황까지는 받아들일 수 있는 영향 범위로 본 것입니다.

설정을 작성하는 방식부터 바꿨습니다. 자동화에 전달할 YAML을 사람이 일일이 적으면, 비슷한 클러스터 설정을 네 번씩 반복해서 쓰게 됩니다. 우버가 원한 것은 의도를 표현하는 상위 수준의 설정이었습니다. 공통 부분은 한 번 정의하고 차이만 드러내면 스키마를 통일하고 복사·붙여넣기 실수를 막으면서, 클러스터 사이에서 무엇이 같고 다른지도 쉽게 확인할 수 있습니다. 이 설정에서 실제 배포할 YAML을 생성합니다.

우버는 Jsonnet과 Starlark를 검토한 뒤 Starlark를 선택했습니다. 여기에 존별로 설정을 다르게 생성할 수 있도록 ‘롤아웃 파일’을 도입했습니다.

예를 들어 getAgentVersion 함수는 전달받은 존과 rollout.yaml의 존 목록을 보고 버전을 정합니다. 원문의 예시에서 phx4에 생성되는 설정은 최신 버전을 받고, dca1은 안정 버전을 받습니다. 목록에 존을 하나씩 추가하면 에이전트 버전 변경이 존별로 진행됩니다. 되돌릴 때는 해당 존을 목록에서 빼면 됩니다.

에이전트 버전이 필요한 다른 설정은 getAgentVersion만 호출합니다. 어떤 존에 어느 버전을 줄지 판단하는 로직을 함수 안에 모았으므로, 호출하는 쪽에서는 안전한 값을 받아 쓰면 됩니다. 같은 방식은 다른 설정값에도 적용됩니다.

이 과정을 자동으로 진행하는 서비스가 Low Level Config(LLC)입니다. 모든 설정을 소스 컨트롤에 두고, LLC가 롤아웃 파일에 존을 하나씩 추가하는 커밋을 만듭니다. 의존성을 아주 적게 유지하면서 피처 플래그와 같은 역할을 하는 방식입니다.

롤아웃 파일만큼은 Starlark를 쓰지 않습니다. 자동화가 직접 수정해야 하고 사람이 읽기에도 충분히 단순해서 순수 YAML로 남겼습니다. 실제 LLC는 예시보다 더 복잡하고 사용하기 편하며, 존을 추가하는 사이의 대기 시간과 자동 롤백을 일으킬 지표 감시 조건을 설정할 수 있습니다. 글이 나온 당시 수십 개 팀이 매주 수백 건의 주요 설정 변경을 이 방식으로 배포하고 있었습니다.

호스트를 같은 OS로 유지하는 Dominator

중앙에서 변경을 배포하려면 팀마다 달라진 호스트 구성도 해결해야 했습니다. 예전에는 각 팀이 필요에 따라 자기 호스트의 OS를 자유롭게 바꿨습니다. 그렇게 쌓인 차이 때문에 전체 서버의 OS·커널·보안 업데이트가 복잡해졌고, 새 환경으로 옮기거나 프로덕션 문제를 조사하기도 어려웠습니다.

Crane에서는 팀별 워크로드를 모두 컨테이너로 옮겼습니다. 워크로드가 호스트 OS에 직접 의존하지 않도록 하고, 호스트의 OS 계층은 모두 동일하게 유지한다는 원칙입니다. OS에는 컨테이너 런타임과 공통 신원·관측 서비스 등 필수 요소만 남겼습니다.

그렇다고 업데이트마다 호스트를 일괄 재부팅하는 엄격한 불변 인프라를 택하지는 않았습니다. Dominator를 사용해 실행 중인 호스트의 OS 이미지를 그 자리에서 갱신합니다. Dominator는 모든 호스트에 설치한 에이전트 subd와 통신하며, 모든 존과 클라우드 사업자에 걸쳐 동작합니다.

기대 상태에서 벗어나는 변경도 즉시 되돌립니다. 누군가 골든 OS 이미지에 없는 파일이나 패키지를 설치하면 곧 삭제됩니다. 팀마다 OS를 따로 고칠 자유는 제한됐지만, 중앙에서 업그레이드하거나 새 환경으로 옮길 때 호스트별 예외를 하나씩 처리하던 부담은 줄었습니다.

환경 차이를 감춘 호스트 카탈로그

호스트를 같은 상태로 유지하더라도 처음 준비하고 회수하는 절차에는 환경별 차이가 남습니다. 예전에는 각 팀이 자기 서버에 OS와 필요한 소프트웨어를 설치했습니다. 특히 온프렘 프로비저닝은 복잡하고 실수하기 쉬웠습니다. 여러 팀이 그 세부 절차를 모두 익히는 방식으로는 규모를 늘리기 어려웠고, 서버에 설치할 소프트웨어도 중앙에서 통제해야 했습니다.

클라우드에서는 사업자별 API 위에 만든 공통 추상화 계층을 호출하고 호스트 카탈로그에 레코드를 넣습니다. 생성한 VM에는 모두 같은 이미지를 사용합니다. VM이 정상적으로 실행되는 것을 확인하면 팀에 배정할 수 있는 가용 풀로 옮깁니다. 사용이 끝났을 때도 같은 추상화 계층으로 VM을 끄고 카탈로그에서 레코드를 삭제합니다.

물리 서버에는 더 많은 절차가 필요합니다. 먼저 물리 자산 추적기의 정보를 바탕으로 호스트 카탈로그에 레코드를 넣습니다. NetBoot(PXE) 요청에 응답하는 자체 DHCP 서버와 네트워크 부팅을 항상 먼저 시도하도록 하는 소프트웨어를 사용해 서버에 이미지를 기록합니다. 부트 드라이브에 쓰는 이미지는 클라우드 VM 이미지와 거의 같습니다. 간단한 디스크 설정을 마친 뒤 재부팅하고, 프로비저닝이 성공했는지 확인해 가용 풀로 보냅니다.

온프렘 서버가 반납되면 프로비저닝 시스템으로 다시 보냅니다. VM처럼 종료하는 것으로 끝낼 수 없기 때문입니다. 디스크를 지우고 다른 팀이 쓸 수 있도록 재활용합니다. 수명이 다한 서버는 별도의 폐기 절차를 거치며, 카탈로그의 레코드는 이때에야 삭제합니다.

이렇게 서로 다른 과정을 거쳐 준비된 호스트는 공통된 모습으로 나타납니다. 같은 OS를 실행하고, 카탈로그 레코드도 같은 스키마를 따릅니다. 프로비저닝과 회수 소프트웨어를 제외하면 나머지 스택과 그 위의 플랫폼은 온프렘과 클라우드를 구별할 필요가 없습니다. 어느 클라우드 사업자인지도 몰라도 됩니다.

대부분의 소프트웨어는 호스트 카탈로그가 제공하는 일관된 서버 정보를 기준으로 동작합니다. 그래서 카탈로그의 정확성은 처음부터 Crane의 요구사항이었습니다. 기존 카탈로그의 부정확한 정보 때문에 서버를 어떻게 처리할지 잘못 판단하는 일이 많았던 경험이 있었습니다.

팀별 자원 약속을 담은 크레딧

가용 풀에 준비된 서버는 크레딧에 따라 팀에 배정됩니다. 크레딧은 특정 존에서 특정 팀에 자원을 제공하겠다는 약속입니다. 자원의 단위는 정해진 하드웨어 구성을 갖춘 서버 한 대입니다.

할당 시스템은 호스트 카탈로그를 주기적으로 검사해 아직 이행하지 않은 크레딧을 찾습니다. 그런 크레딧이 있으면 자원 요구사항과 팀의 조건을 가용 호스트에 대조합니다. 서버 수만 채우면 끝나는 일은 아닙니다.

팀의 기존 호스트와 다른 장애 도메인에 있는 하드웨어를 배정하려고 시도합니다. 예를 들어 서버 랙을 분산하는 방식입니다. 팀에서도 “내 호스트를 같은 랙에 5대 넘게 두지 말 것”처럼 최소 다양성 조건을 지정할 수 있습니다. 디스크 파티션과 파일시스템은 이미 프로비저닝 단계에서 정해져 있으므로, 팀이 설정한 디스크 구성에 맞는 호스트를 골라야 합니다.

할당할 서버를 찾으면 카탈로그에서 그 서버의 ‘그룹’을 바꿉니다. 이 정보만으로 누구나 어떤 호스트가 무슨 용도로 쓰이는지 확인할 수 있습니다. 그룹에 배정된 호스트에서는 해당 팀이 지정한 소프트웨어가 자동으로 실행됩니다. 팀이 용량을 늘릴 때마다 사람이 서버를 설정하고 소프트웨어를 띄우던 작업이 사라진 것입니다.

불량 판정을 한곳에 모은 Bad Host Detector

서버를 자동으로 배정하는 것만으로는 운영 부담이 끝나지 않습니다. 기존 스택에서는 하드웨어에 문제가 생긴 ‘불량 호스트’를 찾아 처리하는 일도 전용 하드웨어를 쓰는 팀마다 따로 해결했습니다. 무엇을 불량으로 볼지부터 명확하지 않았습니다.

어떤 SEL 이벤트를 심각하게 볼지, 디스크 상태를 감시할 SMART 카운터와 임계값은 무엇이 적절한지 팀마다 판단해야 했습니다. 오래된 펌웨어도 하드웨어 문제에 포함할지 애매했습니다. 여기에 클라우드 사업자가 보내는 호스트 상태 이벤트까지 들어왔습니다. 혼란 속에서 여러 팀이 같은 문제를 거듭 풀고 있었습니다.

Crane에서는 불량 하드웨어의 기준을 중앙에서 정하고 탐지 코드에 담았습니다. 그 코드를 한곳에 모은 서비스가 Bad Host Detector(BHD)입니다. 존마다 BHD 인스턴스 하나가 실행되며, 카탈로그에서 해당 존의 호스트 목록을 받아 주기적으로 검사합니다. 발견한 문제는 중앙 데이터베이스에 기록합니다.

조치는 Host Activity Manager가 맡습니다. 호스트의 그룹에 따라 적절한 워크로드 스케줄러를 정하고, 스케줄러와 협의해 워크로드를 비운 뒤 호스트를 회수합니다. 클라우드 VM은 이 시점에 중지합니다. 온프렘 서버는 별도의 수리 대기열로 보내 필요한 수리를 마친 뒤 프로덕션으로 돌려보냅니다.

클라우드 사업자가 제공하는 호스트 상태 이벤트도 주기적으로 수집해 같은 조치 절차로 처리합니다. 어느 경로에서 문제를 발견했든 처리 방식은 같습니다.

문제를 모두 기록해 두면 개별 서버를 고치는 일 너머로도 쓸모가 생깁니다. 데이터베이스를 조회해 존이나 하드웨어 종류별로 과거 추세를 확인할 수 있습니다. 프로덕션에 들어갔다 나왔다를 반복하는 호스트도 실시간으로 찾습니다. 이런 반복은 아직 탐지하지 못한 더 깊은 문제가 있다는 신호일 수 있습니다.

Crane 전환과 함께 시작한 확장 작업

2022년 9월 당시 우버는 기존 스택에서 Crane으로의 전환을 마무리하고 있었습니다. 저자들은 Crane을 우버가 수행한 가장 큰 엔지니어링 프로젝트 중 하나로 꼽을 만하다고 평가합니다. 여러 팀의 협력이 필요했고, 팀별 수작업에 의존하던 조직이 표준화된 자동화를 널리 쓰는 조직으로 바뀌는 과정이기도 했습니다.

새 스택을 바탕으로 착수한 작업에는 아직 넓혀야 할 운영 범위가 드러납니다.

  • 더 많은 클라우드 사업자를 지원하도록 추상화 계층 확장
  • 불량 하드웨어 탐지에 사용할 신호 종류의 대폭 개선
  • 서버 외에 불량 네트워크 장비까지 탐지 대상 확대
  • arm64 등 새 CPU 아키텍처 지원
  • 커널과 OS 배포판 업그레이드의 중앙 실행
  • 클라우드의 탄력적 용량 활용
원문의 목표와 운영 수치
항목값
목표 서버 규모10만 대 이상
기존 존 구축수십 개 팀·수백 명, 수 개월(수십 명이 6개월 이상)
존 구축 목표엔지니어 한 명, 약 일주일
구축한 프로덕션 존5곳(4곳 진행 중)
존 부트스트랩 최단 기록3일
클라우드 테스트 존 구축보통 약 1시간
LLC 롤아웃수십 개 팀의 핵심 설정 변경, 매주 수백 건
마지막 수정 일자