목차
2,200개 마이크로서비스의 경계를 다시 세운 Uber DOMA (2020-07)
원문 정보
- 원문: Introducing Domain-Oriented Microservice Architecture
- 매체 · 게시일: Uber Engineering Blog · 2020-07-23
- 저자: Adam Gluck(Sr. Software Engineer II)
- 원문 내용을 바탕으로 재구성한 요약입니다.
독립 배포 뒤에 다시 묶인 팀들
서비스는 잘게 나뉘어 있었습니다. 그런데 문제 하나의 원인을 추적하려고 12개 팀에 걸친 약 50개 서비스를 살펴야 했고, 2018년의 한 사례에서는 단순한 통합에도 접점 10개가 필요했습니다. 핵심 마이크로서비스가 약 2,200개에 이른 Uber의 경험입니다.
처음부터 이런 모습은 아니었지요. 2012~2013년 무렵 Uber는 주로 모놀리스 서비스 둘로 운영됐고, 회귀 하나가 Uber 전체를 멈출 위험을 안고 있었습니다. 배포는 비싸고 위험했으며 롤백도 잦았습니다. 빠르게 성장하는 동안 당장 필요한 일을 처리하느라 거대한 코드베이스의 경계가 흐려졌고, 엔지니어가 수십 명에서 수백 명으로 늘어도 팀들은 독립적으로 움직이기 어려웠습니다. 하나의 모놀리스가 여러 팀의 운명을 묶어 놓았습니다.
마이크로서비스는 이 문제를 풀어 줬습니다. 장애가 난 서비스만 되돌릴 수 있어 신뢰성이 높아졌고, 독립 배포 덕분에 팀마다 자기 속도로 일할 여지가 생겼습니다. 서비스를 나눌 때마다 “이 서비스는 왜 존재하는가"를 물으면서 역할과 소유권도 선명해졌습니다. Uber는 마이크로서비스 없이는 당시의 규모와 실행 품질에 도달하지 못했을 것이라고 평가합니다.
문제는 수백 명이 수천 명이 된 뒤였습니다. 한 코드베이스 안에 있던 구현이 네트워크 너머의 블랙박스가 됐고, 그 동작은 언제든 바뀔 수 있었습니다. 호출이 여러 층으로 이어지면 n번째 의존성의 지연 급증도 상위 서비스로 전파됩니다. 도구 없이는 무슨 일이 일어나는지 파악할 수 없었습니다. 원문에 실린 2018년 중반의 Jaeger 화면에는 Uber가 들여다봐야 했던 복잡한 호출 관계가 담겨 있습니다.
개발 과정에서도 경계가 무너졌습니다. 작은 기능 하나에 여러 팀의 서비스가 걸려 있으니 회의와 설계, 코드 리뷰가 이어졌습니다. 팀들은 다른 팀의 서비스에 코드를 넣고 데이터 모델을 고쳤으며, 소유자를 대신해 배포하기까지 했습니다. 겉으로는 독립적인 서비스인데 함께 배포해야 하는 “네트워크 모놀리스"가 생긴 것입니다. 개발은 느려지고, 서비스 소유자는 안정성을 지키기 어려워졌으며, 이전 작업도 고통스러워졌습니다.
그렇다고 마이크로서비스를 버릴 수도 없었습니다. 운영상의 이점이 컸고 대안도 마땅치 않았습니다. “같이 살 수도 없고 없이 살 수도 없는” 상황에서 Uber가 지난 2년 동안 시도해 온 접근이 Domain-Oriented Microservice Architecture, 줄여서 DOMA입니다. 독립 배포와 명확한 소유권을 지키면서, 서비스 사이에 얽힌 복잡도를 줄이려는 접근입니다.
익숙한 설계 원칙에서 출발한 DOMA
DOMA를 이해하는 출발점은 마이크로서비스를 라이브러리처럼 바라보는 데 있습니다. 마이크로서비스는 2000년대 SOA의 큰 서비스보다 범위를 좁힌 애플리케이션으로, 네트워크에 배치하고 RPC로 호출합니다. 모놀리스 안의 컴포넌트를 프로세스 내부에서 부르는 것과 달리 호출할 때마다 네트워크 I/O, 직렬화와 역직렬화 비용을 냅니다. 이 비용과 지원 인프라를 감수하는 이유가 독립적인 배포와 확장입니다.
이렇게 보면 마이크로서비스 아키텍처 전체는 하나의 큰 분산 프로그램입니다. 코드를 이해하고 바꾸기 쉽게 만드는 설계 원칙을 서비스 사이에도 적용할 수 있습니다. DOMA는 도메인 주도 설계, 클린 아키텍처, SOA, 객체·인터페이스 지향 패턴에서 방법을 빌려 왔습니다. 새롭다고 내세우는 부분도 원칙 자체보다, 큰 조직의 큰 분산 시스템에 그 원칙을 적용하는 방식입니다.
설계의 중심에는 개별 서비스 대신 도메인을 둡니다. 관련 서비스를 도메인으로 묶고, 도메인들이 속한 계층에 따라 의존할 수 있는 대상을 정합니다. 외부에는 게이트웨이라는 단일 진입점을 내놓습니다. 다른 팀의 로직이나 데이터가 필요할 때는 도메인 내부를 직접 고치는 대신 정해진 확장 지점을 사용합니다. 서비스가 많아져도 이해하고 재사용할 수 있는 경계를 만드는 방식입니다.
이 설계에는 Uber의 모든 조직에서 모인 약 60명의 엔지니어가 참여했습니다. 제품 팀과 플랫폼 팀이 함께 합의한 결과이며, LinkedIn에서 Superblocks를 만든 엔지니어들이 나눈 경험도 참고했습니다.
80개 서비스 앞에 놓인 Uber Maps의 게이트웨이
Uber Maps 조직 하나에는 도메인 세 개가 있습니다. 마이크로서비스 80개는 게이트웨이 세 개 뒤에 있습니다. 도메인의 경계가 조직도와 늘 일치하지는 않는다는 사례입니다.
도메인을 나누는 기준은 논리적인 기능입니다. 지도 검색 서비스, 요금 서비스, 라이더와 드라이버를 연결하는 매칭 플랫폼이 각각 도메인이 됩니다. 권장하는 서비스 수는 없습니다. 수십 개 서비스를 묶을 수도 있고, 서비스 하나가 도메인일 수도 있습니다. 개수보다 그 묶음이 어떤 역할을 맡는지를 신중히 정합니다.
게이트웨이는 이 도메인의 단일 진입점입니다. 익숙한 Gateway API 패턴과 비슷하지만, Uber는 게이트웨이를 도메인으로 들어오는 경계라는 의미로 한정합니다. 내부에 여러 서비스와 데이터 테이블, ETL 파이프라인이 있더라도 외부에 드러내는 것은 RPC API, 메시징 이벤트, 쿼리 같은 인터페이스입니다. 소비자는 서비스 하나에 의존하면 됩니다. 사용할 인터페이스를 찾기도 쉬워지고, 내부 구현을 바꿀 때 영향을 받는 범위도 줄어듭니다.
이 경계의 성패는 API 설계에 달려 있습니다. 객체지향에서 인터페이스와 구현을 나누듯, 게이트웨이가 인터페이스를 맡고 그 뒤의 마이크로서비스들이 구현을 맡습니다. 외부 소비자가 내부 서비스에 직접 의존하지 않으므로, 도메인 소유자는 그 구현을 바꿀 자유를 얻습니다.
Uber에서 이 자유는 자주 필요했습니다. 계산해 보니 마이크로서비스의 반감기가 1.5년이었습니다. 1.5년마다 서비스의 50%가 교체되는 환경에서 소비자가 내부 서비스에 직접 연결돼 있으면 끊임없이 이전 작업을 해야 합니다. 원문이 말하는 “이전 지옥"입니다. 게이트웨이로 경계를 두면 하위 서비스의 교체가 곧 상위 소비자의 이전으로 이어지지는 않습니다.
Uber가 지난 1년 동안 진행한 가장 큰 플랫폼 재작성 두 건도 게이트웨이 뒤에서 이뤄졌습니다. 이 플랫폼들에는 수백 개 서비스가 의존하고 있었습니다. 게이트웨이가 없었다면 그 소비자들을 모두 이전해야 했을 것이고, 비용이 너무 커서 재작성 자체가 불가능했을 것이라는 설명입니다.
아래 계층으로만 향하는 Uber의 의존성
진입점을 정한 뒤에는 호출 방향을 정합니다. DOMA의 계층 설계는 어떤 서비스가 어떤 서비스를 부를 수 있는지 규정하는 의존성 관리 방식입니다. 규칙은 간단합니다. 각 계층은 자기보다 아래에 있는 계층에만 의존합니다.
아래 계층일수록 여러 곳에서 쓰는 일반적인 기능을 담습니다. 계정 관리나 마켓플레이스의 운행 기능처럼 의존하는 서비스가 많으므로 장애의 영향 범위도 큽니다. 위로 올라가면 모바일 앱의 특정 기능 같은 구체적인 사용자 경험에 가까워지고, 장애 때 영향을 받는 서비스 수는 줄어듭니다.
Uber가 정한 계층은 아래에서 위로 이어집니다.
| 계층 | 담당하는 기능 |
|---|---|
| 인프라 | 어느 엔지니어링 조직이나 쓸 수 있는 스토리지, 네트워킹 등의 기능 |
| 비즈니스 | Uber 전체가 쓸 수 있으며 Rides, Eats, Freight 같은 특정 제품군이나 사업에 종속되지 않는 기능 |
| 제품 | 특정 제품군이나 사업에 속하지만 모바일 앱에는 종속되지 않는 기능. Rider, Rider Lite, m.uber.com이 함께 쓰는 차량 호출 로직 |
| 프레젠테이션 | 소비자용 모바일·웹 앱의 기능에 직접 연결되는 기능 |
| 엣지 | 모바일 앱을 인식하며 Uber 서비스를 외부에 안전하게 노출하는 기능 |
기능은 일반화되면서 아래 계층으로 내려가기도 합니다. 처음에는 간단한 제품 기능이었던 것이 여러 곳에서 필요해지면 플랫폼으로 자랍니다. Uber의 핵심 플랫폼 상당수도 라이더나 드라이버 전용 기능에서 출발했습니다. 이후 Uber Eats, Uber Freight 같은 새 사업이 의존하기 시작하면서 더 일반적인 기능으로 바뀌었습니다. 계층은 이런 변화 속에서 제품에 특화된 기능과 여러 제품이 공유할 기능의 위치를 구분합니다.
드라이버의 온라인 전환을 나눠 맡는 확장 지점
드라이버가 온라인으로 전환하려면 안전과 규정 준수 같은 검사를 거쳐야 합니다. 검사를 맡은 팀은 제각각입니다. 그 로직을 모두 같은 엔드포인트 안에 구현하면, 서로 관계없는 맞춤 코드가 한곳에 쌓입니다. 플랫폼을 바꿀 때마다 여러 팀의 요구를 함께 다뤄야 하는 문제입니다.
DOMA는 이를 논리 확장으로 풉니다. 서비스마다 인터페이스를 정의하고 다른 팀이 그 인터페이스를 구현하는, 제공자·플러그인 패턴의 변형입니다. “온라인 전환” 엔드포인트는 요청과 응답 형식을 미리 정해 둡니다. 각 팀은 드라이버의 맥락을 받아 온라인 가능 여부를 bool로 반환하는 확장을 만들고 등록합니다. 엔드포인트가 할 일은 확장들을 실행하고 응답 중 거짓이 있는지 확인하는 것입니다.
플랫폼 코어와 검사 로직의 경계가 생깁니다. 각 확장은 다른 확장을 알지 못한 채 격리돼 실행되며, 확장을 만드는 팀은 플랫폼 코어를 수정하지 않아도 됩니다. 이 경계에는 관측성이나 기능 플래그를 붙이기도 쉽습니다. 서비스 구현을 바꾸거나 안정성에 영향을 주지 않고 기능을 늘려, 여러 팀이 독립적으로 일하도록 하는 방식입니다.
데이터에도 비슷한 문제가 있습니다. 팀마다 필요한 맥락을 핵심 플랫폼의 데이터 모델에 계속 넣으면 모델이 부풀어 오릅니다. 데이터 확장은 Protobuf의 Any로 요청에 임의의 데이터를 붙이게 합니다. 플랫폼 서비스는 그 데이터를 흔히 저장하거나 논리 확장에 넘길 뿐입니다. 직접 역직렬화하지 않으므로 데이터 안에 어떤 맥락이 들어 있는지도 알지 못합니다.
Any에는 비용이 따릅니다. 더 강한 타입을 얻는 대신 추가 인프라가 필요하며, 더 단순한 대안으로는 JSON 문자열이 있습니다. 어느 쪽이든 플랫폼 코드와 데이터 모델에 다른 도메인의 세부 로직을 직접 넣지 않으려는 목적은 같습니다.
팀마다 도메인에 맞는 확장 방식을 만들기도 했습니다. 프레젠테이션 아키텍처에서는 통합의 상당 부분에 DAG 기반 태스크 실행을 사용합니다. 논리 확장과 데이터 확장이 모든 도메인에 강제되는 유일한 형태는 아닙니다.
접점이 줄어든 제품 팀의 기능 통합
확장을 일찍 도입한 한 플랫폼 소비자는 새 기능의 우선순위를 정하고 통합하는 시간을 사흘에서 세 시간으로 줄였습니다. 코드 리뷰와 계획에 드는 일, 플랫폼을 익히는 부담이 줄어든 결과입니다.
게이트웨이도 제품 팀이 알아야 할 대상을 줄였습니다. 도메인 하나를 쓰려고 여러 하위 서비스를 호출하던 팀이 게이트웨이 하나만 사용하게 되면서, 접점이 줄고 새 기능을 플랫폼에 온보딩하는 시간은 25~50% 단축됐습니다. 플랫폼 팀의 지원 비용도 자릿수 하나가 줄어드는 경우가 많았습니다. 제품 팀은 정해진 경계 안에서 더 빠르게 개발하고, 플랫폼 팀은 제품별 요구를 지원하는 부담을 덜었습니다.
새 사업을 받아들이는 비용도 도입 동기였습니다. DOMA를 택한 팀 대부분은 새 사업을 지원하는 일이 너무 비싸졌기 때문에 변화를 시작했습니다. DOMA로 설계한 플랫폼은 확장하고 유지하기가 훨씬 쉬웠습니다. 제품의 세부 요구를 플랫폼 코드에 계속 추가하던 방식에서 벗어날 이유가 양쪽 팀 모두에게 있었습니다.
아직 완성된 아키텍처는 아니었습니다. 2020년 글이 나온 시점에 Uber는 마이크로서비스 2,200개를 70개 도메인으로 분류했고, 그중 약 50%를 구현한 상태였습니다. 나머지 대부분에도 향후 도입 계획이 있었습니다. 주요 도메인 거의 전부가 DOMA의 영향을 받았으며, 직전 1년은 여러 사업이 쓸 일반 로직을 제공하는 비즈니스 계층에 집중했습니다. Uber는 개발 경험이 단순해지고 복잡도가 줄어든 결과를 매우 긍정적인 초기 신호로 평가했습니다. 더 많은 팀이 도입하면서 DOMA 자체도 계속 바뀌고 있었습니다.
조직의 성장에 맞춰 가지치는 마이크로서비스
Uber는 마이크로서비스 아키텍처를 발전시키는 일을 생울타리 가지치기에 빗댑니다. 전체를 통째로 다시 쓰는 일은 불가능합니다. 적절한 때에 올바른 방향으로 조금씩 손보는 과정이며, 한 번의 하향식 재설계로 끝낼 작업도 아닙니다. 조직 규모에 따라 시작할 지점 역시 다릅니다.
스타트업이라면 마이크로서비스의 도입 시점부터 따져야 합니다. 엔지니어가 적을 때는 운영상의 이점이 늘어난 복잡도를 상쇄하지 못할 가능성이 높고, 지원 인프라에 전담 엔지니어링 자원도 들어갑니다. 도입을 미루는 것이 합리적일 수 있습니다. 도입하기로 했다면 서비스들을 하나의 큰 분산 애플리케이션으로 보고 관심사를 나눠야 합니다. 처음 만드는 서비스는 비즈니스의 중심을 설명하므로 가장 중요하고 오래갈 가능성이 큽니다.
중간 규모에서는 여러 팀이 생기고, 기능과 플랫폼 사이의 경계가 흐려지기 시작합니다. 마이크로서비스의 이점이 분명해지는 시기이자 서비스 사이의 위계와 의존성을 정할 시기입니다. 일부 서비스가 여러 팀이 의존하는 플랫폼으로 자라므로, 제품과 무관한 비즈니스 기능을 일찍 분리하면 기술 부채를 피하는 데 도움이 될 수 있습니다. 임의의 제품 로직이 핵심 서비스에 들어가지 않도록 확장을 사용할 수도 있습니다. 서비스 수가 적어 아직 여러 개를 묶을 이유가 없더라도, 도메인 하나에 서비스 하나를 두는 방식으로 출발할 수 있습니다.
엔지니어와 서비스가 수백에 이르면 DOMA의 쓰임새가 가장 커집니다. 도메인으로 묶을 만한 서비스 군집이 뚜렷해지고, 그 앞에 게이트웨이를 두면 이후의 레거시 리팩터링과 재작성, 이전 작업이 쉬워집니다. 특정 기능을 위한 제품 서비스와 여러 제품을 지원하는 플랫폼 서비스의 위계도 분명해집니다. 이 단계에서는 플랫폼에 임의의 제품 로직이 들어오지 않도록 경계를 지켜야 합니다. 그렇지 않으면 플랫폼 팀의 운영 부담이 커지고, 그 불안정이 시스템 전체에 영향을 줍니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 핵심 마이크로서비스 | 약 2,200개 |
| 도메인으로 분류 | 70개 도메인, 약 50% 구현 |
| Uber Maps 조직 | 도메인 3개, 게이트웨이 3개, 마이크로서비스 80개 |
| 원인 추적 사례 | 12개 팀의 약 50개 서비스 |
| DOMA 이전의 통합 사례(2018) | 접점 10개 |
| 플랫폼 온보딩 시간 | 25~50% 단축 |
| 새 기능 통합 시간(초기 도입 사례) | 3일에서 3시간 |
| 플랫폼 지원 비용 | 자릿수 하나 감소하는 경우가 많음 |
| 마이크로서비스 반감기 | 1.5년 |
| 참여 인원 | 약 60명 |
| 계층 | 인프라, 비즈니스, 제품, 프레젠테이션, 엣지 |