목차
수백 명의 개발자를 기다리게 한 Edge Gateway 빌드 (2021-06)
원문 정보
- 원문: Scaling of Uber’s API gateway
- 매체 · 게시일: Uber Engineering Blog · 2021-06-08
- 저자: Abhishek Parwal(Sr. Software Engineer II), Karthik Karuppaiya(Engineering Manager, Edge Platform 팀 리드)
- 원문 내용을 바탕으로 재구성한 요약입니다.
엔드포인트 하나에도 길어진 빌드 대기
엔드포인트 하나를 고치고도 3시간 넘게 기다릴 수 있었습니다. Uber의 Edge Gateway에서는 UI로 엔드포인트 설정을 바꿀 때마다 전체 코드를 다시 생성하고, 게이트웨이 바이너리를 빌드한 뒤 플랫폼 통합 테스트까지 거쳤습니다. 개발 중 설정을 여러 번 수정하면 그 대기도 반복됐습니다.
Edge Gateway는 백엔드 서비스의 기능과 데이터를 모바일과 서드파티 파트너에게 공개하는 단일 진입점입니다. 요청의 인증·인가와 변환, 다운스트림 서비스로의 라우팅, 응답 반환은 런타임이 맡습니다. 개발자가 엔드포인트를 만들고 테스트해 인터넷에 공개하는 과정은 구성 관리가 담당합니다. 하위 호환성을 지키고 런타임 기능이 퇴보하지 않도록 확인하는 일도 여기에 속합니다.
런타임의 신뢰성과 효율은 라이더 경험과 매출에 직결됩니다. 구성 관리는 개발 속도와 비용에 영향을 줍니다. 모든 백엔드 엔지니어가 매일 쓰는 작업에서 경합이 생기면 회사 전체의 기능 개발이 느려집니다. 앞선 1편이 게이트웨이 아키텍처를 다뤘다면, 이번 2편의 초점은 수백 명이 매일 사용하는 구성 관리, 그중에서도 코드 빌드입니다.
처음에는 변경의 성격을 구분하지 않았습니다. 플랫폼 팀이 Edge Gateway 자체를 고치는 수동 diff와 제품 엔지니어가 UI에서 엔드포인트를 만들 때 생기는 UI diff가 같은 파이프라인을 사용했습니다. 여기서 diff는 GitHub의 PR에 해당하는 변경 단위입니다.
사용자가 페이로드 스키마와 필터 등을 설정하면 빌드 시스템이 코드를 생성해 사용자 diff에 넣었습니다. 이어서 코드가 빌드되는지, 플랫폼 통합 테스트를 통과하는지 확인했습니다. 실패하면 설정을 고쳐야 했습니다. 통과한 diff는 사내 변경 관리 시스템인 Submit Queue로 넘어가 병합 충돌과 단위 테스트를 검사받고, 이 검사까지 통과해야 master에 반영됐습니다. Submit Queue에서 실패하면 최신 master를 기준으로 변경 코드를 다시 생성해야 했습니다.
코드 생성부터 오래 걸렸습니다. 입력받은 Thrift 파일에 전처리로 스키마를 증강하고, thriftrw 모델을 만든 뒤 정적 JSON 직렬화기를 생성해야 최종 코드를 컴파일할 준비가 끝났습니다. 엔드포인트 하나를 바꿔도 모든 엔드포인트의 코드를 다시 만들었으므로 생성 시간은 엔드포인트 수에 비례해 늘었습니다. 처음에는 약 1분이었지만, 수천 개 규모에서는 2시간을 넘겼습니다. 하루 수백 건의 변경을 처리하기에는 너무 긴 시간이었습니다.
그 뒤에도 빌드가 남아 있었습니다. Go 플랫폼 전체 바이너리를 만드는 데만 30분 넘게 걸렸고, 빌드가 끝나야 플랫폼 통합 테스트를 실행했습니다. UI에서 만든 diff에도 이 테스트를 돌리는 것은 낭비였습니다. 하나의 파이프라인은 단순했지만, 개발자에게는 3시간 넘는 대기가 돌아갈 수 있었습니다.
common.thrift에서 번진 병합 충돌
코드가 다 만들어져도 끝이 아니었습니다. 다른 개발자의 변경과 충돌하지 않아야 master에 들어갈 수 있었습니다. 수백 명이 엔드포인트를 계속 고치는 환경에서는 이 단계도 점점 통과하기 어려워졌습니다.
Edge Gateway는 모바일에서 어떤 프로토콜을 쓰든 페이로드를 Thrift 스키마로 표현합니다. 공통 속성은 common.thrift 같은 파일에 정의하고 각 엔드포인트의 Thrift 파일에서 가져다 씁니다. 위도·경도를 어디서나 double로 표현하려는 의도입니다. 같은 속성을 기능마다 다르게 구현하지 않게 해 주지만, 그만큼 많은 엔드포인트가 공통 파일에 의존하게 됩니다.
문제는 재생성 범위였습니다. 하위 Thrift가 바뀌면 상위 엔드포인트가 실제로 그 변경 요소를 사용하는지와 무관하게 관련 코드를 모두 다시 생성했습니다. common.thrift처럼 널리 쓰이는 파일을 고치면 이를 가져다 쓰는 다른 엔드포인트의 변경도 병합 충돌로 반영에 실패했습니다. 충돌이 늘면서 코드 반영 성공률은 90%에서 40%로 떨어졌습니다.
플랫폼 엔지니어에게는 변경을 넣을 틈조차 사라졌습니다. 플랫폼을 고치면 거의 모든 엔드포인트 파일을 다시 생성해야 하는데, 그동안 다른 엔지니어들도 엔드포인트를 바꾸고 있었기 때문입니다. 리베이스와 재시도를 끝없이 반복하거나, 하루 몇 시간씩 Submit Queue를 멈춰 다른 개발자의 변경 반영을 막고 플랫폼 변경을 넣어야 했습니다. 어느 쪽도 좋은 운영 방식은 아니었습니다.
생성 코드가 빠진 UI diff
Uber는 UI diff에 생성 코드를 넣지 않기로 했습니다. 설정은 사용자 변경으로 반영하고, 생성 코드는 주기적으로 master를 빌드할 때 반영하는 방식입니다. 사용자 설정이 master를 깨뜨리지 않는다는 검증은 유지하면서, 여러 개발자가 생성 파일을 각자 변경해 병합하던 경로를 바꿨습니다.
테스트도 변경의 성격에 맞게 나눴습니다. UI diff에서는 설정으로 코드를 증분 생성한 뒤, 코드가 빌드되는지와 URL을 HTTP 라우터에 등록할 수 있는지 검사합니다. 실패하면 개발자가 엔드포인트 설정을 수정합니다. 수동 플랫폼 diff에는 플랫폼 통합 테스트 결과를 사용합니다.
UI diff 테스트를 통과했다고 곧바로 master에 반영되지는 않습니다. Submit Queue는 최신 master와 합쳤을 때 URL이 중복되지 않는지, 해당 UI diff의 테스트가 통과했는지 확인합니다. 단위 테스트는 수동 플랫폼 diff에만 실행합니다. 검증을 통과한 UI diff에서는 설정만 master에 들어가고, 실패하면 설정을 고쳐 다시 제출합니다.
컴파일 범위도 좁혔습니다. 프로덕션 게이트웨이의 RegisterDependencies 함수는 UberX, UberPool, Eats를 비롯한 수천 개의 엔드포인트를 등록합니다. UI diff에서 개발 중인 엔드포인트를 테스트하는 데 이 전체를 컴파일할 이유는 없었습니다. 테스트 빌드에서는 해당 엔드포인트 하나만 등록하도록 바꿨습니다. go build가 처리할 의존성 그래프가 작아지면서 바이너리 생성도 빨라졌습니다.
설정끼리의 충돌은 남습니다. 같은 엔드포인트를 여러 개발자가 함께 고치면 생성 코드를 diff에서 빼도 충돌할 수 있습니다. 이 경우에는 Git이 병합할 때 호출하는 맞춤 충돌 해결 드라이버를 사용했습니다.
필요한 타입만 남기는 Mark and Generate
사용자 diff에서 생성 코드를 빼도 배포할 바이너리는 만들어야 합니다. 당시 오픈소스 프레임워크 Zanzibar가 엔드포인트 설정에서 생성한 코드는 1500개가 넘는 엔드포인트에서 2,500만 줄을 넘겼습니다. 바이너리 크기는 Go 컴파일러의 한계에 닿았습니다.
코드 리뷰 도구도 버거워했습니다. 의존성 그래프가 큰 일부 파일은 Arcanist가 diff를 처리하지 못할 만큼 커서 바이너리 파일로 취급해야 했습니다. 파일 전체를 새 버전으로 교체하자 변경 이력을 잃었고, 서로 다른 부분을 고친 변경도 병합 충돌을 일으켰습니다. 큰 코드베이스는 배포할 때의 빌드도 늦췄습니다. 엔드포인트를 여러 배포 인스턴스로 샤딩하는 방안도 있었지만, Uber는 운영을 간단하게 유지하려고 바이너리 크기를 줄이는 쪽을 택했습니다.
만들지 않아도 되는 코드가 많았습니다. 기존 코드 생성기는 Thrift IDL 전체를 받아, 일부 구조체만 참조하더라도 모든 타입의 thriftrw 모델을 생성했습니다. Uber는 엔드포인트와 다운스트림 클라이언트가 직접 또는 간접으로 쓰는 타입만 담은 Thrift 파일을 만들고, 모듈 사이에서 객체를 공유하도록 바꿨습니다. 필요한 타입을 찾고 그 타입만 담은 스펙을 만드는 알고리즘이 Mark and Generate입니다.
Mark 단계는 실제 사용처에서 출발합니다. 엔드포인트 디렉터리를 순회하며 Thrift 파일, 서비스 메서드, clientid, 클라이언트 서비스 메서드를 모읍니다. 예를 들면 Bar::Growth 엔드포인트와 그 엔드포인트가 참조하는 bar-client의 BarService::Growth를 찾는 작업입니다. 이어서 각 엔드포인트가 참조하는 클라이언트의 Thrift 파일과 서비스 메서드도 수집합니다.
미들웨어가 사용하는 클라이언트도 빠뜨리지 않습니다. geofence나 user-affinity처럼 미들웨어에서 참조하는 클라이언트는 Thrift 파일과 모든 메서드를 수집 대상에 넣습니다. 이렇게 모은 정보로 엔드포인트 모듈과 클라이언트 모듈 각각에서 최상위 Thrift를 사용 중인 서비스 메서드 목록에 연결합니다.
여기서부터는 최상위 Thrift를 루트로 삼은 숲을 탐색합니다. 각 루트에서 여러 너비 우선 탐색(BFS)을 병렬로 진행하며, 이전 순회에서 찾은 타입을 따라 새로 발견한 타입을 다음 순회의 작업으로 넘깁니다. 한 번 처리한 노드라고 끝은 아닙니다. 다른 노드가 이미 처리를 마친 자식이나 루트에도 새 작업을 보낼 수 있어, 모든 노드의 작업이 끝날 때까지 이 과정을 반복합니다.
Generate 단계에서는 루트 자신과 그 루트에서 도달할 수 있는 노드를 모아 Thrift 문법 트리인 program을 조립합니다. 원래 스펙의 축소판입니다. 불필요한 import를 없애고 다른 Thrift가 사용하는 타입만 남기되, 루트에서는 자신이 쓰는 타입도 보존합니다. 여기에 맞춤 직렬화에 필요한 스키마 증강을 적용하고 다시 Thrift 파일로 써서 thriftrw 모델과 코드 생성에 넘깁니다.
이렇게 줄인 스펙을 원시 IDL 대신 입력하자 코드베이스 크기가 50% 넘게 줄었습니다. 전체 최적화의 합산 수치가 아니라, 사용하지 않는 타입을 덜어낸 스펙을 코드 생성에 넣어 얻은 결과입니다.
정적 객체 생성을 줄인 JSON-Iter
JSON 직렬화 코드에도 줄일 여지가 있었습니다. ThriftRW 모델을 JSON으로 직렬화·역직렬화하던 EasyJSON은 정적으로 생성한 객체를 요구했고, 이 객체들이 코드 크기의 큰 부분을 차지했습니다. Uber는 런타임 비용이 비슷한 동적 JSON 라이브러리 JSON-Iter로 옮겨 코드 크기를 줄였습니다. 저자들은 이 전환의 세부 과정을 후속 글에서 다룰 수도 있다고 덧붙였습니다.
마지막 빌드 이후의 변경을 추적하는 .build
생성할 코드의 양을 줄이는 일과 함께, 매번 같은 코드를 다시 만드는 일도 줄였습니다. 코드 생성 라이브러리가 마지막 빌드 이후의 변경분만 처리하도록 바꿨습니다. 기준점은 .build라는 워터마크 파일입니다.
이 파일에는 마지막으로 빌드한 Git ref인 git_hash와 glide 의존성 파일의 md5인 glide_md5가 들어 있습니다. 이를 기준으로 바뀐 모듈과 Thrift, 설정을 찾아 모듈의 의존성 그래프(DAG)에 넘기면, DAG가 코드를 다시 생성할 모듈을 결정합니다. 주기적으로 실행하는 master 빌드도 같은 기준을 사용합니다. 마지막 빌드 상태에서 달라진 부분을 계산해 빌드한 뒤, 생성 코드를 master에 직접 푸시합니다.
남은 작업은 병렬로 처리했습니다. 기존 라이브러리는 모듈을 순차로 빌드했습니다. 직렬화·역직렬화와 요청·응답 전송에 쓰는 ThriftRW 모델부터 바꿨습니다. 변경된 Thrift 스펙의 모델만 생성하도록 증분화하고, 그 생성 작업을 병렬로 실행했습니다.
Zanzibar의 DAG에는 순서를 지켜야 하는 구간이 있습니다. 여러 층으로 구성된 DAG에서 한 층의 결과가 다음 층의 입력이 되므로 층 사이는 순차로 처리해야 합니다. 대신 같은 층 안에서 부분 DAG 노드를 만드는 작업은 병렬화했습니다. DAG가 완성된 뒤에는 고루틴 수를 제한하면서 엔드포인트 코드를 병렬로 생성합니다. 늘어난 동시 실행을 활용할 수 있도록 코드 빌드 시스템의 사양도 키웠습니다.
오래된 코드와 재시작이 남긴 운영 부담
현재 쓰는 코드를 줄여도 과거에 생성한 코드의 이력은 Git에 남습니다. 매일 50개 넘는 diff가 쌓이면서 불필요한 생성 코드 이력도 늘어났습니다. Uber는 주기적으로 Git 가비지 컬렉션을 실행하고 오래된 태그를 삭제했습니다.
사용하지 않는 엔드포인트도 저절로 사라지지는 않습니다. 사용자가 더 이상 쓰지 않는 엔드포인트와 Thrift를 지우지 않기 때문입니다. 이를 정리하는 주기적 작업은 사내 시스템을 조회해 삭제 목록을 만들고, 목록에 오른 엔드포인트와 Thrift를 제거합니다.
빌드 인프라에도 손을 댔습니다. 기존 Mesos 클러스터에서는 오래 걸리는 빌드가 선점으로 중단돼 처음부터 다시 시작하는 일이 있었습니다. 앞선 변경으로 빌드 시간은 크게 줄었지만, Uber는 배포에 걸리는 시간을 더 줄이려고 빌드 인프라를 수직 확장하고 Mesos에서 빌드가 선점되지 않도록 스케줄했습니다. 저자들은 비슷한 시스템에서도 사용 목적과 규모에 따라 이 기법들을 조합해 적용할 수 있다고 설명합니다.
더 빠른 빌드와 테스트를 위한 다음 작업
원격 캐시는 아직 작업 중인 영역입니다. Uber는 코드 생성 라이브러리를 Bazel과 통합해 원격 캐시를 활용하고 빌드 시간을 더 줄이려 하고 있습니다.
개발 중인 엔드포인트를 테스트하는 경로도 더 짧게 만들 계획입니다. 생성한 빌드 산출물을 테스트 환경에 동적으로 배포하는 방안을 탐색하고 있으며, Go의 플러그인 아키텍처를 사용하는 프로토타입을 만들고 있습니다.