목차
SaaS 원본을 매번 확인하는 우버의 아티팩트 검증 프록시 (2026-05)
원문 정보
- 원문: Modernizing Artifact Storage at Uber
- 매체 · 게시일: Uber Engineering Blog · 2026-05-28
- 저자: Preetam Dwivedi(Staff Engineer), Manjari Akella(Sr. Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
복구에 며칠이 걸리던 로컬 디스크
우버의 옛 아티팩트 플랫폼에서는 디스크가 차면 새 쓰기가 막히는 일이 있었습니다. 복구는 수작업이었습니다. 엔지니어가 직접 데이터를 노드 사이에 재배치하는 데 몇 시간에서 며칠이 걸렸고, 그동안 시스템이 사실상 멈추기도 했습니다. 데이터 전체를 잃을 위험까지 있는 작업이었습니다.
이 플랫폼은 10년 넘게 빌드의 임계 경로에 있었습니다. 우버는 Go, Java, 웹, Android, iOS, Python의 대형 모노레포와 수천 개의 마이크로레포에서 개발하며, 빌드 하나가 수백에서 수천 개의 아티팩트에 의존합니다. 필요한 의존성을 찾아 주고 빌드 결과물을 저장하는 일을 이 중앙 플랫폼이 맡았습니다. 서드파티 제품을 온프레미스에 배포해 사내 시스템과 깊이 연결했고, 운영도 우버가 온전히 통제했습니다.
데이터센터는 2곳이었습니다. 각 데이터센터에 5노드 고가용성 클러스터를 두고 복제 계수를 3으로 설정해, 아티팩트마다 3개 노드의 로컬 디스크에 사본을 저장했습니다. GeoDNS는 클라이언트를 가장 가까운 데이터센터로 보냈습니다. 요청을 받은 클러스터는 먼저 로컬에서 아티팩트를 찾고, 없으면 상대 데이터센터에서 가져와 저장하는 방식이었습니다. 쓰기가 발생하면 두 클러스터 사이에 비동기 푸시 복제를 수행하고, 장애 때는 GeoDNS가 정상 클러스터로 트래픽을 넘겼습니다.
노드가 여럿이어도 용량 문제는 남았습니다. 다른 노드에 공간이 있어도 복제 계수를 충족하지 못할 수 있었고, 디스크 I/O가 느려지면 읽기까지 늦어졌습니다. 엔지니어가 저장 공간을 재분배하는 동안에는 DNS에서 트래픽을 다른 클러스터로 돌려야 했습니다.
복제 계수 3도 사본 3개를 항상 보장하지는 못했습니다. 쓰기 노드가 로컬에 저장한 뒤 진행하는 복제는 조용히 실패할 수 있었고, 이를 실시간으로 알아챌 수단이 없었습니다. 아티팩트가 노드 하나에만 남을 수 있다는 뜻입니다. 우버는 복제가 덜 된 아티팩트를 찾아 복사하고 실패를 알리는 cron 작업을 추가해 이런 공백을 메웠습니다.
하드웨어가 고장 나면 노드를 교체하고 데이터를 모두 옮겨야 했습니다. 저장소가 연결 볼륨이 아닌 로컬 디스크였기 때문입니다. 클러스터가 계속 서비스하는 동안 스크립트로 새 노드에 데이터를 채우면서, 디스크 I/O와 네트워크 대역폭, 노드 자원이 과부하되지 않도록 속도를 조절했습니다. 수백 테라바이트를 옮기는 데는 오랜 시간이 걸렸습니다. 전송 중 일부가 실패하면 재시도해야 했고, 데이터를 옮기는 일 자체가 불가능한 경우도 있었습니다. 그때 복제까지 끝나지 않았다면 데이터는 영구히 사라질 수 있었습니다.
업그레이드 역시 큰 작업이었습니다. 수 테라바이트 규모의 데이터베이스 스키마를 마이그레이션하고 노드 간 설정을 조율하는 과정에 수많은 수작업이 필요했습니다. 먼저 DNS를 전환해 클러스터의 트래픽을 비웠지만, 긴 마이그레이션은 데이터베이스와 디스크에 부담을 줬습니다. 롤백 선택지도 좁았습니다. 실패하면 클러스터가 불일치 상태에 빠지고, 최악에는 메타데이터와 아티팩트를 포함한 클러스터 전체를 잃을 수 있었습니다.
SaaS 선택 뒤 따라온 전송 비용
우버는 여러 대안을 검토한 끝에 관리형 SaaS를 택했습니다. 아티팩트 저장을 클라우드 네이티브 블롭 스토어로 옮겨 노드별 디스크 용량 제약과 로컬 디스크·노드 장애에 따른 위험에서 벗어나려는 선택이었습니다. 여러 클라우드 리전에서 서비스를 제공하므로 리전을 격리하고 고가용성을 확보할 수 있었습니다. 관리형 환경 사이의 아티팩트 복제는 비동기로 이뤄집니다.
업그레이드와 보안 패치, 유지보수도 제공사로 넘어갑니다. 기존 플랫폼을 깊이 아는 엔지니어가 직접 수행해야 했던 위험한 업그레이드와 노드 교체를 맡길 수 있다는 점이 채택 이유였습니다.
새로 감당할 비용은 다운로드에 있었습니다. 클라우드 밖으로 데이터를 내보낼 때 발생하는 egress 비용입니다. 우버는 매달 5페타바이트 넘는 아티팩트를 내려받으며, 빌드와 서비스가 늘수록 다운로드량도 커집니다. 같은 아티팩트를 반복해서 전송하는 비용을 줄이되, 아티팩트의 최종 기준은 계속 SaaS에 남겨 둬야 했습니다.
SaaS가 확인한 뒤에만 쓰는 캐시
우버는 SaaS 앞에 내부 프록시를 두었습니다. 파일을 보관하는 기능은 있지만, 동작의 기준은 요청마다 원본을 확인하는 ‘검증 계층’입니다. 모든 클라이언트 요청을 SaaS로 보내고, SaaS가 변경되지 않았다고 확인해 준 경우에 캐시의 아티팩트를 제공합니다. 캐시에 파일이 있다는 사실만으로 응답하지는 않습니다.
프록시는 MySQL에 아티팩트 URL과 체크섬, 마지막 수정 시각을 기록합니다. 이전에 본 아티팩트를 요청받으면 이 메타데이터를 바탕으로 If-None-Match와 If-Modified-Since 헤더를 붙여 SaaS에 조건부 요청을 보냅니다.
304 Not Modified가 돌아오면 아티팩트가 그대로라는 뜻입니다. 프록시는 내부 캐시에 저장한 바이트를 클라이언트에 내주고, SaaS에서 파일을 다시 내려받지 않습니다. 매번 원본에 확인하면서도 반복 전송을 줄이는 지점입니다.
200 OK가 돌아오면 새 아티팩트이거나 내용이 바뀐 경우입니다. 프록시는 받은 바이트를 곧바로 클라이언트에 스트리밍합니다. 캐시 갱신은 비동기로 처리하므로 클라이언트가 캐시 저장까지 기다리지는 않습니다. 어느 응답을 받든 최신 여부를 판단하는 기준은 SaaS에 있습니다. 캐시의 유효 시간이 남았는지로 판단하지 않습니다.
이 요구 때문에 NGINX 같은 범용 HTTP 캐싱 프록시를 그대로 쓰기 어려웠습니다. 우버가 검토한 TTL 기반 만료와 best-effort 제거 정책은 이 규모의 아티팩트 정확성 요건에 맞지 않았습니다. 요청별 검증과 강한 일관성, 장애 시 원본으로 직접 요청을 넘기는 패스스루까지 구현하려면 상당한 수정이 필요했습니다. 우버는 범용 프록시를 크게 고치는 대신 필요한 동작에 맞춰 검증 프록시를 직접 만들었습니다.
캐시 장애에도 빌드를 이어 가는 경로
프록시 역시 빌드의 임계 경로에 들어갑니다. 우버는 데이터센터 2곳에 프록시를 active-active로 배포하고, 각 데이터센터의 요청을 SaaS가 있는 가장 가까운 클라우드 리전으로 보내도록 고정했습니다. 가까운 리전을 사용해 지연을 낮추는 구성입니다. 프로세스나 호스트 하나의 장애는 로드밸런싱으로 처리하고, 우버 데이터센터나 SaaS 리전에 장애가 나면 GeoDNS가 다른 정상 데이터센터와 리전으로 트래픽을 넘깁니다.
캐시나 MySQL이 고장 났을 때는 원본으로 직접 갈 수 있습니다. 운영자가 수동으로 패스스루 모드를 켜면 프록시는 로컬 상태에 의존하지 않고 요청을 SaaS로 전달합니다. 지연과 egress 비용은 늘지만 빌드는 계속 동작합니다. 캐시의 고장을 빌드 중단으로 이어지지 않게 만든 경로입니다.
캐시 데이터가 오래됐거나 일관성이 없더라도 원본 확인을 생략하지 않습니다. SaaS가 현재 내용과 일치한다고 확인한 경우에만 캐시의 바이트를 씁니다. 다운로드한 데이터를 캐시에 넣을 때도 검증을 거칩니다. 스트리밍한 데이터를 검증한 뒤 캐시에 반영하고, 중간에 끊기거나 실패한 전송은 버려 불완전한 데이터가 캐시에 남지 않게 합니다.
리전 간 복제 지연까지 없어진 것은 아닙니다. 각 요청은 그 요청을 처리하는 SaaS 리전을 기준으로 검증합니다. 리전 사이에서 복제가 늦어지거나 빠진 아티팩트는 프록시의 관측 정보로 찾아내고 경보를 냅니다. 요청마다 원본에 확인하는 동작과 비동기 리전 복제는 이 구분 아래에서 함께 동작합니다.
99% 넘게 줄어든 SaaS 전송량
SaaS에서 나가는 egress는 99% 넘게 줄었습니다. 아티팩트 관련 egress 비용 전체는 90% 가까이 감소했습니다. 이제 비용 증가는 같은 바이너리를 반복해서 내려받는 횟수보다 새로 만들거나 갱신한 아티팩트에 주로 좌우됩니다.
검증 요청은 여전히 남습니다. 모든 요청이 SaaS까지 가지만, 바뀌지 않은 아티팩트라면 메타데이터 수준의 작은 검증만 거치고 실제 바이트는 내부 캐시에서 받습니다. 파일을 인터넷으로 다시 전송하지 않는 덕분에 종단 지연은 기존 온프레미스 구성과 비슷한 수준이었습니다.
프록시에서 모든 아티팩트 요청을 기준으로 측정한 전체 안정성은 99.99%였습니다. 요청 경로도 더 잘 보이게 됐습니다. SaaS로 가는 요청의 실패, 캐시 동작, 아티팩트를 실제로 제공한 경로를 모두 확인할 수 있어, 리전 간 복제 지연이나 공백을 찾기도 쉬워졌습니다.
큰 파일과 요청 폭주 앞의 캐시
실제 워크로드에서는 아직 줄일 수 있는 반복 전송이 드러났습니다. 일부 빌드 도구와 재시도 과정은 Range 요청으로 파일 일부만 내려받습니다. 206 응답을 캐시하지 않는 경우에는 큰 아티팩트를 통째로 다시 받는 일이 생길 수 있습니다. 캐시 계층에 Range 요청 지원을 추가하는 일이 다음 개선 대상입니다.
8GB가 넘는 아티팩트도 남아 있습니다. 개수로는 극소수지만 반복해서 접근하면 egress에서 차지하는 비중이 큽니다. 우버는 이런 대용량 객체에 맞춘 캐싱 방식을 탐색하고 있습니다. 전체 아티팩트에 같은 방식으로 캐시를 적용하는 데서 더 나아가려는 작업입니다.
빌드 트래픽이 정점에 달할 때는 인기 아티팩트로 요청이 한꺼번에 몰리는 thundering herd 조짐이 나타났습니다. 우버는 요청 병합(request coalescing)과 백프레셔 개선을 진행하고 있습니다. 공유 캐시 앞에 노드 로컬 핫 캐시를 두는 방안도 다음 단계에 포함됩니다. 초기 사용 패턴으로 보아 순간적인 요청 폭주를 흡수하고 꼬리 지연을 줄이는 데 도움이 될 수 있다고 봅니다. 이때도 아티팩트의 최종 기준은 SaaS입니다.
구성과 결과 수치
| 항목 | 값 |
|---|---|
| 기존 구성 | 데이터센터 2곳, 각 5노드 클러스터, 복제 계수 3 |
| 기존 저장 방식 | 노드 로컬 디스크 |
| 월간 다운로드량 | 5페타바이트 이상 |
| SaaS egress 감소 | 99% 넘게 |
| 아티팩트 관련 egress 비용 감소 | 90% 가까이 |
| 프록시 계층 전체 안정성 | 99.99% |
| 프록시 메타데이터 저장소 | MySQL (URL, 체크섬, 마지막 수정 시각) |
| 조건부 요청 헤더 | If-None-Match, If-Modified-Since |
| 대용량 객체 기준 | 8GB 초과 |