목차
15만 시크릿의 수명 주기를 맡은 우버의 멀티클라우드 플랫폼 (2025-05)
원문 정보
- 원문: Building Uber’s Multi-Cloud Secrets Management Platform to Enhance Security
- 매체 · 게시일: Uber Engineering Blog · 2025-05-15
- 저자: Matt Mathew(Principal Engineer), Ludi Li(Staff Engineer), Chen Xi(Staff Engineer), Yiting Fan(전 Security Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
15만 시크릿을 맡은 엔지니어 10명
우버가 지켜야 하는 시크릿은 15만 개가 넘습니다. 마이크로서비스 5,000개 이상과 데이터베이스 5,000개, 하루 50만 건이 넘는 분석 작업이 돌아가는 환경입니다. 외부 업체 연동도 400개 이상이고, SaaS 애플리케이션은 400개에 이릅니다.
보관 장소부터 제각각이었습니다. 팀마다 따로 운영하는 금고가 있었고, 코드와 설정에는 시크릿이 흩어져 있었습니다. 외부 업체와 값을 주고받는 방식도 안전하게 바꿔야 했습니다. 유출된 자격 증명이 공격의 주요 원인 가운데 하나인 만큼, 우버는 시크릿을 중앙에서 관리하고 대규모로 교체할 수 있는 체계를 만들기로 했습니다.
이를 맡은 플랫폼 팀은 엔지니어 10명입니다. 회사 전체의 참여가 필요했습니다. 사내 전문가들이 시크릿 관리 표준과 목표를 정했고, 팀은 현황 데이터로 문제를 드러내며 엔지니어링 리더십과 추진 방향을 논의했습니다. 여러 부서가 같은 문제를 풀도록 전사 기술 프로그램으로 추진한 일입니다.
한 팀의 관리 아래 모인 6개 금고
여러 클라우드에서 각 팀이 운영하던 금고 25개는 Secrets 팀이 관리하는 6개로 줄었습니다. 금고를 하나로 합치지는 않았습니다. 한 팀이 운영을 감당할 수 있는 수로 줄이되, 금고 하나에 보안이나 안정성 사고가 나더라도 피해를 한 배포 환경 안에 한정하려는 배치입니다.
관리 기준은 하나로 정했습니다. 모든 시크릿은 Secrets 팀이 운영하는 승인된 금고에 보관해야 합니다. 이 팀은 이미 온프레미스에서 HashiCorp Vault를 운영하고 있었지만, 클라우드에는 관리하는 금고가 없었습니다. 클라우드 업체별로 하나씩, 사내망에도 하나를 적절한 보안 통제와 함께 마련하고 다른 팀의 금고를 폐기하는 작업에 들어갔습니다. 자체 제작 금고와 데이터베이스에 저장된 시크릿도 승인된 금고로 옮겼습니다.
어려운 쪽은 이전이었습니다. 수백 명의 엔지니어가 만든 워크로드에 영향을 주는 작업이어서, 각 팀에 코드 수정을 요구하면 이전 범위만큼 부담이 커집니다. Secrets 팀은 Kubernetes External Secrets Operator 같은 연동을 구현해 다른 팀이 코드를 바꾸지 않고도 시크릿을 옮기도록 했습니다. 보안 기준을 한 팀이 관리하면서, 다른 팀은 금고 운영 부담을 덜게 됐습니다.
시크릿 접근 범위를 좁힌 Piper
금고를 통합하는 과정에서는 시크릿을 지나치게 넓게 배포하던 문제도 드러났습니다. 한 팀의 데이터 파이프라인에서 쓰려고 만든 시크릿에, 데이터 워크플로 오케스트레이션 시스템 Piper가 띄우는 모든 파이프라인이 접근할 수 있었습니다. 다른 데이터 플랫폼 구성 요소와 CI/CD 인프라 Buildkite에도 비슷한 패턴이 있었습니다.
어느 파이프라인이 실제로 값을 쓰는지부터 확인했습니다. 파이프라인이 띄운 컨테이너 안에서 시크릿 접근을 모니터링해 사용 관계를 파악하고, 필요한 파이프라인에만 전달하도록 배포 범위를 좁혔습니다. 시뮬레이션을 거쳐 기능을 적용한 결과, 워크로드에 배포되는 시크릿이 최대 90% 줄었습니다.
시크릿이 든 커밋을 막는 Git 훅
유출을 막는 가장 이른 지점은 개발자의 커밋 직전입니다. 우버는 Git pre-commit 훅으로 실행되는 CLI를 만들어 시크릿이 포함된 커밋을 차단했습니다. 값이 저장소에 도착하기 전에 막으면, 유출된 시크릿을 폐기하고 교체해야 하는 사고 대응도 줄어듭니다.
이미 노출된 값은 따로 찾아야 합니다. 풀 리퀘스트, 푸시된 커밋, Slack 대화, 빌드 시스템 로그는 변경이나 이벤트가 생기는 즉시 검사합니다. 저장소와 파일시스템, 컨테이너 이미지는 정기적으로 훑어 남아 있는 시크릿을 찾습니다. 새 변경을 감시하는 검사와 기존 내용을 다시 살피는 검사를 함께 운영하는 방식입니다.
발견만으로 처리가 끝나지는 않습니다. 자동화 시스템이 소유자를 찾아 우선순위가 붙은 티켓을 만들고, 소유자가 시크릿을 폐기한 뒤 노출된 곳에서도 값을 지워야 티켓이 닫힙니다. 검사 대상은 계속 늘리고 있습니다. 개발자가 코드에 시크릿으로 의심되는 값을 넣는 순간 IDE에서 경고하는 보안 코파일럿도 개발 중입니다.
우선순위의 근거가 된 시크릿 인벤토리
금고를 한 팀이 맡으면서 여러 금고에 공통으로 적용할 관리 계층을 만들 수 있게 됐습니다. 직원에게는 웹 UI·API·CLI를 제공하고, 그 아래에서 클라우드별 시크릿 매니저와 HashiCorp Vault의 CRUD를 처리합니다. 접근 제어와 교체 정책도 공통으로 적용합니다. 보안 사고가 났을 때는 전체 시크릿 인벤토리를 확보할 수 있어야 했습니다.
이 플랫폼의 토대는 메타데이터입니다. 시크릿 제공자는 값을 만들고 보호 대상 리소스에 설치하는 시스템이고, 배포 플랫폼은 그 값을 워크로드에 전달하는 시스템입니다. 여기에 시크릿의 중요도와 유출 시 피해를 나타내는 영향 수준을 기록합니다. 무엇을 보호하는 값인지, 누가 발급하고 어디서 배포하는지를 알아야 관리와 자동화를 이어 갈 수 있습니다.
처음부터 정보가 모두 갖춰져 있지는 않았습니다. 보호 대상 리소스를 보고 영향 수준을 추정하는 식으로 빠진 메타데이터를 채웠고, 그래도 남은 빈칸은 소유 팀의 도움을 받았습니다. 이 인벤토리를 바탕으로 교체·삭제·폐기 워크플로, 접근 관리, 외부 업체와 SaaS 연동을 구축했습니다. Secrets Insights Dashboard에서는 거버넌스 지표와 기능 도입 현황을 확인합니다.
인벤토리는 작업 순서를 정하는 근거이기도 합니다. 팀은 시크릿이 보호하는 리소스의 위험도와 자동화하지 않았을 때의 수작업량을 살펴 위험과 ROI를 따졌습니다. 자동 교체를 클라우드 자격 증명부터 시작한 이유도 여기에 있습니다. 중요한 리소스를 지키는 값인 데다 클라우드 사용이 늘고 있었습니다. 클라우드와 외부 업체의 시크릿은 외부 시스템 인증에 쓰이므로 더 엄격한 통제 대상으로 삼았습니다.
이런 연동은 Secrets 팀만으로 만들지 않았습니다. 서비스 배포, 클라우드 인프라, 데이터·스토리지 플랫폼 팀이 설계에 참여했습니다. 각 플랫폼을 맡은 팀과 협업하며 공통 관리 체계를 실제 워크로드까지 연결했습니다.
발급과 배포의 순서를 맞추는 Cadence
자동 교체에서 어려운 점은 시크릿마다 교체 조건이 다르다는 것입니다. 클라우드 자격 증명, OAuth 키, 데이터베이스 사용자 이름과 비밀번호, SaaS 시크릿 등 유형만 수백 가지입니다. API로 만들고 지울 수 있는 값도 있지만 그렇지 않은 값도 있습니다. 유효한 비밀번호를 하나만 허용하는 시스템에서는 교체가 서비스 중단으로 이어집니다. 우버는 이런 경우 사용자 이름과 비밀번호를 한 쌍의 시크릿으로 취급하고 새 쌍을 원자적으로 만드는 방식 같은 우회책을 검토해야 했습니다.
새 값을 워크로드에 전달하는 경로도 여러 갈래입니다. 무상태 워크로드에는 Up과 Kubernetes, 상태 저장·스토리지 워크로드에는 Odin을 씁니다. Apache Flink 스트림 작업을 위한 Athena, 배치 분석을 위한 YARN, Piper와 DSW도 있습니다. 글이 쓰인 당시 Kubernetes로의 이전은 진행 중이었습니다.
우버는 이 배포 플랫폼들과 연동해 컨테이너가 시작될 때 시크릿을 전달합니다. 워크로드 로직에서 시크릿 처리 코드를 분리하는 방식입니다. 덕분에 Secrets 스택과 워크로드는 각각 독립적으로 확장할 수 있습니다.
교체 절차는 제공자와 배포 플랫폼의 API로 연결했습니다. 시크릿 제공자 API의 Generate는 새 버전을 만들고, Revoke는 시크릿을 비활성화하며, Rollback은 이전 버전을 다시 활성화합니다. 배포 플랫폼 API에는 워크로드의 시크릿 롤아웃을 알리는 기능과 실행 전에 값을 가져오는 Secrets Fetch가 있습니다. Cadence 워크플로로 만든 Secret Lifecycle Manager가 상태를 관리하면서 이 API들을 순서에 맞게 호출합니다.
위험도와 수작업량을 기준으로 시크릿 유형과 배포 플랫폼의 연동 범위를 하나씩 넓혀 갔고, 이 시스템은 월평균 2만 개를 사람 손 없이 교체했습니다. 다른 보안 조치로 유출을 막지 못하더라도 대규모로 교체할 수 있도록 준비한 것입니다.
접근 모니터링에서는 더 이상 쓰이지 않는 값도 발견했습니다. 소유자도 사용 흔적도 없는 고아 시크릿입니다. Secret Lifecycle Manager에 소유권, 보호 대상 리소스의 존재 여부, 값을 사용하는 워크로드를 확인하는 절차를 추가해 안전하게 폐기하도록 했습니다.
업체에서 내부 금고로 바로 전달하는 SSX
외부 업체의 시크릿은 우버 직원에게 값을 노출하지 않고 받아야 했습니다. 받은 값을 서비스에 안전하게 배포하는 절차도 필요했습니다. 고객 데이터와 결제 정보를 다루는 부서는 이 문제를 해결하려는 의지가 특히 강했고, 설계 협업에서 SSX(Secure Secret eXchange)가 나왔습니다.
교환을 시작하는 일은 직원이 맡습니다. 업체 담당자의 이메일 주소와 해당 업체 API를 호출하는 우버 내부 서비스 이름을 입력합니다. 그러면 SSX가 업체 이메일로 일회용 암호(OTP)를 보내 상대를 확인하고, 업체 담당자는 SSX UI에 시크릿을 직접 입력합니다. 값은 우버 직원을 거치지 않고 내부 금고로 전달됩니다.
금고에서 서비스까지의 마지막 구간도 배포 플랫폼과 연결했습니다. 새 시크릿을 배포하기 전에 미리 정해 둔 점검 테스트를 자동으로 실행하는 방식, 새 값 때문에 연동이 깨지면 이전 값으로 되돌아가는 방식을 제공합니다. 서비스 소유자는 둘 중 원하는 방식을 선택합니다. SSX로 교환한 시크릿은 수백 개입니다.
시크릿 없는 클라우드 인증을 위한 SPIRE
모든 시크릿의 자동 교체까지 완성하기는 현실적으로 어렵습니다. 유형이 다양하고 수백 곳의 제공자와 연동해야 하는 부담이 크기 때문입니다. 우버는 이 한계를 보고 시크릿이 필요 없는 인증과 다른 인증 방식으로 방향을 돌리고 있습니다.
우버가 플랫폼을 만드는 동안 CyberArk와 Akeyless도 비슷한 원칙의 멀티클라우드 시크릿 관리 제품을 내놓았습니다. 2024 Gartner 리포트가 짚은 업계 방향은 시크릿 없는 아키텍처와 워크로드 ID에 연결된 시크릿 관리입니다. 우버도 SPIRE를 이용한 워크로드 ID 연합으로 클라우드 연동 같은 영역에서 시크릿 자체를 없애고 있습니다.
자동 교체의 안전성을 높이는 작업도 남아 있습니다. 교체 자동화가 실패하면 서비스 안정성을 해칠 수 있어, 시크릿 변경을 코드 변경의 배포처럼 다루도록 배포 플랫폼 연동을 개선하고 있습니다. 사내 SaaS 앱 관리 절차와 플랫폼을 연결하고 SaaS 시크릿 교체를 지원하는 작업도 진행 중입니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 운영 규모 | 마이크로서비스 5,000개 이상, 데이터베이스 5,000개, 일 50만 건 이상 분석 작업 |
| 시크릿 수 | 15만 개 이상 |
| 외부 업체 연동 / SaaS 앱 | 400개 이상 / 400개 |
| 금고 통합 | 25개에서 6개로 |
| 파이프라인 시크릿 배포 범위 축소 | 최대 90% 감소 |
| 자동 교체 | 월평균 2만 개 |
| SSX 교환 실적 | 수백 개 |
| 플랫폼 팀 규모 | 엔지니어 10명 |