본문으로 건너뛰기
4,500개 서비스의 신원을 책임지는 SPIFFE/SPIRE
목차

4,500개 서비스의 신원을 책임지는 SPIFFE/SPIRE (2023-11)

원문 정보

  • 원문: Our Journey Adopting SPIFFE/SPIRE at Scale
  • 매체 · 게시일: Uber Engineering Blog · 2023-11-09
  • 저자: Andrew Moore(Staff Software Engineer, Platform Authentication 팀 리드, SPIFFE Steering Committee 위원), Zachary Train(Senior Software Engineer, Platform Authentication 팀), Kirutthika Raja(Engineering Manager, Platform Authentication 팀), Ryan Turner(Staff Software Engineer, SPIRE 프로젝트 메인테이너), Kurtis Nusbaum(Senior Staff Engineer, Uber Infrastructure 팀), Prasad Borole(Staff Software Engineer, AI Security 팀), Hasibul Haque(Data and Platform Security 팀 매니저)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

사설망 안에서도 증명해야 할 신원

우버는 클라우드 네 곳의 수십만 대 호스트에서 4,500개 서비스를 운영합니다. 이 규모에서 모든 신원을 모든 호스트에 등록하는 방식은 쓸 수 없었습니다. 호스트 하나가 침해됐다고 전체 신원이 노출돼서는 안 되고, 모든 호스트에 설치할 에이전트의 자원 사용량도 작아야 했습니다. 필요한 신원을 필요한 곳에만 제공하는 문제가 SPIFFE/SPIRE 도입의 출발점입니다.

방화벽과 VPN으로 네트워크 가장자리를 지키는 것만으로는 부족했습니다. 기존 경계 보안은 사설망 안의 트래픽을 믿을 만한 출처에서 왔다고 간주하지만, 여러 침해 사고가 그 가정의 한계를 드러냈습니다. 제로 트러스트는 망 안에도 위협 행위자가 있다고 전제합니다. 어느 IP 주소에서 왔는지에 기대지 않고, 서비스마다 명시적으로 인증하는 방식입니다.

IP 주소는 워크로드를 식별하는 데도 한계가 생겼습니다. 마이크로서비스와 컨테이너, Kubernetes, 클라우드로 옮겨가며 워크로드의 수명은 짧아졌고, 중앙 배포 플랫폼이 인프라를 추상화하면서 개발자가 실행 위치를 정하지 못하는 경우도 많아졌습니다. 클라우드 사업자별 신원은 서로 호환되지 않습니다. GCP, OCI, AWS와 온프레미스를 함께 쓰는 우버에는 특정 사업자의 신원 솔루션도 선택지가 아니었습니다.

신원을 제공하는 시스템 자체의 의존성도 줄여야 했습니다. 우버의 Crane 인프라 원칙은 새 존을 완전히 자동으로 프로비저닝하는 것입니다. 그런데 신원 시스템이 DNS에 의존하고 DNS 역시 자기 신원을 받아야 한다면 순환 의존이 생깁니다. 신원 컨트롤 플레인은 이런 하위 시스템에 대한 의존을 최소화해야 했습니다. 데이터센터와 플랫폼 구성이 바뀌어도 적은 가정만으로 강한 암호학적 검증과 좁은 범위의 접근을 유지하려는 설계입니다.

사전 인증 없이 호출자를 알아보는 Workload API

SPIFFE(Secure Production Identity Framework For Everyone)는 워크로드 신원을 표현하고 전달하고 검증하는 방법을 정한 개방형 명세 묶음입니다.

  • SPIFFE ID — 워크로드 신원을 나타내는 표준 식별자
  • SVID — 신원을 암호학적으로 검증할 수 있는 X.509 인증서 또는 JWT
  • Workload Endpoint와 Workload API — 워크로드가 SVID를 받는 방법
  • Trust Domain, Bundle, Federation — SVID 검증에 필요한 공개 서명 키의 표현과 교환

SPIRE(SPIFFE Runtime Environment)는 이 명세를 구현한 오픈소스 소프트웨어입니다. 서버가 워크로드 등록을 관리하고 SVID에 서명하면, 에이전트는 서버와 자주 동기화해 자신이 제공할 SVID를 가져옵니다. X.509 인증서는 자동으로 교체하고, 갱신된 인증서를 오래 유지하는 스트림으로 워크로드에 전달합니다.

등록 서비스는 SPIFFE ID와 함께 워크로드를 알아볼 런타임 속성, 그 신원을 제공할 호스트를 지정합니다. Kubernetes 파드 정보, Unix user ID, 컨테이너 레이블 등이 식별에 쓰이는 속성입니다. 신원의 이름만 등록하는 것으로는 부족합니다. 어떤 프로세스에 어느 호스트에서 그 신원을 줄 것인지까지 정해야 합니다.

워크로드는 사전 인증 없이 에이전트의 Workload API를 호출합니다. 호출자를 알아내는 근거는 kubelet, Linux 커널, 컨테이너 런타임처럼 신뢰하는 출처의 메타데이터입니다. 에이전트의 attestor 플러그인이 이 정보를 selector로 바꾸고 서버에서 받은 등록 정보와 비교합니다. 일치하는 SVID를 호출자에게 건네는 이 과정이 워크로드 증명(attestation)입니다.

우버는 2018년 중반부터 커뮤니티와 함께 SPIRE의 운영 준비와 확장성을 개선해 왔습니다. 적용 대상은 무상태 서비스부터 상태 저장 스토리지, 배치·스트리밍 작업, CI 작업, 워크플로 실행, 인프라 서비스까지 이어집니다.

공통 개발 환경에 맞춰 만든 Auth 라이브러리

개발자에게 요구한 것은 import와 최소한의 일회성 설정이었습니다. Go와 Java용 Auth 라이브러리가 spire-agent에서 SVID와 갱신을 구독합니다. RPC 미들웨어는 아웃바운드 요청에 토큰이나 TLS로 신원을 전달하고, 인바운드 요청에서는 서명된 토큰을 인증한 뒤 워크로드의 접근 정책에 따라 인가를 처리합니다.

이 부담을 작게 만드는 일이 도입의 조건이었습니다. 우버에는 컴퓨트, 스토리지, 데이터 처리마다 다른 스케줄러가 있고, 수천 개 서비스의 생애 주기와 중요도도 제각각입니다. 팀의 자율성을 바탕으로 서비스가 분산적으로 늘어나는 환경에서, 개발자마다 인증과 인가를 직접 구현하게 하는 부담을 줄이려 했습니다.

별도 바이너리 대신 라이브러리를 택한 데는 이미 갖춘 개발 환경이 영향을 줬습니다. Go와 Java 모노레포에는 CI/CD가 있고, 공통 RPC 프레임워크 덕분에 미들웨어도 재사용할 수 있었습니다. 라이브러리를 수정하면 여러 단계의 테스트에서 바로 피드백을 받습니다. 변경을 머지한 뒤에는 대부분의 운영 워크로드에 새 버전이 짧은 기간 안에 자동으로 배포됩니다.

온보딩을 더 줄이는 작업은 남아 있었습니다. 버튼 한 번으로 온보딩 커밋을 생성하고 실제 트래픽을 바탕으로 인가 정책을 추천하는 기능은 당시 후속 작업으로 제시했습니다.

신원이 필요한 호스트를 묶는 노드 별칭

개발자가 라이브러리를 연결해도, SPIRE가 워크로드를 정확히 구분하지 못하면 신원을 줄 수 없습니다. 식별자가 겹치면 정확성과 가용성이 떨어지고 관리 부담도 늘어납니다. 우버는 운영 워크로드를 반드시 컨테이너로 실행하므로 컨테이너 기반 증명을 주로 사용했습니다. SPIRE로 증명한 워크로드 런처를 신뢰하고, 런처가 일관되게 붙이는 컨테이너 레이블의 서비스 이름·환경·실행 플랫폼으로 서비스 컨테이너를 유일하게 구분합니다.

그 신원을 어디에 제공할지는 호스트 그룹으로 정했습니다. 초기 전략은 노드 별칭(node alias)을 논리적 호스트 그룹에 연결하는 방식입니다. 신원 전파 지연을 줄이면서 증명 가능한 워크로드를 최대한 늘리려는 선택이었습니다. 호스트 이름은 다른 그룹으로 재배정되기도 하고, 호스트가 플릿에서 빠진 뒤 재사용되기도 합니다.

에이전트가 노드 증명을 받을 때 노드 항목에 호스트 이름 기반 selector를 추가합니다. 이 selector에 호스트 그룹의 SPIFFE ID를 연결하고, 워크로드 등록에는 그 그룹의 SPIFFE ID를 부모 ID로 지정합니다. 호스트가 그룹을 옮기면 인가된 워크로드 항목도 달라집니다. 호스트의 그룹 소속에 따라 제공할 신원 범위를 정하는 방식입니다.

모든 호스트에 필요한 워크로드도 있습니다. 증명 대상 대부분은 컨테이너지만 인프라를 지원하는 일부 Unix 프로세스도 포함되며, 각 호스트에는 Unix 증명을 받는 워크로드가 최소 하나는 있어야 합니다. 전체 호스트를 가리키는 별칭도 마련했습니다. 모든 노드 항목에 사용자 지정 정적 selector를 붙이고 이를 “all-hosts” 노드 별칭에 연결합니다.

등록을 실제로 유지하는 역할은 SPIRE bridge가 맡습니다. 우버에는 노드 메타데이터를 관리하는 단일 기준 시스템이 있고, 노드 별칭도 이 데이터를 사용합니다. bridge는 여러 스케줄러의 동작 차이를 처리하면서 이 메타데이터와 등록 상태를 동기화합니다. 어떤 스케줄러는 워크로드를 스케줄할 때 알림을 보내지만, 다른 스케줄러는 bridge가 폴링해야 합니다.

알림을 보내는 스케줄러도 폴링에서 제외하지 않았습니다. 낮은 빈도로 현재 등록 상태와 대조해 놓치거나 중복으로 받은 이벤트를 바로잡습니다. 푸시 알림만으로 등록 상태를 유지하지 않은 이유입니다.

규모의 부담을 줄여 간 SPIRE

호스트 그룹에 신원을 등록하는 방식에는 메모리 부담이 따랐습니다. 우버의 호스트 카탈로그는 컴퓨트 클러스터나 인프라 컨트롤 플레인처럼 용도별로 호스트를 묶고, 신원도 그룹 전체에 등록하는 경우가 많습니다. 에이전트는 자신이 관리하는 SVID를 모두 캐시했습니다. 그룹에 등록하는 신원이 늘면 호스트마다 수천 개의 SVID를 저장해야 할 수 있었습니다.

우버는 에이전트의 SVID 저장에 LRU 캐시를 도입했습니다. 호스트 그룹에 신원을 계속 제공하면서도 각 호스트의 메모리 사용량을 예측 가능하게 만들려는 개선입니다. 결과적으로 호스트 그룹에 등록할 수 있는 워크로드가 약 2.5배로 늘었습니다. 서버로 보내는 서명 요청도 줄어 SPIRE 서버의 CPU 사용량은 40% 감소했습니다.

읽기 요청이 모이던 MySQL 프라이머리

서버의 읽기 부하를 분산하는 작업은 우버가 초기에 업스트림에 기여한 개선입니다. 기존 SPIRE DB 플러그인은 연결 하나로 모든 작업을 MySQL 프라이머리에 보냈습니다. 읽기 비중이 큰 작업도 같은 노드를 사용했습니다.

추가 연결로 읽기 복제본을 사용할 수 있게 바꾸면서, 읽기 부하를 여러 복제본에 나눴습니다. 쓰기와 보안에 민감한 읽기는 프라이머리에 남겼습니다. 모든 읽기를 일괄적으로 복제본으로 옮기는 설계는 아닙니다.

시험에는 프라이머리 하나와 읽기 복제본 둘로 구성한 MySQL 클러스터를 사용했습니다. ListRegistrationEntries와 GetNodeSelectors 같은 읽기 중심 작업을 복제본으로 옮겨 부하가 분산되는 것을 확인했습니다. 서버의 읽기 복제본 지원은 우버가 SPIRE 커뮤니티에 기여한 개선입니다.

호스트 한 대의 고장까지 살피는 SPIRE 에이전트

25만 대가 넘는 노드에서는 에이전트 배포도 다른 인프라 운영과 맞물립니다. 우버의 모든 머신은 기본 소프트웨어가 동일한 불변의 골든 OS 이미지를 사용하고, SPIRE 에이전트도 이 이미지에 포함됩니다. 이미지가 정기적으로 점진 배포되므로 에이전트 업그레이드는 다른 팀과 조율해야 합니다.

에이전트는 Unix 프로세스로 실행합니다. cgroup으로 CPU와 메모리를 제한하되, 자원 사용량을 줄이는 목표와 에이전트의 정상 동작 사이에서 제한값을 조정했습니다. 플릿 전체에서 실행하는 프로세스인 만큼 호스트마다 생기는 부담을 작게 유지해야 했습니다.

이미지는 같아도 노드에 필요한 설정까지 같지는 않습니다. 골든 이미지에 configuration-generator 바이너리를 함께 넣은 이유입니다. 에이전트를 시작할 때마다 이 바이너리가 노드 메타데이터를 모아 설정 파일을 쓰므로 재시작 때도 설정을 갱신합니다.

실패와 회복을 함께 기록하는 헬스 트렌드

관측에서는 개별 호스트의 고장을 찾아내면서 온콜에게 불필요한 경보를 보내지 않아야 했습니다. 우버는 인프라 팀이 운영하는 호스트 헬스 모니터링 시스템에 SPIRE를 연결했습니다. 플릿 전체의 호스트 관리 에이전트가 로컬 Unix 도메인 소켓으로 Workload API를 호출해 10초마다 SVID를 받아 보고 메트릭을 기록합니다.

성공과 실패 횟수만 세어서는 부족했습니다. load average가 높거나 호스트가 운영에 들어오고 나가는 과정에서도 오탐이 생겼습니다. 잠깐 부하가 높아졌다가 스스로 회복하는 에이전트까지 고장으로 판단하면 자동 복구에 쓰기 어려운 신호입니다.

그래서 실패와 회복의 흐름을 나타내는 헬스 트렌드 게이지를 만들었습니다. 실패하면 정해 둔 최댓값까지 값을 올리고, 성공하면 내립니다. 경보 임계값은 0과 최댓값의 중간쯤에 뒀습니다. 부하 급증 뒤 저절로 회복하는 에이전트는 대체로 경보에서 제외하면서, 합리적인 시간 안에 신뢰할 만한 상태 신호를 얻었습니다.

이 게이지를 불량 호스트 감지 프레임워크에 연결한 뒤에도 먼저 미리보기 모드로 운영했습니다. 결과를 보며 신뢰를 쌓고 임계값을 조정한 다음 무상태 호스트의 자동 재부팅을 켰습니다. 상태 저장 호스트에는 같은 조치를 적용하지 않았습니다. 로컬에 대량의 데이터를 보관해 생애 주기가 다르므로, 불량 호스트로 표시한 뒤 상태 저장 호스트용 복구 파이프라인에 넘깁니다. 긴 운영 개선 끝에 무상태 호스트는 완전 자동, 상태 저장 호스트는 부분 자동 복구에 도달했습니다.

자동 복구 밖의 관측도 유지합니다. 모든 호스트의 헬스 트렌드 게이지를 그래프로 보고, 에이전트 메트릭과 자원 사용량에도 별도 경보를 둡니다. 자동 복구에 사용한 신호 외에도 호스트 상태를 살필 수 있도록 여러 겹으로 관측하는 방식입니다.

우버 팀은 후속 글에서 시크릿 프로그램과 서비스 메시를 다루겠다고 예고했습니다. SPIFFE 슬랙 커뮤니티(slack.spiffe.io)에서 경험을 나누자는 초대도 남겼습니다.

원문에 나온 규모와 개선 수치
항목값
서비스 수4,500개, 수십만 대 호스트, 클라우드 네 곳
에이전트 대상 노드25만 대 이상
SPIRE 지원 환경GCP, OCI, AWS, 온프레미스
SPIRE 참여 시점2018년 중반
헬스 체크 주기10초마다 SVID 조회
무상태 호스트 복구완전 자동(자동 재부팅)
상태 저장 호스트 복구부분 자동(복구 파이프라인으로 전달)
읽기 복제본 시험 구성MySQL 3대, 프라이머리 1 + 읽기 복제본 2
LRU 캐시 효과호스트 그룹당 등록 워크로드 약 2.5배, SPIRE 서버 CPU 40% 감소
마지막 수정 일자