목차
AWS 역할만 가진 Spark를 위한 Netflix의 신원 증명 (2026-09)
원문 정보
- 원문: Trading a Cloud Identity for Your Own: Workload Attestation on Managed Compute
- 매체 · 게시일: Netflix TechBlog · 2026-09-25
- 저자: Dhruv Pratap
- 원문 내용을 바탕으로 재구성한 요약입니다.
사내 신원 없이 출발한 Amazon EMR의 Spark
Amazon EMR에서 시작한 Apache Spark 작업에는 AWS 실행 역할이 있습니다. 사내 서비스에 쓸 신원은 없습니다. 암호화된 컬럼을 읽거나 테이블 ACL을 평가할 때, 수명이 짧은 토큰보다 오래 이어지는 대화형 세션을 유지할 때는 Netflix의 사내 신원이 필요합니다. 클라우드 신원을 사내 신원으로 교환하는 절차 자체보다, 그 교환을 믿을 만하게 만드는 일이 설계의 과제였습니다.
오래 운영한 회사에는 대개 신원 체계가 나란히 존재합니다. IAM 역할·인스턴스 프로파일·실행 역할을 제공하는 클라우드 체계와, 내부 서비스가 요청에 응답할지 판단할 때 확인하는 사내 체계입니다. 직접 구축한 인프라에서는 사내 신원을 부여하는 절차를 자유롭게 마련할 수 있지만, 관리형 컴퓨트가 프로세스에 주는 것은 클라우드 신원뿐입니다.
Netflix의 사내 서비스 간 인증은 사설 PKI인 Metatron을 기반으로 합니다. 워크로드마다 수명이 짧은 X.509 인증서를 받고, 서비스끼리는 mTLS로 인증합니다. 요청만으로 인증서가 나오지는 않습니다. 신원 서비스가 요청자가 주장하는 신원이 맞는지 확인하는 과정이 신원 증명(attestation)입니다. VM·컨테이너·함수 등 지원하는 환경마다 플랫폼이 직접 검사할 수 있는 증거를 사용합니다.
Data Project마다 하나씩 정한 IAM 역할
Spark 작업에 부여할 사내 신원은 Data Project의 신원입니다. Data Project는 데이터 소유의 단위로, 테이블과 접근을 허가받은 사용자 집합, 자체 신원을 갖습니다. 작업을 실행한 사람의 개인 신원 대신 Data Project 신원을 사용하므로, 예약 실행과 대화형 사용에서도 테이블 접근 제어와 감사 기준을 일관되게 유지합니다.
이 신원을 AWS 역할과 연결하는 결정은 Spark 바깥에서 이뤄졌습니다. Data Project 신원마다 전용 IAM 역할 하나를 1:1로 대응시키고, Data Project 메타데이터를 관리하는 서비스가 그 매핑의 기준을 맡습니다. 그래야 제공자가 확인한 “이 프로세스는 역할 R로 돈다”를 사내 체계의 “이 프로세스는 워크로드 W다”로 바꿀 수 있습니다. 매핑이 없으면 아무리 정교한 암호학적 증거를 가져와도 번역할 대상이 없습니다. 신원 체계를 연결할 때 어려운 일은 대개 프로토콜보다 이 대응 관계를 확정하고 신뢰할 기준으로 유지하는 쪽입니다.
여기에는 규모 문제가 따릅니다. Netflix가 예상한 Data Project는 수만 개 단위인데, AWS 계정 하나에는 IAM 역할을 수만 개 둘 수 없습니다. 그래서 Data Project 역할에 결정적 샤딩을 적용해 소수의 전용 계정에 나눠 배치했습니다. 예상 규모를 넉넉히 수용하면서, 워크로드 역할과 작업을 띄우는 컨트롤 플레인을 AWS 계정 경계로 분리하는 효과도 얻었습니다.
AWS STS의 답변에 없는 애플리케이션 신원
역할을 확인하는 것만으로는 설명이 끝나지 않습니다. AWS의 답변은 위조할 수 없지만, 그 역할로 실행 중인 프로세스가 왜 존재하는지는 알려 주지 않습니다. 애플리케이션 신원을 역할 이름에서 뽑아내려 하면 취약한 문자열 매칭에 기대게 되고, 플랫폼이 붙이는 세션 식별자도 Netflix가 통제하지 못합니다.
Netflix는 애플리케이션 신원을 컨트롤 플레인이 서명한 메타데이터에서 가져오기로 했습니다. 여기에는 어느 신원으로 작업을 띄웠는지가 명시됩니다. 하지만 구체적인 설명이 있다고 해서 현재 요청자까지 검증되는 것은 아닙니다. 메타데이터는 작업 설정으로 전달되고, 그 설정은 Netflix가 완전히 통제하지 못하는 인프라를 지나갑니다. 읽을 수 있는 누구나 복사해 다시 제출할 수 있습니다.
그래서 제공자의 답변과 플랫폼의 주장을 대조합니다. 컨트롤 플레인의 서명은 정당하게 제출된 워크로드라는 근거가 되고, AWS가 확인한 역할은 그 주장에 해당하는 클라우드 자격 증명을 실제로 보유했다는 근거가 됩니다. 내용이 부족한 제공자의 답변과 재사용될 수 있는 플랫폼의 주장이 서로를 보완하는 방식입니다. 가장 신뢰하기 어려운 위치에 있는 워크로드에게 스스로를 보증하라고 요구하지 않습니다.
작업 설정에 담긴 컨트롤 플레인의 서명
컨트롤 플레인은 Spark 작업을 띄울 수 있는 유일한 서비스입니다. 작업 제출 요청을 받으면 호출자를 검증하고, Data Project 서비스에서 해당 신원에 대응하는 IAM 역할을 찾습니다. 이어 애플리케이션 신원과 역할, 발급할 자격 증명의 범위를 정하는 환경·스택·세부 값을 작은 페이로드에 담습니다.
서명에는 이 용도로만 발급된 키를 사용합니다. 컨트롤 플레인은 페이로드와 서명을 일반 작업 설정에 넣고, 조회한 IAM 역할을 실행 역할로 지정해 작업을 제출합니다. 유효한 서명을 만들 수 있는 서비스가 하나뿐이므로, 플랫폼을 대신해 정당한 워크로드라고 주장할 수 있는 주체도 명확하고 감사하기 쉽습니다.
여기까지 만든 것은 서명된 주장입니다. 이 설정을 가져온 프로세스가 해당 역할의 자격 증명도 갖고 있는지는 아직 확인하지 않았습니다. 그 확인을 AWS STS에 맡깁니다.
AWS STS를 공증인으로 쓰는 Spark 플러그인
관리형 컴퓨트에서는 호스트나 init을 거의 통제하지 못해도, 플러그인·에이전트·엔트리포인트처럼 런타임에 개입할 지점은 대개 남아 있습니다. Netflix가 선택한 지점은 Spark 플러그인입니다. Spark 3.0 이상의 플러그인 인터페이스는 프로세스 부트스트랩 중에 드라이버와 실행기 쪽 컴포넌트를 초기화합니다.
관리형 서비스가 띄운 드라이버는 실행 역할의 자격 증명을 사용할 수 있는 OS 사용자로 실행됩니다. 드라이버 쪽 플러그인은 이 자격 증명으로 sts:GetCallerIdentity 요청에 서명하되, 요청을 보내지는 않습니다. 결과물은 수명이 짧은 사전 서명 URL입니다.
이 URL은 다른 주체에게 건넬 수 있는 보유 증명입니다. 누구나 호출할 수 있지만, 서명하려면 해당 역할의 자격 증명이 있어야 합니다. 호출 결과에는 어떤 역할이 서명했는지가 들어가며, 그 답을 쓰는 주체는 AWS입니다. 워크로드가 자신의 역할을 임의로 적어 응답할 여지가 없습니다. AWS STS가 평소와 다른 공증인 역할을 맡는 지점입니다.
플러그인은 사전 서명 URL과 서명된 메타데이터를 한 증명 요청에 담아 신원 서비스로 보냅니다. 신원 서비스는 URL을 STS에 호출해 역할을 확인하고, 컨트롤 플레인의 키로 메타데이터 서명을 검증합니다. 이어 AWS가 알려 준 역할이 컨트롤 플레인이 해당 신원으로 작업을 띄울 때 지정한 역할과 일치하는지 대조합니다. 검증을 통과하면 메타데이터에 명시된 애플리케이션 신원으로, 환경·스택·세부 값의 범위에 맞춰 인증서를 발급합니다.
애플리케이션 신원은 서명된 메타데이터에서 얻고, 제공자의 답변은 그 주장을 대조하는 데만 씁니다. 네트워크 왕복이 한 번 늘고 서명 요건도 엄격해지지만, 무엇을 근거로 누구를 신뢰하는지는 훨씬 분명해집니다. 워크로드·컨트롤 플레인·제공자 어느 한쪽의 주장만으로는 신원이 발급되지 않습니다.
사전 서명 URL을 보유 증명으로 쓰는 발상은 HashiCorp Vault의 AWS IAM 인증, AWS 자체의 함수 증명 흐름과도 같습니다. Spark나 EMR에만 묶인 방법은 아닙니다. 프로세스에 클라우드 자격 증명만 주는 다른 환경에도 적용할 수 있습니다.
실행기에 자격 증명을 나눠 주는 드라이버
Netflix는 실행기마다 증명을 반복하는 대신, 드라이버가 한 번 증명하고 실행기에 자격 증명을 배포하는 방식을 택했습니다. 규모를 고려한 선택입니다. Spark 애플리케이션은 드라이버 하나와 최대 수천 개의 실행기로 이뤄지며, 실행기는 작업 도중 계속 생겼다 사라집니다. 호스트당 프로세스 하나를 전제로 한 증명을 그대로 적용하기에는 요청이 너무 많이 늘어납니다.
각 실행기가 독립적으로 증명하는 방식에도 장점은 있습니다. 모든 프로세스가 같은 제공자 검증에 근거하고, 새로운 신뢰 경계를 만들지 않습니다. 그러나 큰 작업 하나가 STS 호출과 증명 요청을 한꺼번에 수천 건 일으킬 수 있습니다. 공격처럼 보이는 요청 급증에 더해, 제공자의 속도 제한에 직접 의존하는 문제가 생깁니다.
드라이버에서 배포하면 신원 서비스 부하는 실행기 수에 따라 늘어나지 않습니다. 자격 증명은 Spark 내부 RPC로 전달하며, 이 RPC에 인증과 AES-GCM 암호화를 설정해 같은 애플리케이션의 프로세스만 참여하게 했습니다. 그 대신 신뢰 경계가 하나 추가되고, 드라이버는 자격 증명을 배포하는 지점까지 맡습니다.
어느 쪽을 택하든 비용이 있습니다. 분산 엔진에서는 프로세스당 한 번의 연산도 병렬도만큼 늘어나므로, 증명 방식을 고르는 일은 용량을 설계하는 일이기도 합니다. Netflix는 장애 중에 속도 제한에 부딪혀 결정을 내리기보다, 자사 규모에 맞는 배포 방식을 미리 정했습니다.
인증서 만료 전에 작동하는 JVM 타이머
첫 인증서를 받았다고 일이 끝나지는 않습니다. 인증서의 수명이 짧으므로 부트스트랩은 절반에 해당합니다. 직접 관리하는 호스트에서는 시스템 서비스가 갱신을 맡지만, 관리형 컴퓨트에는 그런 후크가 없습니다. Netflix는 드라이버 JVM에 타이머를 두고, 인증서가 만료되기 한참 전에 다시 증명하도록 고정 간격으로 실행합니다.
자격 증명 파일은 프로세스 소유자만 읽을 수 있는 임시 디렉터리에 저장하고, 프로세스가 끝나면 삭제합니다. 실행기는 갱신하지 않습니다. 대체로 수명이 짧고, 자격 증명보다 오래 살아 있는 실행기는 종료한 뒤 새로 띄우면 됩니다. 모든 실행기를 갱신 클라이언트로 만드는 것보다 비용이 적다는 판단입니다.
증명이 프로세스를 시작할 때만 가능하다면, 오래 도는 작업은 결국 그 제약에 부딪힙니다. 아홉 시간째에 작업이 죽는 식입니다. 증명은 반복 가능한 연산이어야 하며, 갱신도 처음부터 충족해야 할 요구 사항입니다.
원문의 구성·규모 관련 수치
| 항목 | 값 |
|---|---|
| 신원과 IAM 역할의 대응 | 1:1 (Data Project당 전용 역할 하나) |
| 예상 Data Project 규모 | 수만 개 단위 |
| 역할 배치 | 소수의 전용 계정에 결정적 샤딩 |
| 의존하는 Spark 기능 | 플러그인 인터페이스 (Spark 3.0 이상) |
| 실행기 규모 | 애플리케이션당 최대 수천 개 |
| 실행기 자격 증명 전달 | 드라이버가 Spark 내부 RPC로 배포 (인증 + AES-GCM) |
| 갱신 주체 | 드라이버 JVM 타이머 (실행기는 갱신 안 함) |