목차
설정과 코드 몇 줄로 넓힌 Uber의 Kerberos 인증 (2023-01)
원문 정보
- 원문: Scaling Adoption of Kerberos at Uber
- 매체 · 게시일: Uber Engineering Blog · 2023-01-19
- 저자: Alexander Gulko(Staff Software Engineer, Data Security), Matt Mathew(Principal Engineer, Engineering Security)
- 원문 내용을 바탕으로 재구성한 요약입니다.
배포 자동화를 가로막은 keytab 수작업
2016년 Kerberos를 도입한 우버에서 새 계정 하나를 준비하려면 운영팀의 손을 거쳐야 했습니다. 담당자가 kadmin 호스트에 로그인해 계정을 등록하고, 인증에 쓰는 보안 키 파일인 keytab을 생성한 뒤, 요청한 팀과 미리 정한 공유 위치로 scp를 실행했습니다.
배포 자동화도 여기서 막혔습니다. 서비스 배포를 끝까지 자동화하려 해도 인증에 필요한 파일은 사람이 만들어 전달해야 했기 때문입니다. 장애와 확장성 문제로 이미 바쁜 팀에 수시로 생성 요청이 들어왔고, 자격 증명은 정해진 절차 없이 사람 사이를 오갔습니다. kadmind를 직접 조작할 때마다 운영 데이터를 실수로 지우거나 손상시킬 위험도 있었습니다.
이 수작업을 계속 감당하기에는 데이터 플랫폼의 규모가 컸습니다. 우버는 2015년부터 Apache Hadoop 기반 분석 플랫폼을 운영했고, 2016년 사용이 급증하자 Kerberos 인증을 도입했습니다. 원문을 게시할 무렵에는 수천 대 머신과 300PB가 넘는 분석 데이터를 다루는 환경이었습니다. YARN, HDFS, Hive, Kafka, Zookeeper, Presto, Spark, Flink, Pinot과 여러 사내 플랫폼이 서로 안전하게 통신하고 사용자에게 접근을 제공하는 데 Kerberos를 쓰고 있었습니다.
한 번의 로그인 뒤에 이어지는 Kerberos 티켓
Kerberos라는 이름은 하데스를 지키는 머리 셋 달린 개 케르베로스에서 왔습니다. 프로토콜의 역사도 깁니다. 1980년대 초 MIT에서 개발을 시작했고, 현재 버전인 v5는 1993년에 나왔습니다. 그 뒤로 설계를 크게 바꾸지 않고도 분산 시스템의 인증 요구를 충족해 왔다는 점은 우버가 이 기술을 신뢰한 이유였습니다.
인증의 중심에는 KDC(Key Distribution Center)가 있습니다. 사용자나 서비스를 식별하는 principal과 자격 증명을 저장하는 서버입니다. 자원이 필요한 프로세스는 클라이언트가 되고, 그 자원을 제공하는 쪽은 리소스 서버가 됩니다. Kerberos를 쓰는 네트워크 서비스는 대개 시작할 때 KDC에 인증하고, 실행되는 동안 티켓을 유효하게 유지합니다.
클라이언트가 KDC에 로그인하면 만료 시간이 있는 TGT(ticket-granting-ticket)를 받습니다. 이후에는 자격 증명을 매번 다시 제시하지 않습니다. TGT로 특정 리소스 서버에 쓸 서비스 티켓을 KDC에 요청하고, 그 티켓을 서버에 내밀어 인증합니다. 한 번의 로그인으로 여러 자원에 접근하는 SSO가 이 흐름에서 나옵니다.
KDC에 인증할 때는 평문 비밀번호나 keytab을 사용합니다. 그렇다고 자격 증명이 암호화되지 않은 채 네트워크를 건너는 것은 아닙니다. 클라이언트와 서버는 서로를 인증하며, 티켓에는 수명이 정해져 있습니다. 티켓에 호스트 정보를 넣어 한 호스트가 침해됐을 때 다른 호스트까지 영향을 받지 않도록 제한할 수도 있습니다.
Hadoop이 Kerberos를 기본 지원한다는 점도 우버의 선택을 뒷받침했습니다. 여기에 독립된 인증 영역인 realm 사이에 신뢰 관계를 맺어 계층을 구성하는 기능까지 갖추고 있었습니다. 우버가 해결해야 했던 문제는 이런 인증 기능을 수많은 서비스가 쉽게 쓰도록 만드는 일이었습니다.
설정과 호출 몇 줄로 시작하는 KDP
새 서비스를 인증 자동화에 연결하는 작업은 작게 만들었습니다. 설정 약 3줄과 서비스 코드의 클라이언트 호출 약 3줄이면 됩니다. 우버가 만든 Keytab Distribution Pipeline(KDP)은 이처럼 간단한 온보딩으로 Kerberos 도입을 넓혔습니다.
KDP는 앞선 글에서 소개한 Hadoop 인프라 전체의 컨테이너화와 회사 차원의 자동화 노력에 이어지는 작업입니다. 미리 정한 소스의 메타데이터가 바뀌면 그에 맞춰 principal과 keytab을 만들거나 삭제하고, keytab을 안전하게 보관합니다. 서비스가 필요한 파일을 가져갈 클라이언트도 제공합니다. 운영팀이 요청을 받아 직접 수행하던 절차를 파이프라인이 맡은 것입니다.
자동 파이프라인과 작업에 쓰는 서비스·시스템 계정이 이 경로로 관리됩니다. HDFS와 YARN처럼 큰 플릿에서 동작하는 서비스도 대상입니다. 이런 서비스는 클러스터에 노드를 추가할 때 hdfs/us-west-123처럼 서비스와 호스트를 함께 식별하는 principal을 사용합니다.
keytab 메타데이터를 기록하는 Git 저장소
계정 정보의 원본은 Microsoft Active Directory(Uber AD)입니다. 서비스와 배포 호스트 정보는 사내 오케스트레이션 시스템에서 가져옵니다. 스테이트풀 서비스에는 Odin, 스테이트리스 서비스에는 Peloton을 사용합니다. Kerberos-Bridge는 이 외부 메타데이터와 Kerberos 인프라를 연결하며, 서비스·호스트 정보를 주기적으로 읽어 사내 Git 저장소의 keytab 엔트리를 갱신합니다.
Git에는 실제 keytab을 넣지 않습니다. 엔트리에 담기는 것은 principal 이름, 권한 설정에 필요한 소유자 정보 등의 메타데이터입니다. 이 기록을 Git으로 관리하면 변경 이력을 감사에 쓰고, revert로 되돌리며, 접근을 제어할 수 있습니다. 사람이 직접 수정하는 경우에는 동료 리뷰도 거칩니다.
새 호스트 us-west-123에 HDFS를 배포하는 경우를 따라가면 이후 흐름이 분명해집니다. 저장소에 hdfs/us-west-123@DATA.UBER.COM 엔트리가 생기면 이를 감시하던 Keytab-Manager가 로컬 kadmin으로 같은 이름의 principal을 등록하고, hdfs_us-west-123.keytab 파일을 생성합니다.
이 작업은 클라이언트에게 숨겨진 Kerberos provider 호스트에서 실행됩니다. 호스트에는 KDC, kadmin, OpenLDAP, Keytab-Manager가 함께 동작하며 KDP가 접근합니다. Keytab-Manager는 오픈소스 KDC·OpenLDAP와 우버 내부 서비스를 잇는 접착제입니다. 엔트리의 내용을 실제 principal과 keytab, 접근 권한으로 바꾸는 일을 맡습니다.
생성한 keytab은 세분화된 권한과 함께 Secrets Store에 저장합니다. Keytab-Manager는 엔트리 저장소뿐 아니라 Secrets Store도 감시하면서 keytab을 추가하거나 삭제하고, 엔트리에 기록된 소유자에 맞춰 권한을 설정합니다.
파일을 가져오는 쪽에는 Keytab-Fetcher가 있습니다. 서비스에 포함해 자신의 keytab을 Secrets Store에서 내려받을 수 있는 라이브러리입니다. 플릿 전체에 배포된 오케스트레이션 시스템 에이전트가 이 라이브러리로 keytab을 받아 서비스 컨테이너에 제공합니다.
이 경로 전체는 SPIRE로 보호합니다. 서비스는 secret을 갱신하거나 가져오기 전에 인증해야 하며, Secrets Store는 권한을 가진 서비스에만 keytab을 내줍니다. 사람 사이에서 파일을 전달하던 절차가 서비스의 인증과 권한 검사로 바뀐 것입니다.
작성자가 떠나도 팀에 남는 서비스 계정
매일 도는 파이프라인은 처음 만든 사람이 퇴사해도 팀이 유지해야 합니다. 직원 개인의 접근과 이런 작업을 같은 계정으로 다룰 수는 없었습니다. 우버가 급성장하면서 운영 담당자, 데이터 과학자, 분석가, 엔지니어가 데이터 플랫폼에 들어왔고, 각자 알맞은 계정을 쓰도록 안내하는 일도 어려워졌습니다.
우버는 계정을 네 유형으로 구분했습니다. 사용자는 언제나 클라이언트이지만, 서비스는 자원을 요청하는 쪽과 제공하는 쪽 모두가 될 수 있다는 점도 함께 명확히 했습니다.
| 계정 유형 | 용도 | 예 |
|---|---|---|
| 사용자 계정 | 직원 개인의 접근과 임시 데이터 탐색 | employee-account@uber.com |
| 서비스 계정 | 팀이 유지하는 일상 파이프라인 | uber_eats@DATA.UBER.COM |
| 시스템 계정 | 데이터 인프라 스택을 구성하는 시스템 | hdfs@DATA.UBER.COM |
| 서비스-호스트 계정 | 대규모 플릿의 특정 {서비스, 호스트} 조합 | hdfs/us-west-123.internal@DATA.UBER.COM |
서비스 계정에는 같은 이름의 Linux 그룹을 연결합니다. 프로젝트 멤버를 이 그룹에 추가하면 서비스 계정이 쓴 데이터에 접근할 수 있습니다. 파이프라인을 개인이 떠난 뒤에도 팀이 유지하는 방식입니다. 시스템 계정에는 이런 그룹 멤버를 두지 않습니다. 인프라 시스템의 계정에 사람을 추가하면서 생기는 보안 위험을 피하기 위해서입니다.
서비스-호스트 계정은 keytab이 탈취됐을 때 교체해야 할 범위를 줄입니다. principal과 keytab을 특정 서비스와 호스트의 조합 하나에 한정하므로, 여러 호스트가 공유하는 서비스 keytab 전체를 교체할 필요 없이 해당 조합의 파일만 바꾸면 됩니다. 많은 호스트에 배포되는 서비스가 이 유형을 주로 사용합니다.
사용법을 위키에 적는 것과 함께 계정 생성 절차도 바꿨습니다. 서비스 계정을 만들고 접근 제어 정책에 사용하는 과정을 셀프서비스로 제공했습니다. 데이터셋이나 ETL 작업을 온보딩하는 팀에 계정이 없으면 이 생성 절차로 안내합니다. 새 계정은 24시간 안에 쓸 수 있고, keytab도 자동으로 생성해 적절한 권한으로 엣지 호스트에 배포합니다.
Uber AD에서 전파하는 계정과 그룹
직원 계정과 그룹 멤버십의 원본도 Uber AD입니다. 서비스 계정과 시스템 계정은 일반 그룹과 구별되는 속성을 가진 AD 그룹으로 표현합니다.
데이터 조직은 별도의 realm을 선택했습니다. OpenLDAP을 데이터베이스로 쓰는 MIT Kerberos로 Data Kerberos를 구성하고, 여기에 호스트·서비스·시스템 계정의 principal을 저장합니다. 직원 계정인 employee@uber.com은 다른 realm인 Uber AD와의 단방향 신뢰 관계로 Data 자원에 인증합니다.
데이터 서비스는 Docker 컨테이너 또는 베어메탈 호스트의 일반 OS 프로세스로 실행됩니다. 이 데이터 스택 전체에 사용자와 그룹 멤버십을 전파하는 동기화 프로세스를 두어 Uber AD의 부하를 줄였습니다.
consumer를 늘려 확장하는 리전별 KDC
계정과 keytab을 자동으로 준비해도 실제 인증 요청을 받을 서버는 충분해야 했습니다. 우버의 Kerberos 인프라는 10만 개가 넘는 principal을 맡고 있었습니다. 요청량을 감당하고 지연을 낮추기 위해 모든 리전에 Kerberos 서버 인스턴스를 여러 개 배치했습니다.
고가용성을 위해 provider도 여러 개 뒀습니다. 각 provider는 독립적으로 동작하면서 같은 데이터를 보유하므로 서로 대체할 수 있습니다. 읽고 쓸 수 있는 provider는 하나뿐입니다. 나머지는 read-only로 두어 provider 사이의 쓰기 충돌을 막았습니다.
provider 하나는 여러 KDC consumer와 독립된 클러스터를 이루고, 자신의 데이터를 consumer에 복제합니다. 복제는 KDC가 맡을 수도 있고 백엔드 데이터베이스가 맡을 수도 있습니다. 우버는 KDC의 데이터베이스로 OpenLDAP을 사용하므로 모든 복제를 OpenLDAP에 맡겼습니다.
consumer만 provider의 위치를 알면 됩니다. 덕분에 consumer를 클러스터에 추가하거나 제거하기 쉽고, consumer를 provider로 승격하는 작업도 빠르게 처리할 수 있습니다. 인증 요청량에 맞춰 서버를 늘리는 데 이 구성이 도움이 됐습니다.
클라이언트는 provider에 접근하지 않습니다. 각 리전의 consumer를 kdc.region-1.data.uber 같은 DNS 이름 아래 A 레코드로 등록해, 클라이언트가 짧고 잘 알려진 이름으로 인증하도록 했습니다. 리전별 클러스터와 수십 개 consumer를 둔 다중 provider 구성이 Kerberos 사용량의 증가를 감당했습니다.
매주 1,000개 넘는 keytab을 처리하는 KDP
게시 시점에 KDP는 이미 2년 넘게 운영 중이었고, 매주 1,000개 넘는 keytab을 생성하고 배포했습니다. 운영팀은 principal을 등록하고 파일을 전달하는 반복 작업에서 벗어났습니다. KDP 대시보드를 지켜보는 데 드는 시간도 아주 적었습니다.
자동화는 개발자 생산성뿐 아니라 데이터 스택의 보안과 신뢰성도 높였습니다. 필요할 때 keytab을 교체하는 작업도 지원합니다. 플릿 전체의 keytab 교체를 중앙 자동화 시스템으로 관리하는 방법은 우버가 후속 글에서 소개하겠다고 예고했습니다.
규모와 계정 유형 요약
| 항목 | 값 |
|---|---|
| 데이터 플랫폼 운영 / Kerberos 도입 | 2015년 / 2016년 |
| 저장 분석 데이터 | 300PB 이상 |
| 인증하는 principal | 10만 개 이상 |
| KDP 운영 기간 / 처리량 | 2년 이상 / 주 1,000개 이상 keytab |
| KDP 온보딩 작업량 | 설정 약 3줄 + 코드 약 3줄 |
| 서비스 계정 생성 후 사용 가능 시점 | 24시간 이내 |
| 계정 유형 | 사용자, 서비스, 시스템, 서비스-호스트 |
| Kerberos 서버 구성 | 리전별 클러스터, 다중 provider(쓰기 가능한 provider 1개), 수십 개 consumer, OpenLDAP 복제 |
| KDP 연동 시스템 | Active Directory, Odin, Peloton, Secrets Store, SPIRE |