본문으로 건너뛰기
10만 개 Kerberos keytab을 나눠 교체하는 KDP
목차

10만 개 Kerberos keytab을 나눠 교체하는 KDP (2025-06)

원문 정보

  • 원문: Automating Kerberos Keytab Rotation at Uber
  • 매체 · 게시일: Uber Engineering Blog · 2025-06-18
  • 저자: Junyan Guo(Senior Software Engineer, Data Security 팀), Matt Mathew(Principal Engineer, Engineering Security 팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

키 교체와 배포 사이의 인증 공백

Kerberos 자격 증명인 keytab을 교체할 때는 KDC와 클라이언트가 시점을 맞춰야 합니다. 대칭키 방식이기 때문입니다. KDC에서 키를 바꾸면 이전 키 버전 번호(kvno)가 즉시 무효가 되는데, 클라이언트는 아직 새 keytab을 받지 못했을 수 있습니다. 이 사이에 TGT를 요청하면 인증이 실패합니다. 고객이 쓰는 기능까지 멈출 수 있는 공백입니다.

우버는 분석과 머신러닝을 위한 Hadoop 인프라를 확장하던 2016년에 Kerberos를 도입했습니다. 앞선 글에서는 MIT Kerberos 도입을 넓힌 과정을 소개했고, 그 과정에서 keytab을 생성하고 배포하는 KDP(Keytab Distribution Pipeline)를 만들었습니다. Uber Eats 검색에 필요한 인덱스를 HDFS에서 가져오는 일부터 수백 개 Flink 스트리밍 애플리케이션의 보안, 데이터 인프라용 Zookeeper 클러스터 250개의 인증, 20개가 넘는 배치 분석 시스템까지 KDP가 keytab을 공급합니다.

5년 사이 keytab은 10만 개를 넘겼습니다. 규모와 보안 요구를 고려하면 주기적인 교체가 필요했지만, 수천 개 애플리케이션과 노드에 흩어진 keytab을 이 규모로 자동 교체할 Kerberos API나 오픈소스 도구, 참고할 업계 사례는 없었습니다. 우버는 직접 자동화를 만들면서 새 키를 제때 전달하는 문제와 한 번의 실패가 미칠 범위를 함께 다뤄야 했습니다.

하나의 keytab을 공유하던 수천 개 노드

일부 컨테이너 애플리케이션은 수천 개 노드가 principal 하나와 keytab 하나를 공유했습니다. 인증 주체인 principal의 키를 한 번 바꿨다가 문제가 생기면 애플리케이션 대부분이 멈출 수 있는 배치였습니다.

팀은 애플리케이션 소유자들과 함께 노드별 principal과 keytab으로 옮겼습니다. 교체할 keytab 수는 더 늘었습니다. 대신 장애 도메인별로 작은 배치를 나눠 교체할 수 있게 되어, 실패하더라도 영향을 받는 노드를 제한할 수 있었습니다.

배치를 나눌 기준은 배포 시스템 Odin에서 가져왔습니다. Kerberos에 의존하는 시스템 대부분이 사용하는 Odin은 Kubernetes와 비슷한 시스템으로, 가용 영역과 클러스터, 노드 역할을 표준화하고 워크로드 배치 정보를 제공합니다. KDP는 이 중 장애 도메인 정보를 캐시해, 한 애플리케이션 클러스터에서 한 번에 keytab을 교체하는 같은 역할의 노드 수가 N대를 넘지 않도록 제한했습니다.

허용량은 역할에 따라 달랐습니다. 수십 개 노드로 이루어진 핵심 컨트롤 플레인에는 엄격한 제한을 적용하고 교체 사이에도 지연을 뒀습니다. 수만 개 노드에 이르는 데이터 플레인에는 더 느슨한 제한을 적용해 대규모 교체를 진행했습니다. 구현에는 약 2주가 걸렸습니다. 팀이 예기치 않은 장애를 막는 데 가장 효과적이었다고 꼽은 장치가 이 속도 제한입니다.

어느 클러스터부터 교체할지도 제한했습니다. HDFS, YARN, Presto에는 중요도(tier)가 다른 클러스터들이 있으므로, 허용 목록에 가장 덜 중요한 테스트 클러스터부터 넣고 적용 범위를 넓혔습니다. 중요한 tier로 넘어가기 전에 오류를 확인하고 속도 제한을 조정할 기회를 확보한 것입니다.

SMP에서 KDP로 이어지는 교체 요청

교체 일정을 관리하는 일은 우버의 Secret Management Platform(SMP)이 맡았습니다. SMP는 시크릿 자동 교체를 위한 플러그인 방식의 프레임워크입니다. 각 시크릿의 마지막 갱신 시각과 종류, 생성·삭제를 담당하는 Secret Provider를 기록하고, 종류별로 N일이라는 교체 주기를 관리합니다. 교체일이 가까워지면 Secret Lifecycle Manager가 Cadence 워크플로를 예약해 해당 Secret Provider를 호출합니다.

KDP에서는 기존 Kerberos Bridge가 이 요청을 받도록 바꿨습니다. Secret Provider 인터페이스를 구현해 keytab 생성·교체·삭제를 지원하게 한 것입니다. KDC와 함께 호스트에서 실행되는 Keytab Manager는 비밀번호를 바꾸고 새 keytab을 생성하는 명령을 실행한 뒤, 최신 파일을 Secret Store에 올립니다. 워크로드는 이 저장소에서 keytab을 주기적으로 가져갑니다.

이 연동으로 사람의 개입 없이 교체를 진행할 수 있게 됐습니다. 시스템은 피크 때 한 달에 3만 개 넘는 keytab을 교체했습니다. 하지만 교체 요청을 자동으로 처리하는 것만으로 인증 실패를 막을 수는 없었습니다. KDC와 워크로드가 서로 다른 키 버전을 가진 동안 어떤 요청이 실패하는지 살펴봐야 했습니다.

TGT 만료 전에 확보해야 할 새 keytab

키 버전 불일치가 문제가 되는 지점은 클라이언트가 TGT를 받는 AS_REQ와, 서비스 티켓을 서버에 제시하는 AP_REQ였습니다. TGS_REQ에는 keytab이 관여하지 않으므로 이번 교체에서 kvno 불일치로 실패하는 지점은 아닙니다.

AS_REQ에서는 이미 받은 TGT의 남은 시간이 교체 시점을 결정합니다. 클라이언트가 kvno 1 keytab으로 유효 시간이 24시간인 TGT를 받았다고 가정하겠습니다. 이후 SMP가 교체를 요청하면 KDC의 키는 kvno 2로 바뀌고 새 keytab이 Secret Store에 올라갑니다. 클라이언트가 이를 가져오기 전까지는 이전 keytab으로 새 TGT를 받을 수 없습니다.

클라이언트는 보통 기존 TGT가 만료될 즈음 다음 TGT를 요청합니다. 그때까지 새 keytab이 도착하지 않았다면 인증 오류가 나고 다운타임으로 이어질 수 있습니다. 우버는 Kerberos 감사 로그에서 principal의 마지막 로그인 시각을 확인해, 교체 전에 기존 TGT의 유효 시간이 충분히 남았는지 판단했습니다. 만료가 가까우면 교체를 건너뛰고 다음 로그인을 기다렸습니다.

새 keytab을 기다리는 시간도 줄였습니다. 애플리케이션이 Secret Store에서 파일을 가져오는 cron 주기를 조정해 30초마다 최신 keytab을 받도록 했습니다. TGT가 만료되기까지의 여유를 확보하고, 그 안에 새 keytab이 도착하도록 배포 간격을 줄인 것입니다.

인증 실패를 허용할 수 없는 고가용성 애플리케이션에는 별도의 대비책이 있었습니다. 서로 다른 principal의 keytab을 두 개 제공하고, 자동화는 그중 하나만 교체했습니다. 교체 중인 keytab으로 인증에 실패하면 애플리케이션이 다른 keytab으로 재시도하도록 했습니다.

이전 키로 발급한 티켓을 받아야 하는 서버

서버 쪽 문제는 티켓이 이미 클라이언트에게 발급됐다는 데 있습니다. HDFS NameNode, YARN ResourceManager, Presto Coordinator 같은 서버에 접근하는 클라이언트는 서버 키로 암호화된 서비스 티켓을 사용합니다. 클라이언트의 캐시에 kvno 1 티켓이 남아 있는데 서버가 kvno 2 키만 갖고 있다면, 서버는 그 티켓을 복호화할 수 없습니다.

그래서 전환 기간에는 서버 keytab에 이전 키와 현재 키를 모두 넣었습니다. 예를 들어 hdfs/us-west-123@DATA.UBER.COM의 키를 kvno 1에서 kvno 2로 바꿀 때, 새로 배포하는 keytab에는 kvno 1과 kvno 2를 함께 담습니다. 서버가 두 버전의 키로 복호화를 시도할 수 있으므로, 교체 전에 발급된 서비스 티켓도 계속 받아들일 수 있습니다.

이전 키를 계속 보관하지는 않습니다. KDC에서 키를 바꾼 뒤 24시간이 지나면 교체 전에 발급한 서비스 티켓이 모두 만료됩니다. 이때 kvno 2만 담은 keytab을 Secret Store에 올리고 서버가 받아 가게 했습니다. 클라이언트도 이전 티켓이 만료된 뒤에는 kvno 2로 암호화된 새 티켓을 받아 요청합니다.

이 처리는 클라이언트의 교체 방식과 다르므로 KDP가 사용처를 알아야 했습니다. KDP는 principal별 keytab 상태와 소비 방식을 관리하고, 애플리케이션이 클라이언트인지 서버인지, 또는 둘 다인지 메타데이터에 기록해 알맞은 교체 로직을 적용했습니다.

로그인 없이 쓰이는 서버 keytab

생성과 교체 다음에는 쓰지 않는 keytab을 삭제하는 일이 남았습니다. 우버는 교체에 사용한 감사 로그와 속도 제한을 여기에도 활용했습니다. 감사 로그로 삭제해도 되는 principal과 keytab을 판단하고, 사용 중인 keytab을 잘못 지우더라도 애플리케이션 전체로 장애가 번지지 않도록 삭제 범위를 제한했습니다.

마지막 로그인 시각만 보면 놓치는 사용처가 있습니다. AP_REQ로 받은 티켓을 복호화하기만 하는 서버는 직접 로그인하는 AS_REQ를 보내지 않습니다. 로그인 기록이 없다는 이유로 이 서버의 keytab을 지울 수는 없습니다. 다른 클라이언트가 해당 서버의 서비스 티켓을 요청한 TGS_REQ를 찾아야 합니다.

자동화는 keytab을 소비하는 시스템이 아직 존재하는지, 마지막 로그인 이후 얼마나 지났는지, 클러스터의 속도 제한은 어떤지 확인했습니다. 서버의 사용 여부를 판단할 때는 TGS_REQ 기록도 살폈습니다. 이렇게 삭제 대상을 판단한 뒤 Secret Store의 keytab과 KDC의 principal을 삭제했습니다.

장기 keytab의 대안으로 검토하는 PKINIT

우버는 클라우드 네이티브로 전환하면서 Workload Identity와 PKI를 강화하고 있습니다. 이 방향에서 검토하는 대안이 PKINIT(RFC 4556)입니다. 수명이 긴 keytab 대신 인증서 기반 인증을 사용하는 방식입니다.

PKINIT을 사용한다면 비대칭키 암호화 덕분에 KDC와 클라이언트의 키 교체 시점을 맞춰야 하는 부담이 사라져 교체를 더 안전하게 만들 수 있습니다. 인증서 수명도 시간 단위로 줄일 수 있습니다. 현재 keytab을 개월 단위로 교체하는 것보다 짧은 주기이며, PKI와 X.509 사용을 확대하는 우버의 방향에도 맞습니다.

이는 이미 운영 중인 keytab 자동 교체의 성과와 구분해야 할 다음 단계입니다. 우버는 데이터 인프라 인증을 현대화하면서 얻은 경험을 후속 글에서 다룰 예정입니다.

원문의 주요 수치
항목값
keytab 총수5년간 10만 개 이상
Zookeeper 클러스터250개
배치 분석 시스템20개 이상
TGT 유효 시간24시간
keytab 가져오기 주기30초
서버 keytab에서 이전 kvno 제거 시점교체 후 24시간
속도 제한 구현 기간약 2주
피크 월간 교체량3만 개 이상
Kerberos 도입 시기2016년
마지막 수정 일자