목차
Kubespray와의 4년 끝에 직접 구축을 택한 DKOS (2023-02)
원문 정보
- 원문: 쿠버네티스 프로비저닝 툴과의 만남부터 헤어짐까지 . . .
- 매체 · 게시일: 카카오 기술블로그 · 2023-02-10
- 저자: uzu.ina (카카오 클라우드 네이티브 파트 DKOS 개발진 우주, 후니, 존, 루키)
- 원문 내용을 바탕으로 재구성한 요약입니다.
Kubespray 없이 구축한 DKOS 클러스터
DKOS는 카카오 사내 개발자를 위한 KaaS(Kubernetes as a service)입니다. 사용자마다 개별 클러스터를 제공하며, 사내 환경에 맞춘 애드온까지 배포한 매니지드 클러스터를 운영합니다. 이 클러스터를 구축하던 도구가 Kubespray였습니다.
4년간 쓰던 도구를 자체 프로비저닝으로 대체하자 구축 시간이 짧아졌습니다. 컨트롤 플레인 5대 기준 클러스터 생성은 700초에서 200초로, 데이터 플레인 1대 추가는 180초에서 10초로 줄었습니다. 원문 게시 시점에는 자체 방식으로 만든 사내 클러스터가 수백 대, 데이터 플레인이 수만 대에 이르렀습니다.
설치 과정의 블랙박스도 사라졌습니다. 자체 코드로 구축 과정을 파악할 수 있어 이슈 디버깅이 수월해졌고, 서비스 안정성과 신규 기능을 추가하는 자유도도 높아졌습니다. 이 전환의 출발점은 초기 개발을 편하게 해 줬던 자동화가 점차 운영 부담으로 돌아온 데 있습니다.
Kubespray와 자체 프로비저닝의 구축 시간
| 항목 | 기존(Kubespray) | 자체 프로비저닝 | 감소율 |
|---|---|---|---|
| 클러스터 생성 (컨트롤 플레인 5대 기준) | 700초 | 200초 | 70% |
| 데이터 플레인 추가 (1대 기준) | 180초 | 10초 | 95% |
새 버전보다 먼저 읽어야 했던 태스크
DKOS의 클러스터 구축은 VM 생성에서 시작해 OS/커널 설정, 컨테이너 런타임 구축, 쿠버네티스 구축, 애드온 배포로 이어집니다. 초기에는 개발 편의를 위해 일부 작업을 외부 도구에 맡겼습니다. Kubeadm, Cluster API, Kops도 후보였지만, OS/커널 설정부터 애드온 배포까지 더 넓은 범위를 자동화하는 Kubespray를 선택했습니다.
운영이 쌓이면서 다른 비용이 보였습니다. 쿠버네티스 신규 버전을 제공하거나 문제를 해결하려면 Kubespray에 등록된 수백 개의 Ansible 태스크부터 분석해야 했습니다. 불필요한 반복 작업도 많아 다른 프로비저닝 도구보다 클러스터를 만드는 데 오래 걸렸습니다.
SSH 접근도 허용해야 했습니다. Ansible이 SSH로 호스트에 접근하기 때문입니다. 컨트롤 플레인끼리의 접근이나 컨트롤 플레인과 데이터 플레인 사이의 접근이 그 예입니다. DKOS 팀은 이런 제약과 운영 부담을 줄일 대체 도구를 찾기 시작했습니다.
대체 도구를 검토한 끝에 선택한 자체 코드
Cluster API는 여러 클라우드에서 IaaS부터 쿠버네티스 설치까지 자동화하는 도구입니다. 쿠버네티스 SIG가 관리하는 오픈소스이며 CRD-Operator 패턴을 사용합니다. 하지만 DKOS에는 OpenStack 기반 VM 서비스인 Krane이 이미 있었습니다. IaaS 수준의 자동화는 DKOS가 새 도구를 선택할 만큼 매력적인 기능이 아니었습니다.
운영 규모도 검토 대상이었습니다. 수천 대의 클러스터와 수십만 대의 노드를 CRD-Operator 패턴으로 관리하려면 쿠버네티스 리소스가 매우 많아져, 성능과 안정성을 검증해야 했습니다. 팀은 운영 난이도도 기존보다 훨씬 높아질 것으로 예상했습니다. 무엇보다 이미 운영 중인 수천 대의 클러스터를 포함해 DKOS에 적용하려면 바꿔야 할 부분이 너무 많았습니다.
Kubeadm은 적용하기 수월한 후보였습니다. 쿠버네티스 공식 도구라 신뢰성이 높고, 지원 범위가 좁은 대신 수행하는 태스크가 적어 복잡도도 낮았습니다. 설치 작업을 확인해 보니 팀이 직접 구현할 수 있는 수준이었습니다.
여기서 외부 도구를 고르는 대신 직접 개발하는 방향으로 검토가 바뀌었습니다. 운영 안정성과 개발 자유도를 높이려는 선택이었습니다. kubernetes-the-hard-way를 바탕으로 PoC를 진행한 뒤, 외부 프로비저닝 도구 없이 구축하는 방식이 충분히 가능하고 장점도 더 많다고 판단했습니다.
기존 클러스터의 형상을 지키는 설치 경로
구축 도구는 바꿔도 사용자 경험은 유지해야 했습니다. 주요 요구사항 중 하나는 Kubespray로 만든 기존 클러스터와 똑같은 형상을 제공해 사용성과 호환성을 지키는 일이었습니다.
설치 과정은 작업을 미리 준비할 수 있는지에 따라 나눴습니다. 기본 설정과 정적인 데이터는 인프라 단계에서 VM 이미지에 담고, 인증서처럼 클러스터마다 달라지는 데이터와 필수 컴포넌트는 K8S 코어 단계에서 준비합니다. 애드온은 별도 인스톨러가 배포합니다. 컨트롤 플레인 구축은 애드온 단계까지 거치지만, 데이터 플레인 설치에는 애드온 단계가 없습니다.
미리 준비한 DKOS Base Image
DKOS는 카카오가 기본 제공하는 VM 이미지에 필요한 파일과 패키지를 추가해 DKOS Base Image를 만들고 있었습니다. 이미지 빌드에는 Packer를 사용합니다. 여기에 Kubespray가 수행하던 OS와 컨테이너 런타임 설정을 옮겼습니다.
개발자들이 자주 쓰는 패키지를 설치하고, swap을 끄고, Docker와 쿠버네티스 실행 파일을 설치하며 IPVS 모듈을 설정합니다. kubelet 바이너리 설치와 시스템 데몬 등록도 이 단계에서 마칩니다. 클러스터를 만들기 전에 끝낼 수 있는 작업들입니다.
고칠 일을 줄인 부팅 스크립트
필수 컴포넌트만 갖춘 바닐라 쿠버네티스는 자체 스크립트로 설치합니다. VM 생성 시 cloud-init으로 스크립트를 주입하면 부팅할 때 설치가 시작됩니다. cloud-init은 VM 부팅 시 외부 저장소에서 데이터를 가져와 실행하는 리눅스 시스템 데몬입니다.
스크립트의 역할은 작게 제한했습니다. 버그 등으로 수정해야 할 때 사용자 클러스터에 일괄 배포하기 어렵고, 변경이 클러스터에 치명적인 작업이 될 수도 있기 때문입니다. 하는 일을 최소화해 변경 가능성 자체를 줄이는 것이 가장 중요한 목표였습니다.
인증서 생성과 manifest 옵션 설정 같은 복잡한 로직은 DKOS API가 처리합니다. 스크립트에는 그 결과물을 서버에 복사해 파일을 만들고 시스템 데몬을 재시작하는 정도의 명령만 남겼습니다. 컨트롤 플레인과 데이터 플레인은 구축 과정이 달라 스크립트도 따로 관리합니다.
인증서 준비가 먼저인 K8S 코어
인증 지옥을 지나 기동하는 컨트롤 플레인
주요 컴포넌트를 띄우기 전에 인증서부터 준비합니다. 쿠버네티스 컴포넌트들이 TLS 인증을 거쳐 통신하기 때문입니다. 준비할 인증서가 많아 개발진이 ‘인증 지옥’이라고 부른 구간입니다.
etcd에는 ca, server, peer, client 인증서가 필요합니다. 쿠버네티스에는 apiserver의 ca, server, kubelet client, client 인증서를, API 확장 기능에는 front-proxy의 ca와 client 인증서를 준비합니다. 예를 들어 apiserver kubelet client 인증서는 kube-apiserver가 pod log, pod exec 같은 요청으로 kubelet API를 호출할 때 사용합니다.
앞서 만든 kube-apiserver Client 인증서를 바탕으로 관리자와 내부 컴포넌트가 사용할 KubeConfig도 생성합니다. 각각 admin.conf, kubelet.conf, controller-manager.conf, scheduler.conf입니다.
인증 준비를 마치면 배포는 단순합니다. kubelet은 이미지에 이미 설치하고 데몬으로 등록했으므로, 설정 파일을 추가한 뒤 재시작하면 됩니다. kube-apiserver, etcd, kube-controller-manager, kube-scheduler는 정적 파드로 배포합니다.
정적 파드는 kube-apiserver의 관여 없이 kubelet이 생성하고 관리하는 파드입니다. kubelet이 staticPodPath 경로의 YAML 파일을 주기적으로 확인해 파드를 만들고 갱신하므로, 이 경로에 필요한 YAML 파일을 넣으면 주요 컴포넌트 배포가 끝납니다.
bootstrap-token으로 합류하는 데이터 플레인
데이터 플레인에 배포할 컴포넌트는 kubelet뿐입니다. 대신 컨트롤 플레인에 등록하는 조인을 준비해야 합니다. 데이터 플레인에는 root CA가 없으므로 kubelet TLS Bootstrapping으로 인증서를 받아 KubeConfig를 만드는 과정이 선행됩니다.
DKOS는 컨트롤 플레인에서 bootstrap-token을 발급받아 데이터 플레인의 kubelet 설정에 넣고 기동합니다. 토큰의 보안 수준은 ID/패스워드 정도입니다. kubelet은 이 토큰으로 kube-apiserver에 연결해 CSR(Certificate signing request) 리소스를 만듭니다.
kube-controller-manager가 CSR을 승인하면 kubelet은 쿠버네티스 root CA로 서명된 인증서를 받습니다. 이를 바탕으로 KubeConfig를 생성하고, kube-apiserver에 접근해 조인을 수행합니다.
Helm CLI에서 확인하는 애드온 형상
바닐라 쿠버네티스만으로는 DKOS 클러스터가 완성되지 않습니다. 컨테이너 네트워크 인터페이스인 CNI를 비롯해 로드밸런서와 Volume 같은 사내 인프라 리소스를 다루는 컨트롤러, RBAC 컨트롤러, 자체 인그레스 컨트롤러, 대시보드 등을 설치해야 합니다. 앞서 기술블로그에서 소개한 network-node-manager도 기본 애드온입니다. 쿠버네티스 네트워크의 한계를 극복하려고 직접 개발한 앱입니다.
기존 방식에서는 준비한 쿠버네티스 리소스를 kubectl로 적용했습니다. 쿠버네티스 버전을 유지하면서 일부 애드온만 갱신해야 할 때도 항상 최신 버전의 애드온을 설치하도록 설정했습니다. 시간이 지나자 설치 시기와 버전에 따라 형상이 달라졌고, 사용자가 변경한 부분까지 파악하기 어려워졌습니다.
다섯 가지 이상의 쿠버네티스 버전에 맞춰 배포한 애드온은 언제 봐도 ‘새롭고 신비한 존재’가 됐습니다. 형상을 추적하고 관리하는 일은 모두가 피할 정도였습니다. 새 설치 방식에서는 애드온 자체의 버전과 쿠버네티스 버전별 애드온 목록을 관리하고, 각 클러스터에 실제로 무엇이 설치됐는지 한눈에 확인해야 했습니다.
이를 위해 Helm 기반 애드온 인스톨러를 직접 개발했습니다. Helm은 요구사항을 모두 만족했고, 사내에 별도 Helm 차트 레포지토리 서비스가 있어 연동도 기대할 수 있었습니다. 다른 매니페스트 관리 도구인 Kustomize와의 비교는 원문에서 다루지 않았습니다.
Helm은 차트 버전과 앱 버전을 따로 관리합니다. 인스톨러는 앱 버전 관리 기능을 사용해 쿠버네티스 버전별로 필요한 애드온 목록을 저장하고 관리합니다. 특정 쿠버네티스 버전에 어떤 애드온을 설치하는지 확인하고, 클러스터에서는 Helm CLI로 설치된 차트와 앱의 형상을 조회하게 됐습니다.
운영 중 확인하는 방식도 달라졌습니다. 애드온 버전이나 옵션값을 알아보려고 모든 파드의 스펙을 일일이 확인하던 작업을 Helm CLI 조회로 바꿨습니다. 새 인스톨러 덕분에 애드온 배포도 이전보다 편하고 빨라졌습니다.