본문으로 건너뛰기
필요한 도구만 골라 쓰는 LINE의 CI/CD 플랫폼 PIPE
목차

필요한 도구만 골라 쓰는 LINE의 CI/CD 플랫폼 PIPE (2022-05)

원문 정보

CI/CD 도구가 많아도 남아 있던 개발자의 부담

LINE에는 이미 Jenkins, CircleCI, Drone CI, Argo CD가 있었습니다. 문제는 도구의 부재가 아니었습니다. 각 솔루션이 통합되어 있지 않았고, 개발자에게 열려 있지도 않았습니다. LINE Plus Productivity Engineering 팀이 PIPE를 만든 출발점입니다.

팀은 개발자가 PIPE 스택 전체를 배운 뒤에야 사용하는 대신, 자신에게 필요한 컴포넌트만 골라 쓰게 하려 했습니다. 그렇게 만든 PIPE는 Tekton Pipelines와 GitHub Events를 결합한 워크플로, 그리고 관리형 쿠버네티스 런타임으로 구성됩니다. 런타임에는 빌드와 테스트를 위한 Tekton 워크로드뿐 아니라 개발자가 만든 컨테이너 워크로드도 올릴 수 있습니다.

쿠버네티스에 접근하는 방식도 바꾸고 싶었습니다. 기존 사내 솔루션은 자체 CLI를 제공했고 OpenStack과 밀접하게 연결되어 있었습니다. OpenStack 리소스를 더 자유롭게 쓸 수 있다는 장점은 있었지만, 팀이 PIPE에서 제공하려던 것은 익숙한 kubectl과 쿠버네티스 IDE를 그대로 사용하는 환경이었습니다.

생성 버튼으로 받는 쿠버네티스 네임스페이스

PIPE가 개발자에게 내주는 단위는 전용 네임스페이스입니다. 웹사이트에서 생성 버튼을 누르면 만들어지고, 별도의 결재나 승인도 없습니다. 이처럼 클러스터 전체 대신 네임스페이스를 제공하는 방식을 ‘Namespace as a Service’라고 부릅니다.

컨트롤 플레인과 etcd 같은 기반 노드는 PIPE가 관리하고, 개발자는 자신의 네임스페이스에서 관리자 권한을 받습니다. 프로젝트마다 클러스터를 나눠 주면 주기적인 업그레이드도 각 개발자의 부담이 됩니다. PIPE는 정해진 런타임 몇 개를 운영해 관리 비용을 줄이고, 개발자가 중간에 개입하지 않아도 자동 업데이트로 최신 쿠버네티스를 쓰게 하는 것을 목표로 삼았습니다.

이를 제공하는 클러스터는 역할에 따라 나뉩니다. 코어 클러스터는 PIPE API와 웹사이트를 호스팅하며 GitHub 이벤트와 인증을 처리합니다. 빌드 요청을 실행하고 사용자 컨테이너를 구동하는 런타임 클러스터는 도쿄, 오사카, 싱가포르 등 지역별로 배포합니다. 지역이 달라도 인증과 API 요청은 하나의 코어 클러스터가 맡습니다.

익숙한 kubectl을 그대로 쓰기 위한 인증

인증에는 OIDC를 사용합니다. 먼저 코어 클러스터와 그 안의 Dex가 실행 중이어야 합니다. 런타임의 Kube API 서버는 여기서 OIDC 엔드포인트를 가져옵니다.

사용자가 kubectl get pod를 요청하면 런타임이 ID 토큰을 직접 검증합니다. 토큰이 유효하면 요청을 처리하고, 유효하지 않으면 GitHub OAuth2 Flow로 JWT를 새로 발급받은 뒤 Dex에서 ID 토큰을 얻어 다시 요청합니다. Dex 토큰의 유효 시간은 16시간입니다. 처음 로그인한 개발자가 대략 하루 정도 사용할 수 있도록 정한 수명입니다.

권한 관리는 쿠버네티스 RBAC을 기본으로 삼고, 부족한 부분은 정책 엔진 Kyverno로 관리합니다. 팀은 Open Policy Agent보다 사용하기 편하다는 이유로 Kyverno를 선택했습니다. 개발자는 PIPE 대시보드에서 네임스페이스를 만들고 kubeconfig를 내려받으며, PIPE API 키 발급과 GitHub 앱 설치도 진행합니다.

GitHub 이벤트로 실행하는 Tekton 파이프라인

워크플로를 고를 때 팀이 세운 기준은 CI/CD 전체의 자동화와 선언적인 파이프라인 정의였습니다. Argo CD를 비롯한 여러 솔루션을 검토했고, 직접 운영하면서 개선하고 패치할 일까지 고려해 Tekton을 선택했습니다. 더 빠르고 재현 가능한 빌드·테스트 환경을 제공할 수 있으리라는 기대였습니다.

Tekton은 쿠버네티스 문법을 따르는 CI/CD 프레임워크입니다. 당시 CD Foundation 소속 솔루션 중 Jenkins에 의존하지 않는 거의 유일한 솔루션이기도 했습니다. PIPE는 여기에 GitHub 이벤트 처리를 연결했습니다. 대부분의 개발이 GitHub에서 이루어지고 있었기 때문입니다.

이벤트 조건을 적는 문법은 새로 만들지 않았습니다. 개발자에게 익숙한 GitHub Actions의 이벤트 트리거 문법을 Tekton Pipeline의 애너테이션 필드에서 그대로 쓰도록 했습니다.

사용자가 GitHub에 PIPE 앱을 설치해 두면 푸시나 릴리스 이벤트가 웹훅으로 전달됩니다. PIPE는 리포지터리에서 그 이벤트에 맞는 파이프라인을 찾아, 이벤트 종류와 SHA256 태그, 이벤트 발생자 같은 정보를 더한 PipelineRun을 생성합니다. 파이프라인이 클래스라면 PipelineRun은 인스턴스에 해당합니다. 이렇게 만든 실행 단위를 컨테이너 런타임에서 구동합니다.

결과를 확인하는 곳도 GitHub입니다. 커밋 상태에 로그 URL과 개발자가 정의한 단계들이 표시되고, 단계별 성공과 실패가 실시간으로 갱신됩니다. 런타임이나 tkn CLI에서 직접 확인할 수도 있으며, 로그를 편하게 읽도록 별도의 웹사이트도 제공합니다.

배포 흐름의 기본값을 담은 스캐폴더

Tekton을 선택해도 처음부터 긴 YAML을 작성하는 부담은 남습니다. PIPE는 이를 줄이려고 스캐폴더를 만들었습니다. 개발·스테이지·프로덕션에서 사용할 네임스페이스와 알림을 받을 Slack 채널을 입력하고, Golang·Gradle·Node.js 같은 플랫폼과 버전을 고른 뒤 Scaffold를 누르면 파이프라인을 내려받는 방식입니다. CircleCI에서 모티브를 얻었으며 Jenkins Blue Ocean에도 비슷한 기능이 있습니다.

스캐폴더에는 팀이 고민한 배포 방식도 담았습니다. 생성하는 파일은 ci.yaml 1개와 cd.yaml 4개입니다. 각 파일은 정해진 이벤트에 반응하며, 기본 브랜치의 변경을 스테이지에 반영하고 선택한 버전을 프로덕션에 배포하는 흐름을 제공합니다.

예시의 ci.yaml은 기본 브랜치가 아닌 브랜치에 PR이 들어오면 린트와 단위 테스트를 실행합니다. 이 조건에는 branches-ignore를 사용합니다. 테스트는 단위 테스트 대신 통합 테스트로 바꾸는 것도 가능합니다.

기본 브랜치에 변경이 생겼을 때는 branches 조건으로 린트와 단위 테스트를 수행하고, 배포를 생성해 스테이지까지 반영합니다. 스테이지를 기본 브랜치의 최신 소스로 유지하는 것이 기본값입니다. 팀은 이 방식이 개발자의 디버깅을 더 편하게 해 줄 것으로 보았습니다.

태그나 배포가 생성될 때 실행하는 흐름도 있습니다. 스테이지에서 구동 중인 버전 가운데 배포할 Git SHA256 태그를 정해 새 태그를 만들고 푸시하면 push tags 이벤트가 발생합니다. 태그 조건은 정규표현식을 지원하며, 예시에서는 v*에 맞는 태그가 들어오면 cd 파이프라인을 실행해 프로덕션으로 배포합니다.

사내 환경에 맞춰 손본 Tekton 태스크

YAML을 생성한 뒤에도 사내 환경에 맞는 설정은 필요합니다. PIPE는 Tekton Hub에서 많이 쓰일 만한 태스크를 골라 수정한 뒤 제공합니다. Tekton Hub는 Docker Hub처럼 파이프라인을 운영하고 관리하는 저장소입니다. 여기서 가져온 Git Clone 태스크의 주소를 GitHub.com에서 GitHub Enterprise로 바꾸는 것이 한 예입니다.

컨테이너 이미지 빌드에는 Kaniko나 BuildKit 같은 도구가 있습니다. PIPE의 build-container-image 태스크는 별도로 제공하는 BuildKit 서비스에 연결해 캐시를 활용하도록 했습니다. build-gradle에는 사내 Nexus 리포지터리로 퍼블리시하는 기능을 더했습니다. 개발자가 반복해서 맞춰야 할 사내 설정을 재사용 태스크에 반영한 것입니다.

1,000노드에서 확인한 Calico와 Typha

런타임을 설계할 때는 큰 클러스터도 고려했습니다. Kubeflow 같은 워크로드는 노드가 적게는 1,000개, 많으면 2,000개에서 3,000개까지 필요한 경우가 있습니다. 이때 가장 큰 부하가 걸리는 부분은 네트워크 인터페이스였고, 그다음은 스케줄러였습니다. 팀은 머신러닝 워크로드에서는 네트워크 쪽 부하가 훨씬 클 것으로 예상했습니다.

선택한 조합은 Calico와 Typha입니다. Typha는 Calico와 Kube API 서버 사이에서 프록시 역할을 합니다. 각 노드가 API 서버에서 직접 IP를 가져오는 대신 Typha를 거치게 해 API 서버의 부하를 분산하고 줄입니다.

문서상 Typha 하나가 맡을 수 있는 Calico 노드는 약 200개입니다. 이를 바탕으로 쿠버네티스 4,000노드까지 서비스할 수 있다고 보았지만, 이 규모는 이론상의 수치였습니다. 실제 테스트는 약 1,000노드로 진행했고 별문제가 없었습니다. 수천 노드로 구성된 Kubeflow처럼 기존 런타임 클러스터에서 감당하기에 부하나 관리 부담이 큰 경우에는 별도 클러스터를 제공할 계획이었습니다.

장비 선택에도 운영 경험이 반영됐습니다. PIPE의 쿠버네티스는 전부 물리 장비에서 구동합니다. 과거 다른 서비스에서 물리 장비와 가상 장비를 섞어 운영했을 때, VM 노드가 non ready 상태가 되거나 장애를 일으키는 일이 잦았기 때문입니다.

프로비저닝에는 kubeadm과 자체 Ansible 스크립트를 사용합니다. 처음에는 Kubespray를 검토했으나 LINE 상황에 맞는 기능이 부족하다고 판단했고, 같은 상황에서 프로비저닝 속도도 두 배 이상 느렸습니다.

소개 당시 제공하던 버전은 v1.21.1입니다. 서비스를 연 지 얼마 되지 않아 테스트를 많이 해 본 버전을 선택했습니다. 업그레이드는 계획하고 있었지만 API 변경에 대응해야 했습니다. v1.22에서 기존 API 상당수가 deprecated 되었고, v1.21까지 적용되던 구버전 API가 v1.22부터는 오류를 내며 적용되지 않는 문제를 어떻게 처리할지 고민 중이었습니다.

컨테이너 런타임은 containerd, 스토리지는 OpenEBS와 Verda의 공유 파일 시스템인 VSFS를 제공합니다. 서비스 메시로 Istio를 설치하고, 기본 인그레스는 Contour로 정했습니다. 필요하면 인그레스 클래스로 ingress-nginx를 선택하는 방식입니다. Verda 로드 밸런서와 연동하며, 빌드용 Tekton·buildkitd와 모니터링용 Fluent Bit·Prometheus도 사전에 설치합니다.

상위 클러스터 장애 뒤에 바꾼 관리 방식

클러스터를 관리하는 수단에도 문제가 생겼습니다. 처음에는 Rancher나 Kubefed와 비슷하게 Ring 0라는 상위 클러스터를 두고 하위 클러스터를 관리했습니다. 그런데 상위 클러스터의 인증서가 만료되거나 노드가 내려가고 로드 밸런서에 문제가 생기면, 하위 클러스터도 운영할 수 없었습니다. 상위 클러스터의 장애가 관리 작업에까지 전파된 것입니다.

팀은 PIPE 컨트롤 플레인을 VM에서 실행하는 Jenkins로 변경했습니다. PIPE 자체의 CI/CD를 이곳에서 수행해 순환 참조를 막았습니다. 별도의 PIPE 컨트롤 플레인 리포지터리에서 클러스터 프로비저닝과 노드 증설·축소를 관리하며, 클러스터는 자체 Ansible Playbook으로 운영합니다. 각 쿠버네티스 컴포넌트는 Helmfile과 kustomize로 관리합니다.

빌드 부하를 따로 받는 노드

사용자 서비스를 보호하려면 빌드 부하도 분리해야 했습니다. 빌드는 CPU와 메모리를 많이 사용하므로 이미 실행 중인 개발자 워크로드에 영향을 줍니다. PIPE는 Kyverno의 뮤테이션 웹훅으로 빌드 노드와 사용자 워크로드 노드를 명시적으로 분리했습니다.

노드에는 컨트롤 플레인, 빌드, 게이트웨이, 역할 없음의 네 가지 역할을 부여합니다. 각 워크로드는 그 역할에 따라 스케줄링됩니다.

운영 중의 이상은 Slack에서 확인합니다. Grafana와 Prometheus를 사용하고 Alertmanager, kube-state-metrics, node-exporter, metrics-server, node-problem-detector도 운영합니다. 노드가 준비 상태인지, 클라이언트 인증서가 다음 주에 만료되는지, 파드가 CrashLoop에 빠졌는지, 엔드포인트가 준비되지 않았는지 등의 경고를 미리 지정한 채널로 보냅니다.

etcd는 30분마다 백업합니다. 백업 위치는 클러스터 내부가 아닌 Verda의 오브젝트 스토리지로, S3와 비슷한 형태입니다. 실행이 끝난 PipelineRun을 계속 남겨 두면 클러스터, 특히 etcd에 부하가 쌓이므로 일주일이 지난 PipelineRun은 삭제합니다.

운영 범위를 넓히기 위해 준비하던 PIPE 로드맵

소개 당시 가장 큰 약점은 고가용성이었습니다. 단일 클러스터에 문제가 생기면 많은 개발자가 영향을 받는다는 점을 해결하려고 LINE 내부의 멀티 AZ 도입을 계획했습니다. 컨트롤 플레인의 etcd, API 서버, 컨트롤러 매니저, 스케줄러와 워커 노드를 여러 AZ에 분산해 특정 IDC에 문제가 생겨도 서비스를 이어 가려는 계획입니다.

사용을 더 쉽게 만드는 작업도 진행 중이었습니다. 개발 중인 PIPE Functions는 Azure Functions나 AWS Lambda와 비슷한 기능으로, 클라우드 네이티브 이벤트를 활용해 워크로드를 간편하게 실행하는 것을 목표로 했습니다. 당시 PIPE를 사용하려면 쿠버네티스 인프라를 깊이 이해해야 했지만, 앞으로는 Heroku·Netlify·Google App Engine처럼 그 부담을 줄이려 했습니다. Python만 지원하던 Verda Functions를 대체하면서 이벤트와 지원 언어도 늘릴 계획이었습니다.

CPaaS는 아직 조사 단계였습니다. Namespace as a Service와 독자 클러스터 사이의 모델로 vCluster를 검토했습니다. 하부에서 이를 구동하는 언더레이 쿠버네티스에는 하나의 배포로 보이지만, 그 안에서는 완전한 쿠버네티스가 실행되는 형태입니다. 팀은 이런 환경이 CRD나 커스텀 컨트롤러를 개발할 때 편리하고 확장성을 확보하는 데도 도움이 될 것으로 보았습니다. 경험을 더 쌓은 뒤 제공하려던 구상입니다.

보안 관점에서 더 안전한 실행 환경이 필요한 경우를 위한 VM 기반 CRI도 계획에 포함됐습니다. Firecracker나 Kata Containers 같은 솔루션을 사용해 컨테이너 대신 VM 기반으로 런타임을 제공하려 했습니다.

원문에 명시된 구성값과 검증 범위
항목값
쿠버네티스 버전v1.21.1
네트워크 / 런타임 / 스토리지Calico + Typha / containerd / OpenEBS, VSFS
Typha 하나가 맡는 Calico 노드약 200개 (문서상, 이론상 4,000노드)
실제 테스트 규모약 1,000노드
Dex 토큰 유효 시간16시간
etcd 백업 주기30분
PipelineRun 보관일주일
스캐폴더 생성 파일ci.yaml 1개, cd.yaml 4개
런타임 클러스터 지역도쿄, 오사카, 싱가포르 등
마지막 수정 일자