본문으로 건너뛰기
복사한 배포 설정의 후폭풍을 줄인 카카오TV의 MSA 데브옵스
목차

복사한 배포 설정의 후폭풍을 줄인 카카오TV의 MSA 데브옵스 (2021-07)

원문 정보

  • 원문: 실용주의 데브옵스 for MSA
  • 매체 · 게시일: 카카오 기술블로그 · 2021-07-16
  • 저자: knight.lee (콘텐츠서비스개발팀)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

카카오TV 팀이 MSA에 관심을 갖기 시작한 때는 2018년 9월경입니다. 스프링 5.0 마이크로서비스 책을 함께 읽고 워크숍을 거쳐 도입을 결정한 뒤, 실서비스를 열기 전에 Kubernetes 클러스터를 준비했습니다. 클러스터만 제대로 만들면 별문제 없이 지낼 수 있으리라는 기대가 있었습니다.

프로덕트마다 복사한 설정의 후폭풍

클러스터를 갖춰도 반복 작업은 남았습니다. MSA 프로덕트 하나를 추가할 때마다 기존 Helm 차트를 복사해 이름과 네임스페이스를 바꾸고, Jenkins Job도 복사해서 고쳐 썼습니다. 도커 이미지 빌드와 저장을 맡는 사내 D2Hub에는 브랜치 트리거를 설정해야 했습니다.

복사한 설정은 공통 변경이 생길 때마다 손이 갑니다. 예를 들어 앱 모니터링 도구를 Sentry에서 사내 솔루션 Matrix로 바꾼다면, 통합 설정이 들어 있는 모든 프로덕트의 Jenkins Job을 수정해야 합니다. Kubernetes 업그레이드로 사용 중인 리소스의 스펙이 바뀌면 Helm 차트도 고쳐야 하고, D2Hub 업데이트 뒤에는 브랜치 트리거를 다시 설정해야 할 수도 있습니다. MSA 자체에는 어느 정도 DRY 원칙 위배를 허용할지 몰라도, 그 MSA를 위한 데브옵스에서 반복을 허용하면 운영자의 손이 많이 가는 상황이었습니다.

Jenkins 자체를 돌보는 일도 부담입니다. 저자가 겪은 Jenkins는 처음 설치한 사람이 그대로 담당자가 되는 제품이었습니다. 싱글머신에서는 스케일아웃이 쉽지 않고, 슬레이브를 쓰려면 추가 작업이 필요합니다. 데이터 백업까지 챙겨야 하니 개발자 리소스를 아끼려면 Jenkins의 관리 부담부터 줄여야 했습니다.

Git의 배포 형상을 따라가는 Argo CD

팀은 비대해진 Jenkins에서 CD를 분리했습니다. 외부에 좋은 CD 도구가 나오기 시작한 시기였고, CI에는 이미 작성한 Jenkins 스크립트와 카카오페이의 사내 파이프라인 레퍼런스를 재활용할 수 있었습니다. Jenkins를 CI에 남기고 배포는 다른 도구에 맡기기로 한 이유입니다.

CD 후보인 Spinnaker와 Argo CD 사이에서는 GitOps가 선택을 이끌었습니다. GitOps는 배포할 리소스를 선언형으로 작성해 Git 리포지토리에 두고, 실제 클러스터를 그 상태에 맞춰 유지하는 방식입니다. Git에 기록한 형상과 클러스터 사이에 차이가 생기면 Argo CD가 이를 감지해 동기화합니다.

배포 상태를 확인할 기준이 Git 한곳에 모였습니다. 커밋이 남으므로 별도 시스템 없이 배포 이력과 감사 로그를 확보할 수 있고, 롤백도 Git의 특정 리비전으로 동기화하는 일입니다. 이전 배포 결과가 정상이었다면 해당 리비전으로 돌아갔을 때도 배포에 문제가 생기지 않는다는 점이 장점이었습니다.

관리할 데이터도 선택에 영향을 줬습니다. Argo CD는 Stateless한 애플리케이션이고 데이터가 Git에 있어 관리할 요소가 거의 없습니다. Spinnaker는 Minio에 저장하는 데이터도 따로 관리해야 했습니다. 팀은 배포 빈도와 속도, 생산성을 개선하는 데 더해 GitOps의 이점까지 얻을 수 있는 Argo CD를 택했습니다.

GitHub 버튼으로 이어진 Production 배포

개발자가 마주할 배포 인터페이스는 Git CLI와 GitHub 버튼으로 정했습니다. 모놀리식 시절의 Git Flow 대신, MSA에서는 master에서 브랜치를 만들어 개발하고 PR로 검토한 뒤 master에 머지하는 GitHub Flow면 충분하다고 판단했습니다. master에 머지하면 자동으로 배포됩니다. 신입 개발자도 별도의 학습 부담 없이 배포할 수 있으리라는 기대였습니다.

이 흐름을 뒷받침하려면 프로덕트마다 복사하던 설정부터 모아야 했습니다. 인그레스 도메인, 레플리카 수, 메모리, CPU 같은 설정은 YAML로 작성하되 시스템 스펙과 사용자 스펙을 분리했습니다. 사용자는 필요한 부분만 오버라이드합니다. 공통 설정은 중앙에서 관리하면서 각 프로덕트의 요구도 반영하는 방식입니다.

일반적인 MSA WAS가 공유할 ingress, service, deployment 조합의 Helm 차트는 GitOps 리포지토리에 두었습니다. 여기서 Helm은 템플릿화에만 사용합니다. 사용자 설정을 바탕으로 배포 대상에 맞는 values.yaml을 만들고 GitOps 리포지토리에 푸시하면, 클러스터와의 동기화는 Argo CD가 맡습니다.

Jenkins 파이프라인은 Groovy의 스크립티드 문법으로 통일했습니다. 선언형 문법의 가독성은 좋지만, 지원하지 않는 작업을 만나면 결국 스크립티드 문법을 섞어야 한다고 봤기 때문입니다. 스테이지별로 모듈을 나눠 추가와 삭제를 쉽게 하고, 단정문을 많이 넣어 파이프라인 실수로 잘못 배포되는 일을 최대한 막도록 작성했습니다.

프로덕트를 처음 연결할 때는 등록이 필요합니다. GitOps 리포지토리의 지정된 YAML 파일에 프로덕트 리포지토리명을 추가해 master에 머지하고, 각 리포지토리의 Jenkins 파일에는 사용할 파이프라인의 브랜치 등을 적습니다. 개별 설정을 담은 workflow.yaml까지 MSA 리포지토리에 넣고 master에 머지하면 준비가 끝납니다.

그 뒤에는 푸시나 머지에 따라 브랜치별 CI가 실행됩니다. 예를 들어 feature 브랜치의 커밋에는 빌드·유닛 테스트를, PR 브랜치의 커밋에는 빌드·유닛·정적 테스트를 수행합니다. PR 테스트 결과는 GitHub 체크와 연동되며, 테스트를 통과해야 머지 버튼이 활성화됩니다.

PR이 master에 머지되면 해당 소스로 도커 이미지를 빌드해 사내 레지스트리에 푸시합니다. 이어 workflow.yaml의 사용자 설정으로 Helm 차트에 쓸 values 파일을 생성해 GitOps 리포지토리에 올리고, Argo CD가 변경된 부분을 클러스터에 동기화합니다. Prod 배포는 Merge Pull Request 버튼으로만 이뤄집니다. 배포 승인이나 공지글 등록처럼 개발자 입력이 필요한 순간에는 CI가 관련 인터페이스 URL을 카카오톡으로 알립니다.

개발 단계에 따라 나눈 Kubernetes 클러스터

배포 대상 클러스터는 개발 단계에 따라 나눴습니다. 카카오는 Dev Zone과 Production Zone으로 존을 구분하고, 개발 단계는 Dev, Sandbox, CBT, Production으로 구분합니다. 한 클러스터 안에서 네임스페이스로 모든 단계를 나누면 관리할 요소는 줄어듭니다. 팀은 그 편의만으로 서비스 안정성을 확보하기는 어렵다고 판단했습니다.

Dev와 Sandbox는 운영 편의를 위해 합쳤습니다. CBT와 Production은 논리적으로도, 물리적으로도 분리했습니다. 노드 어피니티로 물리적으로 나누는 방법도 있었지만 별도 설정이 늘어납니다. 팀은 클러스터 자체를 따로 구성하는 쪽을 선택했습니다.

Production 클러스터를 몇 개 둘지는 실제 장애 경험이 결정했습니다. 초기 구축 때 Deployment에 리소스 Limit을 설정하지 않고 배포한 적이 있었는데, 메모리 누수로 파드 하나가 죽은 뒤 주변 파드와 노드까지 영향을 받아 클러스터 전체가 내려갔습니다. 파드 하나의 문제가 클러스터 전체를 망가뜨릴 수 있다는 두려움에 삼중화를 택했습니다. 이후 운영 중에는 클러스터 장애가 한 번도 없었고, 그사이 Kubernetes 업그레이드와 안정화도 상당히 진행됐습니다. 저자는 글을 쓴 2021년 시점에는 이중화로 충분하다고 판단했습니다.

트래픽 진입점에는 Ingress NGINX를 사용했습니다. 처음에는 규모 있는 서비스에 적합하다고 본 Istio를 사내 인프라팀의 도움을 받아 도입하려 했습니다. 그러나 당시 초기 버전의 버그, Kubernetes 설정 변경, 사내 Kubernetes와의 버전 호환 문제가 있었습니다. 서비스를 Strangler 패턴으로 이전하고 있어 트래픽 라우팅과 SSL 오프로딩 같은 필요 기능을 어느 정도 대체할 수 있다는 점도 선회한 이유입니다.

Strangler 패턴은 기존 시스템을 계속 운영하면서 기능을 조금씩 MSA로 옮기는 방식입니다. 앞단에 프록시를 두고 레거시와 MSA 서비스를 미러링해 동작을 확인한 뒤, 트래픽 비율을 조정하며 이전합니다. 모든 기능을 옮기면 모놀리식 서비스와 가교 역할을 하던 프록시를 제거합니다.

Istio를 선택하지 않은 판단에는 당시의 조건이 붙습니다. 글을 쓸 무렵에는 같은 팀도 MLOps를 진행하며 ML 모델 서빙에 Istio를 사용하고 있었습니다. 카카오의 다른 팀과 조직에서도 Istio를 잘 쓰고 있었습니다.

필요한 부분만 패치하는 Kustomize

오픈소스 인프라는 최소한의 인력으로 설치하고 운영해야 했습니다. 인터넷에서 Helm 차트를 구하기는 쉬워도, 그대로 가져다 쓴 뒤 수정하는 일은 쉽지 않았습니다. 차트의 리소스 코드를 이해하기 어렵거나 바꾸려는 값이 values에 노출되어 있지 않을 수 있습니다. 이것저것 적용하다 보면 롤백할 방법도 막막해집니다.

팀은 Helm으로 곧바로 설치하는 대신 Kustomize로 필요한 부분만 패치하기로 했습니다. base 폴더에 기본 리소스를 두고, overlay 폴더에는 바꿀 부분만 YAML 패치로 작성하는 방식입니다. 공통 리소스를 바탕으로 여러 버전을 관리하면서 변경한 부분을 읽기 쉽게 남길 수 있습니다.

Helm 차트를 이 형태로 바꾸는 데는 Replicated의 Ship을 사용했습니다. Ship으로 차트를 Kubernetes 리소스로 변환하고, Kustomize 패치를 적용한 뒤 GitOps 리포지토리에서 관리합니다. git push origin HEAD:install/{cluster}/{namespace}/${app_name} 같은 명령으로 install 브랜치를 만들면 해당 인프라를 배포하는 파이프라인이 실행됩니다. 배포 형상은 애플리케이션과 마찬가지로 Argo CD가 관리합니다.

Ingress의 global config map처럼 독립적으로 관리하는 리소스도 같은 흐름에 넣었습니다. Git에 커밋하고 코드 리뷰를 거쳐 master에 머지하면 Argo CD가 동기화합니다. Argo CD 화면에서는 Kubernetes 리소스와 배포 형상을 시각적으로 확인하고, 애플리케이션을 생성·수정·삭제할 수 있습니다. 저자는 대부분의 리소스를 이 방식으로 관리하며 운영 부담이 거의 없어 매우 만족한다고 밝혔습니다.

다시 설치해도 같은 형상으로 돌아오는 Jenkins

Jenkins 자체는 Stateful한 애플리케이션입니다. 팀은 이를 Stateless하게 운영할 방법을 찾았습니다. GitOps를 도입한 뒤에는 배포 이력처럼 보존해야 할 데이터가 이미 GitHub에 있었으므로, Jenkins의 빌드 Job이 사라져도 괜찮았습니다.

Jenkins를 다시 구성하는 데 필요한 정보는 코드로 관리했습니다.

  • Configuration as code 플러그인으로 관리하는 Jenkins 설정
  • 이름과 버전을 코드에 기록하고, 기동할 때마다 init 컨테이너로 설치하는 플러그인
  • DSL로 정의하고 코드로 생성하는 Job

확장에는 Jenkins 에이전트와 Kubernetes 플러그인을 활용했습니다. replicas를 늘리면 스케일아웃되도록 Kubernetes 리소스를 구성했습니다.

이렇게 구성한 Jenkins는 플러그인 설치 문제로 재시작하지 못해도 PV를 지우고 파드를 다시 띄워 복구할 수 있습니다. 최악의 경우에는 네임스페이스를 삭제한 뒤 같은 install 브랜치 push로 재설치합니다. 설정과 플러그인, Job을 코드에서 다시 만들기 때문에 기존 형상 그대로 돌아오는 방식입니다.

마지막 수정 일자