본문으로 건너뛰기
VM 교체의 수작업을 줄인 쿠버네티스 선언형 DBaaS
목차

VM 교체의 수작업을 줄인 쿠버네티스 선언형 DBaaS (2023-06)

원문 정보

새 VM만으로 끝나지 않는 DB 복구

LINE의 DBaaS 운영팀을 비용 면에서 가장 괴롭힌 문제는 VM 장애였습니다. 당시 MySQL, Redis, Elasticsearch를 제공하는 DB 서비스는 8500개 이상이었고, 이를 위해 사용하는 VM은 3만 7000개 이상이었습니다. LINE 전체 VM의 약 35%입니다. MongoDB 등으로 제공할 DB 종류를 늘릴 계획도 있었습니다.

VM 교체부터 손이 많이 갔습니다. 일반적인 웹 서비스는 데이터가 원격 스토리지에 있으므로 새 VM에 웹 서버를 띄우면 별도 작업 없이 데이터를 쓸 수 있습니다. 하지만 성능 때문에 로컬 저장소를 쓰는 DB는 VM을 교체하려면 대량의 데이터를 복제해야 합니다. DB 인스턴스는 상태를 유지하는 스테이트풀 특성도 있어서, 새 VM에서 프로세스를 실행한 뒤 DB 연결을 위한 여러 명령까지 수행해야 했습니다.

팀은 이 과정에서 관리자가 내리는 판단과 명령을 줄이고자 했습니다. 직접 운전할 때는 운전자가 현재 위치와 장애물을 보고 가속·감속·조향을 결정합니다. 자율 주행에서는 목적지를 정하면 시스템이 상황을 판단해 운전합니다. DBaaS에 적용하려던 방식도 이와 같았습니다. 사용자는 원하는 최종 상태를 선언하고, 그 상태에 도달하기 위한 판단과 작업은 시스템이 맡도록 만든 것입니다.

DB를 VM에 남긴 쿠버네티스 컨트롤 플레인

팀은 쿠버네티스를 확장하되 컨테이너 관리 기능은 쓰지 않기로 했습니다. 커스텀 리소스와 커스텀 컨트롤러로 DBaaS의 컨트롤 플레인을 만들고, DB를 실행하는 데이터 플레인에는 VM을 유지했습니다. LINE에서 오랫동안 대규모로 검증한 VM과 그 위의 DB를 마이그레이션 없이 새 DBaaS에 통합하려는 선택이었습니다.

장애가 번지는 범위도 고려했습니다. 컨테이너를 데이터 플레인으로 쓰면 CoreDNS 같은 주요 컴포넌트의 장애나 글로벌 설정 변경 실수가 클러스터 전체 장애로 이어질 수 있습니다. 컴포넌트를 다중화했더라도 쿠버네티스가 단일 장애점이 될 가능성은 남습니다. 팀은 컨트롤 플레인 장애가 DB 실행에 영향을 주어서는 안 된다고 보았고, 멀티 클러스터 같은 해법은 시스템을 너무 복잡하게 만든다고 판단했습니다.

컨테이너 관리 기능에서 얻을 이점도 크지 않았습니다. 스테이트풀한 DB 인스턴스에는 파드 오토스케일링을 적용하기 어렵고, 로컬 스토리지를 쓰면 파드 스케줄링에도 한계가 있습니다. 스테이트풀셋을 사용하더라도 DBaaS의 다양한 기능을 모두 구현하기에는 부족하다는 판단이었습니다.

사용자 명세에서 시작하는 커스텀 리소스

사용자가 선언하는 대상은 최상위 커스텀 리소스인 DB 서비스입니다. 사용자가 만드는 DB와 일대일로 대응하며, vmCount, vmConfig, dbConfig에 VM 수와 VM 설정, DB 설정을 담습니다. DBaaS Manager는 이 명세를 보고 필요한 수만큼 VM과 DB 인스턴스 커스텀 리소스를 만듭니다. 직접 VM을 생성하거나 DB를 설정하는 단계까지 맡지는 않습니다.

VM 생성은 VM Operator가 담당합니다. 예를 들어 가상 코어 2개, 메모리 8GB, dbaas-agent 프로세스를 가진 VM을 선언하면, VM Operator가 그 명세에 맞춰 VM을 만들고 agent를 실행합니다. 생성이 일시적으로 실패해도 다시 명령을 보낼 필요는 없습니다. VM Operator가 재시도 사이에 일정 시간을 두는 백오프와 함께 재생성을 반복해 선언한 상태에 도달합니다.

DB 인스턴스는 샤딩이나 복제를 위해 실행하는 개별 DB 프로세스를 가리킵니다. 각 인스턴스의 설정 역시 커스텀 리소스에 담습니다. 파라미터는 DB마다 다르지만, 설명을 위해 최대 클라이언트 수를 제한하는 maxclient와 시간제한을 설정하는 timeout이 있다고 가정합니다. VM 안의 dbaas-agent는 이 리소스를 관찰하다가 로컬 DB 설정과 다른 부분을 발견하면 필요한 명령을 보냅니다. 사용자나 관리자의 실수, 장애로 설정이 달라졌을 때도 같은 방식으로 선언된 상태를 복구합니다.

이 제어 시스템에는 별도의 데이터 저장용 DB나 비동기 처리용 메시지 큐가 없습니다. 쿠버네티스 리소스를 데이터 저장소로 쓰고 API 서버로 비동기 처리를 하기 때문입니다. 쿠버네티스를 프레임워크로 사용한 덕분에 배포도 쉬웠습니다.

명세 변경과 리소스 삭제로 시작하는 DB 운영

DB를 확장할 때 사용자가 바꿀 것은 VM 수입니다. 명세의 VM 수를 3개에서 4개로 바꾸면 DBaaS Manager가 부족한 VM과 DB 인스턴스 커스텀 리소스를 하나씩 만듭니다. 이어 VM Operator와 dbaas-agent가 VM 생성과 DB 동기화를 진행하면 확장이 끝납니다.

파라미터 변경도 같은 흐름입니다. 사용자가 타임아웃을 5초에서 1초로 바꿔 선언하면 DBaaS Manager가 모든 DB 인스턴스 커스텀 리소스에 변경을 전파합니다. 각 agent는 이를 감지해 로컬 DB에 명령을 보내고, 모든 DB의 타임아웃이 1초로 설정됩니다. 컴포넌트 사이의 통신이 커스텀 리소스로만 오가므로 서로의 의존성도 줄어듭니다.

노드 교체는 삭제로 시작합니다. 유지 보수나 소프트웨어 오류 때문에 VM을 교체하려면 관리자는 해당 VM의 커스텀 리소스를 삭제합니다. 선언한 VM 수는 3개인데 리소스가 2개로 줄었으므로, DBaaS Manager가 새 VM 커스텀 리소스를 만듭니다. VM Operator가 새 VM을 생성하고 agent를 실행하면, agent는 DB 인스턴스 커스텀 리소스를 읽어 로컬 DB에 필요한 명령을 보냅니다. 관리자가 복구 절차를 하나씩 지시하지 않아도 시스템이 선언한 상태를 다시 채웁니다.

오토 힐링에서는 이 삭제를 시스템이 시작합니다. 팀이 신중하게 고른 부분은 교체를 시작할 이벤트였습니다. DB 상태 모니터링 결과를 잘못 판단하면 불필요한 오토 힐링이 대규모 장애로 이어질 수 있어, 더 보수적인 방법을 택했습니다. LINE에서 VM을 교체할 때 발생하는 메인터넌스 이벤트를 감지하면 해당 VM 커스텀 리소스를 삭제하도록 했습니다. 그 뒤에는 수동 노드 교체와 같은 과정이 진행되어 관리자 개입을 최소화한 채 노드를 교체합니다.

VM마다 늘어나는 API 서버의 부하

운영 절차를 자동화한 설계에는 검증할 문제가 남았습니다. 일반적인 쿠버네티스에서는 커스텀 리소스 한 종류를 컨트롤러 하나가 관리하지만, 이 DBaaS에서는 VM마다 컨트롤러가 하나씩 API 서버에 접근합니다. VM이 늘어나는 만큼 API 서버가 받는 부하도 문제가 될 수 있었습니다.

팀은 VM 약 2만 개를 확장 목표로 잡았습니다. 당시 DBaaS용 VM 3만 7000개를 쿠버네티스 클러스터 약 두 개로 감당할 수 있는 규모입니다. 더 큰 규모만을 추구하지는 않았습니다. 시스템이 지나치게 커지면 장애가 대규모 데이터 손실로 이어질 수 있고, 필요 이상의 확장 목표는 설계를 불필요하게 복잡하게 만들 가능성이 있었기 때문입니다.

먼저 agent가 관찰하는 범위를 줄였습니다. VM 1000개에서 각 agent가 커스텀 리소스 1000개를 모두 관찰하는 예를 들면 watch 요청은 100만 개가 됩니다. 각 agent에 필요한 것은 자신이 담당하는 DB 인스턴스뿐이므로, 필드 셀렉터로 리소스 하나만 관찰하도록 바꿨습니다. API 서버와 agent 사이의 부하는 줄었지만 etcd와 API 서버 사이의 부하는 그대로였습니다. 필드 셀렉터는 API 서버가 전체 목록을 가져온 뒤 메모리에서 필요한 항목만 거르는 방식으로 작동했기 때문입니다.

코드를 분석한 팀은 당시 쿠버네티스에서 etcd 수준의 필드 셀렉터를 지정할 수 없다는 점을 확인했습니다. 대신 etcd가 네임스페이스별로 자원을 따로 관리한다는 점을 활용해 네임스페이스를 많이 만들었습니다. 사용자 네임스페이스와 쿠버네티스 네임스페이스가 일대일로 대응하므로, 네임스페이스마다 생성할 DB 서비스 수를 제한하면 부하를 줄일 수 있습니다. 예를 들어 네임스페이스 100개에 VM을 10개씩 두면 전체 VM은 같은 1000개여도 watch 수는 1만 개가 됩니다. 이 수치는 배치 예시를 비교한 계산입니다.

낮은 사양의 API 서버에서 진행한 확장성 검증

최적화 뒤에는 API 서버 5개에 컨트롤러 2만 개와 커스텀 리소스 10만 개를 연결해 테스트했습니다. API 서버의 사양은 가상 코어 2개, 메모리 8GB였습니다. 처음 연결할 때 CPU 사용률이 잠시 40%까지 올랐고, 이후 커스텀 리소스를 10개, 20개, 40개 변경했을 때는 40개 변경에서도 40% 미만을 유지했습니다.

변경 수만 보면 작아 보일 수 있습니다. 하지만 테스트한 API는 일반 웹 요청과 달리 DB 생성·삭제·변경을 처리하므로, 팀은 이를 상당히 높은 부하로 보았습니다. 낮은 사양의 API 서버에서도 이 결과를 얻었기에 실제로 사용할 수 있는 설계라고 판단했습니다. 수개월간 설계를 논의하고 성능을 검증한 뒤, 관리하는 다른 종류의 DB에도 같은 방식을 적용할 계획을 밝혔습니다.

운영 규모와 확장성 검증 조건
항목값
DB 서비스 수8500개 이상
DB용 VM 수3만 7000개 이상(전체 VM의 약 35%)
확장 목표VM 약 2만 개
최적화 전 watch 수(VM 1000개 가정)100만 개
최적화 후 watch 수(네임스페이스 100개, VM 10개씩 가정)1만 개
테스트 구성API 서버 5개, 컨트롤러 2만 개, 커스텀 리소스 10만 개
테스트 결과40개 변경 시 API 서버 CPU 40% 미만
테스트용 API 서버 사양가상 코어 2개, 메모리 8GB
마지막 수정 일자