본문으로 건너뛰기
세 데이터센터를 하나처럼 운영하는 멀티 데이터센터 플랫폼
목차

세 데이터센터를 하나처럼 운영하는 멀티 데이터센터 플랫폼 (2024-12)

원문 정보

  • 원문: [안정성 보고서] 3. 안정성을 위한 클라우드 구축
  • 매체 · 게시일: 카카오 기술블로그 · 2024-12-08
  • 저자: kakao tech (기여한 사람들로 김근영, 김다솔, 김용민, 김종한, 김희중, 백규철, 박예지, 임성국, 이기현, 이규진, 정기훈, 조아라, 최승안, 최현준, 홍준호 표기)
  • 안정성 보고서 시리즈 3편. 1편 프롤로그에서 서비스 구간의 과제로 소개한 내용입니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

한 번의 조치로 끝내는 세 데이터센터 배포

서비스를 여러 데이터센터에 나누면 같은 배포를 센터마다 반복해야 합니다. 상태까지 따로 모니터링하면 장애가 난 곳을 빠르게 찾기 어려워질 수 있습니다. 카카오는 물리적으로 분산된 자체 클라우드를 하나의 데이터센터처럼 관리하려고 멀티 데이터센터 플랫폼을 구축했습니다.

이 플랫폼에서는 한 번의 조치로 세 곳의 데이터센터에 서비스를 배포하고 모니터링합니다. 관리자는 마스터 노드를 여러 센터에 분산 생성하거나, 단일 클러스터 안에서 센터별로 노드 그룹을 만들 수 있습니다. 같은 클러스터 안에 데이터센터별 로드밸런서와 스토리지를 구성하는 것도 가능합니다.

반복되는 배포 일정은 자동으로 설정하고 관리합니다. 센터별로 트래픽이 분산되도록 구성해 배포할 수도 있습니다. 되돌릴 때도 조치는 한 번입니다. 여러 센터에서 동작 중인 서비스를 한꺼번에 롤백하므로 센터마다 같은 작업을 반복하지 않아도 됩니다.

장애 대응에는 서비스가 어느 센터에 있는지 보이는 화면이 쓰입니다. 각 노드가 속한 지역 이름을 표시해 장애가 난 데이터센터를 바로 파악하고, 영향을 받지 않은 다른 센터에서 서비스가 동작하도록 자동 전환합니다. 모든 서비스를 곧바로 다시 실행하는 것은 아닙니다. 데이터센터 장애 때 즉시 재동작해서는 안 되는 서비스나 운영 관리 도구는 특성에 따라 재해복구 대상에서 제외하도록 설정할 수 있습니다.

데이터 유실을 막기 위해 바꾼 저장소

데이터를 어디까지 복제할지는 중요도에 따라 다릅니다. 카카오는 이용자 데이터를 보관하는 스토어를 티어1, 티어2, 티어3으로 나누고, 절대 유실되어서는 안 되는 티어1 데이터는 여러 데이터센터에서 상호 복제합니다. 티어2 이하는 센터 간 복제가 필수는 아닙니다. 장애 때 잠시 접근하지 못하더라도 장애가 해소되면 다시 접근하거나, 티어1을 사용해 복구할 수 있는 데이터입니다.

다른 서비스의 장애가 스토어에 미치는 영향도 줄였습니다. 데이터베이스 접속 정보처럼 민감한 정보를 담는 보안 정보 저장소는 다른 서비스와의 의존성을 없앴고, 자동 백업이 되는 데이터베이스를 사용하도록 바꿨습니다.

일부 저장소는 응답 속도와 성능보다 안정성에 무게를 두었습니다. 리더-팔로워 구조를 쿼럼 구조로 바꿔 한 데이터센터에 장애가 나더라도 즉시 이중화 모드로 동작합니다. 트래픽 급증에도 안정적으로 동작하도록 저장소 내부는 API 레이어와 스토리지 레이어로 나눴습니다. 세션 처리와 스토리지 처리를 분리한 구성입니다.

서비스 실행에 필요한 컴퓨터와 네트워크, 즉 리소스도 다중화했습니다. 리소스에 해당하는 컨테이너는 API 레이어와 스토어 레이어로 구성되며, 스토어 레이어에서 저장소를 사용합니다. 이때도 각 레이어를 이중화해 데이터 유실을 방지합니다.

이모티콘 저장에서 드러나는 서비스 간 의존성

카카오 클라우드에는 네트워크, 저장소, 애플리케이션 등 40여 종의 서비스가 있습니다. 일부 서비스의 기능은 다른 서비스의 기능을 사용해 동작합니다. 장애가 발생한 서비스를 찾아도, 그 기능에 의존하는 서비스까지 영향을 받을 수 있는 관계입니다.

카카오톡 이모티콘 저장이 한 예입니다. 이모티콘은 데이터를 안전하게 보관하는 대용량 저장소인 오브젝트 스토리지에 저장합니다. 그중 자주 쓰는 데이터를 빠르게 가져오기 위해 사용하는 임시 저장소가 캐시입니다. 하나의 기능에 저장소와 캐시가 함께 관여하므로 서비스 간 연결을 살펴야 장애가 영향을 미치는 범위를 파악할 수 있습니다.

카카오는 이런 연관 관계를 파악하는 클라우드 서비스를 자체 개발했습니다. 담당자는 상태 대시보드의 연관성 정보에서 관련 서비스에 장애가 나면 알림을 받도록 설정할 수 있습니다. 어느 서비스에서 문제가 시작됐는지 빠르게 파악해, 다른 서비스로 영향이 퍼지기 전에 대응하도록 돕는 기능입니다.

상태 확인부터 장애 알림까지 이어지는 대시보드

서비스 상태 대시보드는 약 60종의 클라우드 서비스 상태를 보여 줍니다. 확인은 요청과 응답을 기준으로 합니다. 최소 1분 단위로 요청을 보내고, 응답 정보를 바탕으로 상태를 판단합니다.

정상 동작은 Up, 동작하지 않는 비정상 상태는 Down입니다. 서비스는 동작하지만 내부에서 경고가 발생하면 Warning, 점검 중이면 Maintenance로 표시합니다. 알 수 없는 문제로 상태를 파악하기 어려울 때는 Unknown입니다. Unknown이 계속되면 Down으로 변경합니다.

담당자가 화면만 보고 있어야 하는 것은 아닙니다. 서비스 배포, 상태 변화, 오류 발생 같은 이벤트가 생기면 장애 알림 시스템이 카카오톡, 메일, 카카오워크, 사내게시판 네 채널로 알림을 보냅니다. 담당자가 즉각 상황을 인지하고 대응해 장애 처리 시간을 줄이고, 다른 서비스에 영향이 번지기 전에 처리하도록 돕습니다.

통합 모니터링 시스템은 서비스 현황을 시각화해 실시간으로 제공합니다. 서비스가 정상이 아닐 때는 상태와 관련된 사용 기록도 빠르게 조회할 수 있습니다. 상태를 알아차린 뒤 문제를 파악하는 데 필요한 정보까지 이어지는 구성입니다.

상태 대시보드와 알림 요약
항목값
대시보드 대상 서비스약 60종
클라우드 서비스 종류40여 종
상태 분류Up, Down, Warning, Maintenance, Unknown (5가지)
상태 확인 주기최소 1분 단위 요청
알림 채널카카오톡, 메일, 카카오워크, 사내게시판 (4개)
동시 배포·모니터링 대상데이터센터 3곳
마지막 수정 일자