본문으로 건너뛰기
장애에 대비하며 한정된 리소스 안에서 키워 온 Redis
목차

장애에 대비하며 한정된 리소스 안에서 키워 온 Redis (2024-03)

원문 정보

장애 뒤에 홀로 남은 Primary

Primary 하드웨어에 문제가 생겨도 Replica가 승격하면 서비스는 이어집니다. 문제는 그다음입니다. 이제 Primary 한 대만 남았고, 이마저 멈추면 휘발성 메모리에 데이터를 두는 Redis는 데이터 유실을 각오해야 합니다. LINE+ Redis 팀이 ‘1 Primary’ 상태를 방치하지 않는 이유입니다.

팀의 기본 HA 구성은 ‘1 Primary - 1 Replica’입니다. ‘1 Primary - 2 Replica’ 구성에서는 Primary 장애 때 어느 Replica를 승격할지 결정하는 추가 과정이 필요하고, Replica 사이의 충돌 가능성도 고려해야 합니다. 치명적인 단점까지는 아니지만, 팀은 이런 점을 감안해 Replica를 하나만 두었습니다. 복제본을 최소화하면서 비용도 줄었지만, 처음부터 의도한 효과는 아니었습니다.

하드웨어 문제는 실제로 반복됐습니다. CPU나 RAM 같은 부품 하나에 문제가 생겨도 PM(물리 장비)이나 HV(하이퍼바이저)는 서비스 아웃을 동반한 점검이 필요합니다. 특정 벤더의 일부 부품 전체에서 문제가 발견돼 오랜 기간 서비스 아웃을 반복한 경험도 있습니다.

팀은 Redis를 바로 실행할 수 있는 고사양 장비를 몇 대씩 준비해 두고, 필요하면 서버를 추가로 발급받습니다. 서비스 아웃을 발견하면 Primary만 남은 서비스에 임시 Replica를 추가합니다. 클라우드에서 관리하지 않는 PM에서는 이 작업이 수작업입니다. 일주일에도 몇 번씩, 때를 가리지 않고 대응해야 했습니다.

반복 작업을 줄인 클라우드의 오토 힐링

LINE+ Redis 팀은 Redis를 연구해 사내에 도입하고, 자체 운영 서비스를 제외한 LINE 관련 서비스의 모든 Redis를 국가와 법인에 관계없이 기술 지원합니다. 사내 클라우드로 제공하는 Redis뿐 아니라 DBA가 VM이나 PM에 직접 설치해 운영하는 Redis도 있습니다.

구체적인 운영 수치는 공개하지 않았습니다. 다만 Redis Enterprise 엔지니어에게 전해 들은 중국 한 회사의 운영 규모보다도 컸다는 점에서, 저자는 아시아 최대 규모일지도 모른다고 추측합니다. 새로운 서비스가 생기고 기존 서비스가 성장하면서 관리 대상은 계속 늘었습니다.

이 규모에서 클라우드까지 서버 점검마다 같은 수작업을 반복할 수는 없었습니다. 사내 클라우드에 도입한 오토 힐링은 점검이 진행될 때 새 서버를 발급받아 추가합니다. 새 서버는 그대로 남기고 점검 대상 서버를 반납합니다. 서버를 쉽게 발급받고 교체할 수 있는 클라우드의 특성이 자동화를 가능하게 했습니다.

야간 확인은 남았습니다. 서비스 아웃이 발생하면 Redis 상태를 살펴야 하므로 밤에 일어나야 하는 점은 그대로입니다. 그래도 HA 구성을 유지하는 작업을 자동화하면서 대응 공수는 크게 줄었습니다.

사용자의 참여가 필요했던 Low Usage Project

클라우드에서는 데이터베이스 수가 늘어도 관리 공수가 정비례로 증가하지 않고, 확장과 축소도 쉽습니다. 개발자는 여러 데이터베이스를 손쉽게 발급받고, 운영팀은 큰 규모를 감당할 수 있게 됐습니다. 관리하는 데이터베이스가 늘며 전투력이 오르는 듯했지만, 클라우드에도 물리적인 수용량의 한계는 있었습니다.

물리 장비를 추가하지 않는 한 그 한계를 넘길 수는 없습니다. 그렇다고 ‘전투력 측정기가 폭발’해 서비스 제공에 무리가 생긴 상황은 아니었습니다. 사용량이 예상보다 높았고, 팀은 쓰지 않는 리소스를 반납받거나 적게 쓰는 리소스를 축소하기로 했습니다. 미사용·저사용 Redis 반납 캠페인인 Low Usage Project의 시작입니다.

미사용과 저사용을 가려내는 기준, 축소가 서비스에 미칠 영향도 고민거리였습니다. 그중 가장 큰 고민은 사용자가 이 작업을 원하는지였습니다. 참여가 있어야 리소스도 줄일 수 있기 때문입니다.

과거 캠페인에서 받은 메일 하나가 준비 방향을 바꿨습니다. 사용자별로 메일을 보낼 수 있다면 상세 정보로 바로 가는 URL도 넣을 수 있을 텐데, 사내 공지라도 작은 부분까지 신경 써 달라는 피드백이었습니다. 저자는 거친 정보만 제공했던 태도를 돌아봤고, 그것이 낮은 참여율로 이어졌을 가능성도 생각했습니다. 이 메일은 이후에도 줄곧 중요 메일함에 남아 있습니다.

이번에는 URL을 붙이는 데서 더 나아가 사용자별 맞춤 대시보드를 만들기로 했습니다. 사용자가 자기 Redis를 왜 줄여야 하는지 이해하고, 무엇을 어떻게 바꿀지 한눈에 판단할 수 있어야 했습니다.

사용 여부가 드러나지 않은 슈뢰딩거의 Redis

먼저 사용 여부를 판단할 근거가 필요했습니다. 메모리 사용량만으로는 Redis를 쓰고 있는지 알 수 없었습니다. 익스포터로 명령어 발행 횟수 같은 지표도 수집하고 있었지만, 상대적으로 중요도가 낮다고 보아 후가공하지 않은 상태였습니다. 지표 데이터베이스를 열어도 로 데이터만 있을 뿐, 사용량을 쉽게 식별할 수는 없었습니다.

데이터는 이미 있었습니다. 팀은 이를 가공해 서비스별 최근 명령어 발행 횟수와 시스템 사용량을 바탕으로 내부 저사용 판단 기준을 만들었습니다. 캠페인 때마다 같은 작업을 되풀이하지 않도록, 메모리 외의 지표도 계속 추적하고 관리하는 체계까지 갖췄습니다.

축소 중에도 서비스를 이어 갈 클라이언트 설정

미사용 Redis는 리소스를 반납하면 됩니다. 저사용 Redis는 아직 서비스가 쓰고 있으므로 축소가 필요합니다. 서버 스펙에 비해 사용하는 메모리가 현저히 적은 서비스에는 아래 방법을 하나씩 적용하거나 함께 사용했습니다.

  • 스케일 인: Redis 클러스터를 구성하는 샤드 수 축소
  • 스케일 다운: Redis 서버의 스펙 축소

조건은 서비스 무중단입니다. 리소스를 확보하려다 서비스를 멈추면 작업의 목적부터 어긋납니다. 팀은 확장·축소 중에도 Redis 서버를 하나씩 더 추가할 수 있도록 설계해, 작업 도중 물리 장비 하나에 문제가 생겨도 서비스를 이어 가게 했습니다.

이 설계가 작동하려면 클라이언트 설정이 올바라야 합니다. DNS 기반 엔드포인트 설정, 클러스터 구성 변경을 정상적으로 식별하기 위한 Redis 클러스터 토폴로지 관련 옵션 등 사내 클라우드 설정 가이드의 모범 사례를 따라야 했습니다.

팀에는 주요 클라이언트 라이브러리의 설정과 그동안의 트러블슈팅 사례를 담은 가이드가 이미 있었습니다. 캠페인을 준비하며 더 다양한 설정을 추가하고 읽기 쉽게 정비했습니다. 오토 힐링도 클라이언트 설정에 의존합니다. 축소를 준비하며 설정을 바로잡은 작업은 앞으로 발생할 수 있는 장애를 예방하는 데도 도움이 됐습니다.

이유와 실행 방법을 모은 한 페이지

지표와 가이드는 사용자별 맞춤 대시보드로 이어졌습니다. LY의 Our Mission & Values 중 ‘Users Rule’, 특히 ‘Perfect the Details’를 되새기며 작은 부분까지 사용자를 배려하려 한 결과입니다.

대시보드는 단일 페이지로 구성했습니다. 사용자는 자신의 Redis가 미사용·저사용으로 판단된 이유를 확인하고, 반납이나 축소 중 어떤 작업이 필요한지 볼 수 있습니다. 가이드 문서에 따라 설정을 마친 뒤 클라우드 UI에서 작업하도록 안내했습니다. 판단에 필요한 정보와 실행 방법을 한눈에 보여 주는 데 집중했습니다.

운영팀을 위한 화면도 마련했습니다. 별도의 관리자 대시보드에서 사용량을 추적하고 관리할 수 있도록 했습니다.

캠페인 뒤에도 이어지는 사용량 추적

캠페인은 장기간 진행됐습니다. 대상 Redis가 많았고, 배포 시기나 개발 관련 이벤트를 피해 개발자들의 일정을 고려해야 했습니다. 많은 개발자가 참여하면서 캠페인은 성공적으로 마무리됐습니다.

2023년 한 해 동안 내려간 것은 Redis의 리소스 사용량입니다. 서비스 수는 거의 변하지 않았습니다. 오히려 서비스를 삭제하는 속도가 새로 만드는 속도를 따라가지 못했는데도 리소스 사용량은 꾸준히 줄었습니다. 공식 캠페인이 끝난 뒤에도 더 많은 Redis 서비스를 효율적으로 제공하기 위해 추적과 관리를 이어 가고 있습니다.

LY 합병 이후 전체 Redis 운영 규모는 더 커졌고, 해결할 과제도 늘고 있습니다. 저자는 이번 글에서 다루지 못한 이야기와 기술적으로 더 깊이 살펴볼 내용은 시간이 날 때마다 이어 쓰겠다고 밝혔습니다. 의사 결정에 함께하고 좋은 결과를 만든 팀원들에게 감사를 전하며 남긴 마지막 말은 ‘Love yourself, Love your Redis.‘입니다.

마지막 수정 일자