본문으로 건너뛰기
Ceph 클러스터 10개를 하나처럼 쓰는 오브젝트 스토리지
목차

Ceph 클러스터 10개를 하나처럼 쓰는 오브젝트 스토리지 (2023-07)

원문 정보

OSD 약 4천 개에서 끊긴 지표

LINE이 Ceph의 데이터 저장을 담당하는 OSD(object storage daemon)를 약 4천 개로 늘렸을 때, 수집하던 지표의 그래프가 주기적으로 끊겼습니다. 플레이스먼트 그룹에 변화가 생기면 Ceph 매니저가 버티지 못하고 다운됐기 때문입니다. 클러스터 상태를 제대로 보여 주지 못하는 상황이 반복됐습니다.

매니저 데몬을 여러 개 띄워도 이 부담은 나뉘지 않습니다. 활성 데몬 하나가 모든 OSD의 상태를 보관하고 지표를 수집하며, 나머지는 그 데몬이 멈추거나 종료될 때를 대비해 대기하는 방식입니다. 클러스터를 키울수록 활성 데몬 하나가 감당할 일이 늘어났습니다. 매니저가 다운돼도 Ceph 클러스터 기능에는 문제가 없지만, 대규모 스토리지를 관리하는 입장에서는 상태를 안정적으로 확인할 수 있어야 했습니다.

모니터에서도 드물게 문제가 났습니다. 잘못된 클라이언트가 잘못된 요청을 보내 메모리가 계속 늘다가 메모리 부족(OOM)으로 종료되는 경우가 있었습니다. 다른 데몬이 역할을 이어받으면 별문제가 없었지만, 내부 스토리지에서 모니터 데몬 세 개가 한꺼번에 응답을 멈춰 대략 30~40분 장애가 발생한 적도 있습니다. LINE 메시지 관련 스토리지에서 난 장애는 아니었습니다.

이 장애의 원인은 모니터 버그였습니다. Ceph은 클러스터 상태를 OSD 맵에 보관하고, 노드가 추가되거나 삭제되면 epoch 값을 올려 변경 이력을 남깁니다. 모든 이력을 보관할 수는 없으므로 보통 500~700 사이의 값을 기준으로 삭제하는데, 이 처리가 제대로 되지 않는 상황이 간혹 발생했습니다.

이력이 쌓인 상태에서 뒤늦게 Paxos 커밋이 발생하면 모니터가 응답하지 못할 수 있었습니다. 팀은 Paxos로 동기화된 세 데몬이 같은 이력을 가진 상태에서 같은 커밋의 영향을 받아 모두 멈춘 것으로 추정했습니다. 다른 데몬이 역할을 이어받는 방식도 이때는 작동하지 않았습니다. 커뮤니티 패치를 적용해 대응한 뒤에도 해당 값을 계속 모니터링하며 적정 수준으로 관리했습니다.

랙 약 80개를 채울 Ceph 스토리지

이런 운영 경험을 놓고 볼 때, 수백 PB를 담을 스토리지를 클러스터 하나로 키우는 데에는 위험 부담이 있었습니다. 구상한 저장 규모는 오브젝트 3000억 개 이상으로, 서버를 가득 채운 랙 약 80개에 해당합니다. 데이터 크기도 제각각이었습니다. 이미지와 영상은 수 KB에서 수 GB에 이르고, 여기에 딸린 메타데이터 파일은 수십 바이트 정도였습니다.

그래도 Ceph을 계속 선택할 이유는 충분했습니다. 적절한 규모에서는 안정성과 확장성이 뛰어났고, 그 규모도 결코 작지 않았습니다. 당시 LINE은 독립 클러스터 30개 이상, 서버 2500대 이상, OSD 7만 개 이상을 운영하고 있었으며 물리적 저장 총량인 로우 크기는 700 PB 이상이었습니다. 용도별로 나눠 운영해 온 클러스터들의 규모입니다.

비용과 운영 인력도 선택의 근거였습니다. Ceph은 오픈소스여서 상대적으로 비용이 저렴하지만, 다운로드하고 설치하는 것으로 운영 준비가 끝나지는 않습니다. 내부를 이해하고 다룰 인력이 있어야 하므로 규모가 작을 때는 경제성이 없고, 커져야 경제성을 확보할 수 있습니다. NAS와 스케일 아웃 NAS, 블록 스토리지, 공유 파일 시스템, 오브젝트 스토리지를 함께 지원한다는 점도 유리했습니다. 다른 형태의 스토리지가 필요해져도 새 솔루션을 도입하고 관련 인력을 다시 충원하지 않아도 됐습니다.

하이퍼 스케일 오브젝트 스토리지에서는 이 Ceph을 관리 가능한 크기로 나눴습니다. 약 3000개 디스크와 서버 150대 이상, 총 20 PB로 구성한 클러스터를 10개 묶은 형태입니다. 하나의 용도로 쓰는 대규모 스토리지를 여러 독립 클러스터가 나눠 담당하도록 했습니다.

재배치 없이 늘어나는 멤버 클러스터

설계의 출발점은 ‘계란을 한 바구니에 담지 말라’는 격언이었습니다. 여러 바구니를 쓰되, 사용자에게는 하나의 클러스터처럼 동작해야 했습니다. 수백 PB를 저장하면서 계속 확장할 수 있어야 하고, 결함에 대한 내성과 S3 호환성도 갖춰야 했습니다. 이 규모에서 감당할 비용을 줄이려면 저장과 관리 효율 역시 빠뜨릴 수 없는 조건이었습니다.

연합에 속한 멤버 클러스터는 추가할 수 있지만 기존 멤버는 제거하지 않도록 정했습니다. 데이터 내구성을 위한 복제는 각 클러스터 안에서 수행하며, 클러스터 사이에는 별도로 복제하지 않습니다. 클러스터 간 데이터 리셔플링이나 리밸런싱도 지원하지 않기로 했습니다.

새 멤버로 옮기지 않는 기존 오브젝트

Ceph 클러스터에 노드를 추가하면 기존 노드의 오브젝트 일부를 새 노드로 옮깁니다. 저장 용량과 트래픽의 균형을 잡는 리셔플링입니다. 하지만 이 연합에 추가하는 단위는 큰 클러스터 하나였습니다. 팀은 그때마다 기존 오브젝트를 재배치하려면 너무 오랜 시간이 걸릴 것으로 판단했습니다.

약간의 쏠림은 감당할 수 있었습니다. 클러스터 단위로 추가하므로 용량이나 트래픽이 한쪽에 조금 치우쳐도 사용자 트래픽을 충분히 처리할 수 있었고, 추가한 클러스터를 개별로 확장하는 것도 가능했습니다. 이 조건을 바탕으로 멤버가 늘 때마다 데이터를 옮기는 작업을 배제했습니다.

버킷의 목적지를 정하는 NGINX

독립적으로 작동하는 Ceph 클러스터와 로드 밸런서 묶음 10개 위에는 NGINX로 구현한 라우팅 레이어를 뒀습니다. 이 레이어가 특정 버킷의 요청을 어느 클러스터로 보낼지 결정합니다. 클러스터마다 저장 용량이 다르거나 트래픽이 고르지 않을 수 있으므로, 목적지별 가중치로 트래픽을 조절하도록 했습니다. 라우팅 계층도 대규모 트래픽을 감당할 수 있게 다수의 로드 밸런서와 라운드 로빈 DNS로 확장성을 확보했습니다.

목적지를 고르는 기준은 클러스터 맵입니다. 맵에는 멤버 클러스터와 멤버별 가중치, 구성 변화에 따라 증가하는 epoch 값을 저장합니다. 라우팅 레이어는 각 버킷이 어느 맵에 속하는지도 관리합니다. 요청이 들어오면 버킷이 속한 맵을 먼저 찾고, 그 맵 안에서 버킷 이름의 해시 값으로 클러스터를 결정하는 순서입니다.

클러스터를 2개에서 4개로 늘린 예를 보면 맵의 역할이 드러납니다. 버킷 A·B는 클러스터 1·2에 분산되고, 확장 뒤의 버킷 C·D는 클러스터 1·2·3·4에 분산됩니다. 버킷이 속한 맵을 알아야 요청을 처리할 멤버를 찾을 수 있는 것입니다.

새 멤버가 추가되거나 멤버 간 가중치가 바뀌면 맵의 epoch를 올립니다. 요청을 보내는 모든 객체는 이 값을 비교해 최신 맵을 보고 있는지 계속 확인합니다. 멤버 구성이 달라지거나 특정 클러스터에 더 많은 트래픽을 보내도록 가중치를 조정해도, 이 정보로 요청의 목적지를 결정합니다.

클러스터 경계를 넘는 S3 복사 요청

라우팅 레이어는 요청을 전달하는 일만 맡지 않았습니다. 대부분의 S3 요청은 알맞은 클러스터로 포워딩하면 처리되지만, 복사 요청에는 별도 처리가 필요했습니다. Ceph의 기본 복사 방식이 클러스터 경계를 넘지 못했기 때문입니다.

Ceph은 오브젝트를 여러 조각으로 나눠 저장합니다. 첫 조각은 헤드가 되고, 나머지 테일의 개수와 이름을 내부 메타데이터에 기록합니다. RADOS 게이트웨이가 복사 요청을 받으면 새 헤드를 만들고 기존 테일을 공유합니다. 데이터를 실제로 복사하지 않아도 된다는 장점이 있습니다.

연합에서는 이 장점을 그대로 쓸 수 없는 경우가 생겼습니다. 복사할 소스 오브젝트가 다른 클러스터에 있으면 기본 RADOS 게이트웨이는 소스를 찾지 못해 에러를 반환합니다. 요청을 목적지 클러스터로 잘 보내는 것만으로는 복사가 끝나지 않는 것입니다.

멀티파트 요청에서는 지켜야 할 절차가 더 늘어납니다. 먼저 init 요청으로 업로드 ID를 받고, 그 ID로 파트를 전송한 뒤 complete 요청으로 업로드를 마쳐야 합니다. 전송할 파트가 다른 오브젝트의 복사본이면 처리 과정은 더 복잡해집니다. 라우팅 레이어가 이 일련의 절차를 지키면서 클러스터 간 복사를 수행하도록 해 S3 호환성을 유지했습니다.

작은 오브젝트에 맞춘 저장 매체

클러스터를 나눠 확장 문제를 풀어도 저장 비용은 남았습니다. 규모가 워낙 커서 데이터를 어떻게 보관하느냐가 비용에 큰 영향을 줬습니다. 팀은 SSD와 하드 디스크, 레플리케이션과 이레이저 코딩을 혼합하되, 오브젝트 크기에 따라 저장 매체를 선택하도록 구현했습니다. Ceph 기본 기능에는 없는 방식이었습니다.

보통 SSD와 하드 디스크를 섞으면 핫 데이터는 SSD에, 웜·콜드 데이터는 하드 디스크에 두는 계층 구성을 생각합니다. LINE의 트래픽에는 다른 기준이 필요했습니다. 오브젝트 하나마다 메타데이터를 담은 작은 오브젝트가 반드시 딸려 왔기 때문입니다.

하드 디스크에 적용한 이레이저 코딩에서도 그 차이가 드러났습니다. 이레이저 코딩은 복제본 세 개를 유지하는 것보다 비용 효율이 좋다고 알려져 있지만, 실제로 작은 오브젝트를 저장하니 오버헤드가 상당히 컸습니다. 접근 빈도만으로 핫·콜드를 나눠서는 이 작은 오브젝트들의 저장 효율을 높이기 어려웠습니다.

그래서 크기가 작고 요청이 잦아 지연 시간에 민감한 메타데이터 오브젝트는 SSD에 저장했습니다. 크기가 크고 지연 시간보다 대역폭에 더 민감한 데이터 오브젝트는 하드 디스크에 뒀습니다. 크기를 기준으로 매체를 나눈 방식이 이 서비스의 데이터 특성과 잘 맞았습니다.

버킷별로 나눠 처리하는 워크 스레드

저장 효율에는 만료된 데이터를 제때 지우는 일도 포함됩니다. 데이터가 늘면 삭제할 양도 늘어나는데, RADOS 게이트웨이의 기본 구현에서는 큰 버킷 하나가 뒤의 버킷 처리를 오래 붙잡을 수 있었습니다.

기본 구현은 처리할 버킷 목록을 샤드별로 나누고 스레드 하나가 샤드 하나를 맡는 방식입니다. 예를 들어 1번 샤드의 버킷 B에 지울 오브젝트가 많으면, 뒤에 있는 버킷 C는 처리가 밀립니다. 이 정도 규모에서는 몇 시간을 더 기다리는 데 그치지 않고 며칠이 걸릴 수도 있었습니다. 기한이 지난 데이터가 그동안 지워지지 않은 채 남는 것입니다.

팀은 여러 워크 스레드가 한 샤드에 진입할 수 있도록 RADOS 게이트웨이를 수정했습니다. 스레드 하나가 처리하는 범위도 버킷 하나로 바꿨습니다. 큰 버킷의 삭제가 끝날 때까지 같은 샤드의 다른 버킷이 기다리던 방식을 손본 것입니다.

설계와 운영에 등장한 규모
항목값
전사 Ceph 클러스터독립 클러스터 30개 이상, 서버 2500대 이상, OSD 7만 개 이상, 로우 700 PB 이상
하이퍼 스케일 스토리지약 3000개 디스크, 서버 150대 이상, 20 PB 클러스터 10개
구상한 저장 규모수백 PB, 오브젝트 3000억 개 이상, 랙 약 80개
매니저 문제가 보인 규모OSD 약 4천 개
OSD 맵 히스토리 보관보통 500~700 사이에서 삭제
마지막 수정 일자