본문으로 건너뛰기
같은 티어에서 Schemaless의 비용을 줄인 Jellyfish
목차

같은 티어에서 Schemaless의 비용을 줄인 Jellyfish (2021-09)

원문 정보

자주 읽히는 시기가 지난 뒤의 Schemaless

Schemaless에는 자주 읽히는 시기가 지난 뒤에도 보관해야 하는 데이터가 계속 쌓였습니다. 드물게 찾는 데이터도 비싼 저장 공간을 차지했습니다. 높은 QPS에서 밀리초 단위로 응답하려고 빠른 스토리지를 쓰고, 내구성과 가용성을 위해 리전마다 복제본도 여러 개 두었기 때문입니다.

우버는 애플리케이션 모델에 따라 여러 스토리지 기술을 씁니다. 그중 Schemaless는 관련 항목을 여러 컬럼으로 이뤄진 한 행에 담고, 컬럼마다 버전을 두는 시스템입니다. 몇 년 동안 우버의 데이터를 쌓아 왔으며, 사용 사례를 Docstore로 통합하던 중에도 기존 고객 파이프라인의 기준 데이터는 여전히 Schemaless에 있었습니다.

비용을 줄일 단서는 접근 패턴에서 나왔습니다. 측정 결과, 데이터는 한동안 자주 읽히다가 이후에는 드물게 읽혔습니다. 자주 읽히는 기간은 사용 사례마다 달라도 오래된 데이터를 요청하면 바로 내줄 수 있어야 한다는 조건은 같았습니다.

지연 요구까지 같지는 않았습니다. 고객 팀과 확인해 보니 최근 데이터는 수십 ms 안에 응답해야 하지만, 오래된 데이터는 P99 지연이 수백 ms여도 괜찮았습니다. 오래된 데이터를 보관하는 데 지금과 같은 비용을 들이지 않아도 될 여지가 있었습니다.

고객 코드 한 줄도 바꾸지 않는 Jellyfish

고객 코드는 그대로여야 했습니다. Schemaless가 여러 서비스에 깊이 연결돼 있어 기존 API를 바꾸거나 새 API를 추가하면 제품 서비스 전반에 연쇄 변경이 필요했고, 그만큼 비용 절감도 늦어질 상황이었습니다. 하위 호환성은 양보할 수 없는 조건입니다.

자주 읽는 데이터에는 더 많은 비용을, 드물게 읽는 데이터에는 더 적은 비용을 쓰자는 데이터 티어링의 발상은 메모리 계층 구조와 닮았습니다. 하지만 기존 API의 복잡한 연산을 유지하면서 서로 다른 티어를 조율하기는 어려웠습니다. 우버는 데이터를 같은 티어에 둔 채 오래된 데이터가 차지하는 공간을 줄이기로 했습니다.

방법은 셀을 묶어 압축하는 것이었습니다. 여러 데이터 셀을 배치로 만들고 애플리케이션 수준에서 압축하면, 사용 사례가 요구하는 성능에 맞춰 압축 설정을 조절할 수 있습니다. 이 방식은 백필 작업의 읽기·쓰기 증폭도 줄였습니다. 여러 셀을 함께 압축한 실험에서 ZSTD는 전체 저장 공간을 최대 40% 절감했습니다.

조절할 값은 배치 크기와 압축 수준입니다. 배치 크기는 함께 묶을 행 수를 정하고, ZSTD 압축 수준은 처리 속도와 압축률 사이의 균형을 정합니다. 접근 패턴과 지연 허용치가 다른 사용 사례에 맞춰 설정을 바꿀 수 있어야 했습니다.

개념 증명에서 선택한 조합은 배치 크기 100행과 ZSTD 레벨 7이었습니다. CPU 부담이 적으면서 약 40%의 압축률을 보였습니다. 다른 설정과 비교하면 절감 폭이 더 작거나 추가 조정으로 얻는 이득이 줄어드는 지점도 있었습니다. 다만 이때까지 대규모 배치 요청의 지연을 관측한 상태는 아니었습니다. 공간 절감 효과를 확인한 뒤에도 지연 SLA를 검증하는 일이 남아 있었습니다.

Jellyfish라는 이름은 해파리에서 따왔습니다. 몸의 질량과 이동 거리를 기준으로 보면 해파리는 힘센 연어를 포함한 어떤 수생 동물보다 적은 에너지로 헤엄칩니다. 바다에서 가장 효율적인 수영 선수의 이름을 붙인 프로젝트였습니다.

두 테이블을 이어 주는 배치 인덱스

Query Layer와 Storage Engine을 수정하면서, 기존 realtime 테이블과 함께 새 배치 테이블을 두었습니다. 실시간 백엔드는 기존 백엔드와 같으며 최근 데이터를 저장합니다. 배치 백엔드에는 실시간 백엔드에서 옮겨 온 오래된 데이터가 쌓입니다.

새 데이터의 도착지는 바뀌지 않았습니다. 언제나 실시간 테이블에 먼저 쓰고, 사용 사례별로 설정한 시간이 지나면 Schemaless의 기본 단위인 셀을 배치로 묶어 압축한 뒤 배치 테이블로 옮깁니다. 셀을 다시 찾기 위해 셀 UUID와 배치 UUID를 연결하는 배치 인덱스(UUID to BID)를 둡니다. 오래된 데이터를 읽을 때는 이 인덱스로 배치를 찾고, 압축을 풀어 요청받은 셀을 꺼냅니다.

셀 하나를 읽는 요청은 실시간 테이블부터 확인합니다. 요청의 90% 이상이 최근 데이터를 찾기 때문에, 여기서 발견하면 읽기는 끝납니다. 없을 때만 배치 인덱스를 조회해 해당 배치를 가져옵니다. 이 과정은 같은 쿼리 안에서 처리합니다.

쓰기에는 확인 절차가 하나 더 필요했습니다. 데이터가 두 테이블로 나뉘면 기본 키의 유일성이 저절로 보장되지 않습니다. 쓰기 쿼리가 같은 트랜잭션 안에서 배치 인덱스에도 데이터가 있는지 확인하도록 바꿨습니다. 배치 인덱스는 작아서 이 조회는 빠릅니다.

배치로 묶은 뒤 줄여야 했던 연산

저장 공간을 아껴도 CPU와 메모리를 과도하게 써서는 안 됐습니다. Jellyfish가 데이터 접근 방식을 바꾸는 지점마다 읽기·쓰기 증폭을 줄이고, 지연과 처리량을 개선하는 작업이 뒤따랐습니다.

셀 하나를 읽을 때도 배치 전체를 가져와야 합니다. 그렇다고 모든 셀의 JSON을 디코딩할 이유는 없습니다. 요청받은 셀만 디코딩하고 나머지 99개는 디코딩하지 않아 불필요한 연산을 줄였습니다.

삭제는 사용자에게 보이지 않게 만드는 작업과 실제 데이터를 지우는 작업으로 나눴습니다. TTL 등으로 셀을 제자리에서 삭제할 때 온라인 경로에서는 배치 인덱스의 해당 항목만 제거합니다. 사용자는 그 셀에 접근할 수 없게 됩니다. 삭제할 셀의 정보는 저널 테이블에 남기고, 백그라운드 작업이 이를 읽어 배치 셀을 읽기-수정-쓰기 방식으로 갱신합니다. 비용이 큰 실제 삭제를 온라인 읽기·쓰기 경로에서 빼낸 것입니다.

갱신에서는 같은 배치를 여러 번 처리하는 일을 줄였습니다. 셀을 제자리에서 갱신할 때마다 배치 셀을 건드리면, 한 작업에서 같은 배치에 읽기-수정-쓰기를 반복할 수 있습니다. 갱신을 배치별로 모아 처리하자 작업 하나의 총 갱신 시간이 4배 단축됐습니다.

되돌릴 수 없는 삭제 앞의 Mezzanine

첫 적용 대상은 우버의 여행 저장 시스템 Mezzanine이었습니다. 저장 공간을 특히 많이 차지하는 시스템입니다. Schemaless가 우버의 주요 서비스를 뒷받침하는 만큼, 공간을 아낀다는 이유로 데이터의 정확성이나 가용성을 위태롭게 할 수는 없었습니다.

배포에 앞서 새로 만들거나 수정한 모든 엔드포인트의 기능과 예외 상황을 검증했습니다. 마이크로 벤치마크로 개별 동작의 시간을 측정하고, Jellyfish를 켠 테스트 인스턴스에서는 매크로 벤치마크로 여러 워크로드가 섞였을 때의 성능을 확인했습니다. 구현 초기부터 진행한 스트레스 테스트에서는 처리량과 지연의 관계를 살펴 수백 ms SLA를 달성할 수 있음을 확인했습니다.

롤아웃은 샤드 하나에서 시작해 다른 샤드와 리전으로 넓혔습니다. 각 샤드는 활성화부터 물리적 삭제까지 여섯 단계를 거쳤고, 고객에게는 단계 사이마다 모니터링하고 시험할 시간을 줬습니다.

활성화 단계에서는 Jellyfish와 이전할 데이터의 범위를 설정하고 배치 백엔드를 만듭니다. 이어지는 마이그레이션 단계에서는 실시간 백엔드의 오래된 데이터를 읽어 배치 백엔드로 복사합니다. 가장 많은 시간과 자원이 드는 단계였으며, 부담은 옮길 데이터의 양에 비례했습니다.

복사가 끝나면 일관성을 검증합니다. 실시간 테이블로 가는 트래픽을 섀도잉해 요청받은 오래된 데이터의 다이제스트를 계산하고, Jellyfish의 데이터와 비교했습니다. 확인할 대상은 내용과 개수입니다. 어느 쪽이든 불일치가 남아 있으면 통과할 수 없고, 모두 0이어야 했습니다.

일관성이 100%임을 확인한 뒤에만 삭제 전 단계를 켰습니다. 이때부터 오래된 데이터는 Jellyfish가 응답합니다. 실시간 백엔드에서도 계속 다이제스트를 계산해 비교하므로, 앞선 검증과 방향을 뒤집은 섀도잉입니다.

논리적 삭제 단계에서는 오래된 데이터의 읽기 경로에서 실시간 백엔드를 제외했습니다. 선택한 샤드에서는 다이제스트도 계산하지 않았습니다. 데이터는 아직 남겨 둔 채 실시간 백엔드에서 사라진 상황을 재현해, 실제 삭제 뒤에도 티어링 로직과 데이터 흐름이 제대로 동작하는지 시험했습니다.

마지막은 물리적 삭제입니다. 논리적 삭제가 성공했음을 확인한 뒤에야 기존 데이터를 실제로 지웠습니다. 앞선 단계와 달리 되돌릴 수 없으므로 복제본마다 삭제 시점을 엇갈리게 잡았습니다. 예기치 못한 문제가 생겨도 데이터 가용성과 업무 연속성을 지키기 위한 조치였습니다.

최근 갱신된 셀이 섞인 오래된 행

단계를 신중하게 나눠도 실제 트래픽에서는 문제가 드러났습니다. 한 서비스는 요약값을 다시 계산하려고 오래된 데이터를 훑고 있었습니다. 이 작업이 높은 부하를 일으켜 지연이 허용 범위를 벗어났고, 우버 팀은 해당 파이프라인을 폐기하던 고객과 협력해 문제를 해결했습니다.

더 심각한 문제는 오래된 행의 일부 셀이 최근에 갱신됐을 때 나타났습니다. 사용자에게 불완전한 데이터가 반환됐습니다. 여행 한 건처럼 여러 셀이 하나의 논리적 대상을 이루는 행은 실시간 테이블과 배치 테이블 양쪽에 걸쳐 있을 수 있었습니다. 행 전체를 읽을 때 두 백엔드를 모두 호출하고, 사용자가 정한 순서로 결과를 병합해 반환하도록 수정했습니다.

마이그레이션 일정도 다른 작업과 조율해야 했습니다. 사용자 정의 인덱스 재구축이나 백필 역시 데이터를 많이 읽고 쓰는 작업이기 때문입니다. 이런 운영상의 문제는 배포 일정뿐 아니라 Jellyfish를 적용할 수 있는 범위에도 영향을 줬습니다. 우버 팀이 꼼꼼한 진단과 고객과의 긴밀한 협업을 강조한 이유입니다.

삭제가 진행된 며칠 사이의 저장 공간

전체 롤아웃을 마치고 요구 조건을 충족했음을 확인한 뒤, 기존 백엔드의 데이터를 단계적으로 지우며 실제 저장 공간을 확보했습니다. 삭제가 진행된 며칠 동안 저장 공간 사용량이 내려갔습니다. 원문의 그래프에 나타난 이 사례의 감소 폭은 33%입니다.

실험에서 확인한 약 40%의 압축률과 운영에서 얻은 저장 공간 감소는 구분해서 읽어야 합니다. Mezzanine에서 기존 데이터를 실제로 삭제한 뒤 확인한 결과가 33%였고, Jellyfish는 이 방식으로 우버의 운영 비용을 줄였습니다.

Jellyfish의 확장 대상으로 꼽힌 Docstore

우버가 제시한 향후 적용 대상에는 Docstore가 있습니다. 명시적인 티어링과 물리적으로 구분된 티어도 앞으로의 방향으로 꼽았습니다. 같은 티어 안에서 압축하던 설계에서 더 나아가려면, 오래된 데이터에 접근하는 새 API를 제공하고 각 티어에 맞게 소프트웨어와 하드웨어를 최적화하는 작업이 필요합니다.

Jellyfish 설정값과 결과 수치
항목값
오래된 데이터 P99 지연 허용치수백 ms
최근 데이터 지연수십 ms 이내
배치 크기100행
ZSTD 압축 레벨7
압축률약 40%
실시간 테이블로 처리되는 단일 셀 읽기요청의 90% 이상
배치별 갱신 묶음 처리 효과작업 갱신 시간 4배 단축
첫 적용 대상Mezzanine (여행 저장 시스템)
저장 공간 감소33% (해당 사례)
마지막 수정 일자