본문으로 건너뛰기
Schemaless의 제약에서 출발한 분산 SQL Docstore
목차

Schemaless의 제약에서 출발한 분산 SQL Docstore (2021-02)

원문 정보

  • 원문: Evolving Schemaless into a Distributed SQL Database
  • 매체 · 게시일: Uber Engineering Blog · 2021-02-23
  • 저자: Himank Chaudhary(Docstore Tech Lead), Ovais Tariq(Core Storage 팀 Sr. Manager), Deba Chatterjee(Infrastructure 팀 Sr. Product Manager)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

Cassandra를 거쳐 다시 고른 Schemaless

우버가 범용 트랜잭션 데이터베이스 Docstore의 기반으로 고른 것은 이미 운영하던 Schemaless였습니다. 신뢰성이 높은 저장소였습니다. 팀은 그 신뢰성을 비슷하거나 더 나은 수준으로 유지하면서, 개발자가 쓰기 편한 데이터베이스로 발전시키려 했습니다.

바꿔야 할 이유는 분명했습니다. Schemaless는 데이터를 추가하기만 하는 append-only 저장소로, 가장 작은 단위인 셀은 한 번 쓰면 바꿀 수 없습니다. 불변성 덕분에 시스템이 단순해지고 오류도 줄었지만, 시간이 지나자 제한적인 API와 모델링 기능이 범용 데이터베이스로 쓰는 데 걸림돌이 됐습니다.

그 제약 때문에 도입한 Cassandra는 더 유연하고 쓰기 편했습니다. 그러나 우버의 데이터 규모에서는 확장성만큼 효율도 따라와야 했습니다. Cassandra는 그 규모에서 운영 성숙도가 부족했고, 원하는 수준의 효율도 내지 못했습니다.

개발자에게는 최종적 일관성의 부담도 있었습니다. 강한 일관성이 없다는 전제에 맞춰 애플리케이션을 설계하다 보니 아키텍처가 복잡해졌고 생산성도 떨어졌습니다. 두 시스템을 직접 개발하고 운영해 본 팀은 Schemaless를 범용 트랜잭션 데이터베이스로 발전시키는 편이 최선이라고 판단했습니다.

우버는 2016년에 두 편의 글로 Schemaless의 설계와 그 배경을 소개했습니다. 그 뒤를 이은 Docstore는 수평으로 확장하는 범용 멀티모델 데이터베이스입니다. 원문이 나온 시점에는 이미 프로덕션에서 핵심 비즈니스 용도를 처리하고 있었습니다.

여러 존에 걸쳐 배치한 Docstore 파티션

Docstore 배포 하나를 인스턴스라고 부릅니다. 인스턴스 안에서는 상태를 갖지 않는 쿼리 엔진이 요청을 스토리지 엔진으로 보내고, 스토리지 엔진은 여러 파티션에 데이터를 나눠 저장합니다. 컨트롤 플레인은 샤드를 파티션에 할당하고 장애가 나면 배치를 조정하는 역할입니다. 우버의 소프트웨어 생태계와 통합되어 클릭 한 번으로 프로비저닝할 수 있습니다.

샤드와 파티션은 다른 단위입니다. 샤드는 수백 기가바이트 규모의 테이블 행 집합이며, 쪼개지 않고 통째로 하나의 파티션에 할당합니다. 파티션 하나에는 샤드가 하나 이상 들어갑니다. 테이블을 샤드로 나누고 분산하는 과정은 애플리케이션에 드러나지 않습니다.

파티션은 노드 하나에 의존하지 않습니다. 단일 장애 지점을 없애기 위해 노드 3~5개를 한 그룹으로 묶고, 물리적 격리 단위인 각 노드를 독립된 존에 배포합니다. 데이터센터 장애에도 견디도록 각 파티션을 여러 지리적 위치에 복제합니다.

장애 조치에도 유지되는 MySQL 트랜잭션

Docstore가 데이터를 저장하는 하부 엔진은 MySQL입니다. 모든 연산을 MySQL 트랜잭션 안에서 실행해 ACID 속성을 보장하며, 노드 사이에 복제하는 단위 역시 MySQL 트랜잭션입니다. 트랜잭션을 실행하는 일은 MySQL이, 복제본의 순서를 맞추는 일은 Raft 합의 프로토콜이 담당합니다.

파티션마다 리더 하나와 팔로워 여럿이 Raft를 실행합니다. 모든 쓰기는 리더에서 시작합니다. Raft는 복제 로그를 일관되게 유지해 파티션 안의 모든 노드가 같은 쓰기를 같은 순서로 갖도록 보장하고, 각 노드의 상태 머신은 합의에 도달한 뒤에만 쓰기를 커밋합니다.

동시성 제어도 MySQL에 맡깁니다. 원문에서 예로 든 INSERT 트랜잭션 둘처럼 연산이 시간상 교차할 때도 MySQL의 잠금 처리가 적용됩니다. MySQL은 쓰기 연산인 insert, update, delete에 행 잠금을 쓰므로 같은 행의 동시 갱신을 사실상 직렬화합니다. 커밋을 요청한 클라이언트로 제어가 돌아올 때는 잠금 처리를 마친 상태입니다.

이렇게 복제본들이 트랜잭션 적용을 조율하므로 자동 장애 조치(failover)가 가능합니다. 장애 조치가 일어나도 트랜잭션의 ACID 속성은 유지됩니다. 클라이언트가 사용하는 것은 MySQL 트랜잭션이므로, 그 장점뿐 아니라 제약도 모두 이어받습니다.

클라이언트가 받는 일관성 보장은 파티션 단위의 엄격한 직렬성(strict serializability)입니다. 트랜잭션들이 하나씩 순서대로 실행된다고 생각하면 됩니다. 트랜잭션 A가 시작되어 커밋까지 마친 뒤 B가 시작됐다면, A는 반드시 B보다 앞에 놓입니다. 읽기는 가장 최근의 쓰기 결과를 반환합니다.

한 키에 쓰기가 커밋된 뒤 같은 키를 다시 읽는 경우도 마찬가지입니다. 그 쓰기의 결과나 그 이후 쓰기의 결과를 받습니다. 이 보장의 범위는 파티션이며, CAP 정리의 용어로 Docstore는 가용성보다 일관성을 우선하는 CP 시스템입니다.

문서의 계층까지 담는 Docstore 테이블

트랜잭션만으로 사용성 문제가 끝나지는 않습니다. Schemaless에서 겪었던 데이터 모델의 제약도 풀어야 했습니다. 팀은 NoSQL 시스템을 만들 생각이 없었고, 문서 모델의 스키마 유연성과 전통적인 관계형 모델의 스키마 강제를 함께 원했습니다.

애플리케이션은 대개 데이터에 어떤 구조가 있다고 가정합니다. 읽을 때 애플리케이션이 그 구조를 해석하면 스키마 온 리드(schema-on-read), 명시된 스키마에 데이터가 맞는지 데이터베이스가 쓰기 단계에서 보장하면 스키마 온 라이트(schema-on-write)입니다. Docstore는 기본적으로 후자를 지원합니다.

스키마를 강제한다고 고정해 두지는 않습니다. 스키마를 바꿀 수 있고 서로 다른 스키마의 레코드도 공존하며, 갱신할 때 테이블 전체를 다시 만들지 않아도 됩니다. 희소성과 복잡한 중첩 데이터 타입도 일급 기능으로 지원합니다.

테이블의 겉모습은 익숙합니다. 관계형 테이블처럼 행과 열, 값으로 구성되지만, 사용자 정의 타입을 쓰면 중첩된 레코드도 행으로 저장할 수 있습니다. 문서 형태의 데이터를 다루면서 계층 전체를 한 번에 읽어야 할 때 유용한 방식입니다. 일대다·다대다 관계는 어소시에이션(Associations)으로 표현합니다.

Docstore는 관계형 데이터와 계층형 데이터를 모두 담는 이 방식을 유연한 문서 모델(Flexible Document Model)이라 부릅니다. 트랜잭션, 머티리얼라이즈드 뷰, 어소시에이션, 변경 데이터 캡처(CDC)는 기본 제공 기능입니다. 이런 기능과 유연한 모델링, 풍부한 쿼리 지원은 개발자 생산성을 높이고 새 애플리케이션의 출시 시간을 줄입니다.

데이터 지역성을 조절하는 파티션 키

데이터를 나누는 과정은 애플리케이션에 감추되, 어떤 데이터를 가까이 둘지는 애플리케이션이 조절하게 하려 했습니다. 그래서 Docstore에는 기본 키 외에 파티션 키가 있습니다. 스키마에 파티션 키를 명시하면 그 키를 기준으로 샤딩하고, 명시하지 않으면 기본 키를 사용합니다.

기본 키는 모든 테이블에 필요합니다. 하나 이상의 열로 구성되며, 행을 식별하고 유일성을 보장합니다. 내부에서는 기본 키와 파티션 키의 열 값에 순서 보존 인코딩을 적용해 바이트 배열로 저장합니다. 행 자체도 기본 키 값의 순서대로 정렬해 저장합니다.

이 정렬 순서는 조회에 쓰입니다. 복합 파티션 키와 결합하면 특정 파티션 키에 해당하는 행을 모두 가져오거나, 기본 키의 나머지 부분을 이용해 필요한 행으로 범위를 좁힐 수 있습니다. 키 선택은 데이터 지역성과 조회 패턴에 모두 관여합니다.

다른 열을 기준으로 찾는 경로도 있습니다. 테이블마다 하나 이상 둘 수 있는 머티리얼라이즈드 뷰는 메인 테이블과 다른 열을 기준으로 데이터를 파티셔닝합니다. 예를 들어 기본 키가 아닌 열로 파티셔닝한 뷰를 만들면, 그 열로 데이터를 효율적으로 찾고 메인 테이블과 다른 접근 패턴을 지원할 수 있습니다.

모델링 이야기로 이어지는 후속 편

이번 글은 Schemaless가 Docstore로 발전한 과정을 다루는 시리즈의 첫 편입니다. 2편에서는 데이터 모델링과 스키마 관리를 다룹니다. 계층형 모델과 관계형 모델을 어떻게 지원하는지, 어떤 애플리케이션이 어느 모델을 골라야 하는지가 이어질 내용입니다.

마지막 3편은 머티리얼라이즈드 뷰를 자세히 다룹니다. 도입 동기와 MV 갱신 프레임워크를 설명하고, 쿼리에 MV를 명시하지 않아도 이를 활용하려는 계획까지 소개합니다.

마지막 수정 일자