목차
띠잉이 오픈 전에 준비한 DB 샤딩과 Spring 라우터 (2020-07)
원문 정보
- 원문: DB분산처리를 위한 sharding
- 매체 · 게시일: 우아한형제들 기술블로그 · 2020-07-06
- 저자: 송재욱, 전병두 (신사업부문 Thiiing(띠잉) 서비스 개발)
- 원문 내용을 바탕으로 재구성한 요약입니다.
J곡선을 기다리며 준비한 DB 샤딩
아직 서비스 오픈 전이었습니다. 띠잉 팀은 아름다운 J곡선을 기대하면서도, 데이터가 급격히 늘거나 특정 DB로 트래픽이 몰리는 순간에 서버가 성장의 발목을 잡지 않도록 확장 방안을 준비했습니다. 운영 중인 서비스를 고치는 일은 달리는 기차의 바퀴를 갈아 끼우는 작업에 비유됩니다. DB 유지보수라면 더 조심스럽습니다.
한 DB에 데이터가 쌓이면 용량이 부족해지고 CRUD도 느려져 서비스 성능에 영향을 줍니다. 팀은 DB 샤딩으로 데이터와 트래픽을 나누기로 했습니다. 특정 DB의 장애가 전면 장애로 번지지 않는 것도 이점입니다. 보통은 HA 구성으로 페일오버하도록 설계합니다.
목표는 빠르고 유연하고 안전한 증설이었습니다. 라우팅에 쓸 유일한 키가 있어야 하고, 그 키로 정확한 DB를 찾아야 하며, 설정을 바꿔 쉽게 DB를 늘릴 수 있어야 했습니다. 송재욱은 이 준비를 마친 뒤 다른 기능을 개발할 때도 마음이 한결 가벼워졌다고 회고했습니다.
프로젝트 안에서 관리하는 증설 절차
팀이 마련한 증설 절차는 짧습니다. 먼저 물리 DB를 추가하되 아직 서비스에는 적용하지 않습니다. 이어 프로젝트의 yaml에 연결 정보와 샤딩 룰을 넣어 논리적으로 연결하고, 프로젝트를 배포합니다.
배포 없이 설정을 적용하는 Remote Config도 선택지였습니다. 하지만 DB 증설은 빈번한 작업이 아니어서 프로젝트 안의 yaml로 관리했습니다. 전병두가 정한 요구사항은 운영 중에도 설정 추가만으로 샤드를 쉽게 늘리는 것이었고, 팀은 공수가 허락하는 범위에서 외부 솔루션·라이브러리 의존을 줄이며 필요한 기능을 직접 구현하려 했습니다.
설정 절차가 간단해져도 기존 데이터를 재정렬하는 비용은 남을 수 있습니다. 이 비용은 어떤 샤딩 방식을 고르느냐에 따라 달라집니다.
쌓이고 사라지는 데이터에 맞춘 샤딩 전략
모듈러 샤딩은 샤딩키를 모듈러 연산한 결과로 DB를 고릅니다. 레인지 샤딩보다 데이터가 고르게 퍼져 트래픽을 안정적으로 처리하고 DB 리소스를 최대한 활용하기 좋습니다. 대신 DB를 늘릴 때 이미 적재한 데이터를 재정렬해야 합니다.
띠잉의 초기 콘텐츠 정책이 이 방식에 어울렸습니다. 오픈 시점에는 콘텐츠 유지 기간이 24시간이라 데이터가 계속 쌓이지만은 않았습니다. 데이터량이 일정 수준에 머물 것으로 예상한 것입니다. 원문 작성 시점에는 정책이 완화돼 무기한 보존도 가능해졌습니다. 데이터가 계속 늘더라도 적재 속도가 빠르지 않다면 모듈러 샤딩을 고려할 만합니다.
레인지 샤딩은 샤딩키의 범위로 DB를 정합니다. 기본적으로 증설에 따른 재정렬 비용이 들지 않아 데이터가 급격히 늘 여지가 있을 때 좋은 선택입니다. 문제는 쏠림입니다. 활성 유저가 모인 DB에 데이터와 트래픽이 집중되면 그 DB를 다시 쪼개 재정렬해야 하고, 트래픽이 적은 DB는 통합해 유지 비용을 줄여야 합니다.
띠잉 팀은 두 방식을 모두 적용했습니다. DB마다 예상되는 데이터의 성질을 보고 방식을 골랐으며, 그 규칙에 따라 실제 DB를 찾아가는 처리는 라우터에 맡겼습니다.
userId를 따라가는 friend DB 요청
구현 예시는 친구 관계를 저장하는 friend DB입니다. 원문에 공개된 코드는 설명을 위해 일부 수정한 것으로, 실제 구현과 다소 차이가 있을 수 있습니다.
DB 요청은 RepositoryService를 지납니다. 띠잉 팀은 서비스와 JPA Repository 사이에 이 계층을 두어 모든 DB 접근을 모으고, 트랜잭션과 캐시 처리도 이곳에서 관리했습니다. 샤딩을 적용할 클래스에는 @Sharding(target=...)을 붙입니다.
샤딩키를 알아내는 방법은 팀 내 규약으로 정했습니다. 메서드의 첫 번째 파라미터를 샤딩키로 사용합니다. friend DB는 userId를 기준으로 나누므로 저장과 조회 메서드 모두 userId를 맨 앞에 둡니다.
RepositoryServiceAspect는 @Sharding이 붙은 RepositoryService 메서드를 Around로 감쌉니다. 실행 전에 샤딩 대상과 첫 번째 파라미터를 ThreadLocal holder인 UserHolder에 저장하고, 실행 뒤 샤딩 정보를 초기화하는 방식입니다. 초기화는 반드시 해야 합니다. 스레드를 재사용할 때 이전 요청의 ThreadLocal 정보가 남을 수 있기 때문입니다.
DB를 선택할 시점에는 DataSourceRouter의 determineCurrentLookupKey()가 이 정보를 읽습니다. 레인지 방식이면 설정된 범위에서 샤드 번호를 찾고, 모듈러 방식이면 shardKey % mod로 계산합니다. 샤딩을 적용하지 않은 모듈은 기본 번호인 0을 반환합니다.
샤드를 정한 뒤에는 트랜잭션의 readOnly 속성을 봅니다. 읽기 전용이면 slave를, 그렇지 않으면 master를 선택하며, slave가 여러 대일 때는 RoundRobin으로 분산합니다. 이를 위해 RepositoryService의 기본 트랜잭션을 readOnly=true, REQUIRES_NEW로 두었습니다. 호출한 서비스에 트랜잭션이 있어도 새 트랜잭션을 만들어 읽기 전용 설정을 적용하려는 선택입니다. master에 접근해야 하는 쿼리는 readOnly=false인 트랜잭션을 명시합니다.
샤드의 연결 정보와 규칙을 담은 yaml
요청이 샤딩키를 전달한다면, yaml은 그 키로 찾아갈 DB를 정의합니다. 샤딩 전략은 enum의 RANGE와 MODULAR로 구분하고, yaml을 Property 클래스에 매핑합니다. 샤딩 대상인 ShardingTarget별 규칙은 ShardingConfig의 map에 모아 둡니다.
레인지 설정에는 샤드 번호인 shard_no마다 range_min과 range_max를 지정합니다. 앞 샤드의 range_max에 1을 더하면 다음 샤드의 range_min이 됩니다. 마지막 범위의 끝은 샤딩키의 최댓값으로 두는 것을 권합니다. 증설을 미리 하지 못해 생기는 문제를 피하고, 증설을 예약하듯 설정해 둘 수 있기 때문입니다. 모듈러 설정은 더 짧습니다. 연산에 쓸 mod에 현재 DB 수를 넣습니다.
연결 정보는 샤드마다 master와 slave를 HA 구성으로 등록합니다. slave는 여러 대를 둘 수 있으며 이름은 slave-[moduleName]-[index] 형식입니다. Config 빈은 각 데이터소스를 만들고, “샤드 넘버 + delimiter + 샤드 이름”을 lookup key로 삼아 라우터에 등록합니다.
이름에도 역할이 있습니다. AbstractRoutingDataSource를 상속한 DataSourceRouter는 서버 구동 시 setTargetDataSources에서 이름을 읽어 샤드 번호를 추출하고 master·slave를 구분합니다. 이 작업은 요청마다 반복하지 않습니다. yaml의 명명 규칙을 지켜야 라우터가 샤드별 데이터소스를 올바르게 묶을 수 있습니다.
마지막으로 데이터소스를 LazyConnectionDataSourceProxy로 감쌉니다. 실제 쿼리를 호출할 때까지 커넥션 획득을 미뤄, 라우터가 determineCurrentLookupKey()에서 대상 데이터소스를 결정할 수 있도록 한 것입니다.
1000을 경계로 나뉜 friend DB
friend DB에 레인지 샤딩을 적용한 테스트에서는 userId가 1000 이하면 샤드 0에, 1000을 넘으면 샤드 1에 저장됐습니다. 설정한 범위대로 DB를 찾아간 결과입니다.
이 예시에는 이미 존재하는 userId가 있었습니다. 그래서 유일한 샤딩키를 생성하는 기능은 따로 고려하지 않았습니다. 콘텐츠 id를 샤딩키로 삼으려는데 콘텐츠 생성 시점에 유일한 id가 없다면, 샤딩키를 만들 id generator도 별도로 구현해야 합니다.
샤딩 방식과 구현 설정의 근거
| 항목 | 값 |
|---|---|
| 모듈러 샤딩 장점 | 데이터가 레인지 방식보다 균일하게 분산 |
| 모듈러 샤딩 단점 | 증설 시 기존 데이터 재정렬 필요 |
| 레인지 샤딩 장점 | 증설에 재정렬 비용이 기본적으로 들지 않음 |
| 레인지 샤딩 단점 | 일부 DB에 데이터와 트래픽이 몰릴 수 있음 |
| 레인지 룰 예시 | shard 0은 0~1000, shard 1은 1001~9223372036854775807 |
| 모듈러 룰 예시 | mod: 2 (현재 DB 수와 같은 값) |
| slave 선택 | slave-[moduleName]-[index] 이름, RoundRobin |
| 트랜잭션 기본값 | READ_COMMITTED, REQUIRES_NEW, readOnly=true |
| 샤딩키 규약 | RepositoryService 메서드의 첫 번째 파라미터 (friend DB는 userId) |