목차
라이선스 비용에서 출발한 결제 DB의 Vitess 선정기 (2025-06)
원문 정보
- 원문: 일 평균 30억 건을 처리하는 결제 시스템의 DB를 Vitess로 교체하기 - 1. 솔루션 선정기
- 매체 · 게시일: LY Corporation Tech Blog · 2025-06-18
- 저자: 김영재, 이정재 (LINE Billing Platform 개발 팀)
- 시리즈 1편이며, 개발·운영 경험은 2편에서 다룹니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
라이선스 비용이 붙은 Nbase-T
LINE Billing Platform 팀은 LINE 앱의 여러 서비스에 결제·포인트 기능을 제공합니다. 오랫동안 운영해 온 결제 시스템의 DB는 Nbase-T였습니다. 계약 관계가 바뀌면서 이전에는 없던 라이선스 비용이 붙었고, 이것이 DB 교체를 시작한 가장 큰 이유였습니다.
대상은 결제 코어 시스템입니다. 팀은 성능 대비 운용 비용을 기준으로 후보를 찾되, 장비 비용뿐 아니라 필요한 기능을 직접 개발하고 운영하는 부담까지 따졌습니다. Apache ShardingSphere, TiDB, Vitess를 검토한 뒤, 실제 성능 PoC에서는 TiDB와 Vitess를 기존 Nbase-T와 비교했습니다.
추가 개발 부담으로 좁혀진 PoC 후보
Apache ShardingSphere는 개발자가 제어할 수 있는 범위가 넓었습니다. 프락시와 JDBC 방식을 모두 지원하고, 다양한 샤딩 전략과 분산 트랜잭션도 제공했습니다. 문제는 팀이 이미 쓰던 기능을 갖추는 데 드는 공수였습니다. 프락시는 SQL 통합 처리 정도로 기능이 제한됐고, JDBC 방식에서는 API·배치·어드민 등 컴포넌트마다 구현할 부분이 늘어났습니다. 리샤딩, 즉 데이터를 다시 나누는 리밸런싱도 직접 구현해야 했습니다. 팀은 추가 개발 부담이 크다고 보고 PoC 대상에서 제외했습니다.
TiDB의 매력은 그 부담을 줄이는 방식에 있었습니다. MySQL 호환 SQL 계층인 TiDB가 요청을 받고, 실제 데이터는 TiKV에 저장합니다. PD는 데이터 분할과 배치를 관리하며, 스토리지 계층은 OLTP용 행 기반 TiKV와 OLAP용 열 기반 TiFlash로 나뉩니다. 데이터가 TiKV 전체에 자동으로 리밸런싱되므로 별도의 샤딩 전략이나 샤딩 키를 관리하지 않아도 됩니다. 개발자와 DBA의 운용 비용을 크게 줄일 수 있다고 판단한 이유입니다. 사내 MySQL DB 팀의 추천에 더해 VOOM 팀의 사용 선례도 있었고, PoC 과정에서는 두 팀의 도움을 받았습니다.
Vitess는 YouTube가 MySQL 확장 문제를 풀기 위해 만든 CNCF 프로젝트입니다. 샤딩으로 DB를 수평 확장하면서 애플리케이션에는 하나의 DB처럼 보이게 하고, 쿼리 라우팅과 장애 조치도 담당합니다. 클라우드·베어 메탈·하이브리드 환경을 지원하지만, 팀은 물리 서버에 직접 설치하는 베어 메탈을 택했습니다. 짧은 페일오버도 회사 손실로 이어지는 결제 시스템의 특성을 고려한 선택입니다. GitHub과 Slack이 베어 메탈 환경에서 Vitess를 사용한다는 점도 장점으로 봤습니다.
CPU 사용률 50% 뒤에 있던 VTGate
순수 성능에서는 Nbase-T가 가장 좋았습니다. 가장 적은 장비로 높은 TPS를 냈고, 서버 자원도 효율적으로 썼습니다. 장비와 테이블 양식·기능을 실제 환경에 최대한 맞춘 뒤, 결제 API로 결제와 조회를 일정 비율 요청하며 스레드 수를 늘린 결과입니다. Vitess는 v20.0을 기준으로 시험했습니다.
Vitess에서는 이상한 모습이 나타났습니다. Nbase-T와 TiDB는 스레드를 늘릴수록 CPU 사용률도 선형적으로 올랐지만, Vitess의 CPU 사용률은 50% 정도에서 더 오르지 않았습니다. 구간별 스레드 옵션을 바꿔도 별다른 변화가 없었습니다.
Vitess의 쿼리는 게이트웨이인 VTGate를 거쳐 MySQL 앞의 VTTablet으로 전달됩니다. 팀이 이 경로를 구간별로 모니터링하자 VTGate에서 병목이 드러났습니다. 먼저 Go GC 설정을 손봤습니다. GOMEMLIMIT을 조정해 불필요한 GC 실행 빈도를 줄였고, GOGC=off 설정으로 GC 실행 빈도와 쿼리 지연·분산이 줄어드는 것도 확인했습니다. 그래도 DB 장비의 성능을 끝까지 쓰지는 못했습니다.
다음으로 바꾼 것은 VTGate 대수였습니다. 초기에는 샤드 DB 4대와 VTGate 4대를 1:1로 구성했지만, 증설 테스트에서는 프라이머리 샤드를 3대로 늘리고 VTGate도 3대부터 그 배수로 추가했습니다. VTGate 3대에서 3,835였던 TPS는 9대에서 8,637, 18대에서 12,295로 올랐습니다. 프라이머리 샤드 대비 3배까지는 상승 폭이 컸고, 4배부터는 증가폭이 줄기 시작했습니다.
팀은 이 테스트를 바탕으로 프라이머리 샤드와 VTGate를 최소 1:3 정도로 유지해야 DB의 최대 성능을 낼 수 있다고 판단했습니다. VTGate 자체의 로직은 복잡하지 않았습니다. 고성능 서버를 쓰기보다 서버 사양을 낮추고 대수를 늘리는 편이 더 효과적이었습니다.
VTTablet의 트랜잭션 허용치도 성능에 영향을 줬습니다. MySQL과 직접 통신하며 쿼리 실행·복제·장애 조치를 관리하는 VTTablet에는 queryserver-config-transaction-cap 옵션이 있고, 기본값은 20입니다. 결제 트랜잭션이 많은 시스템에 맞춰 이 값을 조정하자, 스레드 700개에서 설정값 50일 때 TPS는 11,268, 100일 때는 15,639로 측정됐습니다. 이 옵션의 형태는 Vitess 버전에 따라 확인해야 합니다.
같은 성능을 기준으로 다시 계산한 장비 비용
튜닝한 Vitess는 Nbase-T보다 단위 성능은 낮았지만, 서버 자원을 효율적으로 쓰고 트래픽 대비 응답 시간의 편차도 작았습니다. TiDB는 TiDB와 TiKV를 1:3으로 맞춰 장비를 추가할수록 성능이 올랐습니다. 그러나 클러스터마다 장비가 최소 3배 정도 더 필요했고, 기본 자원 사용량도 컸습니다. 어느 대안을 택하든 기존 성능을 내려면 추가 장비가 필요한 상황이었습니다.
교체의 출발점은 비용이었습니다. 팀은 기존 시스템과 같은 성능을 내는 구성을 기준으로 월 인프라 비용을 비교했습니다. 같은 사양의 서버에는 임의의 같은 단가를 적용한 예시이며, 실제 비용은 아닙니다.
이 가정에서 Nbase-T의 월 비용을 100만으로 잡으면 Vitess는 105만이었습니다. DB 비용 100만에 VTGate 25대의 비용 5만을 더한 값입니다. 비용 예시의 DB 구성은 Nbase-T와 Vitess 모두 프라이머리 25대·레플리카 25대로, 앞서 프라이머리 3대로 진행한 증설 테스트와는 구성이 다릅니다.
TiDB는 약 300만으로 계산됐습니다. TiDB 100만, TiKV 140만, PD 10만, TiFlash 50만, 모니터링 6천을 합한 금액입니다. TiDB 서버도 성능 테스트 결과대로라면 기존의 3배로 늘려야 했지만, 이 예시에서는 최소 사양으로 2배 규모인 프라이머리 50대를 잡았습니다. 그렇게 계산해도 기본 장비 비용이 기존보다 최소 3배 이상 필요했습니다. 개발자와 DBA의 일을 줄여주는 장점은 있었지만, 비용 때문에 시작한 교체에서 부담이 컸습니다.
운영 기능을 익혀야 할 DBA와 개발자
Vitess는 팀에 필요한 기능 이상을 제공했습니다. ShardingSphere에서 직접 구현해야 했던 리밸런싱은 Vitess의 리샤딩 기능으로 처리할 수 있었습니다. Nbase-T에는 없던 분산 트랜잭션도 2PC로 지원했습니다.
애플리케이션이 물리적인 샤드 배치를 알지 않아도 된다는 점도 운영 방식과 맞았습니다. Nbase-T가 모듈러 샤딩을 쓰는 데 비해 Vitess는 VSchema의 Vindex로 샤딩 키를 관리합니다. VTGate는 쿼리의 WHERE 절에 Vindex가 있는지 보고 특정 샤드로 보낼지, 모든 샤드로 보내는 scatter query를 수행할지 결정합니다. 여러 VTGate로 고가용성을 구성할 수 있고, 모든 DB 노드에 일괄 쿼리나 DDL을 실행하는 기능도 제공합니다.
장애 복구는 orchestrator를 감싼 VTorc가 담당합니다. 프라이머리에 이상이 생기면 기존 레플리카 중 하나를 프라이머리로 승격합니다. 자동 스케일 아웃은 지원하지 않습니다. 대신 쿠버네티스 환경에서는 명령어로 샤드를 설정하고 추가할 수 있어 확장에 많은 공수가 들지 않았습니다.
관리 도구도 갖춰져 있었습니다. VTAdmin은 웹 UI를, VTctld는 CLI 기반 관리 기능을 제공하며 Prometheus와 Grafana도 사용할 수 있습니다. 컴포넌트가 공유하는 구성·샤드·노드 상태 정보는 토폴로지 서버가 관리하고, 이 저장소로 ZooKeeper, etcd, Consul을 선택할 수 있습니다. Vitess는 VTTablet과 MySQL을 1:1로 묶어 같은 인스턴스에서 관리하는 방식을 권장합니다.
이 기능을 익히는 데는 비용이 들었습니다. 컴포넌트별 옵션이 다양해 팀도 옵션 테스트에 많은 리소스를 썼고, DBA와 개발자는 각 옵션의 동작과 내부 구성을 이해해야 했습니다. Java 예제 코드와 커뮤니티 지원, YouTube·Slack·GitHub·네이버의 사용 사례가 있었지만 학습 부담까지 없어지는 것은 아니었습니다. 팀은 그 부담을 어느 정도 감수하기로 하고, 성능과 비용이 가장 합리적이었던 Vitess를 선택했습니다.
PoC 환경과 측정값
| 항목 | 값 |
|---|---|
| Nbase-T · Vitess 샤드 DB | 8vCPU 16GB 100GB SSD, 4대(프라이머리 2, 레플리카 2) |
| VTGate(초기 구성) | 4vCPU 18GB, 4대 |
| TiDB 구성 | TiDB 2대, PD 3대, TiKV 4대 |
| VTGate 대수별 TPS(프라이머리 샤드 3대) | 3대 3,835 / 6대 6,420 / 9대 8,637 / 12대 10,354 / 15대 11,671 / 18대 12,295 |
queryserver-config-transaction-cap(스레드 700) | 50: 11,268 TPS, 100: 15,639 TPS (기본값 20) |
| 비용 예시(임의 단가) | Nbase-T 1,000,000 / Vitess 1,050,000 / TiDB 3,006,000 |
| 비용 예시의 장비 가정 | Nbase-T와 Vitess DB는 프라이머리 25·레플리카 25, VTGate 25대, TiDB는 프라이머리 50, TiKV 70, PD 5, TiFlash 25 |