목차
RDS PostgreSQL을 Aurora PostgreSQL로 옮기는 자동화 (2026-02)
원문 정보
- 원문: Automating RDS Postgres to Aurora Postgres Migration
- 매체 · 게시일: Netflix TechBlog · 2026-02-12
- 저자: Ram Srivasta Kannan, Wale Akintayo, Jay Bharadwaj, John Crimmins, Shengwei Wang, Zhitao Zhu
- 원문 내용을 바탕으로 재구성한 요약입니다.
자격 증명 없이 옮겨야 할 400개 클러스터
Netflix가 관리하는 PostgreSQL 클러스터는 400개에 가까웠습니다. 이 규모에서 DB를 하나씩 손으로 옮기는 방식은 시간과 엔지니어링 노력이 많이 들고, 사람의 실수가 끼어들 여지도 큽니다. 서로 의존하는 서비스들의 중단 시간을 조율하는 일도 만만치 않았습니다.
플랫폼 팀이 DB를 관리한다고 애플리케이션까지 통제하는 것은 아니었습니다. 읽기와 쓰기는 앱 팀이 맡으므로, 원하는 순간에 모든 쓰기를 멈출 수 있다고 가정해서는 안 됐습니다. 사용자에게 RDS 자격 증명을 받거나 수동 인증을 맡기는 방법도 제외했습니다. 원본 DB는 흔히 클라이언트 앱에서만 접근할 수 있게 잠겨 있고, 자동화 도구가 실행되는 환경에서는 원본에 직접 접속하지 못할 수도 있습니다. 양쪽 DB를 조회해 데이터가 같은지 대조하는 검증부터 어려운 조건입니다.
목적지는 Aurora PostgreSQL이었습니다. Online Data Stores 팀은 2024년 사내 관계형 DB 기술을 기능, 성능, 총소유비용 기준으로 검토한 뒤 Amazon Aurora PostgreSQL을 기본 선택지로 정했습니다. PostgreSQL이 이미 관계형 워크로드 대부분을 받치고 있었고, 사내 평가에서도 Aurora PostgreSQL은 다른 관계형 DB에서 실행하던 애플리케이션과 워크로드의 95% 넘게 지원했습니다.
개방형 생태계와 커뮤니티, 데이터 플랫폼 전반으로 넓어지는 PostgreSQL 채택도 선택의 근거였습니다. Aurora의 클라우드 네이티브 분산 아키텍처는 단일 노드 PostgreSQL보다 확장성·가용성·탄력성에서 유리하고, 대규모 글로벌 애플리케이션에 맞는 기능과 로드맵도 갖추고 있습니다. 지원하는 기술의 종류를 줄이면 운영 부담을 낮추고, 더 적은 수의 익숙한 시스템에 엔지니어링 역량을 집중할 수 있다는 판단입니다.
2024~2025년에는 기존 사용자를 옮기는 작업이 주요 과제가 됐습니다. RDS PostgreSQL부터 시작해 이후 다른 관계형 시스템으로 범위를 넓히되, 각 팀이 자기 일정에 맞춰 도입하도록 하는 계획입니다. 이를 위해 서비스 소유자가 직접 실행하는 셀프서비스 워크플로를 만들고, 오케스트레이션과 안전 점검, 정합성 보장은 자동화가 맡도록 했습니다. DB 전문가가 아닌 사용자도 따라갈 수 있어야 했습니다.
자동화가 지켜야 할 조건은 엄격했습니다. 데이터 유실은 0이어야 하고, 핵심 기능을 맡은 서비스의 쓰기 중단 시간은 매우 짧아야 합니다. Aurora로 옮긴 뒤 성능이 떨어져서도 안 됩니다. 데이터뿐 아니라 파라미터 그룹, 읽기 복제본, 복제 슬롯까지 이전 뒤에도 필요한 기능을 갖춰야 했습니다.
연결과 보안을 맡아 온 Data Access Layer
앱 코드를 바꾸지 않고 DB를 교체할 수 있는 기반은 이미 있었습니다. Netflix의 RDS 환경에서는 애플리케이션과 DB 사이의 Data Access Layer(DAL)가 연결, 보안, 라우팅을 맡습니다.
앱은 클라이언트 쪽 포워드 프록시에 연결합니다. 이 프록시가 mTLS 인증을 처리하고 Data Gateway까지 보안 터널을 만듭니다. Data Gateway는 DB 서버 앞의 리버스 프록시입니다. 클라이언트 연결을 종단하고 중앙에서 인증·인가를 처리한 뒤, 알맞은 RDS PostgreSQL 인스턴스로 트래픽을 보냅니다.
덕분에 애플리케이션은 DB 자격 증명을 직접 다루지 않으며, 데이터 저장소가 달라도 일관된 접근 방식을 씁니다. 마이그레이션에는 이 경로의 부수 효과가 유용했습니다. 프록시 설정으로 백엔드를 바꿀 수 있으므로, DB 교체를 모든 앱의 코드 변경이나 자격 증명 교체와 묶지 않아도 됩니다. 실제 전환 때 바꿀 대상은 Envoy 기반 Data Gateway의 런타임 설정입니다.
RDS가 쓰기를 받는 동안 준비하는 Aurora 복제본
AWS가 권장하는 스냅샷 방식은 절차가 단순합니다. RDS의 쓰기를 멈추고 수동 스냅샷을 만든 뒤, AWS가 이를 Aurora 호환 형식으로 변환하면 새 클러스터를 생성합니다. 검증을 마치고 트래픽을 돌릴 때까지 쓰기는 중단된 상태입니다.
Netflix는 그보다 구현이 복잡한 읽기 복제본 방식을 택했습니다. 기존 RDS 인스턴스에서 Aurora PostgreSQL 읽기 복제본을 만들면 AWS가 지속적인 비동기 복제를 설정합니다. 서비스 트래픽은 계속 RDS로 보내면서 Aurora의 구성과 연결, 성능을 검증할 수 있습니다. 쓰기를 멈추는 시점은 복제 지연이 충분히 낮아진 뒤로 미룹니다. 복제본이 마지막 변경분까지 따라잡으면 독립 클러스터로 승격하고 트래픽을 옮기므로, 스냅샷 방식보다 다운타임이 훨씬 짧습니다.
워크플로는 먼저 원본 RDS의 자동 백업을 켭니다. Aurora 복제본은 일관된 스냅샷으로 초기화한 뒤 WAL을 계속 받아 원본을 따라가는데, 자동 백업이 이 초기 스냅샷과 WAL 스트림을 제공합니다.
설정도 데이터와 함께 준비합니다. 클러스터마다 전용 Aurora 파라미터 그룹을 만들고, RDS에서 쓰던 메모리 구성, 연결 한도, 쿼리 플래너 동작 등 Aurora에 대응하는 파라미터를 가져옵니다. 지원하지 않거나 동작이 다른 항목은 제외하거나 Aurora의 권장 방식에 맞게 조정합니다. 기존 설정을 그대로 복사하는 작업으로 끝나지는 않습니다.
인스턴스 선택에서는 안정성과 성능을 먼저 확보하고, 비용 최적화는 Aurora에서 실제 워크로드를 관찰한 뒤로 미룹니다. Netflix의 보수적인 지침은 가능하면 Graviton2 기반 인스턴스, 특히 r6g 계열을 쓰는 것입니다. 기존과 같은 계열·크기를 유지할 수 있으면 유지하고, 최소한 기존 RDS의 메모리 용량은 보존합니다.
크기 이름만 같게 맞춰서는 부족합니다. Aurora는 m 시리즈를 지원하지 않으며, 계열이 바뀌면 같은 크기 이름이라도 메모리 용량이 달라집니다. 그래서 메모리가 동등한 인스턴스를 찾습니다. Aurora r6g.xlarge와 RDS m5.2xlarge가 메모리 기준으로 비슷하다는 것이 원문에서 든 예입니다.
이렇게 준비한 Aurora 읽기 복제본 클러스터와 인스턴스를 RDS 프라이머리에 연결하면 WAL 스트리밍이 이어집니다. 복제본은 검증과 성능 테스트에 사용할 수 있지만, 아직 쓰기를 받지는 않습니다. 이 단계에서 기준이 되는 DB는 여전히 RDS입니다.
0과 64MB 사이를 오가는 복제 지연
쓰기 중단에 들어가기 전에는 복제 지연이 허용 범위 안에서 안정됐는지 확인합니다. 지연이 크거나 들쭉날쭉한 채로 진행하면 중단 시간만 늘어납니다. 가능한 작업을 준비 단계에서 끝내 두고, 원본을 멈춘 뒤에는 마지막 변경분의 복제와 검증, 전환에 집중하는 방식입니다.
정지(quiescence) 단계에서는 먼저 사용자에게 앱 수준의 트래픽을 멈추도록 안내합니다. 재시도 폭주와 큐 적체, 불필요한 자원 소비를 피하기 위해서입니다. 알림을 억제하고 하위 소비자에게 공지하거나 점검 시간을 알릴 여유도 줍니다. 그렇다고 앱의 정지 요청만 믿고 승격할 수는 없습니다. 설정 실수나 누락, 남아 있는 연결이 원본에 쓰기를 계속하면 복제되지 않은 변경이 생길 수 있습니다.
인프라에서도 연결을 끊습니다. RDS 인스턴스의 보안 그룹을 분리해 새 인바운드 연결을 막고, 인스턴스를 재부팅해 기존 연결을 종료합니다. 자격 증명을 얻거나 PostgreSQL에 로그인해 세션을 직접 종료하지 않아도 되는 선택입니다. 앱이나 DB 수준에서 제어하는 것보다 느리지만, 자동화로 반복해서 실행하며 원본의 쓰기를 확실히 멈출 수 있습니다. 다운타임은 보안 그룹을 분리한 순간부터 시작되며, 기존 연결을 끊기 위한 재부팅에는 보통 최대 1분이 걸립니다.
이제 Aurora가 따라잡았는지 확인해야 합니다. 워크플로는 OldestReplicationSlotLag 지표를 봅니다. 원본에서 의미 있는 WAL이 더 만들어지지 않으면 지연도 0에 머물 것 같지만, 실제 관측값은 달랐습니다. 잠깐 0이 됐다가 곧 64MB로 뛰는 일이 몇 분마다 반복됐습니다.
이 지표는 pg_replication_slots의 값을 사용해 pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)로 계산합니다. 현재 RDS의 WAL 위치에서 restart_lsn을 뺀 값입니다. 여기서 restart_lsn은 소비자가 복제를 재개할 수 있도록 보관해야 하는 가장 오래된 WAL의 위치를 뜻합니다.
유휴 상태에서도 PostgreSQL은 파라미터 그룹의 archive_timeout = 300s 설정에 따라 약 5분마다 빈 WAL 세그먼트로 전환합니다. 전환 순간 Aurora가 거의 즉시 따라잡으면 restart_lsn이 원본 위치와 같아져 지연이 0으로 나타납니다. 곧이어 원본이 새 세그먼트에 기록을 시작하면 Aurora가 아직 소비하지 않은 한 세그먼트만큼 앞섭니다. 초기화 때 정해진 세그먼트 크기가 64MB이므로 지표도 64MB로 뛰고, 다음 전환까지 그 값에 머뭅니다.
쓰기를 차단한 이 조건에서는 0과 64MB의 반복이 정상입니다. 0이 찍힌 순간은 의미 있는 WAL이 모두 복제됐다는 신호입니다. 워크플로는 지연이 0이 되기를 기다린 뒤, 유휴 WAL 전환을 한 번 더 지켜봅니다. 다시 0에서 64MB로 움직이는지 확인해 남은 것이 빈 세그먼트뿐인지 검증하는 절차입니다.
검증을 기다리는 동안 Envoy 설정 변경도 병행합니다. 복제본이 따라잡았음을 확인하면 자체 writer와 reader 엔드포인트를 가진 독립적인 Aurora 클러스터로 승격합니다. 이제 Aurora가 쓰기를 받으며, 원본 RDS는 접근할 수 없게 둡니다. Envoy가 새 런타임 설정으로 재시작하고 설정이 전파되면 모든 클라이언트 연결은 Aurora writer 엔드포인트로 향합니다. 앱 코드를 고치거나 사용자에게 자격 증명을 요청하는 과정은 없습니다.
서비스 전반에서 관측한 쓰기 다운타임은 평균 약 10분이었습니다. 대부분은 RDS 재부팅과 유휴 WAL 전환을 기다리는 데 쓰였습니다. 더 짧은 중단 시간이 필요한 서비스에는 대기를 줄일 방법도 있습니다. 트래픽을 끊은 직후 SELECT pg_switch_wal();로 WAL 전환을 강제하면 기본 5분 대기를 건너뛸 수 있습니다. Aurora가 새 빈 세그먼트를 소비하면서 지연은 0으로 내려갑니다.
Aurora에서 새로 시작하는 datamesh 소비자
CDC 소비자는 전환 전후에 별도로 처리합니다. Netflix의 관리형 Change Data Capture(CDC)는 PostgreSQL의 논리 복제 슬롯을 사용하며, 이를 datamesh라는 관리형 추상화로 제공합니다. 슬롯은 소비자의 WAL 위치를 추적하고 처리하지 않은 WAL을 보관하게 하므로, 슬롯의 수명과 DB 운영을 따로 떼어 놓을 수 없습니다.
이 서비스가 전달하는 이벤트는 INSERT, UPDATE, DELETE, REFRESH입니다. REFRESH는 백필 중 DB에서 행의 현재 상태를 청크 단위로 조회해 내보내는 이벤트입니다. Netflix의 하위 소비자는 멱등성과 최종적 일관성을 갖도록 설계돼 재시도, 이벤트 재생, 백필을 처리할 수 있습니다. 이 성질 덕분에 Aurora에서 새 기준 상태를 만드는 절차를 사용할 수 있었습니다.
전환 전에는 슬롯에서 읽어 datamesh 소스에 쓰는 인프라를 멈춥니다. 이 절차에서 슬롯을 삭제하고 내부 오프셋 상태도 지워, 커넥터를 새로 만든 것과 같은 상태로 초기화합니다. 슬롯이 WAL 재활용을 막지 않게 하고, 정지 이후에도 원본을 가리키는 소비자가 남지 않도록 하는 조치입니다. 하위 시스템은 잠시 새 이벤트를 받지 못하지만 안정된 상태를 유지합니다.
전환이 끝나면 소비자가 Aurora 엔드포인트를 가리키도록 다시 설정하고 재시작합니다. 소비자는 Aurora에 새 슬롯을 만들고 전체 백필을 실행합니다. 모든 행에 REFRESH 이벤트를 내보내며, 하위 소비자는 이를 upsert로 처리해 새 기준 상태를 확보합니다. 원본의 멈춘 슬롯이나 보관된 WAL, 잘못된 DB를 바라보는 소비자를 남기지 않는 방식입니다.
전환 시점에 따라 달라지는 롤백 절차
전환 전까지는 RDS가 기준 DB이므로 되돌리기가 비교적 단순합니다. Aurora가 새 쓰기를 받기 시작한 뒤에는 사정이 달라집니다. 새 데이터를 RDS로 돌려보내는 역방향 복제가 필요해집니다.
| 되돌리는 시점 | 복구에 필요한 작업 |
|---|---|
| 정지 전 | RDS가 유일한 기준 DB인 상태. 새 Aurora 클러스터와 파라미터 그룹 삭제. 앱 쪽 변경 없음 |
| 정지 중 | 원래 보안 그룹을 다시 연결해 접근 복구. 삭제한 논리 복제 슬롯을 다시 만들어 CDC 재개 |
| 전환 후 | Aurora가 새 쓰기를 받았을 수 있는 상태. AWS 지침에 따라 AWS Database Migration Service(DMS) 등으로 Aurora에서 RDS로 역방향 복제 구성 |
정지 중에 돌아간다면 접근 권한만 복구해서는 끝나지 않습니다. CDC를 이어 가려면 삭제한 슬롯도 다시 만들어야 합니다. 전환 후 롤백은 새 쓰기를 처리해야 한다는 점에서 앞선 단계보다 훨씬 복잡합니다.
파트너 DB 이전을 막아선 비활성 슬롯
이 워크플로를 실제로 사용한 Enablement Applications 팀의 DB는 Netflix 파트너 연동을 받치고 있습니다. 기기 제조사, 디스커버리 플랫폼, 유통 파트너의 정보를 모델링하며, 파트너가 기기와 서비스에서 Netflix를 개발하고 테스트하고 인증해 출시하는 엔터프라이즈 앱에 데이터를 제공합니다. 사내 신뢰성 팀은 이 데이터로 특정 기기나 구성에서 발생하는 스트리밍 실패를 찾습니다.
Device Lifecycle Management에서는 파트너가 자기 NRDP 구현에 Netflix 테스트 스위트를 실행합니다. 기기마다 어느 인증 단계에 있는지를 나타내는 신호가 DB에 저장되고, 이 데이터가 검증된 기기만 Netflix를 출시하도록 하는 기기 인에이블먼트의 기반이 됩니다. DB의 사용자는 하드웨어를 설정하고 테스트하는 외부 제조사까지 이어집니다.
같은 파트너 메타데이터는 Partner Billed Integrations 조직도 사용합니다. 파트너가 Netflix를 결합 구독·청구 상품으로 제공하도록 돕는 조직입니다. DB가 멈추면 파트너가 결합 상품을 설정하거나 출시하지 못할 수 있습니다. 파트너의 업무가 전 세계에서 이어지므로 중단 시간대를 잡기도 어렵고, 장애는 생산성과 신뢰에 영향을 줄 수 있습니다.
팀은 먼저 CloudWatch에서 연결 수, 읽기·쓰기 패턴, 부하를 확인했습니다. 이전 전의 기준선을 만들고, 전환 후에도 비슷한 연결 수와 트래픽이 나오는지 판단하려는 준비입니다. 숨은 의존성을 찾는 데도 이 관찰이 필요했습니다.
그런데 이 DB는 일반적인 경우와 달리 소비자 목록이 완전히 파악돼 있지 않았습니다. 팀은 eBPF 기반 네트워크 귀속 도구인 flowlogs로 TCP 흐름을 수집해 실제 접속 서비스를 확인했고, 문서에 없던 클라이언트까지 찾았습니다. 일정과 준비 점검, 진행 상태, 전환 공지를 공유할 전용 소통 채널도 마련했습니다.
실행 초반은 순조로웠습니다. Aurora 읽기 복제본을 만들고 파라미터 그룹을 옮기는 데는 문제가 없었습니다. 그러나 복제가 시작된 직후 OldestReplicationSlotLag가 예상보다 높게 나타났습니다. 원본 RDS에 남아 있던 비활성 논리 복제 슬롯이 원인이었습니다.
소비자가 없어도 슬롯은 WAL을 보관하게 합니다. PostgreSQL은 슬롯의 마지막 restart_lsn 이후에 필요한 WAL을 유지하며, 슬롯 위치가 전진하기 전에는 그 WAL을 재활용하지 않습니다. 예를 들어 클라이언트의 마이그레이션 작업이 중단되거나 방치돼 슬롯이 비활성이 되면, 슬롯 위치는 멈춘 채 DB만 계속 WAL을 만듭니다. 현재 WAL 위치와 슬롯 위치의 격차가 커지면서 지연도 높게 보입니다.
이 팀의 이전에서는 비활성 슬롯 정리가 안전한 진행의 선행 조건이었습니다. 오래된 슬롯을 제거하고 워크플로를 재개하자 복제본은 빠르게 따라잡았습니다. 정지 단계도 문제없이 지나갔고, 승격 후에는 DAL이 트래픽을 Aurora로 보냈습니다.
전환 뒤 연결 수, 읽기·쓰기 패턴, 전체 부하는 이전 전 기준선과 거의 같았습니다. 앱과 파트너에게 전환은 눈에 띄지 않았습니다. Aurora PostgreSQL은 이제 Netflix의 관계형 데이터 저장소를 위한 기본 경로입니다.
Relational Data Platform 팀은 Aurora 위에서 더 높은 수준의 추상화를 계속 만들고 있습니다. 후속 이야기도 예고했습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 관리 대상 규모 | PostgreSQL 클러스터 약 400개 |
| Aurora PostgreSQL 지원 범위 | 다른 관계형 DB 워크로드의 95% 넘게 |
| 복제 지연 지표 | OldestReplicationSlotLag |
| 유휴 시 지연 진동 | 0과 64MB 반복, 약 5분 주기 (archive_timeout = 300s) |
| WAL 전환 강제 | SELECT pg_switch_wal(); |
| RDS 재부팅 | 보통 최대 1분 |
| 서비스 전반 평균 쓰기 다운타임 | 약 10분 |
| 인스턴스 매핑 예시 | Aurora r6g.xlarge ≈ RDS m5.2xlarge (메모리 기준) |
| 트래픽 전환 방식 | Envoy 기반 Data Gateway 런타임 설정 변경 |