목차
CloudFront 캐시를 유지하는 결제 SDK의 카나리 배포 (2024-03)
원문 정보
- 원문: 프론트엔드 배포 시스템의 진화 (1) - 결제 SDK에 카나리 배포 적용하기
- 매체 · 게시일: 토스 기술 블로그 · 2024-03-05
- 저자: 라웅배 (리뷰 나재은, 편집 한주연, 그래픽 이나눔·이은호)
- 시리즈: 토스페이먼츠 엔지니어링 노트 9편, 프론트엔드 배포 시스템의 진화 두 편 중 첫 번째
- 원문 내용을 바탕으로 재구성한 요약입니다.
모든 가맹점에 한 번에 전해지던 SDK 변경
토스페이먼츠의 결제는 JavaScript SDK에서 시작됩니다. 이 SDK의 변경 사항이 모든 결제 가맹점에 한 번에 전파되다 보니, 사소한 버그도 큰 장애와 손실로 번질 수 있다는 부담이 컸습니다. 작은 수정도 쉽게 내보내지 못했습니다. 테스트 환경과 다른 실제 사용자 환경에서 문제가 생길까 걱정하며, 배포 뒤에도 계속 모니터링해야 했습니다.
팀이 선택한 해법은 카나리 배포였습니다. 소수 사용자에게 먼저 변경 사항을 적용하고 문제가 없는지 확인한 뒤 대상을 넓히는 방식입니다. 백엔드에서 주로 쓰던 이 기법을 정적 리소스인 SDK에 맞게 바꾸는 작업이 시작됐습니다.
50% 설정에도 한쪽으로 몰리는 캐시
카나리 대상은 환경에 치우치지 않아야 했습니다. 브라우저·기기·언어·지역으로 나누면 특정 환경이나 유즈케이스가 빠져 초기 문제를 놓칠 수 있기 때문입니다. 초기 로딩에 불러오는 JavaScript 파일인 만큼 CDN 캐시 적중률은 99% 이상을 요구했고, 실시간 롤백과 자유로운 stable/canary 비율 조정도 가능해야 했습니다.
초기 설계에는 SDK 파일을 공급하는 S3 bucket, 버전을 분기하는 Lambda@Edge, 응답을 캐시하는 CloudFront를 사용했습니다. Lambda@Edge가 요청마다 난수를 만들어 weight에 따라 stable과 canary를 고르는 구상이었습니다.
캐시를 켜자 비율 제어가 어긋났습니다. 예를 들어 /v1/payment의 캐시가 비어 있을 때 Lambda@Edge가 canary를 골랐다면, 캐시가 유지되는 동안 같은 URL을 요청하는 다른 기기도 모두 canary를 받습니다. canary weight를 50%로 설정해도 소용없었습니다. s-max-age=600을 적용한 시뮬레이션에서는 10분 구간마다 canary 이용자 비율이 0% 또는 100%로 나타났습니다.
캐시를 끄면 요청마다 버전을 독립적으로 고르므로 비율을 제어하고 변경도 실시간으로 반영할 수 있습니다. 같은 50% 설정의 시뮬레이션에서 canary 이용자 비율은 49.4~50.6%였습니다. 대신 모든 요청이 Lambda@Edge를 거치면서 컴퓨팅 비용이 커지고, SDK를 사용하는 서비스의 로딩이 늦어질 수 있었습니다. 정적 파일을 제공하기에는 비효율적인 선택입니다.
캐시 설정에 따른 이용자 비율 시뮬레이션
| 구분 | 캐시 활성화(s-max-age=600) | 캐시 비활성화(no-cache) |
|---|---|---|
| 조건 | canary weight 50% | canary weight 50% |
| 0~10분 | stable 0%, canary 100% | stable 49.4%, canary 50.6% |
| 10~20분 | stable 100%, canary 0% | stable 50.1%, canary 49.9% |
| 20~30분 | stable 0%, canary 100% | stable 49.7%, canary 50.3% |
| 30~40분 | stable 0%, canary 100% | stable 50.6%, canary 49.4% |
| 40~50분 | stable 100%, canary 0% | stable 50.3%, canary 49.7% |
사용자 구분을 캐시 키로 옮긴 CloudFront
팀은 Kubernetes의 카나리 배포 방식에서 실마리를 찾았습니다. weight-based canary처럼 비율을 실시간으로 조절하고 롤백하면서, user-based canary처럼 사용자마다 일정한 버전을 제공하고 헤더나 쿠키 기반 캐시도 활용하려 했습니다.
먼저 사용자를 구분할 값이 필요했습니다. 언어·지역·기기·브라우저로 대상을 나누지 않기 위해 선택한 값은 네트워크 패킷 정보를 바탕으로 한 32글자 문자열 JA3입니다. CloudFront가 요청 헤더로 제공하므로 엣지 함수에서 읽을 수 있습니다.
캐시 키는 단순하게 만들었습니다. user-agent처럼 복잡한 값을 캐시 키로 쓰면 적중률이 낮아지는 문제를 피하려고, CloudFront의 viewer request 함수에서 JA3를 0~9 사이 정수로 변환했습니다. 이 값을 X-Toss-Cohort 커스텀 헤더에 넣고 origin request의 캐시 키로 사용합니다. 같은 URL이라도 이 헤더 값에 따라 응답을 구분해 캐시하는 방식입니다.
버전 선택은 Lambda@Edge가 맡습니다. 실행될 때마다 외부 API에서 canary weight를 읽고 X-Toss-Cohort 값과 비교해 stable과 canary 중 하나를 제공합니다. 사용자에게 부여한 헤더나 쿠키를 바꾸지 않고도 weight를 조절해 카나리 공급 비율을 변경하고 롤백할 수 있도록 설계했습니다.
쿠키가 없어도 동작해야 하는 결제 SDK
사용자가 일관된 버전을 받도록 JA3와 cohort 값은 쿠키에도 저장합니다. 저장된 쿠키가 있으면 다음 요청에서 이를 헤더로 변환해 전달합니다. 하지만 쿠키가 항상 정확성을 보장하지는 않습니다. 팀은 쿠키를 사용자별 버전 일관성을 위한 보조 수단으로만 사용했고, 쿠키가 저장되지 않아도 서비스에 문제가 없도록 주의했습니다.
이 과정에서 CloudFront Function은 요청마다 두 번 실행됩니다. 횟수만 보면 무거워 보이지만, 함수 실행 시간이 1밀리초 미만이라 요청 처리에 더해지는 지연은 거의 없습니다. 비용도 SDK 요청 1,000만 건을 예로 들면 추가로 $0.6이 듭니다(요청 수 10,000,000 x 실행 2회 x 0.03 / 1,000,000).
개발자가 안심할 수 있는 배포 경험
기술 구현 뒤에는 배포하는 사람의 경험이 남았습니다. 카나리 배포를 충분히 활용하려면 변경 사항을 내보내는 개발자가 안전하다고 느끼고 자신 있게 출시할 수 있어야 합니다. 시리즈의 두 번째 글에서는 카나리 배포를 바탕으로 동료들의 배포 경험을 개선해 나간 과정을 다룹니다.