목차
Spring Cloud Config로 이중화한 SMS 발송 경로 (2022-03)
원문 정보
- 원문: 메시지 발송 이중화 여정기
- 매체 · 게시일: 우아한형제들 기술블로그 · 2022-03-16
- 저자: 이재훈 (공통시스템개발팀, 메시지플랫폼 개발)
- 원문 내용을 바탕으로 재구성한 요약입니다.
다시 찾아온 장애 앞의 선택지
2021년 10월 19일 22시 30분경, SMS 발송을 맡은 외부 시스템 하나에 장애가 났습니다. 팀은 장애를 인지하자 정상적으로 발송할 수 있는 외부 시스템으로 트래픽을 100% 전환했습니다. 차분하게 대응하고, 장애 상황도 자신 있게 공유할 수 있게 됐습니다.
2021년 6월 18일 오후 5시에는 사정이 달랐습니다. 외부 시스템 장애로 우아한형제들 서비스 전역에서 SMS 발송이 멈췄고, 운행을 시작하려던 라이더도 인증 문자를 받지 못해 앱에 로그인할 수 없었습니다. 팀에 남은 선택은 복구를 기다리는 일뿐이었습니다.
“아 이중화만 되어있었더라면”이라는 말이 팀 안에서 오갔습니다. 시스템이 제 역할을 못하는데 손쓸 방법이 없다는 무력감은 이중화를 최우선 과제로 삼은 계기가 됐습니다.
인증 SMS부터 나눠 보낸 Router
목표는 모든 SMS 요청을 어느 외부 시스템에서도 처리하는 것이었습니다. 하지만 새로 추가할 B에 일반 SMS/LMS, 인증 SMS, 해외 수신자 SMS, 이미지를 첨부한 MMS를 모두 구현하려면 시간이 걸립니다. 팀은 비즈니스 영향이 가장 큰 인증 SMS부터 개발하고, 준비된 유형부터 트래픽을 나누기로 했습니다.
발송처를 정하는 Router 모듈에 외부 시스템별 트래픽 비율을 두었습니다. 인증 SMS에는 비율에 따라 A와 B로 요청을 나누는 Weighted Routing Policy를 적용했습니다. B가 아직 처리하지 못하는 일반 SMS, 해외 SMS, MMS는 Default Routing Policy를 사용해 모든 유형을 처리할 수 있는 A로만 보냈습니다. 이후 B에서 일반 SMS, 해외 SMS, MMS 순으로 구현을 마치는 대로 Weighted Routing Policy를 적용하는 방식입니다.
비율을 조정해야 하는 상황도 분명했습니다. A에 장애가 나면 B로만, B에 장애가 나면 A로만 요청을 보내야 했습니다. A의 동시 처리량을 넘어서는 경우에는 A와 B에 50:50으로 나누는 것도 요구사항이었습니다.
Spring Boot에서는 application.yml에 sms.systems.routing.weight.A와 B를 두고 @Value로 읽어 분산할 수 있습니다. Weighted Routing Policy가 그 비율에 맞춰 요청을 보낼 Kafka 토픽을 고르면 됩니다. 문제는 비율을 바꿀 때였습니다. 이 구성만으로는 프로퍼티를 다시 적용하려고 배포해야 했지만, 팀에는 운영 중 배포 없이 트래픽을 전환할 방법이 필요했습니다.
Kafka 의존성을 따져 고른 Scheduled Polling
팀이 선택한 것은 Spring Cloud Config와 Scheduled Polling의 조합이었습니다. Spring Cloud Config로 런타임에 프로퍼티를 바꾸고, 클라이언트가 주기적으로 변경 여부를 확인하는 방식입니다.
함께 검토한 안은 Spring Cloud Config에 Spring Cloud Bus와 Spring Cloud Config Monitor를 조합하는 구성이었습니다. DB의 프로퍼티가 바뀐 뒤 Config Server에서 /monitor 엔드포인트를 호출하면, Kafka에 RefreshRemoteApplicationEvent를 발행해 클라이언트에 갱신을 알립니다. 이벤트를 받은 클라이언트는 Config Server에서 프로퍼티를 다시 조회합니다. 변경 시 클라이언트마다 조회 API를 한 번만 호출하므로 통신 비용이 적고, 실시간에 가깝게 반영됩니다.
이 장점만 보면 이벤트 방식이 합리적으로 보였습니다. 그러나 Kafka가 정상이 아니면 설정을 변경할 수 없다는 점이 선택에 크게 작용했습니다. 장애가 나면 config-server, kafka, config-client를 모두 확인해야 합니다. polling을 쓰면 config-server와 config-client만 확인하면 되고, 재시도도 상대적으로 쉬웠습니다.
polling에도 비용은 있습니다. 클라이언트가 계속 조회하므로 클라이언트 수에 비례해 Config Server 요청량이 늘어납니다. 팀은 당시 규모에서는 주기적인 조회가 Config Server에 무리를 주지 않는다고 판단했습니다. 요구사항도 수 초 내 반영이었습니다. 실시간에 가까운 전파까지 요구하지 않는 조건에서, 설정 갱신용 브로커를 관리하지 않아도 되는 polling의 운영 비용이 상대적으로 낮았습니다.
state가 바뀔 때만 다시 만드는 Bean
설정을 저장하는 방식은 검토한 안 모두 같았습니다. Spring Cloud Config의 백엔드로 RDB(MySQL)를 사용하는 JDBC Backend를 골랐습니다. 시스템에서 프로퍼티를 바꾸기 쉽게 하려는 선택입니다.
선택한 구성에서 message-platform-router는 10초마다 Config Server에 application-name과 profile을 보내 프로퍼티를 조회합니다. Config Server는 그 정보로 DB에 저장된 프로퍼티를 찾아 응답합니다. 조회할 때마다 Bean을 다시 만들지는 않습니다.
변경 여부는 응답의 state로 구분합니다. 이 값에는 가장 최근에 변경된 프로퍼티의 수정시간 timestamp를 사용했습니다. state가 달라졌을 때만 Context Refresh를 실행해 @RefreshScope로 등록한 Bean을 재생성합니다. 값이 같으면 Context Refresh를 실행하지 않아 불필요한 Bean 재생성을 없앴습니다.
이후 내부 어드민에 프로퍼티 변경 기능을 추가했습니다. 외부 시스템별 트래픽 설정을 빠르게 바꿀 수 있게 되면서, 장애가 나도 다른 발송 경로로 전환할 수단을 갖췄습니다.
자동 전환에 필요한 장애 판단 기준
2022년 3월 당시 SMS 채널의 이중화는 끝났고, 알림톡 채널은 4월에 이중화를 지원할 예정이었습니다. 다음 과제는 자동화였습니다.
트래픽을 다른 시스템으로 돌릴 준비는 되어 있어도, 전환을 결정하는 주체는 사람이었습니다. 알람이나 제보로 장애를 인지하고 판단한 뒤 트래픽을 바꾸는 방식입니다. 처음부터 자동화하지 않은 이유는 장애라고 판단할 기준을 정하기 어려웠기 때문입니다.
운영 경험이 쌓이면서 장애로 판단할 기준을 몇 가지 정할 수 있게 됐습니다. 팀은 그 기준에 해당하는 상황에서 시스템이 자동으로 트래픽을 전환하도록 기능을 개발해 볼 계획이었습니다.
설정 예시와 장애 대응 수치
| 항목 | 값 |
|---|---|
| 첫 장애 | 2021-06-18 17시경, SMS 외부 시스템 장애 |
| 두 번째 장애 | 2021-10-19 22시 30분경, 트래픽 100% 전환으로 대응 |
| 라우팅 비율 예시 | A 51 : B 49 |
| A 동시 처리량 초과 시 | A와 B를 50:50으로 분산 |
| 2안 polling 주기 | 10초 |
| 알림톡 이중화 | 4월 지원 예정 |