목차
이메일을 트리거로 삼은 Olive Connect (2025-12)
원문 정보
- 원문: 운영 비용을 95% 절감한 서버리스 온콜 시스템 구축기
- 매체 · 게시일: 올리브영 테크블로그 · 2025-12-24
- 저자: 태극기(SRE)
- 원문 내용을 바탕으로 재구성한 요약입니다.
해외 번호 발신을 대체한 Olive Connect
올리브영 SRE팀은 2025년 7월 장애 알림 전화를 외부 온콜 솔루션에서 Amazon SES와 Amazon Connect 기반의 서버리스 시스템으로 옮겼습니다. 사내 이름은 Olive Connect입니다.
기존 솔루션의 문제는 비용을 지불해도 전화가 확실히 도착하지 않는다는 점이었습니다. 해외 번호로 발신하다 보니 국내 통신사의 스팸 정책에 막히는 일이 반복됐습니다. 국제전화 수신거부 서비스 때문에 온콜을 받지 못한 사례도 있었고, 개발자가 직접 통신사 고객센터에 연락해 국제전화 수신을 요청해야 했습니다. 솔루션 자체의 문제로 발신이 간헐적으로 실패하기도 했습니다. 발신 성공 여부와 관계없이 나가는 고정 비용은 월 약 200만 원 이상이었습니다.
팀이 구조를 다시 검토하며 세운 기준은 “어떻게 하면 더 단순하면서도 확실하게 전화가 울리게 만들까"였습니다. 발신 엔진으로 선택한 Amazon Connect는 주로 AI 컨택센터를 만들 때 쓰는 서비스입니다. 팀은 API로 발신을 제어할 수 있고, 통화 품질이 안정적이며, TTS를 붙일 수 있다는 점에 주목했습니다.
장애 신호를 한곳으로 모으는 이메일 트리거
발신을 시작하는 신호로는 이메일을 골랐습니다. Slack, Datadog 등 올리브영이 사용하는 모니터링 도구 대부분이 메일 발송을 기본으로 지원했기 때문입니다. 도구마다 API를 따로 연동할 필요 없이 장애 신호를 하나의 메일 채널로 모을 수 있었습니다.
메일을 받은 뒤 전화가 나가기까지는 다음 순서로 처리합니다.
- 모니터링 도구가 미리 정한 온콜 전용 주소로 장애 알림 메일을 보냅니다.
- Amazon SES가 메일을 수신하고, Receipt Rule에 따라 메일 원문을 SNS를 거쳐 SQS에 넣습니다.
- 온콜 발신 Lambda가 SQS에서 메시지를 꺼내 수신 대상 전화번호와 안내 음성(TTS) 내용을 파싱합니다.
- Lambda가 Amazon Connect API를 호출해 전화를 겁니다.
SES의 수신, SNS의 팬아웃, SQS의 버퍼링으로 역할을 나눈 것은 메일이 한꺼번에 몰려도 메시지를 잃지 않고 발신 속도를 조절하기 위해서입니다. SQS 메시지를 초당 4건씩 소비해 발신량을 제어합니다.
저자는 트리거 경로가 하나여서 관리하기 쉽고, 구조가 단순해 장애 지점도 적었다고 평가했습니다. 운영 이후 트리거 누락은 없었다고 밝혔습니다.
전화번호 DB를 대신하는 플러스 어드레싱
Lambda가 수신자를 식별하는 단서는 메일 주소입니다. 멤버의 온콜 전용 주소에는 RFC 5233의 하위 주소인 플러스 어드레싱을 사용합니다. Gmail 같은 메일 시스템은 ID+식별자@domain에서 + 뒤를 무시하고 원래 주소로 배달하지만, 메일 원문에는 플러스 주소가 그대로 남습니다. Lambda는 이 주소와 제목만 정규식으로 읽어 전화번호와 TTS 내용을 추출합니다.
- 수신 주소: call+821012345678@oliveyoung.co.kr → 추출 번호: 821012345678
- 메일 제목: [장애] ALB 응답시간 지연 발생 → TTS 내용: ALB 응답시간 지연 발생누구에게 전화하고 무엇을 읽어 줄지가 메일 안에 모두 들어 있으므로, 시스템은 전화번호 데이터를 보관하지 않습니다.
팀별 온콜 대상자는 이미 사용하던 Google Groups로 관리합니다. sre-oncall@, security-oncall@, payment-oncall@ 같은 그룹 주소로 장애 메일을 보내면 멤버 각자의 온콜 전용 주소로 전달됩니다. 조직 개편이나 담당자 변경이 잦아도 그룹 멤버만 수정하면 되며, IaC를 고칠 필요는 없습니다. 새 담당자 역시 자신의 플러스 주소를 그룹에 등록하는 것만으로 온콜 대상이 됩니다.
스팸 오발신 뒤에 추가한 도메인 허용 목록
내부 테스트 기간에는 광고성 스팸 메일 때문에 자정 무렵 온콜 전화가 울렸습니다. 외부에 공개하지 않은 온콜 주소에도 무작위로 발송된 스팸이 도착했고, Lambda가 그 제목을 TTS로 읽어 담당자를 깨웠습니다. 수신한 메일을 모두 온콜로 처리한 것이 허점이었습니다.
이를 막기 위해 Lambda에 발신 도메인 허용 목록을 추가했습니다. Datadog, Slack, 올리브영 사내 메일처럼 허가한 시스템에서 온 메일만 온콜로 처리하도록 바꿨습니다.
저자는 전사 확산 뒤였다면 새벽에 모든 개발자를 깨웠을 것이라며, 테스트 기간에 이 문제를 겪은 것이 다행이었다고 회고했습니다. 허용 목록을 적용한 이후에는 오발신이 한 건도 없었다고 밝혔습니다.
초당 4건으로 제어하는 Connect API 호출
약 50명에게 동시에 전화를 거는 테스트에서는 일부 인원에게 전화가 가지 않았습니다. 짧은 시간에 StartOutboundVoiceContact API 호출이 몰리면서 quota를 초과해 요청이 거절됐습니다. 팀은 수십 명에게 곧바로 전화해야 하는 온콜에 이 한도가 부족하다고 봤습니다.
AWS TAM에 서비스 할당량 증설을 요청한 뒤 약 2주간의 검토를 거쳐 한도를 초당 5회로 늘렸습니다. 다만 팀은 한도를 꽉 채워 사용하는 것이 위험하다고 판단해 실제 운영에서는 초당 4회로 제한했습니다.
몰려드는 메일은 SQS에 버퍼링합니다. 원문은 Lambda의 Reserved concurrency를 4로 설정해 Connect API 호출이 초당 4건을 넘지 않게 했다고 설명합니다. 발신 성공·실패 로그는 모두 Datadog으로 보내며, 대시보드에서 전화가 몇 초 만에 도달했는지 확인합니다.
원문에 제시된 재시험 결과에서는 46명 전원에게 전화를 거는 데 약 17초가 걸렸습니다. 초당 4건 목표를 지켰고, 누락은 없었으며 API throttling 오류도 0%였습니다.
놓친 전화의 장애 맥락을 전하는 SMS
온콜이 안정된 뒤에는 회의 중이거나 이동 중이라 전화를 놓친다는 개발팀의 피드백이 나왔습니다. 팀은 같은 Lambda에 Amazon SNS SMS 발신을 추가해 하나의 트리거에서 전화와 문자가 함께 나가도록 했습니다.
먼저 Connect로 전화를 걸어 긴급 상황임을 알린 뒤, 같은 TTS 안내 내용을 SMS로 보냅니다. 전화를 받지 못한 담당자도 문자로 장애 맥락을 바로 파악할 수 있습니다.
월 예상 비용과 IDP에 올린 사용 가이드
저자가 제시한 비용과 발신 방식의 비교는 다음과 같습니다.
| 구분 | 기존 외부 솔루션 | Olive Connect |
|---|---|---|
| 과금 방식 | 구독형 고정 비용 | 사용량 기반 과금 |
| 월 예상 비용 | 약 2,000,000원 + α | 약 100,000원 미만 (약 95% 절감) |
| 주요 과금 항목 | 유저당 라이선스, 플랫폼 사용료 | Amazon Connect 발신 비용, Lambda 호출 비용 등 |
| 발신 안정성 | 해외 번호 발신 (스팸 차단 위험) | 국내 번호 발신, 서버리스 |
저자는 비용 95% 절감과 발신 실패율 0%를 성과로 제시했습니다. 전화와 SMS 이중화, DB 없는 그룹 관리도 성과로 꼽았으며, 가장 단순한 구조가 가장 안정적일 수 있다는 경험을 얻었다고 정리했습니다.
설계 배경과 사용법은 사내 IDP(Internal Developer Portal)에 가이드로 공유했습니다. 전체 아키텍처, 신규 서비스의 이메일 트리거 연동 방법, Google Groups 온콜 그룹 관리 방법을 담았습니다. 새 서비스도 인프라 팀의 별도 지원 없이 이 가이드를 보고 온콜을 연동할 수 있습니다.
한국어 안내 음성 개선을 위한 외부 AI TTS
현재 장애 내용을 읽어 주는 Amazon Polly TTS는 긴박한 상황에서 기계적인 한국어 발음 때문에 전달력이 떨어질 때가 있습니다. 팀은 네이버 클로바 더빙이나 Typecast 같은 외부 AI TTS를 연동해 음성 안내를 개선할 계획이라고 밝혔습니다.
같은 Amazon Connect 발신 API를 사용하면서 당번 스케줄과 Slack 확인 버튼을 중심에 둔 사례는 여기어때의 Grafana OnCall 연동 사례에 정리했습니다. 가장 큰 차이는 올리브영이 정해진 그룹 전원에게 동시에 전화를 건다는 점이며, 수신 확인 절차는 원문에 나오지 않습니다.