목차
유선 회선 장애에도 B마트 주문을 지킨 LTE 라우터 백업망 (2024-06)
원문 정보
- 원문: B마트 주문 유실을 없애보자: 네트워크 편
- 매체 · 게시일: 우아한형제들 기술블로그 · 2024-06-25
- 저자: 안필호 (우아한형제들, DX IDC와 전사 네트워크 운영)
- 원문 내용을 바탕으로 재구성한 요약입니다.
메인 회선 없이 보낸 3일 연휴
2023년 12월 29일 금요일 15시, 지방의 한 B마트 센터에서 메인 회선 장애가 났습니다. 복구는 해를 넘겼습니다. 당일 해결하지 못한 장애는 2024년 1월 2일까지 이어졌지만, 센터는 그 사이 3일 연휴 동안 들어온 주문을 1건의 유실도 없이 정상 처리했습니다.
주문 처리를 이어 간 것은 LTE 라우터 백업망입니다. 이 연휴를 포함해 백업망을 운영한 1년 동안, B마트에서 네트워크 회선 문제로 유실된 주문은 없었습니다.
10분의 단절도 부담인 도심 거점
B마트는 주문을 포함한 총 7단계를 거쳐 접수부터 배달 완료까지 60분 안에 마쳐야 합니다. 센터의 네트워크 단절이 배달 목표에 영향을 줍니다. 접수부터 픽업 대기까지의 센터 처리 단계에서 10분 이상 네트워크가 끊기면, 고객에게 약속한 시간 안에 물품을 전달하지 못할 수도 있습니다.
빠른 배달을 위해 거점 센터인 PPC(Picking and Packing Center)는 서울이나 대도시의 행정구·자치구마다 1~3개씩 흩어져 있습니다. 상품을 보관하다가 주문이 들어오면 피킹하고 포장해 라이더가 배달할 수 있도록 준비하는 곳입니다.
인프라 관리자에게는 운영하기 좋은 환경이 아닙니다. 큰 센터 한 곳이라면 설비 투자를 집중해 네트워크를 안정적으로 운영할 수 있지만, 작은 센터가 여럿이면 예산도 나눠야 합니다. 그렇다고 센터 하나하나의 중요도가 낮아지지는 않습니다.
다른 사업자로 연결한 LTE 라우터
가장 간단한 해법은 장비와 회선의 이중화였습니다. PPC의 네트워크 장비와 통신 사업자 회선이 모두 이중화된 상태는 아니었지만, 한정된 예산으로 양쪽에 투자하기는 어려웠습니다. 우아한형제들은 연간 장애 빈도와 파급력을 비교해 먼저 손볼 대상을 골랐습니다. 더 자주 장애가 나고 영향도 큰 쪽은 통신 사업자 회선입니다.
회선에 충분히 투자하기 어려웠고, 회선 비용에 SLA(서비스 수준 계약)가 비례하다 보니 품질과 장애 신고 대응도 좋지 않았습니다. 드물게 발생하는 지역·전국 단위의 사업자 장애도 큰 위험이었습니다. 같은 사업자의 회선을 하나 더 두기보다, 다른 사업자를 추가하는 이원화가 필요했습니다.
여기에는 건물의 제약도 있었습니다. 입주 건물이 특정 통신 사업자에 묶여 있으면 다른 사업자의 유선 회선을 쓸 수 없었습니다. LTE 라우터를 고른 배경입니다. KT 아현지사 화재 때 서울 서부 지역의 인터넷이 며칠 동안 끊겼어도 LTE 라우터를 사용한 스타벅스는 정상 영업을 했다는 사례도 참고했습니다.
요금표 뒤에 숨은 운영 비용
개인용 에그는 법인 상품인 LTE 라우터보다 이용료가 저렴하고 쓰기도 쉽습니다. 하지만 백업망으로 쓸 때의 비용은 요금표만으로 판단하기 어렵습니다. 에그를 쓰려면 센터 운영자에게 내부망 연결부터 배터리 충전까지 행동 요령을 교육해야 하고, 이를 일관되게 숙지하지 못하면 배달 목표를 지키지 못하는 문제로 이어질 수 있었습니다. 추가한 회선만큼 네트워크 관리자의 운영 시간도 늘어납니다.
백업망은 메인 회선보다 저렴하면서도 운영에 드는 일이 적어야 했습니다. 필요한 성능도 주문 처리를 기준으로 잡았습니다. 5G 상품도 있었지만 무선 라우터의 품질·속도·안정성은 유선 인터넷과 비교할 수준이 아니라고 판단했고, B마트 백업망에는 다행히 많은 트래픽이나 큰 대역폭이 필요하지 않았습니다.
예상 밖의 비용은 모니터링에서 나왔습니다. LTE 라우터는 휴대전화처럼 트래픽 사용량에 따라 과금되는데, 유선 환경에서는 신경 쓰지 않던 ICMP 같은 모니터링 트래픽도 상당한 사용량으로 집계됐습니다. 통신 사업자의 위탁 서비스를 이용하자 자체 모니터링이 필요 없어 이 문제를 해결했습니다. 최종적으로 선택한 A사는 결합 요금제도 제공해, 유선 회선 비용에 8%를 더하는 비용으로 백업망을 구축했습니다.
장애 때 차순위 경로를 여는 IPSEC 터널
회선이 하나 더 있어도 장애 때 사람이 바꿔 연결해야 한다면 요구사항을 충족하지 못합니다. 메인 회선 장애 시 자동으로 절체해 장애 시간을 줄이고, 사용자가 회선 문제를 체감하지 않도록 하는 것이 목표였습니다.
IDC에 연결한 IPSEC 터널 4개에는 라우팅 AD(Administrative Distance)를 설정했습니다. 신속하게 경로를 전환하면서 평소 WAN2에 발생하는 트래픽은 최소화하기 위한 설계입니다.
WAN1에는 대기 시간·지터·패킷 손실로 링크 품질을 측정하는 Link-monitor를 설정했습니다. 특정 목적지에 몇 차례 도달하지 못하면 해당 라우팅을 비활성화하고, 차순위인 두 번째 IPSEC 터널 경로를 활성화합니다. IPSEC DPD(Dead Peer Detection) 값과 Link-monitor의 Fail-back 기준은 관계 부서와 논의하고 테스트를 거듭해, B마트 환경에서 수용 가능한 범위의 최적 값을 찾아 적용했습니다.
유선 인터넷 없이 주문을 처리한 센터
검증은 주문이 가장 많은 센터에서 시작했습니다. 주문 처리 트래픽을 LTE 라우터로 돌려 며칠 지켜보자, 예상하지 못했던 DNS, DHCP, NTP, RADIUS, 외부 참조 소스 등의 보조 서비스가 드러났습니다. 이를 조치한 뒤에는 유선 인터넷을 완전히 분리해 실제 장애처럼 운영했습니다. 이 테스트도 큰 특이사항 없이 마쳤습니다.
전국 센터 배포에는 사업자 위탁 서비스를 이용했습니다. 위탁 업체가 센터를 직접 방문해 LTE 신호 세기를 확인하고 장비를 설치하는 동안, 관리자는 일정과 개통 확인 정도의 업무를 맡았습니다. 이렇게 모든 B마트 센터에 백업망을 구축했습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 배달 목표 | 접수부터 배달 완료까지 60분, 총 7단계 |
| 센터 처리 단계 허용 단절 | 10분 이상 끊기면 목표 미달성 가능 |
| PPC 분포 | 행정구·자치구마다 1~3개 |
| 백업 회선 추가 비용 | 유선 회선 비용 대비 8% (결합 요금제) |
| IPSEC 터널 | IDC 연결 4개 |
| 운영 기간 | 1년, 비교 구간 2022.03~2023.02 대 2023.03~2024.02 |
| 장애 극복 사례 | 2023-12-29 장애, 2024-01-02 복구, 연휴 주문 유실 0건 |