본문으로 건너뛰기
외부 시스템 장애의 영향을 줄이기 위한 배달의민족의 선택
목차

외부 시스템 장애의 영향을 줄이기 위한 배달의민족의 선택 (2021-12)

원문 정보

복구를 기다리는 동안에도 남은 오프라인 모드

2018년 11월 클라우드 서비스 장애 때, 배달의민족 앱은 스마트폰에 저장된 캐시로 일부 서비스를 계속 제공했습니다. 앞선 장애를 겪고 적용한 오프라인 모드 덕분입니다. 클라우드 콘솔조차 열리지 않고, 국내에서 해당 클라우드를 쓰는 모든 업체의 앱이 정상 동작하지 않는다는 제보가 이어지던 상황이었습니다.

그해 2월에는 IDC 정전이 있었습니다. 메인 DB에 접속할 수 없다는 알람에 마시던 커피를 두고 접속을 시도했지만, DBA도 SE도 들어갈 수 없었던 아침입니다. 업계에서 15년 넘게 일한 사람도 처음 겪는 일이었고, 점심시간 전에 서비스가 정상화된 뒤에도 뒷수습은 며칠간 이어졌습니다.

장애는 그 뒤로도 계속됐습니다. 2020년에는 특정 외부 SDK 장애로 아이폰 앱이 튕겨 1시간 넘게 서비스를 제공하지 못했고, 글이 쓰일 무렵에는 통신사 라우팅 장애도 겪었습니다. 외부 업체의 복구 소식을 기다리는 것 외에는 할 수 있는 일이 거의 없을 때도 있지만, 오프라인 모드처럼 미리 준비해 둘 수 있는 대응도 있었습니다.

문자 발송 때문에 세울 수는 없는 통신사

문자를 보내야 한다고 통신사를 세울 수는 없습니다. 배달의민족은 간편 로그인에 소셜네트워크 서비스를, 가게와 라이더 위치를 표시하는 데 지도를, 결제와 주문 상태 알림에 각각 PG와 메시지 서비스를 씁니다. 딜리는 엘리베이터의 도움도 받습니다.

외부 연동은 필요한 기능을 직접 만들고 운영하는 것보다 훨씬 저렴하며, 비교적 간단한 작업으로 높은 수준의 서비스를 이용하는 방법입니다. 문제는 통제 범위 밖의 장애가 우리 서비스에 치명적인 영향을 줄 수 있다는 점입니다. 고객은 어느 외부 시스템이 원인인지 알 수 없으므로, 그 불편은 배달의민족을 향한 부정적인 경험으로 남습니다.

어디에 기대고 있는지 드러낸 의존성 조사

2021년 지표에서 외부 시스템의 영향으로 발생한 장애는 전체의 45% 이상이었습니다. 우아한형제들은 사용자가 알아채지 못한 작은 외부 장애까지 내부에 모두 공유합니다. 빠른 대응으로 고객 불편을 줄이려는 조치입니다.

장애의 빈도와 영향이 커지면서, 2020년부터는 외부 시스템 의존성 조사도 시작했습니다. 전사에 흩어진 연동 내역을 모아 위험을 확인하고, 플랫폼화할 요소를 찾으며 연동 지식을 공유하려는 목적이었습니다. 조사 뒤 여러 시스템에서 이중화와 불필요한 의존 관계 제거를 진행했고, 안정성이 좋아지는 효과를 확인했습니다.

조사는 업체 이름을 모으는 데서 끝나지 않습니다. 외부 시스템의 명칭과 제공 업체, 2020년 장애 횟수, 국내외 사용 보편성뿐 아니라 인증서·데이터·API key의 갱신 주기도 수집합니다. 내부 서비스에서는 담당팀과 알람 채널, 모니터링 수단, 로그 정보를 확인하고, 해당 외부 시스템이 멈췄을 때 발생할 수 있는 최고 장애 등급을 기록합니다. 의존성을 약화하거나 없앨 방안, 현재 상태와 목표 상태도 조사 항목입니다.

2021년에는 연동 시스템의 모니터링 여부와 지난해 장애 빈도 등을 추가해 조사 내용을 현행화했습니다. 이미 연결된 시스템도 계속 살펴보는 작업입니다.

서비스가 커진 뒤 다시 따져 보는 연동의 가치

반드시 필요한 기능이 아니거나 대체할 방법이 있다면, 의존 관계를 맺지 않는 것이 안정성을 높이는 가장 쉬운 방법입니다. 연동 목적이 분명한지, 외부 시스템의 안정성을 믿을 수 있는지, 위험을 감수할 만큼 얻는 것이 있는지부터 따집니다.

마케팅용 연동을 예로 들 수 있습니다. 다소 극단적인 예지만, 그 외부 시스템이 앱 전체를 멈추게 할 가능성이 있다면 마케팅으로 얻는 이득과 앱 장애로 입을 손해를 비교해야 합니다.

이미 쓰는 연동도 검토 대상입니다. 서비스가 커지면 얻는 이득은 그대로인데 위험만 커질 수 있고, 해당 기능을 쓰는 곳이 늘면서 연동 대상을 바꾸거나 내부에서 직접 구현하는 경우도 생깁니다. 처음 연결할 때의 판단이 지금도 적합한지 살피고, 적절한 시점에 의존성을 없애야 합니다.

장애가 나기 전부터 사용하는 예비 벤더

PG·지도·문자처럼 여러 업체가 같은 필수 기능을 제공한다면 벤더 이중화를 선택할 수 있습니다. 자동 전환이 가장 좋지만 현실적으로 불가능한 경우가 많습니다. 어드민에 전환 기능을 두고 권한이 있는 여러 팀원이 조치하도록 구성하는 방식이 일반적이며, 개발자가 반드시 개입하지 않아도 간단하게 전환할 수 있도록 준비합니다.

예비 벤더를 마련했다고 끝은 아닙니다. A를 메인으로 쓰고 B를 서브로 두면 B는 1년에 몇 차례, 어쩌면 한 번도 쓰이지 않을 수 있습니다. 실제로 장애가 나서 예비 벤더로 전환했지만, 그동안 연동 스펙이 바뀌어 장애가 해소되지 않은 사례도 있었습니다.

평소에도 양쪽 벤더를 사용하도록 권하는 이유입니다. 9:1이나 8:2 같은 비율로 트래픽을 주고받으면 전환 대상의 연동 상태도 계속 확인할 수 있습니다. 이 비율은 상시 사용을 위한 예시입니다.

지도를 못 불러와도 열어 둘 가게 상세 페이지

서비스 규모나 비용, 대체 벤더의 부재로 이중화가 불가능할 때도 있습니다. 이때는 외부 시스템의 장애가 관련 없는 기능으로 번지지 않도록 격리해, 사용자가 최소 기능을 계속 쓰게 해야 합니다.

포장 서비스의 지도가 그런 예입니다. 지도를 불러오지 못하더라도 자주 가는 가게라면 사용자는 위치를 알 수 있습니다. 지도를 제외한 가게 상세 페이지를 보여주거나 적절한 에러 메시지를 표시하면서 주문 기능은 사용할 수 있게 하는 것이 한 방법입니다. 지도 장애 때문에 상세 페이지 전체가 동작하지 않는 일을 막는 것입니다.

주문을 처리할 수 없는 업소라면 대응이 달라집니다. 특정 프랜차이즈나 배달 대행사 시스템이 멈췄을 때는 해당 시스템을 쓰는 업소를 빠르게 주문 불가 상태로 바꿉니다. 사용자가 주문 취소나 지연을 겪지 않게 하고, 내부의 에러 처리도 늘어나지 않게 하려는 조치입니다.

장애 격리는 이중화된 서비스에도 적용할 수 있습니다. 벤더를 전환하는 짧은 순간에도 고객 불편을 줄이기 위해서입니다.

AWS·GCP 장애를 빠르게 확인할 핫라인

의존성 제거와 벤더 이중화, 장애 격리로도 피할 수 없는 장애가 남습니다. 글이 쓰인 2021년에는 AWS, GCP 같은 클라우드 서비스를 사용하지 않을 수도, 그 장애를 회피할 수도 없는 대표적인 대상으로 설명했습니다. 이런 경우가 미작동 감내에 해당합니다.

복구를 기다려야 해도 준비할 일은 있습니다. 모니터링을 강화해 장애를 빨리 알아채고, 해당 서비스 담당 부서에 곧바로 확인할 수 있는 핫라인을 운영하는 등의 조치입니다. 외부 시스템의 장애를 완전히 없앨 수는 없지만, 사전에 파악하고 대응해 영향 범위를 줄이는 일은 가능합니다.

사례와 수치의 근거
항목값
IDC 정전2018년 2월, 점심시간 전 정상화
클라우드 서비스 장애2018년 11월
외부 SDK 장애2020년, 아이폰 앱 튕김으로 1시간 넘게 서비스 불가
2021년 장애 중 외부 시스템 영향45% 이상
의존성 조사 시작2020년 (2021년 현행화)
벤더 이중화 상시 트래픽 비율 예시9:1 또는 8:2
마지막 수정 일자