본문으로 건너뛰기
배민상회의 동기 연동을 지키는 Resilience4j 서킷브레이커
목차

배민상회의 동기 연동을 지키는 Resilience4j 서킷브레이커 (2024-01)

원문 정보

실시간 정보가 필요한 배민상회의 동기 연동

배민상회팀은 자체 개발하던 검색·광고·쿠폰 등 일부 기능을 전사 공통플랫폼으로 옮기고 있었습니다. 여러 서비스가 같은 기능을 따로 개발하고 운영하는 데 드는 인력과 인프라 비용을 줄이려는 작업입니다. 팀은 요식업 사장님에게 식품과 비품을 판매하는 배민상회와, 즉석밥·생수처럼 쟁여 두기 좋은 상품을 대용량으로 저렴하게 택배 판매하는 대용량특가를 운영합니다.

기능을 모으면 중복 비용은 줄어듭니다. 조직과 서비스의 규모가 클수록 절감 효과도 커집니다. 하지만 공통플랫폼에도 버그와 장애 가능성은 남습니다. 플랫폼을 쓰는 서비스는 자기 시스템의 장애뿐 아니라, 연동한 플랫폼에서 시작한 장애가 어디까지 번질지도 고려해야 합니다.

공통플랫폼으로 이관한 기능은 보통 결과를 동기로 가져옵니다. 가령 상품의 현재 리뷰와 별점, 카테고리별 상품 목록은 지금 화면에 보여줘야 하는 정보입니다. 실시간 응답을 얻는 만큼 서비스와 플랫폼 사이의 의존도 강해져 장애가 쉽게 전파됩니다. 비동기 연동으로 직접적인 장애 전파를 막을 수는 있습니다. 그러나 실시간 정보가 필요한 기능, 비동기 처리로 늘어나는 코드 복잡도, 플랫폼의 개발 우선순위 때문에 전환이 어려운 경우도 있습니다.

배민상회는 동기 연동에 서킷브레이커를 적용했습니다. 집의 두꺼비집에 있는 회로차단기처럼, 시스템 사이의 연동에서 이상을 감지하면 호출을 차단하고 회복되면 자동으로 다시 연결하는 장치입니다.

빈 응답 앞에서 정해야 할 실패 기준

플랫폼에서 빈 응답을 받았다면 실패로 처리해야 할까요? 실제로 결과가 없을 수도 있고, 플랫폼 내부 장애로 빈 응답이 내려왔을 수도 있습니다. 연동 서비스에 둘을 구분할 근거가 있을 수도, 없을 수도 있습니다. REST API의 상태 코드에 따라 예외를 발생시킬 수 있지만, 서비스와 플랫폼의 비즈니스 로직을 살펴 처리 방법을 정해야 하는 경우도 있습니다.

구현에는 Resilience4j를 썼습니다. Netflix Hystrix에서 영감을 받아 함수형 프로그래밍 방식으로 설계한 경량 내결함성 라이브러리입니다. 기존 Spring Cloud Hystrix가 maintenance 모드로 전환되면서 Spring Cloud의 대체 모듈로 선택됐습니다. 여기서 다루는 기능은 서킷브레이커입니다.

필요한 의존성을 추가한 뒤 annotation으로 적용할 메서드를 지정하면 서킷브레이커가 동작합니다. 호출에 실패했을 때 수행할 대체 동작은 fallback 메서드로 지정하며, 예외 종류별로 나눌 수도 있습니다. 원문의 설명용 예제에서는 일반 Exception과, 서킷브레이커가 OPEN 상태일 때 발생하는 CallNotPermittedException을 별도의 fallback으로 처리합니다. 실제 배민상회 코드를 그대로 실은 예제는 아닙니다. 플랫폼 응답에 맞는 fallback을 준비했다면, 해당 처리가 실행되도록 적절한 예외를 발생시켜야 합니다.

fallback이 실행됐다고 차단기가 열린 것은 아닙니다. 호출을 허용하는 CLOSED 상태에서도 적용 대상 메서드가 실패하면 fallback이 실행됩니다. 실행 여부만 보고 서킷브레이커의 상태를 판단할 수 없는 이유입니다.

예외가 전달되는 경로도 달라집니다. 메서드에서 예외가 발생해 fallback이 실행되면 원래 예외는 상위 메서드로 전파되지 않습니다. 도입 전부터 상위 메서드에서 예외를 받아 처리하던 코드가 있다면, 이 변화에 맞춰 수정해야 합니다.

실패율로 열고 닫는 Resilience4j 차단기

연동 코드를 모두 try-catch로 감싸 예외를 처리할 수도 있습니다. 서킷브레이커를 적용하면 장애가 난 동안 빠르게 실패 처리하고, 공통플랫폼이 정상화됐을 때 서비스의 연동도 자동으로 복구할 수 있습니다. try-catch 처리보다 수정할 부분은 많지만, 배민상회팀은 그 수정량에 비해 운영상 이점이 크다고 봤습니다.

차단 여부는 슬라이딩 윈도 안의 실패율로 결정합니다. slidingWindowType이 COUNT_BASED이면 호출 횟수, TIME_BASED이면 시간을 기준으로 삼고, slidingWindowSize로 그 범위를 정합니다. CLOSED에서 윈도 안의 실패율이 failureRateThreshold를 넘으면 OPEN으로 전환됩니다. 이때는 플랫폼 호출을 시도하지 않습니다. 곧바로 예외를 발생시키거나 설정한 fallback을 실행합니다.

호출을 다시 살펴보는 시점은 waitDurationInOpenState로 정합니다. OPEN에서 설정한 시간만큼 기다린 뒤 HALF_OPEN으로 전환해 실패율을 다시 확인합니다. 회복됐다고 판단하면 CLOSED로 돌아가고, 아직 문제가 있으면 다시 OPEN이 됩니다. 이 일반 상태들 외에 호출을 항상 허용하는 DISABLED, 항상 거부하는 FORCED_OPEN이라는 특별 상태도 있습니다.

원문의 application.properties 예시는 COUNT_BASED에 윈도 크기 10, 실패율 임곗값 50, OPEN 대기 시간 10초를 지정합니다. 설명에 사용한 설정이며 기본값과는 차이가 있습니다.

Resilience4j 기본값과 원문 예시 설정
항목기본값원문 예시 설정
failureRateThreshold5050
slidingWindowSize10010
slidingWindowTypeCOUNT_BASEDCOUNT_BASED
waitDurationInOpenState60000ms(60초)10초

상태 로그에서 Grafana로 이어진 운영 화면

동작을 구현한 뒤에는 차단기가 언제 열리고 닫히는지 확인해야 합니다. 기본 상태에서는 상태 변화가 로그에 남지 않습니다. Resilience4j에서 이벤트 리스너 역할을 하는 consumer를 RegistryEventConsumer로 구현하고, onStateTransition()에 로그를 남기는 동작을 지정합니다. 배민상회는 개발 환경에서 상태 변화를 재현한 로그를 제시했습니다. 이 로그를 보며 설정이 시스템에 적절한지 확인하고 값을 조정할 수 있습니다.

운영에서는 터미널을 열어 로그를 계속 확인하는 대신 대시보드를 사용합니다. 우아한형제들은 전사적으로 Grafana를 쓰고 있습니다. Resilience4j가 Prometheus에 저장한 서킷브레이커 상태와 실패율 등의 정보를 Grafana에서 보여주는 방식입니다. 글에 소개된 배민상회와 대용량특가의 대시보드에는 녹색불이 켜져 있습니다.

적용 범위에는 아직 빈자리가 있었습니다. 글을 쓴 시점에도 모든 플랫폼 연동에 서킷브레이커를 적용하지는 못했습니다. 서킷브레이커 자체가 장애 대응의 만능 수단도 아닙니다. 이중화 등 다른 방법도 있으며, 연동 시스템에 대한 신뢰와 별개로 장애와 확산을 막을 조치를 마련해야 한다는 것이 팀의 관점입니다.

저자는 장애에 대비해 작성한 이 코드가 배민상회가 없어지는 날까지 실행될 일이 없기를 바랐습니다. 차단과 복구를 준비한 이유도 사장님들에게 안정적인 쇼핑 경험을 제공하기 위해서였습니다.

마지막 수정 일자