목차
Eats Safety의 모바일·백엔드 통합 온콜 교대 (2021-08)
원문 정보
- 원문: Eats Safety Team On-Call Overview
- 매체 · 게시일: Uber Engineering Blog · 2021-08-19
- 저자: Eduardo David(Engineering Manager, 온콜·인시던트 대응 강사), Josh Kline(Sr Software Engineer II, Core Security Engineering)
- 원문 내용을 바탕으로 재구성한 요약입니다.
모바일과 백엔드를 묶은 온콜 로테이션
Eats Safety는 온콜 빈도를 줄이고 싶었습니다. 모바일 엔지니어 4명과 백엔드 엔지니어 5명이 분야별로 로테이션을 나누고 주 단위로 교대하면, 모바일 두 명에게는 2주마다 온콜이 돌아오는 편성입니다. 그렇다고 교대에서 한쪽 분야의 전문성을 빼고 싶지는 않았습니다. 모바일과 백엔드 엔지니어가 함께 대응하면서도 각자 온콜을 덜 자주 서는 방식이 필요했습니다.
이 팀은 2019년 말 상파울루 테크센터에서 출발해 UberEats 마켓플레이스의 안전 기능과 제품을 만듭니다. 모바일 앱, 클라우드 서비스, 웹 애플리케이션이 대규모로 맞물려 동작해야 하는 환경입니다. 서비스를 직접 만들고 배포할 자율성이 큰 만큼, 프로덕션에서 의도대로 동작하는지도 팀이 책임집니다. 사용자가 앱을 필요로 할 때 제대로 쓸 수 있도록 그 책임을 24시간 이어 가는 방식이 온콜입니다.
팀은 모바일과 백엔드의 로테이션을 하나로 합치는 실험을 했습니다. 교대마다 모바일과 백엔드 엔지니어가 함께 서고, 주 담당인 Primary와 보조 담당인 Secondary를 번갈아 맡는 방식입니다.
팀은 온콜 빈도를 줄이고 싶었고, 통합 교대를 실험하며 얻은 교훈으로 삶의 질 개선을 먼저 꼽았습니다. 업무 맥락을 바꾸는 일도 줄어 정규 스프린트 작업에 쓸 시간이 늘었고, 모바일 엔지니어는 백엔드를, 백엔드 엔지니어는 모바일을 배울 기회를 얻었습니다. 시간이 지나며 제품을 더 잘 알게 되고 지식을 나누게 됐다는 점도 함께 들었습니다. 팀이 설정하고 유지할 로테이션도 하나로 줄었습니다.
이 편성에는 분명한 조건이 붙습니다. 모든 알림에 따라 하기 쉬운 런북, 즉 대응 절차서가 있어야 합니다. 호출을 받았을 때 큰 고민 없이 절차를 따라갈 수 있도록 만드는 것이 통합 온콜의 성공을 좌우했습니다.
조치할 수 있어도 드물어야 할 알림
좋은 알림은 드물게 울려야 합니다. 실제 문제를 가리키고 불필요하게 발생하지 않으며 온콜 엔지니어가 조치할 수 있어야 한다는 기준만으로는 충분하지 않습니다. 조치할 수 있는 알림이라도 자주 울린다면 서비스의 신뢰성이 만족스럽지 못해 개선이 필요하다는 뜻입니다.
조치할 수 없는 알림이 반복될 때 생기는 문제는 다릅니다. 알림 피로가 쌓여 진짜 문제까지 무시할 가능성이 커집니다. 따라서 알림이 얼마나 정확한지와 사람이 대응할 수 있는지, 얼마나 자주 울리는지를 함께 살펴야 합니다. Eats Safety가 모든 알림에 주석을 남기고 리포트로 추적하는 이유입니다.
문제를 발견하는 데는 시스템 지표와 외부 테스트를 씁니다. 화이트박스 모니터링은 코드 계측, 프로파일링, HTTP 인터페이스 등으로 서버에서 실행 중인 시스템이 내놓는 지표를 확인하는 방식입니다. 블랙박스 모니터링은 외부에서 테스트를 실행해 사용자가 경험하는 동작을 검사합니다.
모니터링으로 엔드포인트의 초당 요청 수나 데이터베이스 증가율이 시간에 따라 어떻게 달라지는지 추적합니다. 대시보드에서는 변경의 영향과 장애 완화 조치의 결과를 확인합니다. 무언가 고장 났거나 고장 나기 직전일 때 담당자를 부르는 알림도 이 관측을 바탕으로 합니다.
팀이 쓰는 uMonitor는 여러 관측 지표를 한데 모으는 알림 시스템이자 프런트엔드입니다. 엔지니어가 시스템 상태를 파악하고 문제를 빠르게 발견해 고치도록 돕습니다. Blackbox는 모바일 앱과 같은 API를 호출해 고객이 이용하는 흐름의 가용성과 정확성을 감시합니다. 관련 도구의 자세한 설명은 「Observability at Scale: Building Uber’s Alerting Ecosystem」에 있습니다.
Primary를 혼자 두지 않는 Secondary
온콜은 일정 기간 알림의 긴급도에 맞춰 대응할 수 있도록 대기하는 일입니다. 장애 완화만 맡지는 않습니다. 알림 보정, 런북 갱신, 대시보드 개선, 운영 자동화와 다른 팀 지원도 온콜 업무에 포함됩니다.
Primary는 알림을 확인했다고 알린 뒤 문제를 평가하고 완화하며, 진행 상황을 공유하고 해결합니다. 처리한 내용은 알림에 주석으로 남깁니다. 알림 튜닝과 자동화처럼 다음 온콜을 개선할 작업도 맡기 때문에 정규 스프린트 업무를 많이 배정해서는 안 됩니다. 스프린트 안에 온콜 개선을 위한 시간을 따로 확보해야 합니다. 팀에 따라 채팅, 티켓 큐, 사내 지원 포럼을 살피고 버그를 분류하는 일도 Primary의 담당입니다.
아무도 혼자 온콜을 서지 않습니다. 모든 로테이션에는 최소한 Primary와 Secondary가 있고, Secondary는 필요할 때 Primary를 지원하며 알림 처리를 돕습니다. 일부 팀은 Secondary를 대신할 tertiary도 둡니다. 교대 주기, 한 번에 대기할 인원, 담당자 배치, 응답이 없을 때의 처리 방식은 팀 규모와 여러 시간대에 걸쳐 일하는지에 따라 달라집니다.
모니터링 플랫폼에서 발생한 알림은 중요도에 따라 다른 경로로 담당자를 부릅니다.
- 치명적 알림: 발생 즉시 이메일과 푸시, 1분 뒤 문자 메시지, 3분 뒤 전화
- 비치명적 알림: 발생 2분 뒤 이메일
Primary가 치명적 알림을 10분 안에 확인하지 않으면 현재 로테이션의 Secondary에게 에스컬레이션됩니다.
첫 교대 전에 거치는 Engucation과 섀도 훈련
새 엔지니어는 교육과 실전 경험을 갖춘 뒤 로테이션에 들어갑니다. Uber는 Engineering과 Education을 합친 이름인 Engucation 프로그램의 일부로 온콜과 인시던트 관리 교육을 정기적으로 엽니다. 이론을 배우는 데서 그치지 않고, 매일 사용할 도구를 직접 다뤄 보는 시간입니다. 체계적인 교육은 신규 엔지니어의 적응과 자신감을 돕고 팀마다 온콜 프로세스가 달라지지 않도록 기준을 유지합니다.
섀도 훈련에서는 실제 대응의 한복판에 서 봅니다. Shadow는 경험 많은 엔지니어를 따라 모든 호출을 살피고 Primary와 소통하며 도구와 절차를 익힙니다. 알림의 확인 처리를 직접 맡지는 않습니다. 대신 주석을 읽고 이해되지 않는 내용을 짚어 봅니다.
모든 신규 엔지니어는 교육에 참석하고 팀 런북을 검토하며, 섀도 로테이션을 한 번 이상 마쳐야 온콜에 합류합니다. 직접 온콜을 맡기 시작한 뒤에도 경험 많은 엔지니어가 대응을 지켜보는 역방향 섀도잉을 받습니다.
이 교육과 운영 기준에는 Uber의 여러 팀이 수십 년 동안 쌓은 경험이 담겨 있습니다. 불확실한 상황에서 혼란을 줄이고 질서를 유지해 엔지니어와 고객 모두에게 더 나은 결과를 내는 것이 목표입니다.
지난 교대의 맥락을 넘기는 인수인계
교대를 맡기 전에는 호출받고 대응할 준비가 되어 있는지 점검하고, 이전 교대의 리포트와 알림을 읽습니다. 준비할 항목은 연락처부터 도구 접근까지 이어집니다.
- 호출 도구에 등록한 전화번호·이메일의 최신 상태
- 호출받을 수 있는 상태인지 확인
- 항상 사용할 준비가 된 노트북과 충전기
- 팀 런북의 위치와 팀 도구 접근 권한
- 이전 교대의 리포트와 알림 숙지
교대가 끝나면 그동안의 맥락 전체를 새 담당자에게 넘깁니다. 인수인계 회의에서는 어떤 알림이 발생했는지와 알림 지표를 살피고, 완료한 작업과 후속 조치, 앞으로 처리할 작업의 우선순위를 공유합니다. 진행 중인 운영 절차도 전달할 내용입니다. 회의에는 팀 전체가 참석할 수도 있고, 해당 교대에 직접 관련된 엔지니어만 모일 수도 있습니다.
인수인계 자료는 다음 교대를 위한 개선 근거이기도 합니다. 알림마다 남긴 주석으로 리포트를 만들면 어떤 알림을 보정하고 어떤 런북을 고쳐야 할지 찾는 데 도움이 됩니다.
교대의 부담을 드러내는 On-Call Dashboard
Production Engineering 팀이 만든 On-Call Dashboard는 알림 대응에 필요한 정보를 모으고, 발생한 알림과 취한 조치의 이력을 보관하는 내부 플랫폼입니다. 담당자는 여기서 대응에 필요한 자료를 찾고, 팀은 쌓인 이력에서 알림 추이를 읽어 개발과 온콜 운영을 개선합니다.
기록의 출발점은 알림 주석입니다. 실제 문제였는지, 조치할 수 있었는지, 어떤 조치를 했는지와 근본 원인, 후속 작업을 남깁니다. 디버깅 단계, 관련 지표에서 관찰한 내용, 문서 링크, 처리 결과처럼 다음 담당자에게 도움이 될 메모도 포함됩니다. 비슷한 알림을 받은 엔지니어가 앞선 대응을 참고해 더 빠르게 문제를 찾도록 하는 기록입니다.
이 주석에서 교대의 품질을 살필 지표를 뽑습니다.
| 지표 | 교대 기록에서 확인할 내용 |
|---|---|
| Alerts | 교대 중 발생한 알림 수 |
| Annotations | 전체 알림 중 주석이 달린 비율. 높을수록 더 완전한 교대 정보 |
| 신호 대 잡음비(정확도) | 전체 알림 중 실제 문제를 나타낸 비율. 잡음이 많은 알림은 보정 대상 |
| 신호 대 잡음비(실행 가능성) | 해결에 온콜 엔지니어나 팀원의 조치가 필요했던 알림의 비율 |
| Orphaned Alerts | 교대가 끝날 때까지 열려 있으면서 주석도 없는 알림. 온콜 참여가 저조하다는 신호 |
| Poor Runbooks | 온콜 엔지니어가 매긴 품질 점수로 나타낸 런북의 부정확성 |
| Disturbance | 교대 중 온콜 조치의 분포. 높은 점수는 여러 장애나 잡음 많은 알림으로 힘들었던 교대를 의미 |
| MTTA | 알림 발생부터 온콜 엔지니어의 확인까지 걸린 평균 시간 |
| MTTR | 알림 해결에 걸린 평균 시간 |
알림 수만으로는 다음에 할 일을 정하기 어렵습니다. 실제 문제가 아닌 알림이 많으면 보정해야 하고, 런북의 품질이 낮으면 대응 절차를 고쳐야 합니다. Eats Safety는 이런 평가와 논의를 정기적인 교대 절차에 포함해 무엇이 잘 작동하고 무엇을 개선할지 계속 살핍니다.
지표가 가리키는 작업이 알림이나 런북 수정에서 끝나지는 않습니다. 장애 패턴과 서비스의 안정성·신뢰성을 살피면 너무 자주 실패하는 서비스도 드러납니다. 이런 서비스에는 기술 부채를 갚거나 재설계하고, 중복성을 늘리거나 용량을 확장하는 엔지니어링 투자가 필요합니다. 교대 기록은 그 투자와 후속 작업의 우선순위를 정하는 근거가 됩니다.
알림 통지 시간과 교대 품질 기준
| 항목 | 값 |
|---|---|
| 치명적 알림 통지 | 즉시 이메일·푸시, 1분 문자, 3분 전화 |
| 비치명적 알림 통지 | 2분 뒤 이메일 |
| 에스컬레이션 | primary가 10분 안에 확인하지 않으면 secondary로 |
| 팀 구성 | 모바일 4명, 백엔드 5명 |
| 분리 로테이션 가정 시 | 주 단위 교대에서 모바일 두 명이 2주마다 온콜 |
| 품질 지표 | Alerts, Annotations, 신호 대 잡음비(정확도/실행 가능성), Orphaned Alerts, Poor Runbooks, Disturbance, MTTA, MTTR |