목차
주요 API에서 사용자 불편을 살피는 OBS의 SLI/SLO (2025-02)
원문 정보
- 원문: 신뢰성 향상을 위한 SLI/SLO 도입 2편 - 플랫폼 적용 사례
- 매체 · 게시일: LY Corporation Tech Blog · 2025-02-28
- 저자: 어다희 (Enablement Engineering 팀 SRE)
- 시리즈 2편이며, 1편(소개와 필요성)에서 CUJ와 SLI/SLO 개념을 다뤘다고 원문이 안내합니다. 원문은 Vector 클러스터를 처음 소개한 글로 멀티 CDN 로그 및 트래픽 관리 글도 언급합니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
약 160개 서비스가 함께 쓰는 OBS
LINE 앱 대화방에서 주고받는 미디어 메시지는 모두 OBS를 거칩니다. OBS는 LINE과 LINE 패밀리 서비스의 사진·동영상 등을 저장하고 가공해 전달하는 미디어 플랫폼입니다. 약 160개 서비스가 사용하는 만큼, 플랫폼의 문제가 각 서비스의 문제로 이어질 수 있습니다.
SLI/SLO는 보통 서비스 단위로 정합니다. 내부 플랫폼보다 사용자 관점에서 신뢰성을 측정하기 쉽기 때문입니다. 미디어 플랫폼 SRE와 트래픽의 시작점인 GSLB, CDN을 맡은 Enablement Engineering 팀은 OBS에도 별도 SLI/SLO를 정의했습니다. 여러 서비스가 함께 쓰는 플랫폼의 신뢰성을 높여 최종 사용자에게 더 나은 품질을 제공하려는 선택이었습니다.
대시보드를 열지 않아도 보이는 기능별 알람
도입 후에는 어느 서비스의 어느 기능에서 사용자가 불편을 겪는지 확인할 수 있게 됐습니다. 요약 대시보드에서 이상 여부를 한눈에 보고, 기능별 상세 대시보드에서는 SLI/SLO와 오류 예산, 요청 수, 발생 오류를 살핍니다. 각 기능의 목표 SLO에 맞춰 알람도 설정했습니다.
Slack에서는 알람과 함께 관련 패널을 볼 수 있습니다. 대시보드 패널을 캡처해 스레드 댓글로 붙여 주므로, 대시보드에 들어가지 않아도 상황을 확인할 수 있는 방식입니다.
알람 이후의 대응에는 오류 예산이 판단 근거가 됩니다. 알람이 발생하고 오류 예산이 계속 줄어든다면 즉시 원인을 찾아 해결해야 합니다. 예산이 허용 범위 안에 있다면 긴급성에 따라 대응 수준을 선택할 수 있어 운영 피로도를 줄이는 데 도움이 될 수 있습니다. 장기적으로는 오류 예산의 상태를 보고 신규 기능 개발과 안정성 중 어디에 집중할지 정할 수도 있습니다.
CUJ로 삼은 주요 API
기능별 지표를 만들려면 무엇을 사용자 여정으로 볼지부터 정해야 했습니다. CUJ(critical user journey)는 동영상 재생이나 메시지 전송처럼 사용자가 핵심 기능을 이용하는 흐름입니다. 그런데 플랫폼이 API로 제공하는 기능을 각 서비스가 어느 로직에서 어떻게 쓰는지 일일이 확인하기는 어려웠습니다. 팀은 우선 주요 API 자체를 CUJ로 삼았습니다.
SLI는 CUJ의 특성에 맞춰 한두 개씩 골랐습니다. 주요 API에 적용한 지표는 아래와 같습니다.
| CUJ | 기능 | SLI |
|---|---|---|
| DOWNLOAD | CDN 또는 OBS에서 오브젝트 다운로드 | 가용성 |
| UPLOAD | OBS에 오브젝트 업로드 | 가용성 |
| OBJECT_INFO | OBS에 저장된 오브젝트의 메타 정보 조회 | 가용성, 대기 시간 |
DOWNLOAD와 UPLOAD에는 처음에 처리량도 넣으려 했습니다. 미디어는 오디오, 파일, 이미지, 비디오로 다양하고 한 번에 올리고 내리는 크기도 제각각입니다. 서비스별로 유형과 크기에 따른 성능 편차가 커서 일관된 기준을 적용하기 어려웠습니다. 처리량은 계속 측정하되 SLI에서는 제외하고 참고 메트릭으로 남겼습니다.
실시간 메트릭으로 바꾼 OBS 로그
측정 위치에도 제약이 있었습니다. 모든 요청과 응답이 통과하면서 사용자와 가장 가까운 API 게이트웨이 같은 엔드포인트에서 메트릭을 수집하는 것이 이상적입니다. 하지만 OBS 특성상 서비스에서 필요한 메트릭을 수집하기 어려워 서버 로그를 이용하기로 했습니다.
많은 요청과 트래픽을 처리하는 OBS 글로벌 서버의 실시간 로그를 Kafka로 보냅니다. 관찰가능성 파이프라인 도구인 Vector가 Kafka의 로그를 소비해 메트릭으로 바꾸면 Prometheus가 수집해 저장하고, Grafana에서 이를 조회해 시각화하는 흐름입니다.
하루 약 350TB를 처리하기 위한 Vector 클러스터
문제는 로그량이었습니다. 하루 약 350TB에 이르는 로그 때문에 Vector가 Kafka에서 로그를 소비하는 과정에 문제가 생겼습니다. SLI/SLO와 오류 예산이 기준 아래로 떨어질 때 알람을 보내려면 메트릭을 실시간으로 수집해야 했습니다.
팀은 기존 멀티 CDN 로그 관리용 Vector 클러스터를 고도화했습니다. 하나였던 클러스터를 트랜잭션 클러스터와 애그리게이트 클러스터, 두 개로 늘려 대규모 로그를 처리하도록 했습니다.
트랜잭션 클러스터는 Filter로 SLI에 필요한 OBS 로그만 고른 뒤 Remap으로 형태를 바꿉니다. 이어서 Log to metric으로 가용성·처리량·대기 시간 메트릭을 만들고 Vector sink로 애그리게이트 클러스터에 보냅니다. 이를 받은 애그리게이트 클러스터에서는 Aggregate로 메트릭 볼륨을 줄인 뒤 prometheus_exporter로 내보내 Prometheus가 수집하도록 했습니다.
복잡한 오류 예산 쿼리를 줄인 Recording Rules
메트릭이 밀림 없이 만들어지자 대시보드를 만들 준비도 끝난 듯했습니다. 그런데 일주일치를 조회하는 데 약 1분이 걸렸습니다. 메트릭의 카디널리티가 높은 데다 PromQL도 매우 복잡했기 때문입니다. SLI/SLO에는 1개월 이상의 장기 데이터가 필요하므로 조회 성능도 해결해야 할 문제였습니다.
자주 쓰거나 계산 비용이 큰 표현식을 미리 계산해 별도 메트릭으로 저장하는 Recording Rules를 적용했습니다. SLI/SLO와 오류 예산에 필요한 표현식을 사전에 집계해 두고, 대시보드에서는 그 결과를 조회하도록 바꾼 것입니다.
가용성에는 성공 요청 수 / 전체 요청 수 x 100%를 적용했습니다. 처리량과 대기 시간은 Vector의 log_to_metric에서 히스토그램으로 만든 뒤 50, 90, 99 퍼센타일을 계산합니다. SLI에서 제외한 처리량도 참고 메트릭으로 조회할 수 있도록 집계했습니다.
오류 예산 쿼리도 짧아졌습니다. 기존에는 obs_client_http_status의 성공 요청과 전체 요청 rate를 직접 나누는 긴 식이 필요했습니다. 적용 후에는 미리 계산한 obs_download_availability에서 기준을 밑돈 값을 count_over_time으로 세는 식으로 바뀌었습니다. 쿼리를 읽기 쉬워졌고, 미리 집계한 메트릭을 사용하면서 조회 성능도 나아졌습니다.
서비스와 함께 쓸 신뢰성의 공통 언어
원문 작성 시점에는 OBS 자체의 SLI/SLO를 정의했으며, 플랫폼을 사용하는 서비스에는 아직 공유하지 않았습니다. 다음 과제는 각 서비스에 이를 알리고 함께 활용해 사용자에게 더 신뢰성 높은 서비스를 제공하는 일입니다.
미디어 플랫폼 SRE로서의 목표는 OBS 밖에도 있습니다. 다른 미디어 플랫폼으로 SLI/SLO 적용을 넓혀, LY의 다양한 서비스와 플랫폼의 신뢰성을 공통의 언어로 이야기할 수 있게 하려 합니다.
원문의 주요 정의와 수치
| 항목 | 값 |
|---|---|
| OBS를 쓰는 서비스 | 약 160개 |
| CUJ별 SLI | DOWNLOAD·UPLOAD는 가용성(처리량은 참고 메트릭), OBJECT_INFO는 가용성과 대기 시간 |
| 일일 로그량 | 약 350TB |
| Vector 클러스터 | 1개에서 2개(트랜잭션, 애그리게이트)로 확장 |
| Recording Rules 적용 전 조회 | 일주일치 메트릭 로딩 약 1분 |
| 가용성 계산식 | 성공 요청 수 / 전체 요청 수 x 100% |
| 퍼센타일 | 처리량·대기 시간 모두 p50, p90, p99 |