목차
SQL API 계측으로 다듬은 Workers Analytics Engine (2022-11)
원문 정보
- 원문: How Cloudflare instruments services using Workers Analytics Engine
- 매체 · 게시일: The Cloudflare Blog · 2022-11-18
- 저자: Jen Sells, Miki Mokrysz
- 원문 내용을 바탕으로 재구성한 요약입니다.
고객이 막힌 지점까지 기록하는 SQL API
2022년 9월 Analytics Engine을 오픈 베타로 내놓은 Cloudflare는 개발자 피드백을 받아 빠르게 기능을 추가하고 있었습니다. 하지만 제품 안에서 벌어지는 일은 충분히 보이지 않았습니다. 요청 수와 오류율, p99 응답 시간을 확인해야 했고, 집계에서 개별 이벤트로 들어가 문제를 살펴볼 수 있어야 했습니다. 갓 출시한 제품인 만큼 고객이 어떤 쿼리를 쓰다가 막히는지도 관심사였습니다. 빠진 기능의 우선순위를 정할 단서였기 때문입니다.
Cloudflare가 고른 도구는 자기 제품인 Workers Analytics Engine이었습니다. 그해 초 발표한 이 도구는 차원이 많고 카디널리티가 높은 시계열 데이터를 다루도록 만들었습니다. Workers에서 코드 몇 줄로 이벤트를 기록하고 GraphQL이나 SQL API로 조회합니다. Workers 코드의 동작을 분석하거나 고객에게 분석을 제공하고, 사용량 기반 과금에도 쓸 수 있는 도구입니다.
Cloudflare도 고객과 같은 방식으로 SQL API를 계측했습니다. API로 들어온 쿼리마다 이벤트를 하나씩 남기면, 같은 기록에서 성능 문제를 집계하고 고객의 쿼리와 오류를 개별적으로 확인할 수 있습니다.
SQL API는 사용자의 SQL을 파싱하고 변환·검증한 뒤 백엔드 데이터베이스 서버에서 실행합니다. 그 쿼리 정보를 다시 Analytics Engine에 기록해 자체 분석에 쓰는 흐름입니다. 조회 언어로 SQL을 고른 이유도 여기에 잘 맞습니다. 수십 년간 가장 널리 쓰인 언어라, 사용자가 새 언어를 배우지 않고 자기 데이터에 바로 질문을 던질 수 있기 때문입니다.
개별 고객까지 추적하는 오류 기록
SQL API는 꽤 표준적인 SQL 방언을 지원하지만, 아직 모든 기능을 갖추지는 못했습니다. 지원하지 않는 동작을 시도하면 구조화된 오류 메시지를 반환합니다. 이 메시지도 Analytics Engine에 남습니다.
오류 메시지의 형식은 오류 유형: 상세입니다. 콜론 앞부분을 잘라 유형별로 묶으면 각 오류가 몇 번 발생했고 몇 명의 사용자에게 영향을 줬는지 집계할 수 있습니다. 고객이 어떤 기능을 쓰려다 실패했는지, 무엇을 먼저 지원해야 할지 판단할 자료가 됩니다.
같은 집계를 일반적인 메트릭 시스템에서 만들려면 오류 유형마다 별도 메트릭이 필요합니다. 각 마이크로서비스가 이렇게 많은 메트릭을 보고하면 확장성 문제가 생깁니다. 높은 카디널리티를 처리하도록 설계한 Analytics Engine에는 이 문제가 없습니다.
집계에서 멈출 이유도 없습니다. SQL 오류가 급증했다면 다른 SQL 쿼리로 어떤 고객이 문제를 겪는지 찾아 도움을 주거나, 그 고객이 어떤 함수를 쓰려 했는지 확인할 수 있습니다. Cloudflare는 과거에 이런 정보를 얻으려고 백엔드 데이터베이스 서버를 직접 조회했습니다. 이제 SQL API를 공개하면서 고객도 같은 기술로 자기 서비스의 데이터를 규모에 관계없이 분석할 수 있게 됐습니다.
수조 건의 이벤트를 감당하는 ABR
SQL로 분석 데이터를 조회하면 미리 정의한 용도별 메트릭에 묶이지 않습니다. 원하는 데이터 세트를 정의하고, 기록된 필드에 새 질문을 던질 수 있습니다. 문제는 규모입니다. Analytics Engine이 지원해야 하는 데이터 세트는 수조 건의 데이터 포인트로 이뤄져 있습니다.
Cloudflare는 쿼리에 합리적인 시간 안에 응답하기 위해 Adaptive Bit Rate(ABR)라는 샘플링 방식을 구현했습니다. 데이터가 아주 많으면 샘플링된 이벤트를 바탕으로 결과를 반환하기도 합니다. 보통 규모라면 전체 데이터를 조회합니다. 덕분에 큰 데이터 세트에서도 비용이 많이 드는 쿼리를 실행할 수 있지만, 당시에는 사용자가 쿼리를 작성할 때 샘플링을 직접 감안해야 했습니다. 이를 자동으로 처리하는 방식은 검토 중이었습니다.
분석 결과는 어떤 시각화 도구로도 볼 수 있습니다. Cloudflare가 많이 쓰는 도구는 Grafana입니다. 백엔드 데이터베이스 클러스터의 응답 시간도 SQL로 조회해 시각화했습니다. 평균적으로 백엔드는 100ms 이내에 응답했고, 실행하기 가장 복잡한 1% 쿼리에 해당하는 p99는 때때로 약 300ms까지 치솟았습니다. 고객의 오류를 들여다보던 도구로 백엔드의 성능도 관측한 것입니다.
오류 기록으로 달라진 제품 로드맵
계측 결과는 기능 우선순위를 정하는 데 쓰였습니다. 시각화에 사용한 substring과 position 함수는 이미 지원을 추가한 상태였습니다. 나머지 오류에서도 손볼 곳이 드러났습니다.
상위 오류에는 칼럼 선택 문제가 많았고, 대부분 Grafana 플러그인의 사용성 문제에서 비롯됐습니다. DESCRIBE를 지원하지 않아 플러그인이 테이블 구조를 이해하지 못하는 상황이었습니다. Cloudflare는 이 함수를 지원하면 문제가 줄어들 것으로 봤습니다. DESCRIBE 지원과 Grafana 플러그인의 다른 개선은 당시 로드맵에 있었습니다.
보존 기간이 지나 사라진 데이터를 조회하려는 사용자도 있었습니다. 이는 고객이 더 긴 보존 기간을 반길 것이라는 단서였습니다. Cloudflare는 보존 기간을 이미 31일에서 92일로 늘렸고, 더 연장할지는 사용 양상을 계속 지켜보기로 했습니다. 당시 오픈 베타 안내에는 무료 보존 기간을 90일로 표기했습니다.
SQL 문법을 잘못 이해하거나 흔히 저지르는 실수에서 나온 오류도 많았습니다. 이 기록은 문서에도 개선할 여지가 있음을 보여 줬습니다. 더 나은 예제와 오류 설명을 제공하면 사용자가 자기 쿼리의 문제를 해결하는 데 도움을 줄 수 있다는 판단이었습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 백엔드 데이터베이스 평균 응답 | 100ms 이내 |
| p99 응답 시간(가장 복잡한 1% 쿼리) | 가끔 약 300ms까지 상승 |
| 보존 기간 | 31일에서 92일로 확장 |
| 오픈 베타 시작 | 2022년 9월 |
| 지원 대상 데이터 규모 | 수조 건의 데이터 포인트 |