목차
Jaeger 트레이스에서 최적화의 우선순위를 찾는 CRISP (2021-11)
원문 정보
- 원문: CRISP: Critical Path Analysis for Microservice Architectures
- 매체 · 게시일: Uber Engineering Blog · 2021-11-18
- 저자: Milind Chabbi(Staff Researcher, Programming Systems Research), Chris Zhang(Software Engineer, Programming System), Murali Krishna Ramanathan(Senior Staff Software Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
수천 개 서비스가 얽힌 요청 한 건
시간을 많이 쓴 호출이 곧 병목은 아닙니다. 우버의 백엔드에서는 수천 개의 마이크로서비스가 RPC로 서로를 호출하고, 요청 하나가 여러 홉을 거치는 동안 호출이 깊이 중첩되거나 비동기로 하위 서비스에 퍼져 나갑니다. 그중 오래 걸린 호출을 빠르게 해도 최상위 요청의 완료 시각은 그대로일 수 있습니다.
어느 서비스가 요청을 늦추는지 알아야 최적화할 대상도 고를 수 있습니다. 여러 서비스가 함께 겪는 병목을 찾을 때도 필요한 답입니다. 하위 RPC의 TTL을 정하고 오류율을 살피거나 장애를 진단하는 일, 용량을 계획하고 줄이는 일에도 서비스별 지연 기여를 알아야 합니다.
우버가 만든 CRISP는 이 문제를 임계 경로 분석으로 풉니다. critical과 span에서 이름을 따온 이 도구는 Jaeger 트레이스에서 서로 의존하는 작업을 이었을 때 실행 시간이 가장 긴 경로를 찾습니다. 이것이 임계 경로입니다. 요청의 종단 간 지연을 줄이려면 이 경로부터 짧아져야 하므로, 어디에 최적화 노력을 들일지 판단할 근거가 됩니다.
OperationB가 빠져 있는 임계 경로
최상위 OperationX가 T1부터 T10까지 실행되면서 OperationA, OperationC, OperationD를 서로 다른 시점에 호출하는 예를 보겠습니다. A와 C의 실행 구간은 겹치고, A는 다시 OperationB를 호출합니다. X는 이 하위 작업들이 모두 끝나야 완료됩니다.
임계 경로에는 C와 D가 들어갑니다. X의 T1-T2와 T2-T3 구간에서 시작해 C의 T3-T7, 다시 X의 T7-T8, D의 T8-T9, 마지막으로 X의 T9-T10 구간이 이어집니다. 호출을 시작한 순서대로 모든 작업을 늘어놓은 경로가 아닙니다. 다음 작업이 기다리는, 가장 늦게 도착한 작업들을 따라간 결과입니다.
B는 이 경로에 없습니다. T4-T5에 걸쳐 상당한 시간을 쓰지만, 지금 상태에서 B의 속도를 높여도 X는 전혀 빨라지지 않습니다. 최적화 우선순위가 낮은 이유입니다. D를 빠르게 하면 X의 실행 시간도 최대 T8-T9만큼 줄어들므로 D에 먼저 노력을 들일 근거가 생깁니다.
C는 조금 까다롭습니다. C의 속도를 높여 X에서 줄일 수 있는 시간은 T6-T7까지입니다. 그 이상 줄이려면 B와 C가 모두 빨라져야 합니다. C를 충분히 단축하고 나면 다른 호출이 가장 늦게 도착하는 작업이 되기 때문입니다.
임계 경로도 고정되어 있지는 않습니다. 경로 위 작업을 단축하는 것은 전체 요청의 지연을 줄이는 데 필요한 조건이지만, 다른 작업과 실행 구간이 겹치므로 단축한 시간만큼 전체 지연이 줄어든다고 보장하지는 못합니다. 최적화로 경로가 바뀌면 다시 계산해야 합니다. 그래도 지금 무엇부터 손댈지 판단할 때는 긴 호출을 나열하는 것보다 직접적인 근거가 됩니다.
9%의 클럭 차이로 벌어진 Op-M의 지연
우버의 한 주요 서비스에서는 하위 오퍼레이션 Op-M이 임계 경로에 있었습니다. 분석은 실행 호스트까지 이어졌습니다. Jaeger 트레이스에는 스팬을 실행한 호스트 이름이 남아 있고, 우버 데이터센터에는 여러 CPU SKU가 섞여 있어 한 요청을 처리하는 스팬들도 서로 다른 하드웨어에서 실행될 수 있습니다. 연구진은 Op-M의 샘플을 CPU 버전별로 묶어 바이올린 플롯으로 비교했습니다.
비교한 SKU는 제조사, 마이크로아키텍처, 캐시 크기 등이 같았습니다. 차이는 클럭뿐입니다. CPU-A는 2.2GHz, CPU-B는 2.4GHz로 약 9% 차이였지만, Op-M의 지연에서는 그보다 큰 차이가 나타났습니다. SKU-B의 P50은 SKU-A보다 약 15% 낮았고, SKU-A의 꼬리 지연은 SKU-B의 1.5배였습니다.
조금 빠른 클럭이 Op-M의 전반적인 지연과 꼬리 지연을 크게 줄인 사례입니다. 용량 할당에는 P95 같은 꼬리 지연을 흔히 사용하므로, 이 차이는 어느 하드웨어에 용량을 배분할지 판단할 때도 영향을 줍니다.
여기서 이어지는 과제는 분류입니다. 저자들은 임계 경로의 구성 요소가 CPU SKU에 얼마나 민감한지 체계적으로 조사하자고 제안합니다. 민감한 서비스와 둔감한 서비스를 구분하면, 마이크로서비스 스케줄러가 SKU에 민감한 서비스를 더 좋은 성능을 내는 SKU에 배치할 수 있다는 구상입니다. Op-M의 지연 차이는 측정 결과이고, 이런 분류를 배치에 활용하는 것은 그 결과에서 제안한 방향입니다.
끝에서부터 되짚는 Jaeger 트레이스
CRISP의 분석 재료는 우버에서 이미 널리 쓰던 Jaeger의 RPC 트레이스입니다. 수천 개 서비스가 각각 수십 개의 오퍼레이션을 제공하므로, 서로 호출하는 오퍼레이션은 십만 개에 가깝습니다. Jaeger의 콜 그래프와 타임라인으로 호출 관계를 볼 수는 있습니다. 하지만 이 규모에서는 트레이스 하나도 눈으로 읽기 어렵습니다.
Jaeger 트레이스는 스팬(span)을 모은 JSON 데이터입니다. 스팬은 한 마이크로서비스에서 수행한 작업처럼 직렬 실행 단위를 나타내며, 호스트 로컬의 시작 시각과 실행 시간을 담습니다. 루트를 제외한 스팬은 부모를 참조하므로 호출자와 피호출자의 관계도 알 수 있습니다. 부모가 자식의 완료를 기다리는지에 따라 관계의 의미가 달라집니다.
- child-of: 부모가 자식과 그 하위 호출 전체의 완료를 기다리는 요청-응답 관계
- follows-from: 부모가 완료를 기다리지 않는 fire-and-forget 관계
Jaeger는 언어에 독립적이며 우버 서비스 대부분에 적용되어 있어, 요청별 RPC 의존 그래프를 신뢰할 만하게 수집합니다. 모든 요청을 추적하는 비용은 감당하기 어려워 샘플링을 사용합니다. 진입점에서 추적 대상으로 표시한 요청은 그 아래에서 발생한 호출을 모두 하나의 트레이스로 모읍니다.
이 호출 관계를 분석하는 바탕은 병렬 계산의 방향성 비순환 그래프, DAG입니다. 노드는 직렬로 실행하는 작업이고 가중치는 실행 시간이며, 간선은 작업 사이의 의존 관계입니다. 나가는 간선이 여럿인 노드에서는 자식 작업을 만들고, 들어오는 간선이 여럿인 노드에서는 선행 작업의 완료를 기다립니다. 자식 스팬의 시작과 끝은 이 그래프에서 작업 생성인 spawn과 동기화인 sync에 대응합니다.
전체 작업량은 모든 노드의 가중치를 더한 값입니다. 완료 시간의 한계는 다릅니다. 아무리 병렬로 실행해도 가장 긴 가중 경로보다 빨리 끝날 수 없으므로, 요청을 앞당기려면 그 경로를 줄여야 합니다. 임계 경로는 가장 늦게 도착하는 작업들의 연쇄입니다. 기다리는 쪽에서 그 기다림을 끝내 줄 작업으로 이동하므로 경로 자체에는 대기 상태가 없습니다.
마지막에 돌아온 자식을 따라가는 CP
CRISP는 트레이스를 끝에서 처음으로 거꾸로 재생합니다. 최상위 스팬에서 출발한 CP 알고리즘은 자식들을 종료 시각순으로 정렬하고, 마지막에 끝난 자식인 LFC부터 재귀적으로 임계 경로를 구합니다. 그 자식에서 돌아오면 LFC가 시작하기 직전에 끝난 다른 자식을 찾습니다. LFC가 시작한 뒤에 끝난 자식은 더 늦게 도착한 작업이 아니므로 선택하지 않습니다.
최상위 스팬 S1이 T10에 끝나는 예를 따라가면 계산 방식이 드러납니다. 뒤로 가장 가까운 동기화 지점은 자식 S3이 돌아온 T9입니다. 따라서 S1의 T9-T10이 경로에 들어갑니다. 이제 S3으로 이동합니다. S3 안에서는 자식 S5가 돌아온 T8이 마지막 동기화 지점이므로 S3의 T8-T9가 경로에 추가됩니다.
S5에서는 생성 시점인 T5까지 거슬러 올라갑니다. 중간에 따라갈 자식이 없으므로 T5-T8이 경로에 들어갑니다. S3으로 돌아온 뒤에는 S3이 생성된 T4까지의 T4-T5를 추가합니다. 같은 방식으로 S1의 T3-T4, S2의 T2-T3, S1의 T1-T2가 이어집니다.
S4에도 적지 않은 시간이 들었습니다. 하지만 S5의 시작과 끝 사이에 S4의 실행 구간이 들어 있으므로 임계 경로에서는 빠집니다. 처음 예시에서 오래 걸린 OperationB를 제외했던 것과 같은 판단입니다.
하위 호출까지 포함한 시간과 직접 쓴 시간
CRISP는 임계 경로에 있는 오퍼레이션 S의 시간을 포함 시간과 배타 시간으로 구분합니다. 포함 시간(inclusive)은 하위 호출이 끝나기까지의 시간을 포함한 S의 전체 경과 시간으로, S의 실행 시간과 같습니다. 배타 시간(exclusive)은 임계 경로 위 자식에서 쓴 시간을 제외하고 S 자체에 귀속한 시간입니다.
같은 오퍼레이션도 값이 달라집니다. S의 전체 호출이 100ms이고 그 안에서 호출한 T도 임계 경로에 있으며 80ms를 썼다면, S의 포함 시간은 100ms이고 배타 시간은 20ms입니다. 호출 전체에 걸린 시간과 S 자체에서 쓴 시간을 구분해 볼 수 있습니다.
순차 호출을 겹치게 만든 호스트 시계
계산에는 시각의 순서가 필요하지만, 호스트들의 시계가 그 순서를 정확히 보여 준다는 보장은 없습니다. Jaeger가 기록하는 시각은 UTC여도 호스트마다 임의의 오차가 있을 수 있습니다. 확실한 단서는 부모-자식 관계뿐입니다. 부모가 자식보다 늦게 시작하거나 자식이 부모보다 늦게 끝난 것처럼 보이는 기록도 생깁니다.
순차 호출도 예외가 아닙니다. A가 앞선 호출의 완료를 기다리며 B, C, D를 차례로 호출했는데, 기록에서는 B와 C가 겹치고 C와 D도 겹칠 수 있습니다. 이 트레이스를 그대로 계산하면 CP는 D와 B만 선택하고 C를 제외합니다. C에서 쓴 시간에 가까운 값을 A 자체의 실행 시간으로 돌리게 되는 것입니다. 개발자가 엉뚱한 오퍼레이션을 최적화하지 않도록, CRISP는 자식 스팬 사이의 작은 겹침을 허용합니다.
부모의 시간 범위를 벗어난 자식은 범위에 맞게 조정합니다. 자식 B가 부모 A보다 늦게 끝난 것으로 기록되면 B의 종료 시각을 A의 종료 시각으로 잘라 맞추고, B가 호출한 C도 줄어든 B에 맞춰 재귀적으로 조정합니다. 자식이 부모보다 먼저 시작했지만 부모가 시작한 뒤에 끝난 경우에는 시작 쪽을 비슷하게 자릅니다.
겹치는 구간조차 없는 경우도 드물게 있습니다. 자식이 부모의 시간 범위 밖에 완전히 놓여 있으면, CRISP는 그 자식과 하위 호출 전체를 계산에서 제외합니다.
백분위마다 살펴보는 CRISP의 히트맵
트레이스마다 임계 경로는 달라집니다. 한 요청에서 무엇이 지연을 결정했는지 찾은 뒤에는, 많은 요청에서도 어느 서비스가 얼마나 기여하는지 살펴야 합니다. CRISP는 각 임계 경로에서 오퍼레이션별로 기여한 시간을 하나의 전역 풀에 합칩니다. 이 과정에서 개별 호출의 인과관계와 시간 순서는 사라집니다.
그대로 더하기만 하면 꼬리 지연이 다른 요청들의 특성을 가릴 수 있습니다. 유난히 오래 걸린 사건이 전체 결과를 좌우하기 때문입니다. CRISP는 최상위 요청의 종단 간 지연을 기준으로 P50, P95, P99로 나누어 결과를 요약합니다.
결과는 HTML 파일 하나로 나옵니다. 히트맵 하나와 플레임 그래프 셋, 텍스트 요약이 들어 있어 복잡한 호출 관계를 다시 일일이 따라가지 않고도 임계 경로의 서비스 구성을 살펴볼 수 있습니다. 대화형 플레임 그래프는 Jaeger의 기본 콜 그래프나 타임라인보다 이 구성을 읽기 쉽게 보여 줍니다.
히트맵에서는 상위 오퍼레이션에 도달하는 호출 경로까지 깊이 살펴볼 수 있습니다. 백분위를 바꿔 가며 구성 요소별 기여를 탐색하고, 여러 트레이스에서 어떤 오퍼레이션이 두드러지는지도 확인합니다. 단일 트레이스의 긴 호출을 찾는 데서 그치지 않고, 여러 요청에 걸쳐 최적화 우선순위를 판단하도록 만든 화면입니다.
우버는 CRISP로 여러 마이크로서비스의 성능 데이터를 정기적으로 수집하고 시각화하며, 그 결과로 성능 문제를 찾고 우선순위를 정합니다. 코드는 github.com/uber-research/CRISP에 공개되어 있습니다.
시계 오차 처리와 CPU 비교 수치
| 항목 | 값 |
|---|---|
| 규모 | 마이크로서비스 수천 개, 오퍼레이션 십만 개에 근접 |
| 집계 기준 | 종단 간 지연의 P50, P95, P99 |
| 포함 시간 vs 배타 시간 예시 | S 100ms, 임계 경로 위 자식 T 80ms, 포함 100ms, 배타 20ms |
| 자식이 부모 범위 밖으로 넘칠 때 | 부모 종료 시각으로 잘라 재귀 조정, 완전히 벗어나면 제외 |
| CPU-A / CPU-B 클럭 | 2.2GHz / 2.4GHz (약 9% 차이) |
| Op-M의 P50 | SKU-B가 SKU-A보다 약 15% 낮음 |
| Op-M의 꼬리 지연 | SKU-A가 SKU-B의 1.5배 |
| 요약 HTML 구성 | 히트맵 1, 플레임 그래프 3, 텍스트 요약 |