본문으로 건너뛰기
리더의 조회 부하를 나눈 Titus Gateway의 일관된 캐시
목차

리더의 조회 부하를 나눈 Titus Gateway의 일관된 캐시 (2022-11)

원문 정보

잡을 만든 직후에 지켜야 할 약속

조회 응답은 늦어졌고, 리더의 사용률은 위험한 수준까지 올랐습니다. Netflix의 클라우드 컨테이너 런타임 Titus가 더 많은 사용자와 컨테이너를 맡으면서 부딪힌 한계입니다. Titus는 Mesos 프레임워크로 출발해 사용자에게 드러나지 않게 Kubernetes로 옮겨 왔지만, 활성 데이터 조회는 모두 리더로 선출된 단일 Job Coordinator가 처리하고 있었습니다.

조회 부하를 분산하는 데는 조건이 있었습니다. 기존 클라이언트가 기대하는 읽기 일관성을 지켜야 했습니다. 예를 들어 배치 워크플로 오케스트레이터가 한 번의 워크플로 실행에 필요한 잡 여러 개를 만들고 상태를 감시한다고 가정하겠습니다. 생성은 성공했는데 이어진 조회에서 잡을 찾지 못한다면, 오케스트레이터는 잡을 잃어버렸다고 판단해 대체 잡을 만들 수 있습니다. 데이터 전파가 늦어서 생긴 일이라도 클라이언트는 타임아웃이나 갱신 추적을 직접 구현해야 합니다.

Titus의 클라이언트는 그런 우회책 없이 동작했습니다. 자신이 쓴 데이터를 이어서 읽는 read-your-writes와, 한 번 읽은 상태보다 오래된 상태로 돌아가지 않는 monotonic reads를 보장받았기 때문입니다. 한 게이트웨이에서 잡을 만들고 다른 게이트웨이에서 조회해도 결과는 최신이어야 합니다. 캐시를 도입한다고 이 약속을 바꿀 수는 없었습니다.

Kubernetes처럼 처음부터 버전을 기준으로 동작하는 시스템에는 다른 선택지가 있습니다. Kubernetes는 모든 객체와 컬렉션에 단조 증가하는 고유 리비전을 두고, 사용자가 마지막으로 받은 리비전 이후의 변경을 요청하도록 지원합니다. Titus도 클라이언트에 새 프로토콜을 요구할 수는 있었지만, 그러려면 모든 클라이언트를 이전해야 했습니다. Titus 내부의 확장성 문제를 해결하는 일에 각 팀이 얻을 가치는 불분명했고, 이전 일정도 Titus 팀이 통제할 수 없었습니다.

선택은 API 계약을 그대로 두는 것이었습니다. 조회는 게이트웨이의 캐시가 처리하되, 응답하기 전에 캐시가 충분히 최신인지 확인하기로 했습니다.

초당 4K 쿼리에서 드러난 지연 격차

캐시를 도입한 결과는 모든 요청이 조금씩 빨라지는 모습과는 달랐습니다. 중앙값에는 동기화 비용이 붙었지만, 느린 요청의 지연은 크게 줄었습니다. 부하 테스트에서 요청 하나는 레코드 100개로 이루어진 컬렉션을 조회했으며, 직렬화한 응답 크기는 약 256KB였습니다.

초당 1K 요청을 보낸 중간 부하에서는 캐시 없는 구성의 중앙값 지연이 캐시 있는 구성의 절반이었습니다. 캐시가 최신인지 확인하는 시간이 더해진 결과입니다. 대신 99번째 백분위 지연인 p99는 292ms에서 30ms로, 90% 낮아졌습니다.

차이는 리더의 처리 한계 근처에서 더 커졌습니다. 캐시 없는 Job Coordinator는 초당 4K 쿼리까지 처리했지만, 약 4.5K에 이르면 지연이 급증하고 처리량이 급락했습니다. 그래서 최대 부하 비교는 초당 4K 쿼리로 진행했습니다. 이때 캐시 없는 구성의 p99는 약 1000ms, 80번째 백분위인 p80은 약 336ms였으나 캐시를 사용하면 각각 46ms와 22ms로 줄었습니다. 중앙값은 캐시 없이 17ms, 캐시를 쓰면 19ms로 여전히 동기화 비용이 남았습니다.

더 많은 요청을 보냈을 때의 차이도 분명했습니다. 캐시 없는 구성은 부하가 약 15%만 늘어도 무너졌습니다. 캐시를 사용한 구성은 같은 백분위 지연을 유지하며 선형으로 확장됐고, 부하를 두 배인 초당 8K 쿼리로 올려도 지연이 전혀 늘지 않았습니다.

전환은 클라이언트에 드러나지 않았습니다. 마이그레이션 중이나 이후에 이상 현상이나 API 동작 변화를 겪은 클라이언트는 하나도 없었습니다.

부하 테스트 조건과 지연 수치
항목값
쿼리레코드 100개 컬렉션, 응답 약 256KB
필요 대역폭중간 부하 약 2Gbps, 최대 부하 약 8Gbps
중간 부하(1K 요청/초) 99번째 백분위캐시 없음 292ms, 캐시 있음 30ms
최대 부하(4K 쿼리/초) 99번째 백분위캐시 없음 약 1000ms, 캐시 있음 46ms
최대 부하 80번째 백분위캐시 없음 약 336ms, 캐시 있음 22ms
최대 부하 중앙값캐시 없음 17ms, 캐시 있음 19ms
캐시 없는 구성의 붕괴 지점약 4.5K 쿼리/초
캐시 있는 구성 8K 쿼리/초지연 증가 없음
가정한 간격keep-alive 최대 5ms, 이벤트 최대 간격 2ms

같은 변경을 다른 시각에 받는 게이트웨이

캐시가 복제하는 상태의 기준은 Job Coordinator입니다. 한 Titus 클러스터, 즉 셀에서 이 프로세스는 실행 중인 잡과 태스크를 관리합니다. 새 리더로 선출되면 외부 저장소의 데이터를 모두 불러오고, 이후 변경은 활성 데이터 저장소에 먼저 기록한 뒤 메모리에 반영합니다. 완료한 잡과 태스크도 순서가 정해져 있습니다. 아카이브 저장소에 먼저 저장하고 나서 활성 저장소와 리더 메모리에서 제거합니다.

Titus Gateway는 잡 생성과 조회 요청을 받습니다. 아카이브 조회는 게이트웨이가 직접 처리하고, 활성 상태는 현재 Job Coordinator 리더와 유지하는 스트림 연결로 복제받습니다. 사용자 요청은 게이트웨이 노드 전체로 분산되므로, 어느 노드가 조회를 받더라도 같은 일관성 보장을 제공해야 합니다.

스트림을 연결하는 것만으로는 부족합니다. 리더에서 게이트웨이 캐시까지의 경로에는 처리 속도가 서로 다른 이벤트 큐가 이어져 있고, 메시지는 어느 단계에서든 대기할 수 있습니다. 게이트웨이마다 별도로 스트림을 구독하므로 각자의 파이프라인이 생깁니다. 같은 리더를 구독하고 있어도 캐시에 도착한 상태는 크게 다를 수 있는 이유입니다.

시각 T1에 이벤트 E1부터 E10이 두 게이트웨이의 파이프라인에 흩어져 있다고 가정하겠습니다. 클라이언트가 게이트웨이 2에서 E8까지 반영된 상태를 읽은 뒤 곧바로 게이트웨이 1을 조회하면, 더 뒤처진 캐시에서 오래된 상태를 읽을 수 있습니다. 한 번 본 상태에서 과거로 돌아간 것입니다. 시각 T0에 만든 객체가 E10에 담겨 있다면 문제는 더 뚜렷합니다. T1에는 두 게이트웨이 어디에도 그 객체가 없어, 생성에 성공한 클라이언트가 조회에서는 not-found를 받습니다.

응답을 늦춰야 하는 지점이 여기입니다. T1에 조회를 받았다면 Job Coordinator에서 T1까지 생성한 이벤트를 모두 캐시에 반영한 뒤 응답해야 합니다. 일반화하면 요청을 받은 시각 T0까지의 모든 상태 갱신이 캐시에 들어 있어야 한다는 계약입니다. 이벤트 스트림만 보고서는 캐시가 얼마나 뒤처졌는지 알 수 없으므로, 어디까지 도착했는지 확인하는 절차가 따로 필요합니다.

최신 상태의 도착을 알리는 ACK

Titus는 게이트웨이와 Job Coordinator 사이에 keep-alive 기반 동기화 프로토콜을 추가했습니다. 각 프로세스 안에서는 Java의 nano time 같은 고해상도 단조 시계를 논리 시계로 사용합니다. 목적은 사건의 순서를 매기는 것입니다. 원자 정수 생성기로도 같은 일을 할 수 있으며, 로컬 시각을 쓰므로 서버 간 시계를 동기화하는 문제를 피합니다.

게이트웨이가 클라이언트의 조회를 받으면 로컬 캐시에 최신 데이터를 요청합니다. 캐시는 자신의 논리 시각을 기록하고, 그 값을 keep-alive 메시지에 담아 Job Coordinator로 보냅니다. Job Coordinator는 메시지를 받은 시점의 자체 논리 시각을 붙여 내부 큐에 저장합니다.

이제 Job Coordinator는 상태 변경 이벤트를 계속 보냅니다. 각 이벤트에도 논리 타임스탬프가 있으므로, keep-alive를 받은 시각보다 늦은 이벤트에 도달했는지 판단할 수 있습니다. 그 지점에 도달하면 keep-alive의 확인 응답인 ACK를 보냅니다. ACK를 받은 게이트웨이는 keep-alive를 보낸 시점까지의 변경이 캐시에 모두 들어왔음을 알게 됩니다. 그제야 기다리던 조회를 로컬 캐시에서 처리합니다.

갱신이 없는 때에도 ACK는 돌아와야 합니다. 상태 변경 이벤트가 충분히 생기지 않는다고 다음 변경이 일어날 때까지 조회를 기다리게 할 수는 없습니다. Job Coordinator는 이때 더미 메시지를 스트림에 넣어, 연속한 이벤트 사이의 간격이 설정한 임계값을 넘지 않게 합니다. 원문의 그림에서 시각 Td에 삽입한 더미 메시지가 이 역할을 합니다. 더미 메시지의 타임스탬프도 keep-alive 도착 시각과 비교할 수 있으므로, 시스템에 새 변경이 없어도 정해진 시간 안에 ACK를 보낼 수 있습니다.

keep-alive 하나로 묶은 여러 조회

클라이언트가 조회할 때마다 keep-alive를 보내지는 않습니다. 게이트웨이는 정해진 간격 동안 요청을 모은 뒤 keep-alive 하나로 함께 확인합니다. 최대 전송 빈도는 1/max_interval입니다. 간격을 5ms로 정하면 keep-alive는 초당 최대 200건으로 제한됩니다.

Job Coordinator에서도 확인 작업을 합칩니다. 이미 네트워크로 보낸 마지막 이벤트의 타임스탬프보다 도착 시각이 이른 keep-alive 가운데 가장 최근 요청에 응답합니다. 게이트웨이는 그 응답의 타임스탬프와 같거나 더 이른 시각의 대기 요청을 모두 확인된 것으로 처리합니다. 여러 요청을 하나씩 확인하지 않아도 각 조회가 기다려야 할 변경을 빠짐없이 반영할 수 있습니다.

이 대기 시간은 어느 정도인지 계산할 수 있습니다. keep-alive의 최대 간격을 5ms, Job Coordinator가 내보내는 이벤트의 최대 간격을 2ms로 가정하겠습니다. 유휴 시스템에서 새 keep-alive 대기가 막 시작할 때 조회가 도착하면, 캐시 갱신까지 7ms에 네트워크 전파와 처리 시간을 더한 만큼 기다립니다. 작은 keep-alive 응답의 네트워크 지연을 1ms 미만으로 보고 처리 시간을 무시하면, 이 조건에서 일반적인 최악의 지연은 약 8ms입니다.

기다릴 일이 거의 없는 경우도 있습니다. keep-alive 대기가 필요 없고 Job Coordinator가 즉시 ACK를 보내면 네트워크 전파와 처리 시간만 들어 1ms 미만입니다. 이런 조건에서 동기화가 더하는 지연은 평균 약 4ms로 추산했습니다. 앞선 부하 테스트에서 측정한 응답 시간과는 별개로, 프로토콜의 간격과 네트워크 지연을 가정한 계산입니다.

변경 이벤트와 요청이 많아지면 네트워크 전파와 스트림 처리 시간이 더 큰 영향을 줍니다. 그래도 Job Coordinator가 상대하는 대상은 유한한 수의 게이트웨이입니다. 리더는 이들에게 고대역폭 스트림을 제공하고, 클라이언트의 조회는 요청량에 맞춰 늘린 게이트웨이가 처리합니다.

순서를 보장받지 않아도 되는 조회에는 기다림을 생략하는 경로도 마련했습니다. 최종 일관성을 받아들일 수 있는 클라이언트는 별도의 API를 선택해 로컬 캐시에서 바로 응답을 받을 수 있습니다. 이 경우 동기화 대기 없이 더 낮은 지연과 더 높은 가용성을 얻습니다.

단일 리더를 기준으로 삼는 시스템

캐시가 늘어도 리더 교체의 영향은 남습니다. 노드 장애나 시스템 업그레이드로 새 Job Coordinator 리더가 선출되면, 게이트웨이는 그 리더의 스냅샷을 받아 기존 캐시를 교체합니다. 새 리더와 다시 연결될 때까지 활성 데이터의 읽기와 쓰기는 모두 거부합니다. PACELC로 표현하면 PC/EC를 택한 설계이며, 쓰기 가용성은 이전과 같고 읽기 가용성은 이론상 개선됩니다.

적용 조건도 이 설계와 이어집니다. 리더 선출로 정해지는 단일 컴포넌트를 데이터의 기준으로 삼고, 데이터가 메모리에 들어가며 지연이 낮은 시스템이라면 같은 메커니즘을 적용할 수 있습니다. Titus는 이 조건에서 수직 확장의 한계에 닿은 읽기 전용 API를 게이트웨이의 수평 확장으로 늘릴 수 있게 했습니다.

캐시 일관성 프로토콜은 멀티프로세서의 Adve & Gharachorloo(1996), 분산 시스템의 Gwertzman & Seltzer(1996) 연구에서도 폭넓게 다룬 주제입니다. Titus의 방식은 Gwertzman과 Seltzer가 개괄한 클라이언트 폴링·무효화 프로토콜 범주에 들어갑니다. 읽기 복제본의 선형화 가능성을 위해 중앙에서 타임스탬프를 매기는 설계는 Calvin 시스템과도 닮았으며, 원문은 FoundationDB 같은 실제 구현과 AWS Aurora의 복제본 워터마킹을 함께 언급합니다.

마지막 수정 일자