본문으로 건너뛰기
Docstore와 Schemaless에서 승차 요청을 지키는 Cinnamon
목차

Docstore와 Schemaless에서 승차 요청을 지키는 Cinnamon (2026-04)

원문 정보

백그라운드 작업보다 먼저 지켜야 할 승차 요청

우버 데이터베이스에서 과부하의 상당수는 비동기 작업에서 시작됐습니다. 파이프라인, 집계기, 내부 가비지 컬렉션처럼 사용자 요청 뒤에서 돌아가는 작업입니다. 이런 작업과 승차 요청을 과부하 속에서 똑같이 보호할 이유는 없었습니다. 하지만 초기 부하 관리자는 그 차이를 구분하지 못했습니다.

감당해야 할 규모도 컸습니다. 우버의 수천 개 마이크로서비스는 승객과 Eats 사용자, 드라이버, 배달 파트너를 포함해 월간 활성 사용자 1억 7천만 명 이상을 지원합니다. 그 아래에는 MySQL 기반의 자체 분산 데이터베이스 Docstore와 Schemaless가 있습니다. 수천 개 클러스터에 수십 페타바이트를 저장하고 초당 수천만 건의 요청을 처리하는, 우버의 모든 사업 부문이 쓰는 시스템입니다.

이 규모에서는 짧은 트래픽 급증도 한곳의 문제로 끝나지 않습니다. 다운스트림에서 타임아웃이 나면 재시도가 쌓이고, 그 요청들이 다시 부하를 더합니다. 한 테넌트가 공유 자원을 독점하는 일도 막아야 했습니다. 서버가 무너지지 않을 만큼 요청을 줄이면서, 그 안에서 누구의 어떤 요청을 살릴지 정하는 일이었습니다.

한 행짜리 응답 뒤에 가려진 MySQL의 부하

처음 요청을 제한한 곳은 쿼리 엔진이었습니다. Docstore는 전체 CRUD와 트랜잭션을 지원하고 Schemaless는 추가 전용 워크로드에 맞춰져 있지만, 상태 없는 쿼리 엔진과 상태 있는 스토리지 엔진, 컨트롤 플레인을 둔 설계는 같습니다. 이 과정에서 부하 제어의 위치를 결정한 것은 앞의 두 계층이었습니다.

쿼리 엔진은 쿼리 계획과 라우팅, 샤딩, 스키마 관리, 인가, 파싱과 검증을 맡습니다. 트랜잭션 관리와 연결 풀링, 합의와 복제는 스토리지 엔진의 역할입니다. 우버는 쿼리 엔진에서 읽기·쓰기 요청이 처리한 바이트 수에 따라 용량 단위 비용을 매겼습니다. 사용자에게 고정 쿼터를 주고 이를 넘으면 HTTP 429를 반환했습니다. 라우터가 상태를 보관하지 않으므로 사용량은 중앙 Redis 캐시에 기록하는 방식이었습니다.

문제는 비용표부터 어긋났다는 데 있었습니다. 전체 테이블을 스캔한 뒤 한 행만 반환하는 쿼리와 처음부터 한 행만 읽는 쿼리에 같은 비용이 매겨졌습니다. MySQL이 스캔하고 필터링하는 방식 때문에 생긴 차이였습니다. 응답은 한 행으로 같아도 스토리지가 한 일은 달랐고, 이 비용 모델로는 쿼터를 믿고 집행하기 어려웠습니다.

제어 위치도 부담을 더했습니다. 요청마다 Redis를 호출하면서 네트워크 홉과 장애 지점이 하나씩 추가됐습니다. 특정 스토리지 파티션이 과부하일 때 그곳으로 향하는 요청만 거르려면, 상태 없는 라우터가 수천 개 파티션의 실시간 상태와 부하까지 알아야 했습니다. 라우팅 계층에 그 정보를 계속 공급하는 방식은 확장성을 해쳤습니다.

고정 쿼터는 운영에서도 손이 많이 갔습니다. 쿼터를 바꿔 달라는 요청이 끊이지 않았고, 멀티테넌트 환경에서 부하를 제어하는 데도 효과가 없었습니다. 우버가 이 시도에서 얻은 방향은 명확했습니다. 실제 작업량과 자원 상태를 아는 스토리지 노드 가까이에서 과부하를 판단해야 했습니다.

줄 끝의 새 요청을 먼저 받는 CoDel

스토리지에서 무엇을 볼지도 바뀌었습니다. QPS만으로 제한하면 워크로드에 따라 너무 일찍 요청을 버리거나, 이미 늦은 뒤에 차단하게 됩니다. 우버는 현재 처리 중인 연산 수, 즉 동시성을 부하 신호로 택했습니다. Little의 법칙인 ‘동시성 = 처리량 × 지연’이 그 관계를 설명합니다. 상태 있는 시스템에서는 동시성이 자원 사용량에도 가깝게 대응합니다.

요청 큐에는 네트워크의 bufferbloat 문제를 다루던 CoDel(Controlled Delay)을 도입했습니다. CoDel이 차단 기준으로 보는 것은 큐의 길이보다 요청이 그 안에서 기다린 시간입니다. 연산끼리 영향을 덜 주도록 큐도 독립적으로 나눴습니다.

  • 읽기 큐: 포인트 조회와 가벼운 쿼리
  • 쓰기 큐: insert, update, upsert
  • 느린 큐: 스캔, 삭제, 복제와 백그라운드 연산

먼저 온 요청을 먼저 처리하는 FIFO는 평소에는 자연스럽습니다. 과부하에서는 사정이 달라집니다. 오래 기다린 요청은 클라이언트가 이미 포기했거나 재시도했을 수 있습니다. 그 요청에 자원을 쓰는 동안, 아직 성공할 가능성이 있는 새 요청은 줄 끝에서 기다립니다. 대기 시간을 늘리는 일이 유효한 작업을 더 처리하는 결과로 이어지지 않았습니다.

CoDel은 압박이 커지면 순서를 바꿨습니다. 평소에는 FIFO로 처리하다가 과부하에서는 LIFO로 전환해 새 요청을 먼저 받습니다. 오래돼 쓸모를 잃은 작업은 빨리 실패시키고, 아직 성공할 수 있는 요청을 처리하는 방식입니다.

이 설계는 자원 고갈이 걷잡을 수 없이 커지는 일을 막았습니다. 수락한 요청의 성공률과 안정성이 좋아졌고, 과부하 중에도 주요 기능을 유지하는 데 효과가 있었습니다. 서버를 버티게 하는 장치는 갖춘 상태였습니다. 남은 문제는 그 서버가 어떤 요청을 버리고 있느냐였습니다.

승차 요청부터 살리는 Cinnamon의 대기열

CoDel은 요청의 중요도를 몰랐습니다. 낮은 우선순위의 비동기 작업과 사용자 대면 요청을 같은 기준으로 버렸습니다. 백그라운드 작업이 과부하를 일으켰는데 승차 요청까지 실패하면 고객 경험이 나빠지고 온콜 부담도 늘어납니다. 큐에서 기다린 시간만으로는 해결할 수 없는 문제였습니다.

우버는 Delivery 팀이 개발한 부하 차단기 Cinnamon으로 CoDel을 교체했습니다. Cinnamon은 요청의 순위와 현재 시스템 상태, 워크로드의 중요도를 함께 보고 차단합니다. 요청에 우선순위가 있으면 그 값을 쓰고, 없으면 호출 서비스를 기준으로 기본값을 정합니다.

티어는 가장 중요한 t0부터 가장 낮은 t5까지입니다. t0는 소수의 핵심 인프라 서비스를 위한 티어이고, t1은 가장 중요한 사용자 대면 온라인 트래픽입니다. 과부하 속에서 보호하려는 사용자 요청이 t1에 있습니다. 부하가 커지면 낮은 우선순위부터 버려 이 요청들이 살아남게 했습니다.

우선순위가 생기자 큐도 단순해졌습니다. 읽기와 쓰기 큐만 남기고, 오래 걸리거나 백그라운드에서 실행하는 연산에는 낮은 우선순위를 부여했습니다. 별도의 느린 큐로 연산을 구분하던 자리를 요청의 중요도가 대신했습니다.

대기 시간을 고정해 둔 것도 CoDel의 한계였습니다. 큐 타임아웃과 처리 중인 요청의 상한인 inflight 한도를 수동으로 조정해야 했습니다. 정해진 시간이 지나 거절된 요청들이 한꺼번에 재시도하는 thundering herd도 생겼습니다. 트래픽의 중요도를 구분하지 않으니 이 과정에서 우선순위 높은 요청까지 다시 떨어졌습니다.

Cinnamon은 P90 지연을 기준으로 큐 타임아웃을 조정해 수동 튜닝을 없앴습니다. Auto Tuner는 실시간 지연과 오류율을 보면서 inflight 한도를 바꿔 처리량을 최대화합니다. 워크로드가 달라질 때마다 사람이 고정값을 다시 정하던 부담을 줄인 것입니다.

차단 시점도 달라졌습니다. CoDel은 예를 들어 5밀리초라는 고정 대기 시간이 지나면 요청을 거절했지만, Cinnamon은 PID 기반 제어로 압박을 흡수하며 필요한 때에 차단했습니다. 너무 이른 거절이 줄자 불필요한 재시도와 thundering herd도 줄었습니다. 회복은 더 매끄러워졌고, 429 응답이 감소하면서 가용성도 한결 일정해졌습니다.

서버의 여유와 별개로 작동하는 Scorecard

우선순위만으로는 멀티테넌트의 공정성을 지킬 수 없었습니다. 시스템 전체가 과부하라면 낮은 우선순위부터 요청을 버리면 됩니다. 하지만 서버에 아직 여유가 있어도 한 테넌트가 공유 자원을 독점할 수 있습니다. 이때의 테넌트별 제한은 전체 시스템의 부하와 무관하게 작동해야 합니다.

이 역할은 CoDel과 함께 도입한 Scorecard가 맡았습니다. Scorecard는 규칙에 따라 요청을 받아들일지 결정하는 가벼운 쿼터 시스템으로, 테넌트별 동시성 한도를 집행합니다. 설정은 단순하고 판단은 결정적입니다. 과부하 감지와 공정성 집행을 나란히 둬, 평상시에도 한 테넌트가 자원을 독점하지 못하게 했습니다.

장애가 났을 때도 이 경계가 도움이 됐습니다. 문제를 일으키는 테넌트를 찾아 제한하면서 다른 테넌트에는 영향을 주지 않고, 장애의 영향 범위를 줄일 수 있었습니다. 전체 서버의 상태가 나빠질 때까지 기다렸다가 모두의 요청을 버릴 이유가 없어진 것입니다.

동시성에 잘 드러나지 않는 부하도 있었습니다. QPS가 낮은 호출자가 아주 큰 쓰기 페이로드를 보낼 수 있고, 트래픽이 한 파티션 키에 몰려 다른 클러스터는 쉬는데 한 클러스터만 과부하가 될 수도 있습니다. 우버는 이런 편중을 감지하려고 노드 안에서 동작하는 플러그인형 레귤레이터를 뒀습니다. 정상 상태에서는 거의 발동하지 않도록 설계한 장치입니다.

  • 쓰기 바이트 레귤레이터: 동시 쓰기량을 제한해 I/O 포화를 방지
  • 파티션 키 레귤레이터: 핫 파티션 키로 향하는 트래픽을 제한
  • 메모리 레귤레이터: 프로세스의 남은 메모리가 부족하면 요청을 제한
  • 고루틴 레귤레이터: 고루틴 수가 임계치를 넘으면 요청을 제한

운영에서는 차단 여부만 알아서는 부족했습니다. 우버는 무엇을 왜 차단했는지, 어떤 구성 요소가 부하를 더하는지 추적하는 가시성도 설계 원칙으로 꼽았습니다. 테넌트의 독점과 시스템 전체의 과부하를 구분하는 만큼, 실제로 어느 경계에서 요청이 거절됐는지도 볼 수 있어야 합니다.

팔로워의 지연까지 받아들이는 Cinnamon

로컬 서버의 상태만으로는 끝내 설명되지 않는 과부하가 남았습니다. 처리 중인 요청 수와 쓰기 바이트, 메모리에 여유가 있어도 리더가 요청을 줄여야 할 때가 있습니다. 팔로워가 뒤처지는 경우입니다.

Docstore와 Schemaless의 데이터는 파티션으로 나뉘며, 각 파티션은 로컬 NVMe SSD를 단 MySQL 노드에 놓입니다. 파티션마다 리더 하나와 팔로워 둘이 Raft로 강한 일관성을 유지합니다. 이때 팔로워의 commit index가 뒤처지는 commit index lag가 커지면, 리더 자신은 건강해도 트래픽을 줄여야 했습니다. 자기 노드의 자원만 보는 부하 관리자에게는 보이지 않던 신호였습니다.

우버는 이런 원격 신호에 따른 차단을 외부의 토큰 버킷 속도 제한기로 처리해 왔습니다. 만들기는 쉬웠습니다. 그러나 규모가 커지자 로컬 제어와 외부 제어가 서로 다른 판단을 내리는 split-brain 동작이 생겼고, 전체 시스템에 적합하지 않은 차단 결정을 낳았습니다. 새 과부하 신호를 받아들일 재사용 가능한 기반도 부족했습니다.

해법은 Cinnamon의 판단 범위를 넓히는 것이었습니다. 팔로워 commit lag 같은 외부 신호를 플러그인으로 받아, 로컬 신호와 같은 요청 수락 경로에서 처리하게 했습니다. 리더의 자원 상태와 팔로워의 지연을 별도 제한기가 각각 판단하던 방식을 하나의 제어 루프로 합쳤습니다. 요청 우선순위도 이 경로에서 함께 고려합니다.

새 신호를 연결하는 틀은 BYOS(Bring Your Own Signal)입니다. 각 팀은 필요한 신호를 추가하고 그 성격에 맞는 제어 경로로 보낼 수 있습니다. 시스템 전체에 영향을 주는 압박이면 우선순위에 따라 넓게 차단하고, 특정 호출자가 문제라면 그 호출자만 정밀하게 제한합니다. 신호를 하나로 줄인 것이 아니라, 여러 신호를 받아 요청을 거절할지 정하는 판단을 한곳에 모았습니다.

우버가 설계 원칙 전체를 이끄는 기준으로 꼽은 것은 단순함이었습니다. 스토리지 가까이에서 충분한 정보를 얻고, 새 신호를 받아들이면서도 로컬과 원격의 차단 논리를 한 제어 루프 안에 두는 방향입니다. 정적 설정을 계속 늘리는 대신 현재 부하에 맞춰 판단하도록 바꿨습니다.

디머 스위치처럼 반응하는 PID 컨트롤러

통합한 Cinnamon은 토큰 버킷 제한기와 비교해 과부하 중 처리량과 자원 사용량을 모두 개선했습니다. 평균 QPS는 3,000에서 5,400으로 약 80% 늘었습니다. upsert의 P99 지연 평균은 3.1초에서 1.0초로 내려가 약 70% 감소했습니다.

처리량이 늘면서 대기 중인 작업이 더 쌓인 것은 아니었습니다. 과부하 중 고루틴 피크는 150,000에서 10,000으로 약 93% 줄었고, 보고된 힙 사용량 감소율은 약 60%였습니다. 토큰 버킷에서 보이던 메모리와 고루틴 누적을 Cinnamon의 빠른 차단이 피한 결과입니다.

빨리 거절하는 일에는 그 자체로 효과가 있었습니다. 처리하지 못할 요청을 붙잡아 두지 않으면 낭비되는 작업이 줄고, 지연을 예측하기 쉬워지며 OOM을 예방할 수 있습니다. 그렇다고 압박이 보일 때마다 크게 차단하면 되는 것은 아닙니다. 오류율이 오른 뒤에만 반응하는 제어는 늦고 강하게 보정하기 쉽습니다.

PID는 과거의 상태와 변화 추세를 함께 반영합니다. 우버가 든 이미지는 망치보다 디머 스위치에 가깝습니다. 갑작스럽게 내리치는 대신 조명의 밝기를 조절하듯 차단량을 조절합니다. 토큰 버킷에서는 commit lag가 오르내렸지만, PID로 제어한 Cinnamon에서는 안정됐습니다. 낮은 지연과 적은 자원 사용량뿐 아니라 과부하에서 회복하는 양상까지 달라졌습니다.

원문의 측정값과 구성 요소
항목값
월간 활성 사용자1억 7천만 명 이상
과부하 중 처리량평균 QPS 5,400 대 3,000 (약 80% 증가)
P99 지연(upsert 평균)1.0초 대 3.1초 (약 70% 감소)
과부하 중 고루틴 피크10,000 대 150,000 (약 93% 감소)
힙 사용량최대 1GB 대 5~6GB 스파이크 (약 60% 감소)
파티션 구성리더 1 + 팔로워 2, Raft
Cinnamon 우선순위 티어t0(핵심 인프라) ~ t5(최하위), t1이 사용자 대면 온라인 트래픽
CoDel 고정 대기 예시5밀리초
레귤레이터쓰기 바이트, 파티션 키, 메모리, 고루틴
마지막 수정 일자