목차
수백만 벡터를 전 세계에서 찾는 Cloudflare Vectorize (2024-10)
원문 정보
- 원문: Building Vectorize, a distributed vector database, on Cloudflare’s Developer Platform
- 매체 · 게시일: The Cloudflare Blog · 2024-10-22
- 저자: Jérôme Schneider, Alex Graham
- 원문 내용을 바탕으로 재구성한 요약입니다.
벡터를 모두 비교하면 답은 정확합니다. 하지만 인덱스가 수백만 벡터로 커지면 매번 데이터를 읽고 거리를 계산하는 비용이 너무 커집니다. Cloudflare의 Vectorize는 검색 범위를 좁히는 색인과 압축, 전 세계 서버가 읽는 불변 스냅샷을 결합해 이 문제를 풀었습니다.
Vectorize는 Workers로 만드는 AI 애플리케이션에서 임베딩을 검색하는 분산 벡터 데이터베이스입니다. 임베딩은 텍스트, 이미지, 오디오 같은 데이터를 머신러닝 모델과 의미 기반 검색 알고리즘이 다루도록 표현한 값입니다. 가까운 벡터를 찾는 검색은 문서 분류와 추천, 이상 탐지뿐 아니라 LLM 답변에 맥락을 더하는 RAG에도 쓰입니다.
사용자 가까운 서버에서 실행되는 Vectorize
Vectorize는 모든 Cloudflare 데이터센터에서 Workers를 구동하는 인프라 위에 실행됩니다. 요청은 Worker 바인딩으로 들어오거나, API Gateway를 거치는 Cloudflare REST API에서 옵니다. 요청을 받은 데이터센터 안에서는 서버 전체에 부하가 고르게 퍼지도록 처리할 서버 한 대를 고릅니다.
그 서버에서 실행되는 Rust 바이너리인 Vectorize DB Service가 인덱스 데이터를 읽고 질의를 처리합니다. 데이터는 객체 스토리지 R2에 있습니다. 읽을 때는 Cloudflare Cache를 거쳐 I/O 시간을 줄이며, Worker 바인딩으로 들어온 질의는 Worker 요청을 처리하는 서버 가까이에서 실행됩니다. 사용자와 Worker 애플리케이션, Vectorize 사이의 네트워크 지연을 줄이는 배치입니다.
이 읽기 경로와 비동기 쓰기 처리를 구현하는 데 Cloudflare의 글로벌 네트워크, Cache, Workers, R2, Queues, Durable Objects, 컨테이너 플랫폼을 사용했습니다.
전체 스캔을 줄이는 IVF와 PQ
벡터는 여러 차원의 숫자로 이뤄진 배열입니다. 유사도 검색은 입력 벡터와 지정한 지표상 가장 가까운 K개의 벡터를 찾는 작업입니다. 모든 벡터의 근접도를 계산하고 점수순으로 정렬하면 정확한 결과를 얻지만, 수백만 개를 대상으로 이 작업을 반복하기는 비쌉니다.
기존 색인을 그대로 쓰기도 어렵습니다. B-트리나 이진 탐색 트리는 데이터를 저렴하게 비교할 수 있고, 1차원으로 순서를 정할 수 있다는 성질을 이용합니다. 고차원 벡터를 한 줄로 세우면 그 순서에 공간상의 근접성이 제대로 드러나지 않습니다. 이른바 차원의 저주입니다. 유사도 검색에 쓰는 지표로 벡터를 비교하는 연산 자체도 계산량이 큽니다.
Vectorize는 IVF(Inverted File Index)로 읽을 범위를 좁혔습니다. 가까운 벡터끼리 군집을 만들고, 각 군집의 무게 중심인 centroid를 구합니다. centroid마다 번호를 붙인 뒤 각 벡터를 가장 가까운 centroid의 번호로 이름 붙인 파일에 저장하는 방식입니다. 검색할 때는 질의 벡터에서 가까운 centroid의 파일만 읽습니다. 관련성이 낮은 벡터를 미리 제외하는 효과가 있습니다.
파일을 적게 읽어도 벡터 자체가 크면 부담이 남습니다. Vectorize가 지원하는 최대 1536 차원에서 차원당 4바이트를 쓰면 벡터 하나가 최대 6KB, 백만 개는 압축 전 6GB입니다. 이 데이터를 저장소에서 가져와 메모리에 두는 비용을 줄이려고 PQ(Product Quantization)로 압축했습니다. 사진의 해상도를 낮춰 파일을 줄여도 무엇이 찍혔는지는 알아볼 수 있듯, 벡터의 특성을 대부분 유지하면서 크기를 크게 줄이는 기법입니다. 압축본은 검색을 빠르게 하는 데 쓰고, 원본도 저장소에 보관해 API로 요청할 수 있게 했습니다.
검색 범위를 줄이고 벡터를 압축하면 실제로 가장 가까운 벡터 일부를 놓칠 수 있습니다. 이렇게 얻은 근사 최근접 이웃 검색의 정확도는 약 80%입니다. Vectorize는 여기서 검색을 끝내지 않습니다. 상위 후보를 압축하지 않은 원본 벡터로 다시 평가해 최종 결과를 고르며, 이 보정을 거치면 정확도가 95%를 넘습니다.
파란 로브를 찾는 메타데이터 색인
유사도만으로는 원하는 결과를 고르기 어려울 때가 있습니다. color: "blue"이면서 category: "robe"인 벡터 중 가장 가까운 결과를 찾는 경우입니다. 각 조건에 맞는 벡터를 메타데이터 전체에서 찾고, 교집합을 구한 뒤 거리를 계산하는 방식은 작동하지만 규모가 커지면 비용도 커집니다. 이 방식으로는 IVF 색인을 활용하지 못해, 조건에 맞는 집합이 크면 수백만 벡터의 근접도를 계산해야 합니다.
Vectorize는 필터링 가능한 속성마다 Chunked Sorted List Index를 둡니다. 속성에 등장하는 서로 다른 값을 정렬하고, 값마다 해당 값을 가진 벡터 ID 집합을 연결한 색인입니다. 값을 찾는 데는 O(log n)의 이진 탐색을 쓸 수 있습니다. 목록 전체를 가져오는 비용도 줄여야 하므로, 목표 크기를 KB 단위로 정해 목록을 조각으로 나눴습니다.
매니페스트에는 각 조각과 값의 하한·상한을 담은 가벼운 설명 목록이 있습니다. 먼저 이 목록을 이진 탐색해 값이 들어 있을 조각을 고르고, 그 조각만 가져와 다시 이진 탐색합니다. 값이 있으면 벡터 ID 집합을, 없으면 빈 집합을 얻습니다. 예시의 색상 조건과 분류 조건에서 찾은 집합을 메모리에서 교차하면 검색 대상이 정해집니다.
이제 IVF와 연결할 차례입니다. 필터에 맞는 벡터 집합에는 ID뿐 아니라 IVF centroid 번호도 있습니다. 질의 벡터에서 가까운 centroid 순서와 centroid별 조건 일치 벡터 수를 함께 보면, 요청한 결과 수에 따라 어느 centroid를 몇 개 읽을지 정할 수 있습니다. 이후 IVF 검색에서는 필터를 통과한 벡터만 비교합니다. 필터가 검색 공간을 줄여 주므로, 필터를 쓴 질의가 같은 조건의 필터 없는 질의보다 빠른 경우도 많습니다.
버전 전환을 결정하는 루트 매니페스트
검색할 데이터를 줄이는 것과 별개로, 쓰기 중인 인덱스를 어떻게 읽을지도 정해야 합니다. Vectorize의 선택은 최종적 일관성이었습니다. 쓰기 요청이 성공해도 검색 결과에 반영되기까지 지연이 있습니다.
모든 저장소에 맞는 선택은 아닙니다. 항공권 예약에서 두 사용자가 같은 좌석을 구매하려 한다면, 한 사람은 예약에 성공하고 다른 사람은 뒤늦게 좌석이 이미 차 있다는 오류를 받아 다시 골라야 할 수 있습니다. 벡터 인덱스는 보통 이런 트랜잭션을 담당하는 주 데이터베이스로 쓰이지 않습니다. Cloudflare는 수백만 벡터에서도 검색을 빠르고 저렴하게 제공하고 높은 처리량을 유지하기 위해 최신 데이터가 보이기까지의 지연을 받아들였습니다.
최신성에는 지연이 있지만, 한 번의 질의가 읽는 상태는 일관됩니다. 쓰기가 진행되는 동안에도 질의는 불변 스냅샷을 읽습니다. 파일을 갱신할 때는 이전 버전을 읽어 수정한 뒤 R2에 새 객체로 저장하며, 각 IVF·메타데이터 인덱스 파일은 독립된 버전 번호를 갖습니다. 한 번의 인덱스 갱신으로 수백, 수천 개 파일이 바뀌어도 전환 전까지 질의는 기존 스냅샷을 사용합니다.
스냅샷을 구성하는 파일과 각 파일의 버전은 매니페스트에 기록합니다. 새 매니페스트에서는 바뀐 파일의 참조만 갱신하고, 나머지는 이전 참조를 유지합니다. 현재 인덱스 버전을 결정하는 파일은 따로 있습니다. 인덱스용 R2 버킷 루트의 정해진 위치에 두는 루트 매니페스트로, 특정 버전 매니페스트의 사본입니다.
새 인덱스 파일을 모두 쓴 뒤 루트 매니페스트를 새 매니페스트의 사본으로 덮어쓰면 커밋이 끝납니다. R2의 PUT은 원자적입니다. 덕분에 여러 파일의 변경을 하나의 원자적 갱신으로 공개할 수 있고, Vectorize DB Service는 갱신된 매니페스트를 받아 읽기에 사용합니다. 과거 인덱스와 매니페스트도 보관하므로, D1의 Time Travel 같은 특정 시점 복구 기능을 개발할 기반도 갖추고 있습니다.
커밋 권한을 쥔 WAL
새 파일을 만드는 작업과 그 파일을 현재 버전으로 공개할 권한은 분리했습니다. 이 권한을 관리하는 WAL(write ahead log)은 Durable Objects 안의 SQLite로 구현했습니다. 업데이트 데이터에 ID를 붙여 R2에 저장하고, WAL은 그 ID를 가리키는 가벼운 기록을 남깁니다. 이 기록이 ‘블록’입니다. 쓰기는 시스템에 도착한 순서를 엄격하게 지킵니다.
Durable Objects는 강한 트랜잭션 보장을 제공하고 수평으로 확장하기 쉽지만, 개별 인스턴스의 메모리와 연산 자원은 작습니다. 쓰기 한 번에 수천 벡터가 들어오면 R2의 수천 파일을 읽고 쓰면서 많은 데이터를 메모리에 보관해야 할 수 있습니다. DO 하나가 감당하기에는 무거운 작업입니다. 그래서 인덱스마다 DO를 하나씩 만들되, WAL에는 실행 조율을 맡기고 실제 파일 갱신은 더 큰 컴퓨트 자원을 가진 Executor에 위임했습니다.
Executor는 모든 WAL이 공유하는 컴퓨트 풀에서 실행됩니다. WAL이 Cloudflare Queues에 작업을 넣으면, 큐를 폴링하던 Executor가 요청을 받아 WAL API에 작업 배정을 요청합니다. 해당 쓰기를 맡는 Executor는 하나로 제한합니다. Executor가 새 인덱스 파일과 매니페스트를 R2에 기록해도 이 시점에는 질의에서 보이지 않습니다. 마지막에 갱신된 매니페스트를 WAL에 넘겨 커밋을 요청하고, WAL이 루트 매니페스트를 덮어써야 새 데이터가 공개됩니다.
이 경계는 Executor가 멈췄다가 돌아올 때 드러납니다. WAL은 멈춘 Executor 대신 새 Executor를 찾고, 이전 Executor가 뒤늦게 커밋하려 하면 거부합니다. 이전 Executor가 오래된 인덱스를 바탕으로 새 파일과 매니페스트를 R2에 쓰더라도 이미 커밋된 버전의 파일을 덮어쓰지는 않습니다. 팀은 이런 비결정적 오류의 실패 유형을 먼저 나열하고, 이를 처리할 수 있는지 확인한 뒤 설계 후보를 발전시켰습니다.
더 모으려고 기다리지 않는 배치
Executor가 가장 오래 쓰는 시간은 R2의 여러 파일을 읽고 쓰는 시간입니다. 읽기와 쓰기를 병렬로 진행해도, 파일 하나에서 수천 벡터를 갱신하는 연산 비용은 전체 네트워크 I/O 지연에 비하면 작습니다. 한 번 실행할 때 가능한 많은 벡터를 처리하는 편이 효율적인 이유입니다.
WAL은 아직 반영하지 않은 다음 블록부터 순서대로 묶어 배치를 만듭니다. SQLite의 배치 레코드에는 블록 범위, 인덱스 버전, 배정된 Executor ID를 함께 기록합니다. 사용자가 insert나 upsert 한 번에 넣는 벡터 수는 제각각입니다. WAL은 블록마다 업데이트 수를 세어 배치 크기를 조정하며, 한 번에 최대 200,000 벡터와 블록 1,000개까지 묶습니다. 자체 테스트로 정한 한도이며, 한 번에 5,000 벡터씩 upsert해 수백만 벡터를 빠르게 적재했습니다.
배치를 채우려고 쓰기를 기다리게 하지는 않습니다. WAL은 쓰기가 도착하면 바로 처리를 시작합니다. 한 번에 배치 하나만 처리하므로, 그 실행이 끝나기 전까지 도착한 쓰기가 자연스럽게 다음 배치로 모입니다.
현재 인덱스를 따라잡는 새 generation
벡터가 바뀌면 IVF centroid의 배치도 현재 데이터에 맞춰 조정해야 합니다. Vectorize는 검색 정확도를 유지하려고 때때로 인덱스를 재학습합니다. 재학습하면 벡터를 다시 배치하고 모든 인덱스 파일을 새로 만들기 때문에, 기존 버전 번호 외에 generation이라는 표식으로 재학습된 인덱스를 구분합니다.
재학습도 WAL이 조율합니다. 인덱스 상태를 추적하다 학습을 시작할 시점이 되면 큐에 요청을 넣고, 별도의 trainer 프로세스 풀이 작업을 가져갑니다. 학습에는 몇 분이 걸릴 수 있지만 현재 generation의 쓰기는 계속 진행됩니다. trainer는 고정된 스냅샷을 읽으므로, 그동안 들어온 갱신만큼 현재 인덱스보다 뒤처지게 됩니다.
학습이 끝나면 WAL은 쓰기를 계속 기록하되 현재 인덱스에 새 쓰기를 공개하는 일을 멈춥니다. 이어서 학습을 시작한 뒤 들어온 갱신을 새 인덱스에 적용합니다. trainer가 완료를 알렸을 때 기존 인덱스에 반영돼 있던 데이터까지 따라잡으면 새 generation으로 전환하고, 이후 쓰기는 새 인덱스에 적용합니다. 인덱스가 갑자기 과거로 돌아간 듯 보이는 일을 막는 절차입니다.
배치 레코드는 이 과정에도 쓰입니다. 인덱스 버전과 WAL 블록 범위를 연결하므로, generation이 다르면 같은 블록 범위를 여러 배치가 처리할 수 있습니다. 하나의 WAL 블록을 서로 다른 generation의 배치에 연결하는 방식입니다. 이렇게 배치 기록은 WAL 블록을 다시 묶는 두 번째 WAL처럼 작동합니다.
불변 데이터로 채우는 Cloudflare 캐시
R2 같은 블롭 스토리지에 상태를 두는 Vectorize에서는 인덱스 데이터를 가져오는 시간이 질의 지연을 주로 결정합니다. 캐시 의존도가 높습니다. Cloudflare의 캐시 네트워크와 각 서버의 RAM 캐시를 활용하며, 버전별 데이터가 불변이라는 성질 덕분에 스냅샷을 효과적으로 캐시할 수 있습니다.
가져오는 데이터도 가볍게 만들었습니다. PQ 압축에 더해, 인덱스 파일에는 공간 효율이 높고 가져온 뒤 파싱 없이 사용할 수 있는 바이너리 형식을 씁니다. 데이터를 조각으로 나누고 보조 색인으로 필요한 조각을 바로 찾게 해 불필요한 읽기를 줄입니다. 벡터 근접도 계산은 SIMD CPU 명령으로 가속합니다. 압축 벡터 검색 후 원본으로 보정하는 과정은 지연과 정확도의 균형을 맞추는 장치입니다.
처리량을 늘릴 기반도 스냅샷에 있습니다. 모든 Cloudflare 데이터센터의 수천 대 서버가 같은 인덱스를 상태 경합 없이 서비스할 수 있기 때문입니다. 인덱스 하나도 전 세계에 분산된 트래픽에 따라 수평으로 확장됩니다.
500만 벡터를 담는 Vectorize 인덱스
업그레이드된 Vectorize의 인덱스 한도는 500만 벡터입니다. 베타의 20만 개에서 25배로 늘었으며, 앞서 설명한 개선들이 저장 규모를 키우고 질의 성능과 처리량을 높이는 데 기여했습니다. 무료 플랜 개발자도 Vectorize를 시험해 볼 수 있습니다.
500만 개로도 부족하다는 피드백은 이미 있었습니다. 이 한도에는 새로운 전 세계 분산 상태 저장 서비스를 만드는 제약과, 빠르게 개선해 정식 출시하려는 판단이 함께 작용했습니다. Cloudflare는 단일 인덱스나 여러 인덱스에 나눠 저장하는 샤딩으로 Vectorize를 주 벡터 저장소로 활용할 수 있다고 보고 있습니다. 한도가 사용을 막는 경우에는 구체적인 사용 사례를 알려 달라고 요청했습니다.
원문의 주요 수치
| 항목 | 값 |
|---|---|
| 최대 차원 | 1536 (차원당 4바이트, 벡터당 최대 6KB, 백만 개에 6GB) |
| 근사 최근접 이웃 정확도 | 약 80% |
| 정확도 보정 후 | 95% 초과 |
| WAL 배치 한도 | 최대 200,000 벡터, 블록 1,000개 |
| 적재 예시 | 한 번에 5,000 벡터씩 upsert |
| 최대 벡터 수 | 500만 개 (베타 20만 개의 25배) |
| 메타데이터 검색 복잡도 | O(log n) |