목차
요청 하나에 맞춰 할당을 줄인 Cloudflare의 CatBoost (2023-06)
원문 정보
- 원문: How Cloudflare runs machine learning inference in microseconds
- 매체 · 게시일: The Cloudflare Blog · 2023-06-19
- 저자: Austin Hartzheim
- 원문 내용을 바탕으로 재구성한 요약입니다.
보안 검사를 거치는 모든 요청
보안 검사에는 연산과 시간이 듭니다. Cloudflare는 사용자 가까이에 서버를 두어 네트워크 지연을 줄이지만, 요청을 받은 뒤 캐시로 응답하거나 고객 서버에 전달하기까지 걸리는 처리 시간도 줄여야 합니다. 새 보호 기능을 배포할수록 검사에 쓰는 시간은 늘어납니다.
봇 관리 모듈도 요청마다 실행되는 핫 패스에 있습니다. 휴리스틱과 행동 분석으로 봇 트래픽의 징후를 찾고 여러 머신러닝 모델로 점수를 매기며, 계산한 봇 신호에 맞춰 동작을 조정하도록 프런트라인 서버와 직접 연동합니다.
Cloudflare는 이 모듈을 Lua에서 Rust로 옮기는 프로젝트를 진행하면서 가비지 컬렉션을 쓰는 언어에서 벗어나고, 메모리 할당을 없애고, 파서를 최적화했습니다. 봇 관리 모듈의 P50 지연은 388us에서 309us로 79μs(20%) 줄었고, P99 지연은 940us에서 813us로 14% 줄었습니다. 최적화한 코드가 이전보다 짧고 읽기 쉬워진 경우도 많았습니다.
이 가운데 모델 실행을 최적화한 과정이 이번 이야기입니다. Lua에서 Rust로 포팅하는 과정은 별도 글에서 다룹니다.
배치를 기다리지 않는 CatBoost
ML 탐지는 봇 탐지가 더하는 지연의 약 15%를 차지합니다. 봇 관리 모듈은 여기에 오픈소스 머신러닝 라이브러리 CatBoost를 씁니다. 주요 로직은 C++로 구현되어 있고 C와 Rust 등의 바인딩을 제공하며, Lua 기반 모듈은 FFI로 C API를 호출해 모델을 실행했습니다.
CatBoost API에는 여러 문서를 한꺼번에 평가하는 데 최적화된 함수가 있습니다. Cloudflare가 원하는 단위는 요청 하나였습니다. 요청을 받은 순서대로 평가하는 환경에서 배치를 모으려고 처리를 늦추고 싶지는 않았습니다.
여러 문서를 받는 C++ 구현은 문서 수에 맞춰 벡터를 할당하고, 각 문서의 피처 참조를 채워 넣습니다. 한 문서만 평가할 때는 이 과정이 필요 없습니다. 모델 입력인 피처 값이 연속으로 놓인 메모리의 참조를 바로 넘기면 됩니다. Rust 바인딩에도 비슷한 할당이 있었습니다. 벡터의 벡터를 순회하며 새 포인터 벡터를 만들던 코드를 바꾸고, 안쪽 벡터의 포인터를 그대로 넘겼습니다.
호출 뒤에도 재사용하는 Rust 버퍼
입력 버퍼의 소유권도 문제였습니다. 기존 Rust 바인딩은 Vec를 소유권째 받아 함수가 끝나면 메모리를 해제할 책임까지 가져갔습니다. 이 API로는 버퍼를 재사용할 수 없습니다. 범주형 피처도 소유한 String을 받았기에, 요청에 이미 있는 바이트를 참조하지 못하고 힙에 임시 String을 만들어 복사해야 했습니다.
인자를 &[f32]와 &[&str]로 바꿔 기존 데이터의 참조를 받도록 했습니다. 소유권을 넘기지 않으므로 버퍼를 다음 호출에도 쓸 수 있습니다.
범주형 피처의 해시도 재사용했습니다. 한 요청에 여러 모델을 실행할 때, 모델들이 같은 범주형 피처를 쓰기도 합니다. 모델마다 해시를 따로 계산하는 대신 먼저 한 번 계산한 값을 필요한 모델에 넘기도록, &[i32] 형태의 해시된 피처를 받는 함수도 추가했습니다.
할당을 없애고 버퍼를 재사용한 결과, CatBoost 저장소의 샘플 모델은 실행 시간이 10% 줄었습니다. 프로덕션 모델에서는 최대 15%의 개선을 얻었습니다.
버퍼 없이 끝내는 문자열 비교
메모리 할당에는 연속된 빈 영역을 찾고, 단편화를 처리하고, 커널에 새 페이지를 요청하는 작업이 들어 있습니다. 가비지 컬렉션 언어는 실행 내내 메모리 해제 시점을 추적하는 비용을 치르며, 수집기가 도는 동안 실행이 멈추기도 합니다. 성능 제약이 엄격하다면 언어를 고를 때도 그 제약을 충족하는지 따져야 합니다.
할당을 줄이는 간단한 출발점은 고정 크기 버퍼입니다. [0u8; BUFFER_SIZE] 같은 배열을 스택에 두면 컴파일러가 현재 스택 프레임에 공간을 잡으므로 힙 할당 로직을 부르지 않습니다. 또는 핫 패스 밖에서 Vec::with_capacity로 버퍼를 한 번 만들어 둘 수도 있습니다. 애플리케이션 시작 시점이 그 예입니다.
작은 문자열 비교에서도 차이가 드러납니다. 대소문자를 무시하고 비교하려고 호출마다 소문자 문자열을 담을 버퍼를 새로 만들었을 때는 반복당 약 40ns가 걸렸습니다. 미리 만든 버퍼를 비우고 다시 쓰자 약 25ns로 줄었습니다. 할당 방식만 바꿨는데 약 38% 빨라진 것입니다.
버퍼가 필요 없는 알고리즘을 고르면 더 줄어듭니다. 이터레이터로 문자를 순회하며 ASCII 소문자로 바꿔 바로 비교하는 구현은 필요한 상태만 스택에 두고, 데이터를 별도 버퍼에 복사하지 않습니다. 이 구현의 실행 시간은 약 13ns였습니다. 앞선 구현들보다 빠르면서 코드도 가장 짧았습니다. 표준 라이브러리의 eq_ignore_ascii_case 역시 이터레이터로 버퍼 할당을 피하며, 같은 비교에서 11ns를 기록했습니다.
0건의 할당을 확인하는 Rust 테스트
핫 패스에 메모리를 할당하는 함수나 라이브러리가 실수로 들어오는 일은 자동 테스트로 막습니다. Rust의 dhat 크레이트는 전역 할당자를 바꿔 특정 코드 경로의 할당 횟수와 바이트 수를 셉니다. 테스트에서는 total_blocks와 total_bytes가 모두 0인지 확인합니다.
검사가 닿는 범위에는 한계가 있습니다. dhat는 Rust 코드의 할당만 감지하므로, C로 가는 FFI 호출처럼 외부 라이브러리가 Rust 할당자를 거치지 않고 메모리를 할당하면 놓칠 수 있습니다.
벤치마크와 지연 수치
| 항목 | 값 |
|---|---|
| 문자열 비교, 반복마다 버퍼 할당 | 약 40ns/iter |
| 문자열 비교, 버퍼 재사용 | 약 25ns/iter (약 38% 향상) |
| 문자열 비교, 이터레이터 사용 | 약 13ns/iter |
표준 라이브러리 eq_ignore_ascii_case | 11ns/iter |
| CatBoost 샘플 모델 최적화 | 약 10% |
| 프로덕션 모델 최적화 | 최대 15% |
| ML 탐지가 차지하는 봇 탐지 지연 | 약 15% |
| P50 지연 | 388us에서 309us (79μs, 20% 감소) |
| P99 지연 | 940us에서 813us (14% 감소) |