목차
첫 음성을 앞당긴 Kanana-O의 단일 워커 서빙 설계 (2026-05)
원문 정보
- 원문: 음성 AI 모델을 프로덕션에 올리기까지: Kanana-O 서빙 최적화 여정
- 매체 · 게시일: 카카오 기술블로그 · 2026-05-06
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
수백 ms 안에 들려줘야 할 첫 음성
모델은 응답을 만들고 있는데, 사용자는 아무 소리도 듣지 못합니다. 텍스트 생성부터 오디오 합성까지 차례로 실행할 때 생기는 문제입니다. 긴 응답이라면 수 초가 걸릴 수 있고, 사용자는 그 기다림을 장애로 받아들일 수도 있습니다.
Kanana-O는 텍스트·이미지·오디오를 이해하고 텍스트와 음성으로 답하는 멀티모달 모델입니다. 입력을 이해해 텍스트를 만드는 LLM인 Thinker가 먼저 일하고, Talker가 그 텍스트 임베딩을 받아 음성 토큰을 순차적으로 생성합니다. VoiceBox는 이 토큰들을 사람이 들을 수 있는 오디오 파형으로 합성합니다.
연구 환경에서는 이 순서대로 실행하면 됩니다. 서비스에서는 사용자가 수백 ms 안에 첫 음성을 기대하고, 여러 요청을 받는 동안에도 텍스트와 오디오가 끊김 없이 스트리밍되어야 합니다. 컴포넌트마다 GPU 메모리 요구량과 특성도 달랐습니다. 모델을 API로 감싸는 작업만으로는 이 조건을 맞출 수 없었습니다.
Kanana-O에 범위를 좁힌 서빙 서버
개발을 시작할 당시에는 세 모델이 비동기로 데이터를 주고받으며 오디오를 실시간으로 스트리밍하는 요구를 해결할 범용 프레임워크가 없었습니다. 개발 도중 vllm-omni가 등장했지만 채택하지 않았습니다. Kanana-O의 모델 사이에는 기존 프레임워크가 가정한 방식으로 표현하기 어려운 흐름이 있었기 때문입니다.
Thinker가 Talker에 넘기는 값부터 달랐습니다. 일반적인 LLM 서빙에서 다음 단계로 전달하는 토큰 ID 대신, 수천 차원의 부동소수점 텐서인 히든 스테이트 임베딩을 직접 보냅니다. Talker의 입력도 텍스트 임베딩으로 끝나지 않습니다. 화자의 음성 특성을 담은 스피커 임베딩이 먼저 들어가고 Thinker의 출력이 이어지며, Talker 자신이 앞선 스텝에서 만든 음성 임베딩까지 누적됩니다. 스텝마다 입력 텐서가 자라는 이 흐름은 표준 autoregressive 디코딩용 입력 파이프라인으로 표현하기 어려웠습니다.
카카오는 Kanana-O의 음성 대화 서빙에 범위를 좁혀 Kanana-Omni Server를 직접 만들었습니다. 다중 모델 지원, 이미지 생성, 멀티노드 분산 추론은 넣지 않았습니다. 지원 범위를 제한한 덕분에 엔지니어가 작은 코드베이스 전체를 파악하고 통제할 수 있었고, 컴포넌트별 요구량을 측정해 GPU 메모리도 정밀하게 분배했습니다.
분리된 프로세스 사이를 오가는 임베딩
Thinker와 Talker는 각각 독립된 vLLM 엔진으로 실행됩니다. vLLM은 모델 로딩부터 KV cache 관리와 스케줄링까지 맡는 추론 런타임입니다. 한 프로세스에 엔진 둘을 띄우면 CUDA 컨텍스트가 충돌하거나 메모리 관리가 서로 간섭할 수 있어, 엔진마다 프로세스와 CUDA 컨텍스트를 따로 두었습니다.
프로세스를 시작할 때는 fork 대신 spawn을 씁니다. 부모의 메모리를 복사하는 fork는 CUDA 컨텍스트와 충돌할 수 있지만, spawn은 깨끗한 Python 인터프리터에서 시작해 GPU 상태 오염을 막습니다. 장애도 분리됩니다. 예를 들어 트래픽 폭주로 Thinker가 메모리 부족(OOM)으로 종료되더라도 Talker와 메인 API 서버는 영향을 받지 않으며, 각 엔진을 따로 재시작하거나 종료할 수 있습니다.
프로세스를 나누고 나면 임베딩 전달이 문제입니다. 설정에 따라 Thinker와 Talker가 서로 다른 GPU에서 실행되는데, 단순하게 구현하면 텐서가 GPU에서 CPU 메모리로 내려와 직렬화와 IPC, 역직렬화를 거친 뒤 다시 GPU로 올라갑니다. 매 토큰마다 이 경로를 반복하면 전달 오버헤드가 사용자의 대기 시간으로 이어집니다.
해법은 서버 시작 때 OS 수준에서 미리 확보하는 공유 메모리 풀입니다. 런타임에는 블록을 할당하거나 해제하지 않습니다. Thinker가 풀에서 블록을 꺼내 데이터를 직접 쓰면, Talker는 블록 이름과 데이터 크기 같은 메타데이터만 받아 같은 메모리를 읽습니다. 전달할 데이터의 크기와 형태를 정확히 알고 있었기에 가능한 사전 할당입니다.
같은 노드의 GPU 사이에서는 CUDA IPC로 텐서를 직접 전달합니다. GPU 메모리 주소만 보내는 zero-copy 방식으로 CPU를 거치는 Device-Host-Device 변환을 제거했습니다. 공유 메모리 풀로 복사와 직렬화 비용을 없애고 GPU 텐서의 전달 경로까지 바꾼 뒤, 컴포넌트 간 데이터 전달은 파이프라인의 병목에서 빠졌습니다.
톱니바퀴처럼 겹쳐 도는 음성 파이프라인
데이터를 빨리 넘겨도 앞 모델이 끝날 때까지 기다리면 첫 음성은 늦습니다. Kanana-Omni Server는 Thinker와 Talker를 별도 비동기 태스크로 실행하고 비동기 큐로 연결하는 Cascaded Streaming Pipeline을 구현했습니다.
Thinker가 다음 텍스트 청크를 만드는 동안 Talker는 앞서 받은 임베딩으로 음성 토큰을 생성하고, VoiceBox는 이미 쌓인 토큰을 오디오로 합성합니다. 단계들이 톱니바퀴처럼 겹쳐 돌면서 첫 음성까지의 체감 대기가 크게 줄었습니다. 스테이지 구성이 고정돼 있었기 때문에 이런 파이프라인을 설계할 수 있었습니다.
여기서 Talker와 VoiceBox의 작업 단위는 다릅니다. Talker는 매 스텝마다 일정 수의 음성 토큰을 만들지만, VoiceBox는 토큰이 충분히 쌓여야 청크 단위로 합성합니다. 생산과 소비의 속도가 달라 그 사이에 비동기 버퍼링과 청크 분할이 필요했습니다.
청크 크기는 응답 속도뿐 아니라 음질도 바꿉니다. 작은 청크는 첫 응답이 빠르지만 문맥이 부족해 음질이 떨어지고, 큰 청크는 기다리는 대신 더 자연스러운 음성을 만듭니다. 실시간 대화에 맞춘 Latency-First와 콘텐츠 생성에 맞춘 Quality-First를 나눈 이유입니다.
선택은 요청마다 받습니다. 클라이언트가 latency_first 값을 지정하면 같은 서버·모델·GPU에서 빠른 음성 대화와 고품질 TTS를 함께 서비스할 수 있습니다.
여러 요청을 처리하는 Uvicorn 단일 워커
워커를 늘릴 여유는 없었습니다. FastAPI와 Uvicorn으로 만든 이 서버에서 워커를 N개 띄우면 각 워커가 vLLM 엔진을 따로 로드해 GPU 메모리와 모델 로딩 시간이 N배가 됩니다. Thinker가 이미 GPU 메모리 대부분을 쓰고 있어 워커를 2개만 띄워도 메모리가 부족했습니다.
그래서 workers=1을 선택했습니다. 모델을 별도 서버로 분리하면 워커를 늘릴 수도 있었지만, 그러면 Thinker의 임베딩이 매 스텝마다 네트워크를 지나야 합니다. zero-copy의 이점을 잃는 이 안은 설계 단계에서 제외했습니다.
단일 워커에서는 한 요청의 블로킹이 다른 모든 요청을 멈출 수 있습니다. 요청 A의 텐서 연산이 이벤트 루프를 점유하는 동안 요청 B는 HTTP 응답조차 받지 못하는 식입니다. 이를 막으려고 API 엔드포인트부터 최종 오디오 생성까지 요청 처리 경로 전체를 async/await로 연결했습니다.
함수를 async로 만드는 것만으로 끝나지는 않습니다. 텐서 계산이나 직렬화처럼 CPU를 계속 점유하는 작업은 스레드 풀로 보내 이벤트 루프가 다른 요청을 처리하도록 했습니다. PyTorch의 무거운 연산은 내부 C++ 코드에서 GIL을 해제하는 경우가 많아 스레드 풀에서도 동시성을 얻을 수 있었습니다. GPU 메모리를 집중적으로 쓰는 VoiceBox에는 asyncio.Semaphore를 적용해 동시 합성 수를 제한했습니다. 상한을 넘은 요청은 대기하게 해 OOM을 막습니다.
여러 요청을 엔진에 넣는 일과 배치를 만드는 일도 나눴습니다. Thinker는 요청마다 이미지·오디오의 크기가 달라 수동으로 배치를 묶으면 padding만큼 GPU 연산을 낭비합니다. Talker는 누적 임베딩 길이가 제각각이라 복잡한 동기화가 필요했습니다. 배치 구성은 vLLM의 continuous batching 스케줄러에 맡기고, 서버는 요청을 빠르게 제출하는 데 집중했습니다.
각 프로세스의 내부 루프는 input_q.get()으로 요청을 받자마자 asyncio.create_task(generate(...))를 실행하고 다음 요청을 받습니다. 완료를 기다리지 않습니다. vLLM은 여러 요청을 한 forward pass로 묶어 처리하되 결과를 request_id로 구분하므로, 각 태스크는 자기 응답만 스트리밍합니다. 설정한 동시 처리 시퀀스 수의 상한 안에서 가용 GPU 메모리와 요청 상태를 보고 배치를 구성합니다.
서버 전체를 비교한 벤치마크에서는 동시 접속 64명 기준 상대 throughput이 naive 구현 0.44, vllm-omni 1, Kanana-Omni Server 1.6으로 나타났습니다.
첫 사용자에게 넘기지 않는 초기화 비용
첫 추론은 유난히 느립니다. PyTorch 모델은 CUDA 커널 컴파일과 메모리 할당 때문에 첫 실행이 이후보다 수 배 오래 걸립니다. 이 비용을 첫 사용자가 부담하지 않도록, 서버 시작 때 VoiceBox에 더미 토큰을 넣어 Latency-First와 Quality-First를 각각 실행합니다. CUDA 커널을 미리 컴파일하고 메모리 할당 패턴을 안정화하며, torch.compile 최적화도 이때 적용합니다.
워터마크 모델도 준비 대상입니다. 서버는 모든 생성 음성에 모델 고유 식별자를 인코딩한 워터마크를 사람이 들을 수 없는 대역에 자동 삽입합니다. 자체 검증 도구로 Kanana-O가 만든 음성인지 식별하기 위한 장치입니다. 이 모델 역시 짧은 오디오와 긴 오디오로 워밍업해 첫 요청부터 지연 시간을 일관되게 유지합니다.
OpenAI SDK를 그대로 쓰는 외부 인터페이스
내부는 Kanana-O에 맞춰 만들었지만 호출 방식은 익숙한 규격을 따랐습니다. 외부 인터페이스를 OpenAI Chat Completions API 규격과 100% 호환되도록 구현해, 엔드포인트 URL만 바꾸면 기존 OpenAI SDK 코드를 그대로 쓸 수 있습니다.
클라이언트는 modalities 필드로 텍스트 전용과 텍스트+오디오 모드를 요청마다 고릅니다. 잘못된 요청에는 입력 검증 규칙에 따라 구체적인 오류 메시지를 돌려줍니다. 워터마킹과 콜드 스타트 제거뿐 아니라 입력 검증, 에러 핸들링, 헬스 모니터링도 실제 서비스의 안정성을 좌우하는 요소였습니다.
원문이 나온 2026-05-06 당시 Kanana-O는 베타테스트 중이었습니다. 새로 최적화할 부분을 계속 발견하고 수정하던 단계입니다.
원문의 벤치마크와 구성 값
| 항목 | 값 |
|---|---|
| 상대 throughput (동시 접속 64) | naive 0.44, vllm-omni 1, Kanana-Omni Server 1.6 |
| 프로세스 생성 방식 | spawn (fork 아님) |
| Uvicorn 워커 수 | 1 |
| 지연 우선 모드 | 청크 작음, 첫 응답 빠름, 음질 보통 |
| 품질 우선 모드 | 청크 큼, 첫 응답 느림, 음질 높음 |
| 요청 단위 전략 선택 | 요청 본문의 latency_first 필드 |