목차
모델 개발에 집중하기 위한 BentoML과 Kubernetes (2024-11)
원문 정보
- 원문: 제목은 안정적인 AI 서빙 시스템으로 하겠습니다. 근데 이제 자동화를 곁들인…
- 매체 · 게시일: 우아한형제들 기술블로그 · 2024-11-05
- 저자: 본문에 저자 미표기
- 원문 내용을 바탕으로 재구성한 요약입니다.
월 약 20억 건을 받는 AI플랫폼
모델은 한 번 배포하고 끝나지 않습니다. 우아한형제들의 AI플랫폼은 원문 작성 당시 월 약 20억 건의 트래픽을 처리하면서, 새 데이터로 꾸준히 학습되는 모델을 서비스에 배포하고 있었습니다. 모델을 교체하는 동안에도 요청을 잃지 않아야 하고, 문제가 생기면 빠르게 이전 버전으로 돌아갈 수 있어야 했습니다.
이 과정을 모델 개발자가 매번 챙기지 않도록 만든 것이 서빙 자동화 시스템입니다. 음식점에서 서빙 로봇이 음식 제공을 맡으면 요리에 더 집중할 수 있듯, 플랫폼이 배포와 관리를 맡아 개발자가 모델 개발에 집중하도록 돕습니다.
서빙은 학습한 모델을 실시간 요청을 받는 API로 제공하는 과정입니다. API를 만드는 일에 성능 최적화, 확장성 관리, 버전 관리, 모니터링이 뒤따릅니다. 여기서는 학습을 마친 모델이 버전 관리 저장소인 Model Registry에 저장돼 있다고 가정합니다.
모델까지 함께 담은 Docker 이미지
모델을 만드는 도구부터 제각각입니다. PyTorch, TensorFlow, CatBoost, Scikit Learn 등은 모델을 불러오고 추론하는 방식이 달라 서빙 코드의 일관성을 유지하고 관리하기가 어려웠습니다. AI플랫폼은 여러 프레임워크를 지원하는 BentoML을 선택했습니다. 전후처리 같은 비즈니스 로직을 추가하기 쉽고, 컨테이너화도 지원해 Kubernetes 배포까지 이어 가기 편한 도구입니다.
개발자는 생성자에서 Model Registry의 모델을 불러오고, @api를 붙인 inference 함수에 추론과 전후처리 로직을 작성합니다. 이 코드로 /inference 경로에서 요청을 받는 API를 띄울 수 있습니다. 이후 이미지 생성과 배포는 플랫폼이 맡습니다.
서비스 코드를 GitLab에 푸시하면 GitLab CI가 테스트를 거쳐 Docker 이미지를 만듭니다. 모든 서비스를 한 저장소에서 관리하는 모노레포이지만, 파이프라인을 동적으로 생성하므로 새 서비스가 생겨도 CI에 추가 작업을 하지 않아도 됩니다.
빌드할 때는 모델도 이미지에 넣습니다. 빌드 시간이 길어지고 용량을 많이 차지하지만, 서빙 중 모델을 읽으려고 Model Registry에 연결하는 과정을 생략할 수 있습니다. 이 저장소의 장애가 서빙 전체의 중단으로 이어지는 단일 장애 지점(SPOF)을 피하려는 선택입니다. 서빙 로직과 모델 버전을 따로 맞추는 과정도 없어 코드 복잡도가 낮아지고, 문제가 생겼을 때 빠르게 복구할 수 있습니다. 완성된 이미지는 Docker Registry에 저장합니다.
API 호환성으로 정한 자동 배포의 범위
자동 배포의 범위는 API 호환성에 따라 정했습니다. 서비스 버전에는 2.5.3처럼 Major, Minor, Patch로 나누는 Semantic Versioning을 적용합니다.
AI플랫폼에서는 로직만 바뀌면 Minor를 올립니다(2.5.3 → 2.6.0). 재학습 파이프라인이 모델을 갱신하면 Patch를 올립니다(2.5.3 → 2.5.4). 이 변경은 기존 API와 연동하는 데 큰 문제가 없으므로, 서비스를 점진적으로 교체하는 Rolling Update로 무중단 자동 배포합니다.
API 입출력이 달라지면 대응도 달라집니다. Major를 올리고(2.5.3 → 3.0.0), 기존 API 호출을 새 버전으로 옮기는 수동 배포를 진행합니다. CI에는 OpenAPI 명세를 비교하는 oasdiff를 넣어 현재 API와 새 API 사이의 breaking change를 감지하도록 했습니다. 배포는 Blue Green 방식입니다. 새 버전을 먼저 띄우고 API 호출을 모두 전환한 뒤 기존 버전을 삭제합니다.
이미지 태그를 따라 배포하는 ArgoCD
새 이미지가 저장되면 ArgoCD Image Updater가 태그 변경을 감지합니다. Minor나 Patch가 바뀌었을 때 Rolling Update를 실행하도록 구성해 이미지 생성부터 배포까지 자동으로 이어집니다. Kubernetes 명세는 Git에서 관리합니다. Helm 공통 템플릿에서 서비스별로 필요한 부분만 바꿔 차트를 만들고, ArgoCD로 배포하는 방식입니다.
서비스마다 Namespace를 두고 Deployment로 Pod를 배포합니다. 사용자의 요청은 AWS ALB를 사용하는 Ingress와 Service를 거쳐 Pod로 전달됩니다. ALB의 가용량은 요청량에 따라 자동으로 조정되며, Route53에 도메인을 자동 등록해 서비스별 endpoint도 생성합니다.
요청량에 따라 Pod의 replica 수가 늘고 줄어듭니다. Pod를 배치할 Node는 Karpenter가 워크로드 수요에 맞춰 만들고 관리합니다. NodePool마다 사용할 EC2 인스턴스를 정의해 두고 각 서비스가 필요한 NodePool을 선택합니다. 새 Pod는 해당 NodePool의 가용 Node에 배치하며, 가용 Node가 없으면 정의된 인스턴스로 Node를 새로 만듭니다.
자동 서빙 중 끊어진 요청
새 Pod보다 늦게 준비된 Target Group
자동 배포를 구성한 뒤에도 요청이 끊기는 일이 있었습니다. 모델을 재학습해 재배포할 때 응답 에러가 났고, 테스트로 재배포를 반복하자 같은 현상을 재현할 수 있었습니다. 원인은 Pod의 생명 주기와 ALB Target Group의 갱신 시점 차이였습니다.
새 Pod가 ready 상태가 되면 기존 Pod를 삭제합니다. 그런데 ALB Target Group은 아직 새 Pod로 요청을 보낼 준비를 마치지 못할 수 있습니다. Readiness Gate를 설정하면 Target Group도 ready 상태가 된 뒤에 기존 Pod를 삭제하므로, 새 Pod가 생성될 때의 트래픽 문제를 해결할 수 있습니다.
삭제 시점의 문제는 남았습니다. 기존 Pod가 사라졌는데 Target Group은 아직 갱신되지 않아 그 Pod로 요청을 보내는 경우입니다. 이를 막으려고 Pod 종료 전에 작업을 실행하는 preStop hook에 지연을 넣었습니다. 이 환경에서 사용한 지연시간은 30초입니다.
그동안 Target Group이 갱신됩니다. 이처럼 갱신을 마칠 만큼 충분한 시간을 확보하면 Readiness Gate가 없어도 Pod 종료 지연만으로 생성·삭제 시점의 응답 에러를 해결할 수 있습니다.
ALB보다 먼저 닫힌 Keep Alive 연결
ALB에서는 간헐적인 5xx도 발생했습니다. 재시도 로직 덕분에 큰 문제로 번지지는 않았지만, 요청이 실패하는 원인을 찾아야 했습니다.
Keep Alive는 하나의 HTTP 연결로 여러 요청을 처리하도록 연결을 유지하는 설정입니다. 유휴 상태가 일정 시간 이어지면 연결을 종료하는데, ALB의 idle timeout은 60초였습니다. BentoML에는 timeout을 조정하는 옵션이 없어 ASGI 서버인 Uvicorn의 기본값 5초를 쓰고 있었습니다.
서버가 먼저 연결을 닫았습니다. ALB는 연결이 끊겼다는 사실을 모른 채 이후 요청을 보낼 수 있어, 이 시간 차이가 응답 실패로 이어졌습니다. 서버 timeout을 ALB 값 이상으로 설정해야 했지만 BentoML에서 값을 바꿀 방법이 없었습니다.
설정 기능을 직접 추가했습니다. feat: add uvicorn timeouts options PR을 보내 timeout을 조정할 수 있게 했고, 설정을 적용한 뒤 간헐적으로 발생하던 에러가 사라졌습니다.
서비스를 골라 보는 Grafana 대시보드
서비스가 늘 때마다 대시보드를 새로 만들지는 않았습니다. 하나의 Grafana 대시보드에 service_name 변수를 두고, 조회할 서비스를 선택하도록 구성했습니다. Namespace 이름을 serving-sample-project-beta 같은 형식으로 통일했기 때문에 정규식 serving-(.*)-beta로 sample-project 같은 서비스명을 추출할 수 있습니다.
메트릭의 출처는 대상에 따라 다릅니다. Kubernetes와 BentoML은 Prometheus, ALB는 CloudWatch에서 메트릭을 확인하고, GPU를 사용하는 서비스에는 DCGM Exporter를 씁니다.
알람은 대응할 담당자에 따라 나눴습니다. CPU·메모리 사용량이 임계치를 넘거나 일정 기간 요청이 없는 상황 등을 알리는 인프라 알람은 AI플랫폼 개발자가 맡습니다. 서비스 알람은 주로 로직 문제를 다루며 AI 서비스 개발자가 대응합니다. ArgoCD는 자동 배포 결과를 메시지로 알리고, Sentry는 에러 정보와 trace를 모아 문제를 추적하도록 돕습니다. Kubecost로는 서비스별 대략적인 비용을 확인하며, 환경에 맞는 비용 최적화 방법을 고려하고 있습니다.
튜토리얼에서도 재현된 BentoML 메모리 릭
BentoML 버전을 올리던 중 메모리 사용량 알람이 울렸습니다. 메모리가 계속 증가하고 있었습니다. 내부 로직을 대부분 빼도, 이전 버전에서 쓰던 Runner 방식으로 바꿔도 같은 현상이 나타났고, 결국 로직이 없는 튜토리얼 샘플에서도 메모리 증가를 확인했습니다.
재현 범위를 줄인 끝에 BentoML 자체의 문제로 판단했습니다. bug: memory leak when I am using bentoml>=1.2 이슈를 등록하고, 메인테이너가 제안한 실험을 수행한 뒤 결과를 공유했습니다. 몇 차례 주고받으며 찾은 원인은 새로 추가된 파일 관련 기능의 오작동이었습니다. 해당 부분을 수정하면서 메모리 릭도 해결됐습니다.
Keep Alive 설정처럼 간단히 수정할 수 있는 부분은 직접 기여하는 편이 빠릅니다. 난도가 있는 문제라면 이슈를 알리고 메인테이너에게 실험 결과를 공유하며 해결해 나가는 방법도 있습니다.
웹페이지에서 생성하고 수정할 AI 서비스
AI플랫폼의 비전은 “모든 사람을 AI서비스 개발자로”입니다. 다음으로는 웹페이지에서 서비스를 쉽게 생성하고 수정할 수 있도록 UI를 개발할 계획입니다. 필요한 기능을 설명하면 AI가 처음부터 끝까지 자동으로 생성해 주는 플랫폼도 목표로 두고 있습니다.
이 사례는 모회사 Delivery Hero 기술 블로그에도 영문으로 소개됐습니다.
배포 버전과 장애 대응에 사용한 값
| 항목 | 값 |
|---|---|
| 서빙 트래픽 | 월 약 20억 건 |
| Minor 증가 | 로직만 변경 (2.5.3 → 2.6.0), Rolling Update |
| Major 증가 | API 입출력 변경 (2.5.3 → 3.0.0), Blue Green 수동 배포 |
| Patch 증가 | 재학습으로 모델 갱신 (2.5.3 → 2.5.4), Rolling Update |
| ALB idle timeout | 60초 |
| Uvicorn 기본 keep-alive timeout | 5초 |
| preStop hook 지연 | 30초 |
| 대시보드 Namespace 규칙 | serving-sample-project-beta, 정규식 serving-(.*)-beta |