본문으로 건너뛰기
딜리의 학습과 엣지 테스트를 잇는 K3s·Airflow MLOps
목차

딜리의 학습과 엣지 테스트를 잇는 K3s·Airflow MLOps (2024-07)

원문 정보

딜리의 작은 컴퓨터에 들어갈 모델

로봇을 위한 MLOps 시리즈의 첫 편에서 다루는 대상은 실외 배달 로봇 딜리(Dilly)의 모델 개발 환경입니다. 우아한형제들은 딜리를 자체 개발해 2023년부터 테헤란로 등에서 로봇 배달 시범 서비스를 운영하고 있습니다. 주변 환경을 인지하고 대응하는 데는 머신러닝을 사용합니다.

학습만으로는 끝나지 않습니다. 로봇에서는 지연 시간을 줄이고 실시간에 가까운 응답을 얻기 위해 소형 저전력 컴퓨터인 엣지 디바이스에서 데이터를 처리하고 연산합니다. 전력 효율은 좋지만 서버보다 컴퓨팅 성능이 떨어져, 모델 성능을 어느 정도 포기하더라도 최대한 경량화해야 합니다. 팀에서 쓰는 표현은 “모델을 구겨넣는다”입니다.

우선 TensorRT 같은 도구로 모델을 하드웨어에 맞게 변환합니다. 변환 뒤에는 전체 추론 속도와 레이어별 병목을 확인하고, 여러 모델을 함께 실행한다면 스케줄링도 살펴야 합니다.

더 가벼운 모델을 만들려고 양자화를 수행하기도 합니다. 숫자 표현을 줄여 계산 효율을 높이는 기법으로, FP32 모델을 FP16, INT8 혹은 그 이하의 비트 수로 표현하는 방식입니다. 이때 생기는 성능 손실을 줄이기 위해 훈련 후 양자화하는 PTQ나 훈련 과정에서 양자화를 고려하는 QAT를 사용합니다.

테스트에는 하드웨어도 들어갑니다. 모델 성능을 확인하는 데서 끝나지 않고 센서와 액추에이터를 연결해 동작을 살피고, 시스템 수준의 로그도 확인해야 합니다. 클라우드에서 수행하기 어려운 작업이어서 온프레미스 테스트 환경이 필요해집니다.

컴퓨터를 옮길 때마다 늘어나는 변수

개발 과정은 학습용 컴퓨터와 엣지 디바이스를 오갑니다. 학습용 컴퓨터에서 데이터를 준비하고 모델을 학습한 뒤, 엣지 디바이스로 옮겨 변환과 테스트를 수행합니다. 여기서 발견한 병목은 다시 학습 과정에 반영합니다. 성능을 개선하고 테스트를 통과한 모델은 로봇에 배포하지만, 통과하지 못하면 앞선 과정을 다시 거쳐야 합니다.

컴퓨터만 달라지는 것도 아닙니다. Python 기반의 PyTorch·TensorFlow에 CUDA 코드와 NVIDIA 도구까지 사용하므로 버전을 비롯해 통제할 변수가 많습니다. 워크플로를 갖추지 않으면 개발자가 컴퓨터마다 접속해 파일을 복사하고 각 단계를 실행해야 합니다. 실수가 생길 여지가 커지고, 변수를 명확히 통제하지 못하면 재현성과 추적성도 확보할 수 없습니다.

재현성은 각 단계의 데이터와 환경을 저장해 누구든 같은 모델과 결과를 다시 만들 수 있는 성질입니다. 추적성은 모델을 만든 뒤에도 모든 버전과 메타데이터를 따라갈 수 있는 능력입니다. 이 개념이 낯선 독자에게 원문이 먼저 읽기를 권하는 글은 「배민 앱에도 AI 서비스가? AI 서비스와 MLOps 도입기」입니다.

작업 순서를 자동화해도 자원 할당 문제는 남습니다. 개발 인력과 프로젝트 규모가 커지면 학습과 평가에 쓸 컴퓨팅 자원도 더 필요해집니다. 엣지 디바이스를 효율적으로 쓰기 위해 온프레미스 인프라를 구축해야 하는 상황에서, 클라우드가 제공하는 다양한 옵션 없이 GPU를 비롯한 자원을 관리해야 했습니다.

서로 다른 컴퓨터를 묶은 K3s와 Airflow

우아한형제들은 학습용 노드와 엣지 디바이스를 K3s 클러스터 하나에 넣고, 노드 사이에서 실행할 작업을 Airflow 워크플로로 구성했습니다. 한 엔트리 포인트에서 자원을 요청하고, 여러 컴퓨터에 걸친 절차를 실행하는 구성입니다.

K3s의 장점은 설치 편의성과 Arm 지원입니다. CLI 명령 몇 줄로 Kubernetes 클러스터를 만들고 Arm 기반 노드도 쉽게 추가할 수 있는데, 엣지 디바이스에는 Arm 아키텍처를 사용하는 장치가 많습니다. Kubernetes의 전체 기능을 설치하는 경우보다 기능에 한계는 있지만, 규모가 비교적 작은 시스템에서는 효율적인 도구입니다.

Airflow에서는 작업의 순서와 의존 관계를 DAG, 즉 방향성 비순환 그래프로 표현합니다. Python 파일로 DAG를 작성하고 KubernetesPodOperator로 각 노드에서 프로세스를 실행합니다. Bash 명령도 실행할 수 있어 언어나 플랫폼이 다른 프로그램들을 워크플로에 포함할 수 있습니다.

학습용 노드와 엣지 노드를 모두 쓰는 테스트를 DAG로 구성해 두면 전체 과정을 한 번의 클릭으로 실행할 수 있습니다. 그렇다고 Airflow 도입만으로 재현성과 추적성이 완벽해지는 것은 아닙니다. 여러 단계의 실행을 관리하는 기반을 마련한 것입니다.

PyTorch에서 nvinfer까지 이어진 실행 로그

노드를 오가는 작업은 짧은 DAG로 확인했습니다. 학습용 컴퓨터에서 PyTorch 버전을 출력한 다음, 엣지 디바이스에서 TensorRT 버전을 출력하는 예제입니다. 각 태스크는 KubernetesPodOperator로 실행하고, nodeAffinity의 호스트 이름 조건으로 실행할 노드를 지정했습니다. GPU 요청량은 태스크마다 nvidia.com/gpu 1개입니다.

Airflow Web UI에서 DAG를 실행하자 GPU 워크스테이션 로그에는 PyTorch 1.11.0이, 엣지 디바이스 로그에는 TensorRT의 C++ API인 nvinfer 8.4.1-1-cu11.4가 나타났습니다. 서로 다른 노드에서 순서대로 프로세스를 실행한 결과입니다.

GPU 할당도 확인했습니다. kubectl describe node로 살펴본 워크스테이션에는 GPU가 4개 있었고, 태스크가 GPU 1개를 요청하자 Allocated resources의 nvidia.com/gpu가 1로 바뀌었습니다. 이 노드에서 요청한 GPU의 합이 4를 넘으면 Kubernetes는 다른 컴퓨터에 작업을 보내거나 Pending 상태로 두고 실행하지 않습니다.

노드 간 실행을 확인한 예제 환경
항목값
K3s 설치 옵션--docker
NVIDIA device pluginv0.15.0
예제 GPU 워크스테이션GPU 4개, CPU 28, 메모리 약 131GB(131568156Ki)
학습 태스크 이미지pytorch/pytorch:1.11.0-cuda11.3-cudnn8-devel
엣지 태스크 이미지nvcr.io/nvidia/l4t-jetpack:r35.1.0
확인된 버전PyTorch 1.11.0, nvinfer 8.4.1-1-cu11.4

온프레미스에 갖춘 실행 환경

이 예제를 실행할 환경은 K3s 클러스터부터 구성합니다. 마스터 노드에서는 curl -sfL https://get.k3s.io | sh -s - --docker로 설치하며, --docker는 Docker를 사용하기 위한 옵션입니다. 워커 노드는 마스터의 /var/lib/rancher/k3s/server/node-token에서 확인한 토큰과 마스터 주소를 환경변수로 넘겨 같은 설치 스크립트로 연결합니다.

kubectl은 apt로 설치합니다. K3s가 마스터에 생성한 /etc/rancher/k3s/k3s.yaml을 ~/.kube/config로 복사하고, 워커에도 같은 파일을 복사하되 server 주소를 마스터 IP로 바꿉니다. 설정을 마치면 kubectl get pods -A로 동작을 확인합니다.

GPU를 할당하려면 NVIDIA 설정이 더 필요합니다. Docker의 default-runtime을 nvidia로 바꾸고 Docker를 재시작한 뒤, NVIDIA device plugin DaemonSet(v0.15.0)을 생성합니다. 노드에서 할당할 수 있는 GPU 수는 nvidia.com/gpu 값으로 확인합니다.

Airflow는 Helm으로 설치합니다. 차트의 tar 파일을 직접 내려받는 방식은 옵션을 수정하고 이후 형상 관리를 하기 편해서 선택했습니다. DAG와 로그를 읽고 저장할 스토리지도 필요한데, 온프레미스에서는 NAS를 사용할 수 있습니다. NFS 타입 PV·PVC를 만들고 차트의 values.yaml에서 dags와 logs가 각각 사용할 PVC를 지정합니다.

마지막으로 kubectl create namespace airflow로 네임스페이스를 만들고, 차트가 있는 위치에서 helm install airflow -n airflow .를 실행하면 배포가 끝납니다. 모델 변환과 양자화의 구체적인 내용은 별도 후속 글에서 소개하겠다고 예고했습니다.

마지막 수정 일자