목차
반복하던 Airflow 테스트 준비를 줄인 AirZone (2026-08)
원문 정보
- 원문: 개인화된 Airflow 테스트 환경 구축 및 운영 경험
- 매체 · 게시일: 카카오 기술블로그 · 2026-08-07
- 저자: 비오, 소나, 테라 (데이터서비스 조직)
- 원문 내용을 바탕으로 재구성한 요약입니다.
AirZone에서는 GitHub PR 코멘트의 생성 링크를 누르면 5분 내외에 개인 Airflow 환경을 받습니다. 브라우저에서 DAG를 고치고 바로 실행할 수 있어, 수정할 때마다 커밋·푸시하거나 파일을 옮기던 작업도 줄었습니다.
카카오 데이터서비스 조직은 하둡별 Airflow 클러스터에서 수천 개의 DAG를 운영합니다. 새로운 파이프라인을 만들거나 기존 코드를 고치는 일이 잦은 만큼, 테스트를 준비하는 부담도 반복됐죠. 그 부담을 0에 가깝게 만들자는 뜻으로 Airflow Zero Zone, AirZone이라는 이름을 붙였습니다.
DAG 수정마다 반복하던 테스트 준비
개발용 Airflow에서는 코드를 고칠 때마다 커밋·푸시를 하고 동기화를 기다려야 했습니다. 개발용 하둡과 연동해 운영 반영 전 DAG를 검증하는 환경이었지만, 개발 중에는 이 기다림이 부담이었습니다.
팀의 파이프라인 저장소는 수십 개였습니다. Airflow가 읽는 DAG는 공통 저장소 하나에 모으는 방식입니다. 사용자가 프로젝트 저장소에 push하면 GitHub webhook을 받은 airflow-api가 공통 저장소의 해당 서브 모듈 포인터를 갱신하고, Scheduler Pod의 git-sync sidecar가 주기적으로 pull해 볼륨에 반영합니다. 코드를 수정한 뒤 테스트하기까지 submodule update부터 DAG file processing까지 기다려야 했습니다.
로컬 Airflow는 한 번 만들어두면 편했습니다. 준비가 문제였습니다. Airflow 설치뿐 아니라 하둡 인증과 연결 설정, 도커 환경까지 PC에 맞춰야 했고, 실제 환경과 조금만 달라도 운영에서는 DAG가 실패할 수 있었습니다.
테스트용 Airflow는 git을 거치지 않는 방식입니다. 연결된 SSH 컨테이너에 로컬 코드를 복사하면 Airflow가 읽어 실행합니다. 대신 수정할 때마다 파일을 다시 옮겨야 했습니다. 실제 하둡과 데이터에 접근하려면 컨테이너가 운영 망 안에 있어야 해서, 접속할 때마다 운영 VPN을 연결하는 불편도 남았습니다.
기다림보다 더 큰 문제도 있었습니다. 모델링처럼 실제 하둡 데이터가 필요한 예외적인 경우에는 운영 Airflow에서 테스트 DAG를 실행하기도 했습니다. 스케줄러와 워커는 모든 DAG와 태스크가 공유하는 자원입니다. 무거운 테스트가 다른 DAG의 스케줄링을 늦추거나 워커 슬롯을 점유하면 다른 프로젝트의 태스크가 실행을 기다려야 했습니다. 자원을 과도하게 사용해 Node에 장애가 나면 같은 Node의 다른 태스크까지 중단되기도 했습니다.
PR마다 따로 쓰는 Airflow 한 벌
AirZone은 준비를 줄이는 일과 테스트를 격리하는 일을 함께 풀어야 했습니다. 사용자가 Kubernetes나 Helm을 몰라도 환경을 만들고 지울 수 있고, 로컬 설정 없이 브라우저에서 코드를 수정할 수 있어야 합니다. 이 조건을 갖춘 Beta 환경을 여는 것이 1차 목표였습니다.
환경을 나누는 단위는 PR입니다. 레포명-PR번호로 네임스페이스를 만들고, Airflow 웹 서버와 스케줄러, PostgreSQL, Jupyter, DAG 볼륨과 로그를 PR별로 분리했습니다. 다른 PR의 테스트가 스케줄러나 워커 자원을 침범하지 않도록 한 것입니다. 한 사람이 여러 PR을 열어 각각 테스트할 수 있고, 리뷰어도 PR 페이지의 링크로 접속해 실제 동작을 확인할 수 있습니다.
테스트 환경이 운영과 얼마나 닮았는지도 중요했습니다. DAG는 운영 환경과 유사하게 실행돼야 하고, 하둡 인증은 같은 방식이어야 했습니다. 기존 태스크는 Worker Pod가 직접 실행하지 않는 방식입니다. AAKubernetesPodOperator가 자체 빌드한 하둡 이미지로 별도 Pod를 띄우고, init container에서 kinit으로 Kerberos 인증을 마친 뒤 Spark·Hive 태스크를 실행합니다. 개인 환경에서도 이런 하둡 인증이 필요한 작업까지 검증할 수 있어야 했습니다.
긴 설치 작업을 넘겨받은 Kubernetes Job
사용자가 처음 만나는 화면은 GitHub PR입니다. PR이 열리면 airflow-api가 훅을 받아 base/head repository, PR 번호, 요청자와 브랜치를 읽고 생성 링크를 코멘트로 남깁니다. 테스트할 하둡 환경을 선택할 수 있도록 하둡별 링크를 따로 제공합니다.
링크를 누른 뒤의 설치는 수 분이 걸립니다. 시크릿 배포부터 Helm 설치와 헬스체크까지 API 프로세스가 붙잡고 있으면 응답이 늦어지고, 재시도가 어려워지며, 배포 로그와 API 로그도 섞입니다. airzone-api는 브랜치 정보, PR의 존재와 open 여부, 같은 PR의 네임스페이스 중복을 검사한 뒤 Job을 만들고 바로 응답하도록 했습니다.
실제 설치는 Kubernetes Job이 맡습니다. create-airzone-{namespace}, delete-airzone-{namespace}처럼 요청 종류와 네임스페이스를 이름에 넣고, 같은 이름의 Job이 남아 있으면 지운 뒤 새로 만듭니다. 이전 실패 때문에 재요청이 막히지 않도록 한 방식입니다. Job마다 로그와 상태가 따로 남으므로 어느 요청의 어느 단계에서 실패했는지도 좁혀 볼 수 있습니다.
Job 안에서 배포하는 대상은 Airflow 한 벌입니다. 웹 서버와 스케줄러에 PostgreSQL, DAG 저장 PVC, git 초기화 컨테이너, Jupyter, 키탭 시크릿, TLS와 로그 설정을 함께 묶었습니다. PR의 head repository와 브랜치를 받아 작업 공간을 준비하고, 사용자·공용 principal과 Jupyter 토큰 등 필요한 인증 정보를 주입합니다. Airflow 로그는 Elasticsearch·Kibana에서 볼 수 있도록 연결했습니다.
이 구성을 반복해서 만들고 지우려고 AirZone 전용 Helm 차트를 마련했습니다. 기존 Airflow 차트로도 빠르게 시작할 수는 있었지만, PR 브랜치 작업 공간과 브라우저 IDE, 키탭 주입, 테스트용 로그 링크를 하나의 배포 단위로 다루기는 어려웠습니다. PGBouncer와 외부 DB 연결처럼 개인 테스트 환경에 과한 구성은 제외했습니다.
성공 알림의 기준은 서비스의 실제 응답입니다. Helm 설치가 끝나도 기동에는 시간이 더 걸리므로 Web, Jupyter, Scheduler가 응답할 때까지 폴링합니다. 하나라도 끝내 응답하지 않으면 해당 서비스 이름을 담아 담당자에게 알립니다. 하둡 접속에 필요한 요청자의 개인 키탭도 찾아 주입하며, 개인 키탭이 없으면 공용 키탭을 사용하고 그 사실을 카카오워크로 안내합니다.
사용자는 요청을 받았을 때와 배포가 끝났을 때 카카오워크 알림을 받습니다. 성공하면 접속 주소와 삭제 링크를 PR과 카카오워크에 남기고, 실패하면 원인을 관리자에게 전달합니다. Jupyter 토큰과 Kubernetes 네임스페이스 토큰은 공개 범위가 넓은 PR 코멘트에 남기지 않고 카카오워크로만 보냅니다. 링크를 누른 뒤 진행 상황을 알 수 없는 상태가 되지 않도록, 결과 전달까지 생성 과정에 포함했습니다.
수정한 DAG를 함께 읽는 작업 공간
파일 전달 방식에는 고민이 많았습니다. Jupyter에서 코드를 고치면 스케줄러가 바로 읽어야 하지만, KubernetesExecutor가 만드는 Worker Pod는 태스크 실행 때마다 새로 뜹니다. 편집 중인 파일을 스케줄러와 워커에 어떻게 전달할지가 문제였습니다.
사내 공유 스토리지를 작업 디렉터리로 쓰는 방법도 검토했습니다. 파일 수가 많을 때 느려지고 권한이 바뀌는 문제가 있어 채택하지 않았습니다. 대신 Scheduler Pod의 init container가 PR 브랜치를 한 번 clone하고, Scheduler와 Jupyter가 같은 PVC를 공유하도록 했습니다. 사용자가 수정한 파일을 스케줄러가 바로 읽는 방식입니다.
Worker Pod에는 실행 시점에 파일을 전달합니다. 태스크를 시작할 때 Scheduler Pod에서 DAG 디렉터리를 복사한 뒤 실행합니다. 운영 Airflow의 Worker Pod가 별도로 sync해 실행 시점의 최신 DAG를 가져오는 것과는 차이가 있습니다. AirZone은 임시 테스트 환경이므로, 운영의 DAG 배포 방식을 그대로 재현하기보다 파일을 고치고 곧바로 실행하는 경험을 우선했습니다.
노드 그룹과 함께 고르는 storageClass
Pod 배치에는 볼륨의 리전도 걸려 있습니다. 프로덕션 클러스터의 노드 그룹은 세 리전에 나뉘어 있고, 리전마다 별도의 Cinder 기반 storageClass를 사용합니다. Cinder 볼륨은 생성된 리전의 노드에만 붙일 수 있으므로 Pod를 둘 노드 그룹을 정할 때 PVC의 storageClass도 함께 정해야 합니다.
특정 그룹만 계속 쓰면 그 리전의 자원이 먼저 소진되고 다른 리전은 놀게 됩니다. AirZone은 배포 직전에 노드 그룹별 CPU·메모리 사용률을 합산해 값이 가장 낮은 그룹을 선택합니다. 그 결과를 Airflow Pod의 nodeSelector와 DAG·PostgreSQL PVC의 storageClass에 함께 전달했습니다. 컴포넌트와 저장 볼륨을 같은 리전에 두어, 리전이 맞지 않아 볼륨 mount가 실패하거나 지연되는 상황을 피하는 방식입니다.
체크포인트 문제에서 시작된 편집기 교체
1차 Beta에서는 준비 부담과 격리 조건을 실제 사용으로 확인했습니다. 사용자들은 VPN이나 로컬 하둡 설정 없이 PR에서 개인 환경을 만들어 테스트했고, 다른 작업에도 영향을 주지 않았습니다. 이후 모인 피드백은 2차 정식 배포에 반영했습니다.
가장 많이 나온 피드백은 코드 수정에 관한 것이었습니다. Beta에서 제공한 편집 도구는 Jupyter뿐이었는데, 코드를 고칠 때 생성하는 체크포인트 파일을 Airflow가 원본 대신 읽는 경우가 있었습니다. 파일을 수정해도 DAG에 제대로 반영되지 않는 문제였습니다.
.airflowignore로 체크포인트 파일을 제외할 수도 있습니다. 팀은 그 방법보다 사용자가 익숙한 편집 환경을 지원하는 편이 낫다고 판단했습니다. VS Code for Web을 제공하고, 서비스 어카운트 토큰을 이용한 로컬 IDE 연결도 지원했습니다. 사용자는 평소 쓰던 IDE와 AI 코딩 도구로 DAG를 수정한 뒤 바로 테스트할 수 있게 됐습니다.
로컬, 개발용, 테스트용 Airflow에서 서로 다른 방식으로 테스트하던 크루들은 모두 AirZone으로 전환했습니다. 각자 환경을 준비하던 작업이 PR에서 개인 환경을 생성하는 하나의 흐름으로 모였습니다.
테스트가 끝난 뒤 회수하는 네임스페이스
AirZone은 테스트가 끝나면 지우는 임시 환경입니다. 생성 완료 안내에 있는 삭제 링크를 누르면 환경을 삭제합니다. 직접 삭제하지 않아도 PR이 닫힌 뒤 남은 환경은 CronJob이 매일 회수합니다. 네임스페이스를 기준으로 정리하므로 해당 PR의 테스트 환경을 함께 지울 수 있습니다.
Beta 운영 뒤에는 14일 이상 유지되는 환경도 자동으로 정리하도록 했습니다. 방치된 개인 환경이 자원을 계속 점유하지 않게 하려는 조치입니다.
상시로 사용할 개인 Airflow를 원하는 요청도 있었습니다. 이 경우에는 AirZone과 같은 구성을 자체 클러스터에 배포할 수 있도록 Helm 차트 가이드를 제공했습니다. 데이터 조직 밖에서도 이 가이드로 자체 Airflow 환경을 구축한 사례가 있었습니다.
데이터서비스 조직은 사용자 피드백을 받아 AirZone을 계속 개선할 계획입니다. 비오, 소나, 테라는 함께 고민하고 개발한 nathan.kwon과 dingo.kim에게도 감사를 전했습니다.
구성과 운영 수치
| 항목 | 값 |
|---|---|
| 네임스페이스 이름 | 레포명-PR번호 |
| 생성·삭제 Job 이름 | create-airzone-{namespace}, delete-airzone-{namespace} |
| Job 네임스페이스 | airzone |
| 방치 환경 회수 | CronJob이 매일 실행 |
| 자동 정리 기준 | 14일 이상 유지된 환경 |
| 헬스체크 대기 시간 | Airflow 웹 600초, Jupyter 300초, Scheduler 300초 (간격 30초) |
| 환경 준비 시간 | 5분 내외 |
| git init 이미지 | alpine/git:v2.45.2 |
| 노드 그룹 선택 기준 | CPU·메모리 사용률 합산이 가장 낮은 그룹 |
| 프로덕션 클러스터 리전 수 | 3 (리전별 Cinder 기반 storageClass) |
| Beta에서 추가한 편집 환경 | VS Code for Web, 로컬 IDE 연결 |