목차
구전되던 작업환경 노하우를 팀의 서비스로 바꾼 카카오 AAAP (2022-12)
원문 정보
- 원문: AAAP - 작업환경 as a Service 개발기
- 매체 · 게시일: 카카오 기술블로그 · 2022-12-15
- 저자: dingo.kim (데이터연구실 응용분석팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
분석에 앞서 되풀이하던 환경 설정
카카오 응용분석팀에 새로 합류하면 작업환경부터 구성해야 했습니다. 동료에게 “이렇게 해봐”라는 노하우를 듣거나, 언제 갱신됐는지 의심스러운 긴 문서를 한 줄씩 따라가는 일이었습니다.
설치할 도구도 많았습니다. 응용분석팀은 카카오톡, 지도, 쇼핑, 다음 웹 등 여러 서비스의 데이터를 분석해 현황 파악과 의사결정을 돕고, 서비스 개선에 쓸 데이터 프로덕트를 만드는 팀입니다. 엔지니어, 데이터 사이언티스트, 분석가, 기획자가 각자의 방식으로 컴퓨팅 리소스를 사용합니다. 주요 데이터 소스는 하둡이며, Hive·Spark·Hue와 Python·R, 여러 노트북 도구와 패키지를 함께 씁니다.
도구를 한 환경에 모으는 과정부터 순탄하지 않았습니다. 공식 가이드를 따라도 설치에 실패하고, 소프트웨어마다 같은 의존성의 다른 버전을 요구하거나 환경변수가 꼬이는 일이 실제로 벌어졌습니다. 여러 업무를 처리하다 보면 데이터나 의존성 버전이 뒤섞였고, 성능 좋은 회사 노트북으로도 컴퓨팅 리소스가 더 필요했습니다.
가상환경은 이미 쓰고 있었습니다. 하지만 팀 공용 서비스의 자원을 개인 작업에 돌려 쓰는 방식에는 위험이 따랐고, 사내 클라우드에서 직접 만든 환경은 개인의 일회성 구성에 그쳤습니다. 환경을 준비하는 수고는 여전히 각자의 일이었습니다.
설치 노하우까지 담은 작업환경 서비스
AAAP는 이 반복 작업을 서비스로 만든 결과입니다. 이름은 응용분석팀의 Application Analysis와 업무의 시작점을 뜻하는 Access Point를 합쳤습니다. 팀원에게 도구 설정을 마친 가상환경을 제공하고, 환경의 생성·정보 확인·업데이트·갱신·제거를 다루는 관리 인터페이스도 함께 제공합니다.
컨테이너에는 HDFS, Hive, Beeline 클라이언트가 설치와 설정을 마친 상태로 들어 있습니다. Python과 R용 패키지도 골라 넣었습니다. 하둡 클라이언트의 파이썬 래퍼와 Numpy, Pandas, Scikit-learn 등이 포함되며, 웹에서 코드를 편집하고 실행할 도구로 Jupyter, Zeppelin, RStudio Server를 제공합니다. 프로그래밍 숙련도가 다른 팀원들이 각자의 업무에 쓸 수 있는 환경입니다.
목표는 각자 되풀이하던 준비 작업을 없애는 것입니다. 하둡 클라이언트 사용법을 익히고, 클라우드 인스턴스를 할당받고, SSH와 프록시를 설정하고, 노트북 도구를 설치하고, 볼륨을 마운트하던 수고를 줄여 본업에 집중하도록 돕습니다. 컨테이너 이미지에 관리 기능을 함께 제공한 이유입니다.
환경을 고친 결과도 함께 나눕니다. 사용자 피드백으로 검증한 환경을 제공하고, 제보받은 버그를 수정해 새 버전으로 배포하면 이후 사용자는 같은 버그를 만나지 않습니다. 개인이 겪은 문제를 해결하는 일이 팀 전체의 작업환경을 개선하는 일로 이어집니다.
작업환경을 받치는 사내 플랫폼
컨테이너 실행환경, 저장소, 알림, 모니터링은 사내 플랫폼을 활용했습니다. 이 기능들을 별도로 개발하지 않아도 되어 AAAP의 기능을 비교적 빠르게 갖출 수 있었습니다.
사용자가 AAAP-CLI로 요청하면 필요할 때 자원 가용 상태를 검사하고, 사내 쿠버네티스 서비스인 DKOS로 작업환경을 조작합니다. AAAP는 DKOS에서 클러스터를 생성한 뒤 쿠버네티스 API 주소를 받아 컨테이너를 담는 파드를 만듭니다. 파드만으로는 전체 기능을 구현할 수 없어 ConfigMap, Secret, PV도 사용합니다.
컨테이너 이미지는 D2Hub에서 빌드하고 저장해 쿠버네티스에 제공합니다. D2Hub는 이미지 보관뿐 아니라 자동 빌드와 배포 기능도 갖춘 플랫폼입니다.
작업 데이터에는 별도의 저장소가 필요했습니다. 코드 외의 데이터를 상시로 다루는 팀에서는 저장과 이동도 큰 불편이었기 때문입니다. AAAP는 사내 분산 파일 시스템인 Tenth2를 컨테이너에 붙여 영속 저장소로 제공합니다. 컨테이너의 임시 저장소와 달리 컨테이너를 삭제해도 데이터가 남습니다. 가상의 개인 NAS처럼, 여러 인스턴스를 옮겨 다니며 작업해도 데이터에 접근하는 방식입니다.
생성한 뒤 방치된 환경도 관리합니다. Morpheus로 유휴 작업환경을 탐지하고, Watchtower로 삭제 요청 메시지 등을 팀원의 카카오톡에 보냅니다.
이처럼 여러 플랫폼을 연결할 수 있었던 배경에는 안정적인 REST API와 잘 정리된 사용법이 있었습니다. 플랫폼이 없거나 사용법이 복잡했다면 작업환경을 관리하는 것보다 서비스를 만드는 일이 더 어려워져, AAAP를 만들지 못했거나 기능을 줄였을 것입니다.
작업에 따라 고르는 인스턴스
처음에는 작업환경이 한 종류뿐이었습니다. 서비스에 대한 이해가 높아지고 사용자가 늘면서 더 많은 컴퓨팅 리소스, 간단한 공용 환경, GPU를 요구하는 업무에 맞춰 인스턴스 타입을 추가했습니다. 타입은 주로 컨테이너가 실행되는 워커 환경에 따라 구분됩니다.
| 타입 | 쓰임과 제공 방식 |
|---|---|
| private-desktop | 기본 작업환경 |
| private-workstation | private-desktop보다 많은 컴퓨팅 리소스를 제공하는 고사양 인스턴스 |
| public-workstation | 개인 인스턴스 없이 간단한 쿼리 등을 실행하도록 미리 생성한 공용 인스턴스 |
| gpu-workstation | GPU가 장착된 인스턴스 |
gpu-workstation은 장비 관리까지 AAAP로 통합한 사례입니다. 팀이 따로 관리하던 GPU PM(독립적인 서버 장비)을 서비스 안으로 가져왔습니다. 사용자는 인터페이스 하나만 익히면 되고, 대용량 데이터를 활용하는 머신러닝 등의 업무도 더 쉽게 수행할 수 있습니다.
한 번의 로그인으로 접근하는 AAAP-WEB
환경을 준비하는 수고를 줄인 뒤에도 CLI 사용에는 숙련이 필요했습니다. AAAP-CLI에서 CRUD 작업을 하려면 명령어가 어떤 인자를 받는지 미리 알아야 했고, 사용자 인증 정보도 매번 제출해야 했습니다.
가장 최근의 변화는 인터페이스를 AAAP-WEB으로 옮긴 일입니다. 웹에서는 한 번 로그인하면 AAAP의 모든 정보와 기능을 화면의 도움을 받아 사용할 수 있습니다. 터미널에 익숙하지 않은 팀원도 필요한 작업환경을 골라 생성하고, 업데이트하거나 삭제합니다. 웹 환경을 더 편리하게 다듬는 작업은 이후에도 이어갈 계획입니다.