목차
흩어진 배포 정보와 장애 경험을 한데 모은 AI 플랫폼 카카오릴리즈 (2025-09)
원문 정보
- 원문: AI 데브옵스 시스템, 카카오릴리즈
- 매체 · 게시일: 카카오 기술블로그 · 2025-09-19
- 저자: 본문에 저자 미표기
- 원문은 카카오의 ‘AI Native: 실행과 확산 사례집’ 시리즈에 속한 글입니다. 배포 뒤 모니터링은 같은 날 올라온 매트릭스 AI 글(분산 추적 기반 AI 운영 생태계)과 이어집니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
유관 서비스까지 살펴야 했던 배포 현장
카카오의 서비스는 복잡하게 연결돼 있었지만, 배포 정보는 흩어져 있었습니다. 누가 무엇을 언제 배포하는지, 다른 서비스에 영향을 줄 작업은 무엇인지 전사에 충분히 공유되지 않아 예기치 못한 문제가 생겼습니다. 예상하기 어려운 서비스 의존성 문제가 잦았고, 인프라 작업은 전체 서비스에 영향을 줄 수 있는 환경이었습니다.
그래서 카카오의 배포 문서는 변경 목록보다 상세합니다. 애플리케이션 코드 배포에는 배포 노트를, 데이터베이스 버전 업그레이드나 서버 교체, 인증서 갱신 같은 인프라 작업에는 작업 노트를 씁니다. 변경 사항과 영향 범위뿐 아니라 롤백 전략과 시나리오, 모니터링 시나리오, 담당자, 작업 전후 체크리스트까지 담는 문서입니다.
작성할 내용은 많고 검토할 위험도 넓었습니다. 카카오는 이 계획 수립과 리뷰, 배포 실행, 실행 직후 모니터링을 AI와 함께 처리하도록 배포 관리 플랫폼 카카오릴리즈를 구축해 운영하고 있습니다.
흩어진 장애일지와 다시 연결된 리뷰
상세한 노트를 썼다고 검토가 늘 충분했던 것은 아닙니다. 운영팀은 과거 경험에 비춰 위험을 판단하고 체크리스트를 확인했지만, 리뷰 품질은 리뷰어의 경험과 컨디션에 따라 달랐습니다. 긴급 배포 때는 검토 시간을 확보하기 어려웠고, 검토 부족으로 장애 발생률이 높아지기도 했습니다.
카카오릴리즈는 리뷰에 과거 약 500건 이상의 장애 사례를 활용합니다. 장문으로 흩어져 있던 장애일지가 그 재료입니다. 사내 협업 플랫폼 아지트에 올라오는 일지를 웹훅으로 수집하고, 리캡(Recap) AI가 필요한 정보를 요약한 뒤 벡터로 임베딩해 RAG에 저장하도록 구성했습니다. 사용자가 일지를 따로 찾지 않아도 AI가 현재 작업과 비슷한 사례를 검색해 잠재적 위험과 빠진 고려 사항을 짚습니다.
리뷰의 모든 판단을 AI에 맡기지는 않습니다. 일정 충돌과 정책 위반처럼 규칙이 명확한 문제는 알고리즘이 검토합니다. 전체 릴리즈 캘린더와 작업 일정을 비교하고, 안전한 배포를 위한 정책인 릴리즈 스탠다드의 항목을 점검하는 방식입니다.
- 운영자 2명 이상 지정
- 평일 근무시간 또는 모니터링 가능한 시간대
- 작업 유형에 맞는 필수 체크리스트
- 작업 영향도에 따른 필수 리뷰어 레벨
AI 리뷰에는 위험한 이유와 대안도 담깁니다. 예를 들어 인증서 교체 작업에서는 만료 시간을 알려주며 확인을 권하고, 같은 날 같은 시간대의 다른 배포·작업 계획을 요약해 잠재적 위험을 평가합니다. 규칙에 따른 검사와 과거 장애를 참고한 분석을 결합해, 노트에 적힌 내용만 검토하던 리뷰의 범위를 넓혔습니다.
긴 컨텍스트를 나눠 요약한 Summary AI
AI를 가장 먼저 투입한 곳은 노트 작성입니다. 담을 정보가 늘면서 작성에 오래 걸리고, 작성자에 따라 정보가 빠지거나 조직마다 양식이 달라지는 문제가 생겼기 때문입니다. 처음 기대는 단순했습니다. GitHub과 Jira에서 컨텍스트를 추출해 LLM에 넣으면 바로 완성된 결과가 나오리라 예상했지만, 실제로는 여러 API 호출과 AI 처리에 따른 지연, 원시 데이터의 노이즈, 매번 달라지는 출력 형식까지 해결해야 했습니다.
초안을 만드는 데는 코드 외의 정보도 쓰입니다. 사용자가 지정한 GitHub 브랜치나 태그에서 커밋 diff를 추출해 변경 내용과 규모를 확인하고, 관련 풀 리퀘스트를 찾습니다. Jira 이슈에서는 제목·설명·담당자·인수 조건을 분석해 기획 의도와 개발 목적을 파악합니다. 카카오릴리즈의 기본 작업 단위인 워크스페이스에서 최근 작성한 배포·작업 노트 5건도 분석 대상입니다.
수집한 자료를 모두 길게 넘기는 방식에는 한계가 있었습니다. 컨텍스트 윈도우가 커져도 토큰이 쌓일수록 비용과 처리 시간이 늘어납니다. 카카오는 각 Jira 이슈와 GitHub 정보, 최근 노트에서 필요한 내용만 추려 독립적인 청크로 나누고, Summary AI가 비동기 병렬로 요약하도록 구성했습니다. 이 가운데 Jira·GitHub 정보는 약 44,000 토큰에서 2,300 토큰으로 약 95% 줄었습니다.
요청을 나눠 초안을 쓰는 Generate AI
입력을 요약하는 것만으로 끝나지 않았습니다. 여러 출처의 정보를 하나의 긴 컨텍스트로 넘겨 초안을 쓰게 했을 때는 응답이 느리고, AI가 중요한 내용을 충분히 파악하지 못하는 문제가 있었습니다. 초안 작성 요청도 나눠야 했던 이유입니다.
요약한 자료로 초안을 만드는 Generate AI는 기본정보, 체크리스트, 본문 내용, 배포 대상 리포지토리 정보를 각각 독립적인 요청으로 병렬 처리합니다. 요청마다 집중할 대상을 좁히자 초안 품질이 높아졌고, 처리 시간은 평균 120초 이상에서 30초 이내로 약 80% 개선됐습니다.
출력 형식도 별도의 과제였습니다. 사용자마다 문장의 어조와 구성, 필드 사용 방식이 달랐고, 생성한 초안이 시스템에서 정한 필드별 최대 길이나 데이터 타입과 어긋나기도 했습니다. 카카오는 우수 사례 몇 개를 예시로 주는 퓨샷 러닝을 적용하고, RAG에 저장한 스키마를 참고해 출력 형태를 구성했습니다. 생성 뒤에는 형식 검증과 후처리를 거칩니다.
많은 예시가 필요하지는 않았습니다. 소수의 우수 사례와 명확한 스키마로 표현 스타일과 출력 형식의 일관성을 확보했고, 결과의 정합성이 높아지면서 후처리 작업도 크게 줄었습니다.
배포 뒤 24시간을 살피는 체인지 트래킹
배포가 끝나도 상태를 지켜보는 일은 남습니다. 카카오에서는 배포 직후부터 24시간 동안 서비스 안정성을 모니터링해야 했고, 기존에는 개발자와 운영팀이 직접 대시보드를 보며 상태를 확인했습니다. 에러율 증가와 응답 시간 지연, 트래픽 패턴 변화의 상관관계를 살펴 배포의 영향인지 판단하려면 경험과 시간이 드는 작업이었습니다.
이 부담을 줄이려고 만든 기능이 매트릭스 AI와 연계한 체인지 트래킹입니다. 배포 실행 뒤 24시간 동안 데이터 패턴을 분석해 상태 변화를 실시간으로 감지하고 전반적인 상태를 판별합니다. 개발자들은 이 기능으로 배포 후에도 이어지던 모니터링 업무의 부담을 덜었습니다.
태그 푸시부터 롤백까지 이어질 카카오릴리즈
카카오릴리즈가 목표로 삼은 E2E 자동화의 범위는 더 넓습니다. 코드를 푸시하는 순간부터 사용자에게 안전하게 서비스가 전달되는 마지막 단계까지 사람의 개입 없이 처리하는 구상입니다. 노트 작성과 리뷰, 배포, 모니터링을 자동화해 개발자가 개발에 집중할 시간을 확보하려는 목표입니다.
하나의 메이저 배포에는 여러 서비스가 함께 움직입니다. 웹 서비스에서 백엔드와 프론트엔드를 함께 수정하고 릴리즈하는 경우가 그 예입니다. 카카오릴리즈가 그리는 흐름에서는 각 모듈의 태그 푸시로 노트가 자동 생성되고, 여러 모듈의 변경 사항이 하나의 배포 노트로 통합됩니다. AI 리뷰를 통과한 작업을 자동으로 배포한 뒤, 이상 징후가 감지되면 AI가 원인을 분석해 해당 모듈의 롤백 여부를 판단하고 필요한 조치까지 수행하는 것이 목표입니다.
배포 도구 연동도 향후 설계 방향에 포함됩니다. 특정 배포 도구에 종속되지 않고 ArgoCD나 Jenkins 등을 플러그인처럼 연결해, 각 팀이 기존 배포 환경을 유지하면서 카카오릴리즈의 자동화 기능을 활용할 수 있도록 기반을 마련하고 있습니다.
노트 자동 작성 수치와 리뷰 점검 항목
| 항목 | 값 |
|---|---|
| 분석하는 최근 노트 | 워크스페이스의 최근 배포/작업 노트 5건 |
| 파이프라인 처리 속도 | 병렬 처리와 컨텍스트 압축으로 약 75% 향상 |
| Jira·GitHub 컨텍스트 압축 | 약 44,000 토큰에서 2,300 토큰으로 약 95% 감소 |
| 초안 생성 처리 시간 | 평균 120초 이상에서 30초 이내로 약 80% 개선 |
| 초안 병렬 요청 단위 | 기본정보, 체크리스트, 본문 내용, 배포 대상 리포지토리 정보 |
| 장애 사례 벡터 DB | 과거 약 500건 이상 |
| 릴리즈 스탠다드 점검 항목 | 다중 담당자(2명 이상), 모니터링 가능 시간대, 체크리스트 그룹, 필수 리뷰어 |
| 체인지 트래킹 | 배포 실행 뒤 24시간 |