본문으로 건너뛰기
Astro에 쌓인 이슈를 줄인 GitHub Actions 속 공장
목차

Astro에 쌓인 이슈를 줄인 GitHub Actions 속 공장 (2026-08)

원문 정보

재현에만 몇 시간이 드는 버그

버그 하나를 재현하는 데만 몇 시간이 걸리기도 합니다. 수정은 그다음 일입니다. AI로 이슈와 pull request, 보안 보고서를 만드는 비용은 거의 사라졌지만, 유지보수자가 이를 전부 읽고 검토하는 부담은 크게 커졌습니다.

원재료를 완제품으로 바꾸는 공장처럼 AI 에이전트를 연결해 작동하는 소프트웨어를 생산한다는 구상에는 논쟁이 많았습니다. Astro 팀은 이 ‘소프트웨어 공장’을 이슈 처리에 적용했습니다. 제보를 읽고 샌드박스에서 재현한 뒤 원인을 진단하고, 제보자가 시험할 미리보기 릴리스를 만드는 흐름입니다. 수개월 동안 개선을 거듭한 끝에 열린 이슈는 200개 이상에서 약 30개로 줄었습니다.

오래된 이슈를 자동으로 닫거나 제보를 무시해 얻은 수치는 아닙니다. 2026년 8월 게시 시점에는 다음 달 중 열린 이슈가 0개에 도달할 것으로 예상했습니다. 달성한다면 5년 넘은 저장소 역사상 처음입니다.

제보자의 확인을 기다리는 pull request

에이전트가 수정안을 찾으면 파이프라인은 pkg.pr.new로 미리보기 릴리스를 만듭니다. 이슈에는 조사 결과 요약과 전체 로그, 미리보기 설치 방법을 게시합니다. 최초 제보자가 자신의 프로젝트에서 패치를 시험하고 정상 동작을 확인해야 해당 이슈에 연결된 pull request가 열리는 방식입니다.

이 흐름을 움직이는 것은 이슈 라벨입니다. 새 제보는 triage needed로 시작하고, 사용자가 수정을 확인하면 fix verified로 바뀝니다. 라벨 전환 외에 파이프라인이 따로 보관하는 상태는 없습니다. 기존 이슈 댓글을 다시 읽어 어디까지 진행됐고 다음에 무엇을 해야 하는지 판단합니다.

팀은 누구나 에이전트의 순차적인 판단 과정과 작업 내역을 살펴볼 수 있도록 자동화를 GitHub 워크플로에 직접 연결했습니다.

report.md로 이어지는 격리된 에이전트

처리 절차의 출발점은 연초에 만든 agent skill이었습니다. 유지보수자가 로컬 머신의 코딩 하네스에서 개발하고 시험한 뒤, 같은 하네스와 skill을 저장소의 GitHub Action에서 그대로 재사용했습니다.

Skill은 사람이 수작업으로 이슈를 해결하던 순서를 따릅니다. 재현 단계에서는 제보자가 제공한 재현 저장소를 복제해 현상을 확인하고, 진단 단계에서는 코드 계측과 로깅으로 근본 원인을 추적합니다.

원인을 찾았다고 바로 고치지는 않습니다. 검증 단계에서 관련 테스트와 코드 주석, 문서를 읽어 실제 버그인지 의도된 동작인지 구분합니다. 수정 단계에 이르면 재현 사례를 실패하는 단위 테스트로 옮기고, 아키텍처 가이드에 따라 해결책을 찾아 수정을 배포합니다.

각 단계는 격리된 하위 에이전트가 맡습니다. 실제 버그가 없는데도 LLM이 억지로 해결책을 만들려는 편향을 줄이기 위한 설계입니다. 앞선 에이전트가 발견한 내용을 report.md에 정리하면 다음 에이전트가 그 보고서를 이어받습니다.

봇의 잘못된 수정을 멈춘 HMR 주석

관련된 Hot Module Replacement(HMR) 버그들을 처리하던 봇은 특정 if 조건을 거듭 고쳤습니다. 목표로 삼은 버그는 해결했지만 다른 곳에서 회귀를 일으켰습니다. 해당 조건을 다루는 테스트가 부족했던 탓입니다.

팀은 그 조건문의 정확한 논리를 설명하는 주석을 추가했습니다. 이후 봇은 해당 부분에서 잘못된 수정을 시도하지 않게 됐습니다. 수정에 앞서 이해해야 할 이유를 코드에 남긴 결과입니다.

Astro 팀은 에이전트가 들어오는 이슈의 대다수를 올바르게 해결하도록 만드는 것을 방침으로 삼았습니다. 해결에 실패하면 코드베이스의 아키텍처나 문서에 문제가 있다는 신호로 받아들입니다. 컴포넌트 경계가 불명확한지, 중요한 코드에 구현 이유를 설명하는 주석이 빠졌는지, 특히 단위 테스트가 부족한지 살피는 것입니다.

에이전트가 컴포넌트 경계를 이해하지 못한다면 사람도 그 코드를 읽으며 어려움을 겪을 가능성이 큽니다. 실패를 따라가 빠진 주석과 테스트를 보완하고 경계를 명확히 할 때마다, 봇뿐 아니라 나중에 그 코드를 다룰 사람에게도 도움이 됐습니다.

봇의 응답이 사용자와 유지보수자 사이를 멀어지게 할 것이라는 초기 우려도 있었습니다. 실제로는 사용자와 대화하는 일이 늘었습니다. Discord에서 직접 이야기를 나누고, RFC와 새 기능 요청을 논의하며, 기여자의 아이디어를 프레임워크에 반영하도록 돕는 데 더 많은 대화가 오갔습니다.

GitHub 밖의 워크플로로 확장한 Flue

자동화를 만들면서 팀은 이 흐름이 GitHub에만 필요한 것은 아니라는 점을 발견했습니다. 이벤트에 반응해 격리된 하위 에이전트를 차례로 실행하고, 에이전트의 추론과 허용된 행동을 분리하는 방식입니다. 시작점은 GitHub 이슈뿐 아니라 Slack 메시지, cron 작업, webhook도 될 수 있었습니다.

이 흐름을 배포 위치나 사용하는 모델에 관계없이 같은 방식으로 실행하는 런타임으로 일반화한 결과가 Flue입니다. 지속성 있는 에이전트와 워크플로를 만들기 위한 공개형 플랫폼 독립 프레임워크로 발전했습니다.

Astro 모노레포 밖으로 옮긴 triagebot-action

처리 로직은 처음에 Astro 모노레포 안에 있었습니다. Flue를 업그레이드하거나 워크플로를 바꾸는 일이 안전망 없이 가동 중인 인프라를 수술하는 것처럼 느껴졌습니다. 자동화 자체를 개선하기가 어려운 배치였습니다.

팀은 로직을 별도로 시험할 수 있는 triagebot-action 저장소로 분리했습니다. 자동화 테스트를 도입하면서 주 코드베이스에 손대기 전에 안정성을 확인할 수 있게 됐습니다.

이 Action은 Astro의 이슈 관리에 쓰이고 있으며, 다른 여러 팀도 직접 사용하거나 fork해 자기 프로젝트에 맞는 자동화를 만들고 있습니다. 아직 초기 단계이고 계속 바뀌는 코드입니다. 팀은 이를 완제품보다는 읽고 배우며 필요한 부분을 가져갈 수 있는 참고 구현으로 제시합니다.

성과와 워크플로 설정 근거
항목값
열린 이슈 변화200개 이상 → 약 30개
이슈 0개 도달 예상게시일 기준 다음 달 중
이슈 0개 달성 시 의미5년 이상 된 저장소 역사상 최초
신규 이슈 시작 라벨triage needed
사용자 수정 확인 후 라벨fix verified
Action 참조withastro/triagebot-action@v1
처리 모델 설정triage-model: cloudflare-workers-ai/@cf/moonshotai/kimi-k2.7-code
검증 모델 설정verification-model: cloudflare-workers-ai/@cf/moonshotai/kimi-k2.6
Skill 경로 설정triage-skill: .agents/skills/triage
마지막 수정 일자