목차
지난 장애의 기록을 다음 배포 앞에 가져온 카카오 KRIS (2026-08)
원문 정보
- 원문: 같은 장애를 두 번 겪지 않기 위해, 배포 전에 리뷰합니다 — KRIS 개발기
- 매체 · 게시일: 카카오 기술블로그 · 2026-08-31
- 저자: 본문에 저자 미표기
- 시리즈: 사내 AI 코드 리뷰 서비스 코드버디(CodeBuddy) 이야기의 후속입니다. 앞선 글은 LLM as a Judge로 코드버디 성능을 평가한 내용이고, 이 글은 KRIS 시리즈의 1편입니다. 2편(RAG와 llm-wiki 비교 검증)과 3편(LLM이 소유·갱신하는 장애일지 위키)이 예고돼 있습니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
여섯 달 뒤의 PR에서 잊힌 장애일지
장애가 나면 현상과 영향, 원인, 타임라인, 재발 방지 대책을 기록합니다. 기록은 꼼꼼합니다. 하지만 작성과 공유, 승인을 마친 장애일지는 대개 회고에서 역할을 마칩니다. 여섯 달 뒤 다른 팀 개발자가 거의 같은 변경을 올려도 그 문서는 참고되지 않고, 같은 팀에서도 담당자가 바뀌면 경험을 잊습니다.
카카오 팀이 사내 AI 코드 리뷰 서비스 코드버디(CodeBuddy)를 살펴보며 느낀 빈틈도 여기에 있었습니다. PR을 요약하고 리뷰하고 개선안을 내는 정확도는 꾸준히 높아졌습니다. 그런데 코드가 올바른지를 판단하는 리뷰만으로는 그 변경이 과거 장애와 닮았는지 알기 어려웠습니다. 코드 리뷰와 정적 분석, 테스트, QA, AI 리뷰까지 관문은 많았지만, 조직의 장애 이력을 다음 변경과 대조하는 검사는 없었습니다.
사내 장애를 원인별로 분류하자 사람의 실수(Human Fault)가 과반을 차지했습니다. 그중 소스코드 오류는 약 40%, 설정값 오류는 약 20%였습니다. 사람이 놓치기 쉬운 결함이 반복되고 기록도 남아 있다면, 그 기록을 배포 전에 찾아볼 수 있게 만들자는 생각에서 KRIS(Kakao Risk Inspection Service)가 출발했습니다. AI 리뷰의 목표도 응답 품질을 높이는 데서 배포 리스크를 줄이는 쪽으로 옮겼습니다.
KRIS는 변경분을 과거 장애에서 얻은 위험 패턴과 대조하고, 위험도와 검출 근거, 수정 방향을 제시합니다. 현재 검사하는 대상은 설정값 계층입니다. 운영에 개발·검증 환경 설정이 섞이는 변경, API Key나 리소스 limits/requests 누락, DB 스키마 삭제 등을 다룹니다. 리소스 삭제 방지를 풀거나 운영에서 DEBUG 로깅을 켜고 이미지 태그 고정을 해제하는 변경도 검사 범위입니다.
분석은 PR과 배포 단위의 diff로 한정했습니다. 전체 코드베이스 분석, 컨벤션과 가독성 리뷰, 보안 취약점 스캔, 성능 최적화 제안은 처음부터 제외했습니다. 이미 여러 봇이 코멘트를 남기는 PR에서 범용 리뷰를 하나 더 보태면 읽히기 어렵습니다. KRIS가 해야 할 말은 그 조직에 쌓인 장애 경험에서 나와야 했습니다.
승인 직전의 변경을 모으는 배포절차서
KRIS는 개발자가 이미 머무는 사내 배포시스템과 GitHub PR에 연결했습니다. 특히 배포절차서에는 단일 브랜치를 보는 PR과 다른 강점이 있습니다. 여러 저장소·브랜치·태그가 함께 나가는 범위를 통합해서 본다는 점입니다. 개별 PR에는 문제가 없어도 함께 배포하면 어긋나는 조합이 있으므로, 변경 규모와 영향 범위가 큰 배포에서 이 검사의 가치가 커집니다.
분석은 배포절차서의 리뷰를 요청할 때 자동으로 시작합니다. 절차서 저장 시점을 택하지 않은 이유는 승인 직전의 최신 코드로 판단하기 위해서입니다. 결과는 배포 리스크 영역에 메시지 배너, 심각도별 발견 개수 카드, Findings 목록으로 표시합니다. 상세 화면에서는 감지 사유와 권장 조치, AI가 심각도를 판단한 근거를 확인합니다.
리뷰어는 이 결과를 보고 배포 승인 여부를 판단하거나 작성자에게 수정을 요청합니다. 분석 이력도 남습니다. 수정 요청, 코드 수정, 재요청을 거칠 때마다 결과를 최신순으로 쌓아 변경 과정을 추적하도록 했습니다.
GitHub PR에서는 코멘트에 /risk_detector를 입력하면 즉시 분석하고, main이나 master 대상 PR을 열면 자동으로 실행합니다. 시작할 때는 진행 중이라는 코멘트를 먼저 남깁니다. 아무 반응이 없어 개발자가 분석이 시작되지 않았다고 여기는 일을 막기 위한 표시입니다. 분석을 마치면 Predictive Incidents 헤더의 결과 코멘트로 바꾸고, 이전 결과가 있으면 덮어써 최신 결과 하나만 유지합니다.
실행하는 곳은 달라도 분석 엔진과 정책 규칙, 심각도 기준은 같습니다. 어느 경로에서 확인하든 같은 기준으로 판정해야 결과를 신뢰할 수 있기 때문입니다.
위반 여부와 분리한 LLM의 심각도 판정
application-prod.yml에 DEBUG 로그 레벨이 들어갔다면, 그 사실을 확인하는 결과는 매번 같아야 합니다. 위험도는 별개입니다. 해당 파일이 실제 운영 설정인지, 다른 변경이 함께 들어왔는지에 따라 CRITICAL일 수도 LOW일 수도 있습니다. 팀은 LLM에 판정을 전부 맡기는 방안도 검토했지만, 같은 코드가 어제는 HIGH였다가 오늘은 LOW로 나오면 등급을 믿기 어렵다고 보았습니다. 위반 여부를 확정하는 로직과 문맥에 따라 위험도를 정하는 LLM을 나눈 이유입니다.
변경분을 만드는 일은 Compare Provider가 맡습니다. GitHub Compare API로 base와 compare 참조를 조회해 변경 파일 목록과 diff를 추출합니다. 배포시스템에서는 절차서에 지정한 참조를, PR에서는 base SHA와 head SHA를 사용합니다. 이어서 Policy RAG가 diff 컨텍스트로 관련 규칙을 벡터 검색하고, 각 규칙에 정의된 판정 로직으로 변경 내용을 검사합니다. 검색의 역할은 확인할 규칙을 좁히는 데까지입니다. 실제 위반 여부는 같은 입력에 같은 결과를 내는 판정 로직이 결정합니다.
LLM에는 등급보다 근거를 먼저 쓰게 했습니다. 규칙별 기본 심각도를 출발점으로 삼되, 환경, 설정 및 구성, 인프라·배포 구성의 3축으로 severity_reasoning을 작성한 뒤 diff 전체 맥락에 맞춰 등급을 정합니다. 결론을 먼저 요구하면 그 결론에 맞는 근거가 뒤따랐습니다. 순서를 뒤집자 근거가 빈약한 사례에서 LLM이 등급을 낮춰 잡는 효과가 있었습니다.
배포시스템은 개별 발견 항목 가운데 가장 높은 등급을 배포 전체의 releaseSeverity로 사용합니다. 순서는 CRITICAL > HIGH > LOW입니다. CRITICAL 1건과 HIGH 2건을 발견했다면 배포 종합 심각도는 CRITICAL입니다.
판단할 근거가 부족할 때는 UNKNOWN을 둡니다. 분석 실패나 권한 부족으로 확인하지 못한 변경에 LOW를 부여하면, 모르는 상태를 위험이 낮다는 판단으로 바꾸게 됩니다. 결과가 없는 이유도 구분했습니다. 분석 상태는 완료, 배포 기준 정보가 없어 분석 불가, 시스템 오류나 저장소 접근 문제로 분석 실패로 나눴습니다. 사용자가 다음 행동을 정하려면 위험도뿐 아니라 분석이 어디까지 진행됐는지도 알아야 합니다.
문법이 정상이어도 위험한 토픽-브로커 매핑
전사 공통 규칙의 범위를 확인하려고 A 서비스의 2025년 이후 설정값 오류 장애 이력을 분석했습니다. 여기서 조직의 맥락 없이는 판정할 수 없는 변경이 드러났습니다. 로그 수집 파이프라인의 토픽-브로커 매핑이 대표적입니다.
A 서비스는 식별자 유형별로 카프카 토픽과 브로커를 엄격하게 분리합니다. 어느 토픽을 어느 브로커로 보내야 하는지는 조직의 데이터 정책으로 정합니다. 그런데 로그 수집 설정에 새 입력을 추가하면서 특정 식별자 유형의 토픽을 다른 유형 전용 브로커로 보내는 변경이 들어갔습니다. YAML 문법은 정상이었습니다. 정적 분석이나 범용 AI 리뷰가 문제 삼을 내용은 없지만, 이 조직에서는 과금 데이터가 섞이는 변경입니다.
장애 이력에서는 이처럼 조직의 규칙을 알아야 드러나는 문제를 더 찾았습니다.
- Spring 설정의 Vault·Profile Key 불일치: 오타나 profile 미분리로 운영에서 에러 없이 로컬·샌드박스 값으로 fallback되는 문제
- 자체 Ingress 컨트롤러 환경의 Nginx 어노테이션: 어노테이션이 무시되며, 특히
ssl-redirect기본값 차이로 HTTP 요청이 강제 리다이렉트되는 문제
이런 규칙을 전사에 적용하면 다른 조직에서는 오탐만 생깁니다. 팀은 서비스 조직 전용 컬렉션을 따로 만들었습니다. scope로 전사 공통인 global과 특정 서비스 조직에 적용하는 service를 구분하고, tenant에는 해당 조직을, target_systems에는 대상 시스템을 명시하도록 했습니다. 각 조직이 다른 조직에 영향 없이 자기 팀의 장애 패턴과 정책을 추가할 자리입니다.
규칙에는 근거 문서도 붙였습니다. policy_source에 사내 가이드 문서 링크를 넣어 경고를 받은 개발자가 판단의 출처를 바로 확인하게 했습니다. 조직 특화 규칙은 이미 배포·플랫폼·보안 가이드에 적혀 있는 경우가 많지만, 배포 직전에 그 문서를 다시 읽는 사람은 드뭅니다. 규칙 자체가 틀렸다면 근거 문서를 고칠 수도 있습니다. AI가 내린 판정이라는 이유만으로 결과를 믿으라고 요구하지 않으려는 설계입니다.
같은 장애 이력은 공통 규칙의 빈틈도 드러냈습니다. 초기 규칙은 운영 설정 파일에 들어간 비운영 호스트를 놓쳤습니다. 식별 마커에 -dev, -beta, -cbt, -sandbox만 있고 해당 사례의 canary가 빠져 있었기 때문입니다. canary, stage, staging, alpha, test 계열을 추가하자 같은 사례를 검출했습니다. 환경 이름조차 조직마다 달랐습니다. 전사 공통 규칙은 최대공약수여서, 누군가의 실제 환경을 모두 담지는 못했습니다.
읽히는 경고를 위해 조정한 KRIS 정책
규칙은 많을수록 좋을 것 같았습니다. 처음 발굴한 규칙은 이십여 개였고, 팀도 더 잡아낼 대상을 떠올렸습니다. 그러나 실제 장애 사례에 적용하고 검토하면서 논의는 무엇을 덜어낼지로 옮겨 갔습니다. 현재 정책은 환경 설정, 데이터베이스 설정, 인프라, 빌드 설정으로 나뉘지만, 카테고리 안에 넣을 규칙과 경고 강도는 하나씩 다시 판단해야 했습니다.
latest 태그는 HIGH에서 LOW로 낮췄습니다. 사내 이미지 저장소에 직접 만들어 올린 이미지에는 파일 수정을 줄이려고 의도적으로 latest를 쓰는 경우도 있었습니다. 이를 모두 강한 경고로 처리하기는 어려웠습니다. 외부 도메인 이미지에 한해 더 강하게 판단할 여지는 남겨뒀습니다.
DB Connection Pool 규칙에서는 숫자 기준을 뺐습니다. 초안의 기준은 값이 50을 넘으면 위반이라는 것이었습니다. 하지만 운영 DB는 대부분 DBA 조직이 관리하므로, 장애 예방을 이유로 구체적인 수치까지 관여할 영역은 아니라고 판단했습니다. KRIS는 변경 사실만 알리고 실제 값의 판단은 담당자에게 맡기도록 바꿨습니다.
의존성 버전 규칙은 경고의 중복을 살폈습니다. Dependabot은 코드를 푸시할 때, KRIS는 배포 직전에 검사하므로 시점은 다릅니다. 배포에서 먼 단계일수록 수정 비용이 적다는 점에서는 장기적으로 Dependabot이 유리합니다. 이 규칙은 이중 경고를 피하도록 옵셔널하게 두는 방향으로 정했습니다. 프레임워크 런타임, 시스템 빌드, 스크립팅 설정 변경 규칙은 제거를 검토했습니다. 빌드 최적화나 린팅 목적의 변경까지 너무 자주 잡으면 경고가 읽히지 않기 때문입니다.
더 강하게 판단한 항목도 있습니다. K8s limits/requests 누락은 장애 유발 가능성이 높고 영향 범위도 커서 HIGH에서 CRITICAL로 올렸습니다. 컨테이너 시크릿·키 파일 노출도 CRITICAL로 높였습니다. 당장 장애를 일으키는 변경과는 거리가 있지만, 사고로 이어졌을 때의 크기를 고려한 결정입니다.
맞는 말도 너무 자주 나오면 읽히지 않습니다. 팀은 규칙 하나를 추가할 때 나머지 탐지 결과의 신뢰도까지 조금씩 깎일 수 있다고 보았습니다. 더 많이 검출하는 것만으로는 경고를 읽게 만들 수 없다는 경험이 정책을 조정하는 기준이 됐습니다.
설정값 다음에 남은 소스코드 탐지
운영 설정 파일에 비운영 도메인이 있는지는 명확한 규칙으로 검사할 수 있습니다. 하지만 소스코드 오류는 설정값 오류보다 두 배 가까이 많고, 과거 장애 코드와 닮았는지를 판정하는 일은 이런 규칙으로 만들 수 없습니다. 언어와 서비스 맥락도 넘어야 합니다. 과거 Java 코드에서 발생한 장애 패턴이 Python 연동 코드에 나타나도 찾아야 하고, 같은 패턴이 A 서비스에서는 장애지만 B 서비스에서는 정상인 경우도 구분해야 합니다.
팀은 장애일지와 실제 장애 유발 코드를 RAG로 구성했습니다. Karpathy가 제안한 llm-wiki 개념도 사내 장애 데이터에 적용해 여러 비교 실험을 진행했습니다. 결과는 예상과 달랐습니다. 장애일지를 목적별로 잘게 나누어 임베딩하는 정교한 청킹보다, LLM이 원문을 읽고 위키 페이지로 합성하게 한 쪽의 검색 정확도가 더 높았습니다.
후속 2편에는 RAG와 llm-wiki를 비교 검증한 과정과 두 방식을 어떻게 나눠 쓰기로 했는지를 담을 예정입니다. 3편은 장애일지를 LLM이 직접 소유·갱신하는 위키로 만드는 구조를 다룬다고 예고했습니다. 소스코드 오류 탐지는 원문 게시 시점에 아직 출시 전이었으며, 검증과 구조 개선을 진행 중이었습니다.
본문의 장애 통계와 판정 기준
| 항목 | 값 |
|---|---|
| 사내 장애 중 사람의 실수(Human Fault) | 과반 |
| 사람의 실수 중 소스코드 오류 | 약 40% |
| 사람의 실수 중 설정값 오류 | 약 20% |
| 처음 발굴한 규칙 수 | 이십여 개 |
| 정책 카테고리 | 환경 설정, 데이터베이스 설정, 인프라, 빌드 설정 |
| 환경 혼용 | 운영에 개발/스테이지 설정 혼용 시 CRITICAL |
| 안전장치 비활성화 / 단순 값 튜닝 | HIGH / LOW |
| K8s, Terraform, DB 스키마 변경 | HIGH~CRITICAL |
latest 태그 | HIGH에서 LOW로 하향 |
| K8s limits/requests 누락, 시크릿·키 파일 노출 | CRITICAL로 상향 |
| 배포 종합 심각도 | CRITICAL > HIGH > LOW 중 최고 등급, 근거 부족 시 UNKNOWN |
| 비운영 환경 마커 | -dev, -beta, -cbt, -sandbox에 canary, stage, staging, alpha, test 계열 추가 |