목차
모니터링 데이터로 장애 대응을 돕는 카카오 매트릭스 AI (2025-09)
원문 정보
- 원문: 분산 추적 기반 AI 운영 생태계
- 매체 · 게시일: 카카오 기술블로그 · 2025-09-19
- 저자: 본문에 저자 미표기
- 원문은 카카오의 ‘AI Native: 실행과 확산 사례집’ 시리즈에 속한 글입니다. 같은 날 올라온 AI 데브옵스 글(카카오릴리즈)과 체인지 트래킹에서 이어집니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
운영 판단의 근거를 모으는 매트릭스
카카오톡을 비롯한 카카오와 계열사 서비스의 모니터링은 자체 개발한 매트릭스(MATRIX)가 담당합니다. 서버와 애플리케이션의 성능·에러·로그를 실시간으로 살피고, 서비스 사이의 연결 관계와 트래픽을 보여 주며 근본 원인 분석도 지원합니다. 조직·그룹·개인 단위로 권한을 관리하는 멀티 테넌트 As a Service 솔루션입니다.
매트릭스는 OpenTelemetry, APM, 에러 로그 트래킹, Prometheus 등 자체 개발 솔루션과 오픈소스를 결합해 구현했습니다. 여기에 모인 데이터를 AI가 활용하면 알람 이후의 원인 분석을 돕고, 배포 전후의 상태 감시도 맡을 수 있습니다. 카카오는 모니터링에서 감지, 원인 분석, 조치, 반영으로 이어지는 운영 과정에 AI를 적용하기로 했습니다.
여러 LLM과 매트릭스를 연결하는 교두보가 매트릭스 AI입니다. 상황과 목적에 맞는 모델을 선택해 쓰도록 연결하며, 매트릭스 안팎에서 AI 기능을 이용하는 요청은 반드시 이곳을 거칩니다.
11,354ms를 들여다본 인시던트 AI 리포트
SlowSQL 알람을 받으면 어떤 규칙의 임계값을 넘었는지, 언제 어느 Pod에서 발생했는지 알 수 있습니다. 원인 분석은 그 뒤의 일입니다. 인시던트 AI 리포트는 이 시간을 줄이려고 만들었습니다. 알람을 일으킨 원인과 조치에 필요한 힌트를 함께 전달합니다.
원문에 나온 리포트 예시에서는 전체 응답 시간 11,354ms 중 SQL 실행에 11,327ms가 걸렸습니다. 그 안에서도 특정 쿼리 하나가 8,003ms를 차지했습니다. 리포트는 이 쿼리의 SELECT와 JOIN 연산을 짚고, 실행 계획 확인과 인덱스 사용·JOIN 순서 점검을 조치 방안으로 제시합니다. 단순히 SQL이 느렸다는 알림에서 어느 쿼리를 살펴야 하는지까지 나아간 결과입니다.
이 분석에는 근거 데이터가 있습니다. 매트릭스 APM이 수집한 트랜잭션 프로파일을 ‘에이전트 알람 분석가(Agent Alert Analyzer)’ 역할에 제공하기 때문입니다. 느린 SQL뿐 아니라 데이터베이스 커넥션 지연, 네트워크 지연, 특정 예외, 지나치게 많은 SQL 수행이나 호출(Fetch) 건수도 분석 대상입니다.
리포트는 [요약], [트랜잭션], [프로파일 분석], [조치 방안]으로 구성됩니다. 시스템 메시지에서 SRE 역할과 한국어 보고서 형식을 지정하고, 프로파일 분석과 조치 방안은 각각 3개 이내로 제한했습니다. 이 형식은 수많은 테스트와 실제 운영에서도 한 번도 깨지지 않았다고 합니다. 성능 저하가 심하지 않으면 정상이라고 답해도 된다는 조건도 두었습니다.
분석에 쓸 정보를 외부 LLM에 보내는 일은 별개의 문제였습니다. SQL, HTTP URL, JDBC URL에 개인정보가 없더라도 사내 시스템 구성이나 운영 환경을 짐작하게 할 수 있어, 외부 노출을 재검토하자는 의견이 여러 차례 나왔습니다.
매트릭스 AI는 민감한 값을 무작위 토큰으로 치환해 보내는 방식을 택했습니다. JDBC 접속 정보라면 jdbc:mysql://xcu2t3cc3xz:3306/c4ysd 같은 값으로 바꿉니다. 응답을 받은 뒤에는 토큰을 원래 값으로 되돌려 사용자에게 전달합니다.
배포 전후를 지켜보는 체인지 트래킹
배포 뒤에 장애가 난다고 변화를 포기할 수는 없습니다. 장애를 100% 예방할 방법이 없다면 빠른 감지와 대응이 뒤따라야 합니다. 특히 배포 전후는 모니터링에 집중해야 할 시점을 미리 아는 경우입니다. 체인지 트래킹은 이때의 감시를 AI에 맡기자는 생각에서 출발했습니다.
카카오릴리즈는 배포를 사전에 계획하고 리뷰어의 승인을 거쳐 진행하도록 관리하는 시스템입니다. 여기에 매트릭스 AI를 연결해 배포 전후의 서비스 상태를 자동으로 안내합니다. 배포 30분 전에는 사전 점검을 수행해 문제가 없을 때만 배포가 진행되도록 지원합니다.
배포 후에는 10분, 30분, 1시간, 4시간, 8시간, 12시간, 24시간 시점에 상태를 확인합니다. 직후에는 촘촘하게 살피고, 시간이 지나면 점검 간격을 넓히는 방식입니다. 반복적인 모니터링에 드는 인력을 줄이고 사람이 미처 알아차리지 못한 이상 징후까지 감지하려는 목적입니다.
상태 판단에는 요청 처리량과 에러 요청, 응답 시간 p50·p90·p95, 에러 로그 레벨별 통계, 중요 이슈(Top Issue), 인시던트 알람 이력을 사용합니다. 이 데이터는 매트릭스의 OpenTelemetry, APM, LOG, Prometheus 등에서 조회합니다.
수치가 있다고 판단이 끝나지는 않습니다. 응답 시간 p50이 2초여도 그 정도 시간을 허용하는 서비스라면, 그 값만으로 문제가 있다고 보기 어렵습니다. 체인지 트래킹은 현재 데이터를 24시간 전 또는 일주일 전과 비교합니다. 평소보다 에러가 급증했거나 응답 시간이 크게 늘어났는지를 보고 비정상 상태를 판단하는 것입니다.
추가 조회의 단서가 되는 JSON 응답
체인지 트래킹은 LLM의 설명을 그대로 전달하는 데서 끝나지 않습니다. LLM이 문제 메트릭을 지정하면 매트릭스 AI가 해당 메트릭을 추가로 조회해 결과를 덧붙입니다. 이 후처리를 위해 응답을 JSON 형태로 받습니다.
가령 “지난주보다 에러 트랜잭션이 늘었다”는 문장만 받으면 애플리케이션이 추가로 처리하기 어렵습니다. 애플리케이션 이름, 문제 발생 시간, error_transaction 같은 메트릭을 별도 필드로 받으면 필요한 데이터를 자동 조회할 수 있습니다.
실제 체인지 트래킹의 응답 스키마에는 애플리케이션별 state(STABLE, MOSTLY_STABLE, UNSTABLE), metric(TRANSACTION, ALERT, ISSUE), comment 등이 정의돼 있습니다. LLM이 미리 정한 키에 맞춰 값을 채우며, 이 포맷으로 의도한 응답을 얻는 것을 확인했습니다.
LLM 장애와 모델 교체에 대비한 롤
인시던트를 분석하는 일과 배포 전후 상태를 판단하는 일에는 서로 다른 역할이 필요합니다. 매트릭스 AI는 이를 롤(Role)이라는 도메인으로 관리합니다. 각 롤의 시스템 메시지에 역할을 정의하고, 클라이언트는 필요한 롤을 선택한 뒤 사용자 메시지를 더해 대화합니다.
롤에는 코드, 시스템 메시지, LLM 체인, 파라미터, 응답 포맷, 요청 제한 간격을 둡니다. 생성과 수정은 MATRIX 시스템 어드민 화면에서 처리합니다. 이 설정을 관리하는 데는 모델의 장애와 교체, 답변 품질을 조정해야 하는 사정이 함께 작용합니다.
가장 널리 쓰이는 LLM에서도 장애로 웹이나 API 서비스가 중단되는 일이 자주 발생합니다. 그래서 롤마다 대체(fallback) LLM을 하나 이상 지정할 수 있게 했습니다. 같은 LLM의 다른 모델을 체인으로 연결하는 것도 가능합니다. 모델이 교체되거나 정상 응답을 하지 못할 때에도 서비스를 이어가기 위한 설계입니다.
답변 품질은 한 번의 설정으로 완성되지 않습니다. temperature, top_p 등을 여러 차례 조정해야 하는데, 이 과정이 번거로우면 적당한 품질에서 타협하기 쉽습니다. 권한 있는 사용자가 손쉽게 값을 바꾸도록 한 이유입니다. 실험적 모델이나 프리뷰 모델이 예고 없이 서비스에서 빠질 수 있으므로, 애플리케이션 재배포 없이 모델과 파라미터를 바꾸는 유연성도 갖췄습니다.
조정의 근거는 로그에 남깁니다. 클라이언트 식별 정보, 모델·파라미터를 포함한 요청 정보, 답변·지연 시간을 포함한 응답 정보, 토큰 사용량을 ElasticSearch에 저장하고 Kibana로 시각화합니다. 누가 언제 어떤 목적으로 사용했는지 확인하고 API 요금을 예상하며, 답변 품질을 살펴 파라미터를 조정하는 데 쓰는 기록입니다.
배포 감시에서 확장 중인 AI 온콜
체인지 트래킹에 사용한 지식 베이스 기반 서비스 건강성 모니터링은 AI 온콜로 확장 중입니다. 사람이 365일 24시간 온콜을 맡기는 쉽지 않습니다. 연휴나 단체 워크숍처럼 담당자를 상시 배치하기 어려운 시기에 AI가 감시와 연락을 도울 수 있다는 구상입니다.
온콜 담당자는 이상을 감지하고 전파하는 데 그치지 않고, 직접 문제를 해결하거나 적절한 담당자를 연결합니다. AI 온콜도 서비스 상태 모니터링, 사용자 문의 대응, 인시던트 담당자 알림을 제공할 수 있습니다. 심각도에 따라 담당자 전화번호를 자동 조회하고, 전화 API와 TTS(음성 합성)를 이용해 직접 전화로 알리는 구성까지 설계했습니다.
코드 튜닝 에이전트에 데이터를 제공할 MCP 서버
코드 튜닝 에이전트는 구현을 계획한 사례입니다. 코드 수준의 에러와 성능 지연 정보를 코딩 에이전트에 제공하면 적절한 코드 수정으로 이어질 수 있으리라는 기대에서 시작했습니다. 매트릭스는 이를 위해 MCP 서버를 열 계획입니다.
제공하려는 정보는 에러 스택 트레이스·메시지·코드, 느린 트랜잭션의 스택 트레이스 집합, Slow SQL 등입니다. 이 데이터를 미리 지정한 브랜치의 기준 코드와 연결해 LLM의 코드 수정과 PR 생성까지 자동화하려는 구상입니다.
예시로 든 흐름에서는 매일 새벽 GitHub Actions 스케줄러가 코드 튜닝 에이전트를 실행합니다. 에이전트가 PR을 올려 두면 담당자는 출근 후 검토하고 병합합니다. 아직 구현 계획에 해당하며, 운영 과정의 마지막인 반영 단계까지 완전히 자동화하는 데는 해결할 과제가 남아 있습니다.
롤 설정과 체인지 트래킹의 기준
| 항목 | 값 |
|---|---|
| 롤 속성 | 코드, 시스템 메시지, LLM 체인, 파라미터, 응답 포맷, 요청 제한 간격 |
| 로깅 항목 | 클라이언트 식별 정보, LLM 요청 정보, LLM 응답 정보, 토큰 사용량 (ElasticSearch 저장) |
| 배포 전 점검 | 배포 30분 전 |
| 배포 후 모니터링 | 10분, 30분, 1시간, 4시간, 8시간, 12시간, 24시간 |
| 상태 판단 지표 | 처리량과 에러 요청, 응답 시간 p50·p90·p95, 에러 로그 레벨별 통계, Top Issue, 인시던트 알람 이력 |
| 비교 기준 | 24시간 전 또는 일주일 전 데이터 |
| 응답 상태 값 | STABLE, MOSTLY_STABLE, UNSTABLE |
| 리포트 분석·조치 항목 수 | 각 3개 이내 |