목차
배포가 끝난 뒤에도 계속되는 카카오의 서비스 품질 관리 (2024-12)
원문 정보
- 원문: [안정성 보고서] 4. 안정성을 위한 품질 관리
- 매체 · 게시일: 카카오 기술블로그 · 2024-12-08
- 저자: kakao tech (기여한 사람들로 강민우, 김성섭, 김영린, 김용광, 김용훈, 이민정, 최세환, 최필립, 황은경 표기)
- 안정성 보고서 시리즈 4편. 1편 프롤로그에서 클라이언트 구간의 과제로 소개한 내용입니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
배포 판단의 근거가 되는 QA 종료 보고서
카카오에서 QA를 끝내는 조건은 ‘이슈 정리 완료’입니다. 발견한 모든 이슈의 처리 상태가 명확해야 합니다. QA 담당자는 전체 테스트 결과와 오류·예외 사항의 해결 상태를 종료 보고서에 담고, 서비스 담당자와 관계자는 이 보고서로 품질을 최종 확인한 뒤 배포를 진행합니다.
검토는 개발을 시작할 때부터 이뤄집니다. QA 조직이 서비스나 기능의 규모, 복잡도, 잠재적 위험을 평가해 담당자를 배정합니다. 담당자가 설계하는 테스트 케이스에는 변경한 부분과 그 영향을 받는 부분은 물론, 변경과 직접 관련이 없어도 서비스의 기본 기능에 해당하는 부분이 포함됩니다. 테스트 범위를 새 기능에만 한정하지 않는 것입니다.
QA는 이용자가 사용하는 프로덕션과 분리된 테스트 환경에서 진행합니다. 테스트 기기도 이 환경에 연결됩니다. 담당자는 일정과 방법, 환경, 테스트 케이스, 대상 개발산출물, 단말기를 계획에 명시하고 서비스 담당자와 테스트 엔지니어에게 공유합니다. 모바일 서비스라면 OS와 버전까지 적습니다.
모바일에서는 기기마다 동작이 달라질 수 있습니다. 4천만 명이 넘는 이용자가 여러 모바일 기기에서 카카오 서비스를 쓰고 있으며, 한 기기에서 정상이던 기능이 다른 기기에서는 문제를 일으키기도 합니다. 카카오가 2020년 개발한 모바일 테스트 자동화 시스템은 여러 모바일·OS 환경을 실제와 같게 구현해 대규모이거나 복잡한 테스트를 자동으로 수행합니다. 테스트 중 발견한 문제는 코드를 수정해 잠재적 오류를 예방합니다.
대규모 트래픽에서도 속도를 유지하는지 확인하는 데에는 자체 API 테스트 엔진을 사용합니다. 이 엔진을 바탕으로 만든 웹 기반 시스템에서는 테스트 케이스 하나로 기능과 성능을 함께 검증할 수 있습니다. 테스트가 끝나면 결과 보고서가 바로 웹 화면에 게시됩니다.
QA를 수행하는 테스트 엔지니어는 설계된 케이스를 따라 검증하고, 예상하지 못한 문제를 발견하면 즉시 QA 담당자에게 보고합니다. 담당자는 오류와 예외 사항을 관리하며 여러 엔지니어의 결과를 모읍니다. 서비스 담당자와 개발자는 이를 담은 일일 보고서로 진행 상황을 확인하고, QA 종료 시점에는 각 이슈의 처리 상태까지 확인하게 됩니다.
서비스 맥락을 함께 읽는 코드 작성 AI
코드를 작성하는 동안에도 잠재적 오류를 찾습니다. 카카오는 자사 서비스 생태계와 자체 기술, 핵심 인프라를 잘 이해하는 AI를 목표로 코드 작성 AI를 구축했습니다. 개발자와 채팅으로 소통하며 코드를 분석하고 개선안과 잠재적 오류를 제시합니다. 특정 업무나 서비스의 담당자, 서비스가 구동되는 인프라의 세부 설정값 같은 정보도 갖고 있어 개발 관련 질문에 답할 수 있습니다.
PR이 만들어지면 이 AI는 피어 리뷰어로 참여합니다. 변경 내용을 읽고 맥락을 파악한 뒤 요약을 제공해 리뷰어가 내용을 빠르게 확인하도록 돕습니다. 코드 복잡도와 보안 취약점, 주요 리뷰 이슈를 짚고 개선안도 제안합니다. 조직에 코딩 규칙이 있다면 이를 학습해 리뷰에 적용하며, 규칙을 어긴 부분에는 바로 커밋할 수 있도록 수정한 코드를 제시합니다.
프로젝트 전반의 신규 소스 코드는 별도의 코드 안정성·취약성 검사 시스템에서도 분석합니다. 보안 위협과 중복 코드, 런타임 에러 같은 잠재적 결함이 검사 대상입니다. 발견한 문제에는 설명을 붙여 개발자가 위험 요소를 파악하도록 돕습니다.
테스트 코드 작성도 지원합니다. 유닛 테스트 생성 AI는 개발자가 작성한 코드를 분석해 테스트를 새로 만들거나 기존 테스트를 보완합니다. 생성한 코드에는 테스트의 목적과 의미를 설명하는 주석이 붙습니다. 개발자가 결과를 검토하며 테스트 커버리지를 높이도록 돕는 방식입니다.
소스 코드 노출 우려에 답한 OLIVE CLI
오픈소스를 검증하려 해도 보안상 웹서비스를 쓰기 어렵거나 소스 코드 노출이 걱정될 수 있습니다. OLIVE CLI는 이런 경우를 위한 도구입니다. 리눅스, 맥, 윈도우를 지원하고 VCS에 종속되지 않으며, 사용자 PC에서 프로젝트를 분석해 결과를 로컬 파일로 관리합니다.
분석 결과를 올리브 플랫폼의 프로젝트로 관리하고 싶을 때는 apply, report 같은 명령으로 업로드할 수 있습니다. 이 경우를 제외하면 클라이언트의 소스 코드나 데이터는 올리브 플랫폼으로 전송되거나 서버에 저장되지 않습니다.
올리브 플랫폼(OLIVE Platform)은 카카오가 오픈소스 컴플라이언스 체계의 일부로 개발해 2021년 6월 공개했습니다. 오픈소스의 라이선스와 의무사항을 점검하고 리포트를 제공해 라이선스 관련 위험을 줄입니다. 이런 관리 체계를 마련한 배경에는 오픈소스 사용의 확대가 있습니다. 레드햇의 2022년 기업 오픈소스 보고서에서도 전 세계 1,296여 개 기업 중 80%가 AI, 머신러닝, 엣지 컴퓨팅, 사물 인터넷 같은 신기술 분야에서 오픈소스 사용을 늘릴 계획이라고 답했습니다.
검증에 쓰는 데이터도 넓혔습니다. 2023년에는 수집 범위를 패키지 매니저의 전체 데이터로 확장해 수백만 개 패키지를 수집했습니다. 7천만 개 이상 패키지 버전의 라이선스·보안 취약점 정보를 제공하며, 자동 수집으로 최신 데이터를 반영합니다. 스타트업에는 오픈소스와 소프트웨어 자재 명세서(SBOM) 관리 기능을 최대 100개 프로젝트까지 무료로 제공합니다.
외부와 검증 데이터를 공유하는 협력도 진행하고 있습니다. 카카오는 2023년 4월 삼성전자, LG전자, 한국저작권위원회와 오소리(OSORI) 오픈소스 프로젝트 업무협약을 맺었습니다. 각 사가 자체 구축한 검증 데이터를 최소 3만여 건씩 공유했고 이후에도 주기적으로 데이터를 제공합니다. 올리브에서 오소리 데이터를 활용하는 것은 향후 계획입니다.
롤백 기준까지 기록하는 배포 노트
배포 계획에는 변경 사항뿐 아니라 문제가 생겼을 때 돌아갈 방법도 들어갑니다. 서비스 안정성을 판단할 롤백 기준 지표를 정하고, 누구나 이해하고 실행할 수 있는 단계별 가이드라인을 준비합니다. 배포 후 관찰한 지표가 이 기준에 해당하면 배포 노트에 적어 둔 절차대로 롤백합니다.
배포 날짜와 인력도 미리 정합니다. 새해와 추석 같은 명절, 밸런타인데이와 빼빼로데이 같은 이벤트데이는 이용자가 활발하게 서비스를 쓰는 시기이므로 피합니다. 배포 인력은 최소 2인 이상을 권장합니다. 한 명이 배포를 수행하는 동안 다른 인력이 모니터링과 커뮤니케이션을 맡아 진행 상황을 지켜보도록 역할을 나눕니다.
배포 계획에는 실행과 검토에 필요한 다음 항목도 포함됩니다.
- 배포 전략: 카나리 배포, 블루-그린 배포 등 단계적·점진적 전략
- 배포 내용: 리뷰어가 변경 부분을 이해할 수 있는 설명
- 릴리스 노트: 새로 적용할 소스 코드·아티팩트의 주요 변경 사항
- 테스트 결과: 실제 서비스와 유사한 테스트 환경에서 시나리오를 검증한 기록
- 모니터링 계획: 배포 후 성능과 안정성을 관찰할 도구와 일정
한 번의 배포에 여러 소스 코드나 아티팩트가 포함될 수 있어 릴리스 노트도 여러 개입니다. 배포 담당자는 이렇게 마련한 계획을 배포 시스템의 노트에 기록합니다. 리뷰어는 내용을 검토해 승인하거나 수정을 요청합니다. 배포할 필요가 없어져 노트를 폐기하더라도 기록은 시스템에 남습니다.
실제 배포에서는 담당자가 작업을 수행하고 다른 인력이 실시간으로 모니터링합니다. 문제가 생기면 종류와 시급성에 따라 배포 담당자에게 즉시 알리거나 영향을 받을 관련 부서에 연락합니다. 실행한 배포의 노트는 모두 저장되므로 담당자와 리뷰어가 이후에도 상세 내용을 조회할 수 있습니다. 계획 수립부터 승인, 실행, 배포 후 모니터링까지의 기록을 배포 시스템에서 관리하는 방식입니다.
요청의 전 과정을 보여 주는 성능 대시보드
배포가 끝나면 서비스 담당자와 개발자, QA 담당자가 함께 서비스를 확인합니다. QA 담당자는 이용자 입장에서 직접 사용하며 사용성과 전반적인 경험을 살핍니다. 개발자는 기술적 안정성과 성능을 모니터링합니다.
모바일 앱에는 배포 직후 확인하기 어려운 사정이 있습니다. 대부분 점진적으로 배포하므로 신규 버전을 내놓은 직후에는 모니터링하기 어렵습니다. 이런 경우에는 앱스토어에 등록된 최신 버전을 테스트해 실제 이용자가 경험할 버전의 품질과 안정성을 확인합니다.
성능 측정은 요청이 돌아오는 길 전체를 대상으로 합니다. 이용자의 모바일 기기에서 출발한 요청은 데이터센터의 서버와 데이터베이스를 거쳐 처리된 뒤 다시 이용자에게 돌아갑니다. 카카오가 자체 기술로 구축한 성능 측정·모니터링 시스템은 이 과정에서 생기는 지연 시간, 처리 속도, 오류율을 수집해 실시간으로 분석하고 대시보드에 표시합니다. 스마트폰과 데스크톱, iOS·안드로이드·윈도우처럼 서로 다른 환경에서 일관된 성능을 제공하기 위한 시스템입니다.
서비스가 작을 때는 한두 개 지표로도 상태를 파악할 수 있지만, 규모와 기능이 늘면 필요한 지표가 수십, 수백 개에 이릅니다. 방대한 트래픽과 사용기록 속에서 장애 원인을 즉각 찾기 어려워집니다. 카카오는 모니터링 시스템에 AI를 도입해 에러와 경고 메시지를 실시간으로 분석하도록 했습니다. AI는 개발자가 상황을 빠르게 파악하도록 현황 보고서를 작성하고 조치 방안을 제안합니다. 장애 대응 시간을 줄이는 것이 운영 분석·알림 시스템을 개선하는 목표입니다.
정책에 따라 콘텐츠를 가리는 세이프봇
운영 중에는 서비스에서 생성되는 콘텐츠도 관리 대상입니다. 카카오는 개인 정보 피싱, 불법 도박 사이트, 음란물처럼 운영 정책을 위반하는 콘텐츠를 탐지하고 차단합니다. 2024년 8월에는 카카오톡 운영정책을 자본시장법보다 강하게 개정해 오픈채팅방을 활용하는 모든 투자 리딩방을 금지했습니다. 유료·무료 여부와 관계없이 주식·암호 화폐·부동산 등 투자 자산 관련 리딩방을 생성하거나 운영·홍보하는 행위가 제재 대상입니다.
세이프봇(Safebot)은 이 과정에서 스팸과 욕설·혐오·유해정보를 탐지해 가립니다. 콘텐츠가 새로 생성되거나 신고가 들어오면 분석 요청을 받고, 운영 정책에 따라 정상 콘텐츠와 스팸·유해 콘텐츠를 분류합니다. 스팸으로 판단하면 사유를 기록합니다. 판별 과정에 이상이 없으면 해당 콘텐츠를 가리는 순서입니다.
다음뉴스 타임톡의 댓글을 보면 동작을 구체적으로 알 수 있습니다. 이용자가 댓글을 작성하면 타임톡이 세이프봇에 분석을 요청합니다. 세이프봇이 욕설이나 비속어 등 다른 이용자에게 불쾌감을 줄 수 있는 메시지로 판단하면 즉시 가립니다. 가려진 내용을 확인하고 싶은 이용자는 댓글을 눌러 원래 메시지를 읽을 수 있습니다.
2020년에는 세이프봇에 AI 기술을 도입했습니다. 개정된 서비스 운영방식을 학습해 탐지에 반영하며, 최근에는 다음 뉴스 채널톡과 오픈채팅 Auto, 오픈채팅 Lite에도 적용했습니다. 이 가운데 오픈채팅 Auto와 오픈채팅 Lite는 대중이 접근할 수 있고 사적 게시물로 판단하지 않는 서비스입니다. 분류 결과는 사용자 피드백과 모니터링으로 개선하고, 잘못 분류한 콘텐츠는 이용자의 신고를 받아 개선 작업을 수행합니다.
카카오는 2020년 12월 세이프봇 도입 직후 성과로 욕설·비속어 댓글 신고량 43% 감소와 신고 자체 73% 감소를 보고했습니다. 개발 과정에서 구축한 60만 건의 욕설 데이터베이스는 한국인터넷자율정책기구(KISO)에 제공했습니다. KISO는 이를 활용한 API를 만들고 2023년 6월 KISO이용자보호시스템(KSS)을 공개했습니다.
이미지와 동영상도 판별합니다. 세이프봇에는 유해 이미지 판별 기능과 머신러닝(ML)으로 이미지 판별을 선처리하는 단계를 추가했으며, 다음TOP에서 부적절한 이미지를 자동으로 가립니다. 카카오는 국내 최초로 불법촬영물 사전 검수 방식도 도입했습니다. 이용자가 모두에게 공개되는 영역에 동영상을 올리면 즉시 판별하고, 불법촬영물로 확인되면 신속하게 삭제합니다. 더 빠른 판별과 차단을 위한 자체 검출 시스템 개발과 TTA 인증 도입은 검토 단계에 있습니다.
품질 관리의 수치와 적용 시점
| 항목 | 값 |
|---|---|
| 하루 평균 배포(채팅 서버 일부, 2024-08 기준, 1편) | 11회 이상 |
| 모바일 테스트 자동화 시스템 개발 | 2020년 |
| 올리브 플랫폼 대외 공개 | 2021-06 |
| 올리브 제공 데이터(2023) | 7천만 개 이상 패키지 버전의 라이선스·보안 취약점 정보 |
| 스타트업 무료 제공 | SBOM 관리 최대 100개 프로젝트 |
| 오소리 업무협약 | 2023-04, 각 사 최소 3만여 건 검증 데이터 공유 |
| 세이프봇 도입 | 2020-12, 욕설·비속어 댓글 신고량 43% 감소, 신고 자체 73% 감소 |
| 욕설 데이터베이스 | 60만 건 (KISO 제공, KSS 2023-06 공개) |
| 투자 리딩방 전면 금지 | 2024-08 |
| QA 단계 | 서비스/기능 검토, QA 계획 수립, QA 진행, QA 종료 |
| 배포 단계 | 배포 계획 수립, 배포 노트 작성·승인, 배포 진행, 배포 후 모니터링 |