목차
S3 적재 뒤 응답하는 게임듀오 ClickStack (2026-11)
원문 정보
- 원문: 게임듀오가 Amazon EC2 기반 ClickStack으로 게임 서버 관측성 비용을 절반 이하로 줄인 방법
- 매체 · 게시일: AWS 기술 블로그 · 2026-11-10
- 저자: 서창민(게임듀오 DEV팀 팀장), 이은학(AWS 솔루션즈 아키텍트)
- 원문 내용을 바탕으로 재구성한 요약입니다. 수치와 성과는 원문이 밝힌 값입니다.
SaaS 비용에 묶인 트레이싱과 수집 범위
게임듀오는 캣히어로, 어나더 던전, 악마왕 키우기, 붐붐캡틴 등 10여 종의 모바일 게임을 직접 개발·퍼블리싱합니다. 게임별로 서버군을 따로 운영하며, 로그를 보내는 게임 서버만 250대가 넘습니다. 원문이 밝힌 관측 데이터 규모는 다음과 같습니다.
| 항목 | 규모 |
|---|---|
| 로그 | 하루 1~2억 건, 원문 약 700GB |
| 스팬 | 하루 4~6억 건 |
| ClickHouse 압축 적재량 | 하루 약 150GB |
| 수집 대상 서버 | 250대 이상 |
| 라이브 게임 | 10여 종 |
전환 전에는 SaaS 모니터링 서비스로 로그를 검색하고 호스트 메트릭 대시보드와 알람을 운영했습니다. 하루 700GB 가까운 로그, 약 1억 4천만 건을 15일 동안 검색할 수 있게 보관했습니다. 그 뒤에는 로그 아카이브 기능으로 원문을 S3에 넘겨 장기 보관했습니다. 에이전트는 서버 200여 대에 설치했고, 커스텀 메트릭은 쓰지 않았습니다.
UI는 비개발자도 바로 사용할 만큼 좋았지만, 게임과 서버가 늘어나는 만큼 비용도 정비례로 증가했습니다. 이 비용 때문에 관측 범위에 세 가지 제약이 생겼습니다.
- 로그 요금만으로도 부담이 커 APM(분산 트레이싱)을 켜지 못했습니다.
- 런칭 전 프로젝트, 샌드박스, 운영 도구 서버는 연결하지 않았습니다. 이 서버들의 로그는 서버에 직접 접속해 파일로 확인했습니다.
- 호스트당 과금 때문에 오토스케일링 서버의 연동을 망설였습니다.
메트릭 대시보드와 알람은 이미 Grafana와 CloudWatch에서도 보고 있었으므로, 대안을 찾을 대상은 로그 저장소로 좁혀졌습니다. 개발팀 7명 가운데 한 명이 설계부터 구축과 운영까지 맡았습니다.
JSON 필드 검색에서 한계에 부딪힌 Loki
첫 시도는 2025년 7월의 Grafana Loki였습니다. 파일로 확인하던 런칭 전 프로젝트와 운영 서버의 로그, 소프트 런칭 프로젝트에 적용했고, 비용은 확실히 저렴했습니다.
문제는 검색 방식이었습니다. Loki는 라벨로 스트림을 구분하고 본문은 통째로 저장합니다. JSON 필드를 검색하거나 집계할 때마다 본문을 다시 파싱해야 합니다. 게임듀오는 팀마다 로그 형식이 달랐고, 깊게 중첩된 JSON을 그대로 남기는 경우도 많았습니다. 로그가 조금만 늘어도 검색이 매번 타임아웃됐으며, 비개발자에게는 LogQL 자체도 진입 장벽이었습니다.
이 경험을 거쳐 요구사항은 “파싱은 적재 시점에 한 번만 하고, 나머지는 SQL로 뭐든 할 수 있는 저장소"로 정리됐습니다. 게임듀오는 ClickHouse에서 그 답을 찾았습니다. JSON을 적재할 때 한 번 풀어 컬럼으로 저장하므로 게임마다 로그 형식이 달라도 검색 속도가 떨어지지 않았고, ANSI SQL 기반이라 사용법에도 빠르게 익숙해졌습니다.
하루 수십 TB를 소수 인원이 ClickHouse 기반 스택으로 옮긴 공개 사례도 판단에 힘을 보탰습니다. 그 사례들이 Loki를 제외한 이유는 본문 필드 검색 시 전체 스캔, 느린 집계, 제한된 쿼리 언어였고, 게임듀오가 겪은 문제와 같았습니다. ClickHouse, OpenTelemetry Collector, HyperDX를 묶은 ClickStack에는 검색 UI도 포함돼 있어 비개발자의 접근성까지 해결할 수 있었습니다.
EC2에서 버전과 설정을 직접 정하는 ClickHouse
게임듀오는 ClickHouse를 EC2에서 직접 운영하기로 했습니다. 원문은 비용 외에 세 가지 이유를 제시합니다.
첫째는 수집 경로를 확보한 뒤의 저장소 가용성입니다. 수집 경로를 S3 우선 적재로 구성하면 저장소의 가용성은 직접 운영으로도 충분하다고 판단했습니다.
둘째는 버전과 서버 설정을 직접 정할 수 있다는 점입니다. 새 버전을 테스트하다가 HyperDX가 보내는 쿼리 형태에서만 나타나는 정렬 회귀를 만났습니다. 설정으로는 피할 수 없어 마이너 버전을 한 단계 내려 해결했습니다. 통계 갱신 주기나 메모리 상한처럼 서버에서만 바꿀 수 있는 값도 직접 조정합니다.
셋째는 로그에 담긴 API 요청·응답 본문의 통제입니다. 외부 SaaS를 쓰면 이 본문이 제3자 인프라에 저장되며, 보존·접근 통제·삭제도 해당 서비스의 정책에 맞춰야 합니다.
실행 환경으로 EC2를 고른 데에는 ReplicatedMergeTree의 특성이 영향을 줬습니다. 노드마다 자기 디스크와 정체성을 유지해야 하므로, 게임듀오는 태스크가 교체되는 컨테이너보다 EBS를 붙인 EC2가 적합하다고 봤습니다. 직접 구축하고 운영하는 부담은 IaC, 알람, 모니터링 AI 에이전트로 덜 수 있다고 판단했습니다.
게이트웨이와 ClickHouse를 분리하는 S3·SQS 버퍼
원문은 관리형 서비스가 보장하는 범위를 데이터베이스 내부의 가용성으로 봅니다. 관측 데이터가 실제로 사라지는 구간은 에이전트에서 저장소 입구까지이며, 저장소가 멈춘 동안 데이터를 받아 둘 곳도 사용자가 마련해야 한다는 설명입니다. 게임듀오는 이 구간에 S3·SQS 버퍼를 뒀습니다. Kafka가 더 알려진 선택지였지만 운영 경험이 없어, 원문 보관까지 겸할 수 있는 S3+SQS를 골랐습니다.
수집기는 OpenTelemetry Collector contrib 배포판 하나를 사용합니다. 설정을 달리해 에이전트, 게이트웨이, Consumer의 세 역할로 나눴습니다.
- 에이전트(게임 서버 EC2): 로그 파일을 tail하고 JSON으로 파싱한 뒤 gzip으로 압축해 OTLP/HTTP로 게이트웨이에 보냅니다. 게임 서버는 대부분 Node.js(winston)이며, 재시도와 큐 설정은 기본값을 사용합니다. 게임팀은 설정 파일 하나를 배포에 포함하면 됩니다. 트레이스는 애플리케이션의 OTel SDK가 게이트웨이로 직접 보내고, 애플리케이션 메트릭은 로컬 에이전트를 거칩니다.
- 게이트웨이(Fargate): ALB 뒤에서 요청을 받고 토큰으로 인증합니다. 받은 데이터를 OTLP proto + gzip으로 S3에 기록하고, 성공했을 때만 에이전트에 200을 반환합니다. 실패하면 에이전트가 재시도합니다.
- 버퍼(S3 + SQS): S3 이벤트 알림을 SQS로 받습니다. 로그, 트레이스, 메트릭, 세션마다 큐를 나누고 각 큐에 DLQ를 둡니다. 다섯 번 실패한 객체는 DLQ로 보내고 알람을 울리므로, 다른 객체의 적재는 막히지 않습니다.
- Consumer(Fargate, Spot): Collector의 awss3 리시버 SQS Message Mode로 S3 객체를 읽어 ClickHouse에 INSERT합니다. 태스크 하나에서 리시버 4개를 병렬로 실행해 분당 최대 약 160만 행을 처리합니다. 0.5 vCPU 태스크를 로그는 4~12개, 트레이스·메트릭·세션은 4~16개 범위에서 CPU 기준으로 오토스케일링합니다. AZ마다 온디맨드 태스크 1개를 두고 나머지는 Spot으로 운영합니다. Spot이 회수돼도 처리 중이던 메시지는 SQS 가시성 제한 시간이 지나면 다시 나타나므로, 적재가 늦어질 뿐 유실되지는 않습니다.
ClickHouse가 멈추면 데이터는 S3에, 아직 처리하지 않은 이벤트는 SQS에 남습니다. ClickHouse가 복구되면 이어서 적재합니다. 다음은 원문이 소개한 설정 발췌입니다.
# 게이트웨이: S3에 쓴 뒤에만 에이전트에 응답 (발췌)
exporters:
awss3/logs:
s3uploader:
s3_partition_format: 'date=%Y-%m-%d/hour=%H/minute=%M'
compression: gzip
marshaler: otlp_proto
timeout: 5s
retry_on_failure:
enabled: true
max_elapsed_time: 6s # 6초 안에 못 쓰면 실패를 돌려줘 에이전트가 재시도
sending_queue:
enabled: true
wait_for_result: true # S3 기록이 끝나야 200 응답
batch:
flush_timeout: 2s # 2초 단위로 묶어 S3 객체 수(요청 요금)를 줄임
min_size: 8388608
# Consumer: SQS로 받은 S3 객체를 ClickHouse에 INSERT (발췌)
receivers:
awss3/1: # 태스크마다 같은 리시버 4개를 병렬로 둔다
s3downloader:
tag_object_after_ingestion: true # 적재가 끝난 객체에 태그
skip_ingesting_tagged_objects: true # 다시 들어와도 중복 적재하지 않음
sqs:
max_number_of_messages: 10
wait_time_seconds: 20
exporters:
clickhouse:
logs_table_name: otel_logs
retry_on_failure:
enabled: true
max_elapsed_time: 240s # SQS 가시성 제한(300초)보다 짧게
sending_queue:
enabled: false # INSERT가 끝나야 SQS 메시지를 지운다EBS 핫 티어와 S3 콜드 티어에 나눈 보존 기간
ClickHouse는 Graviton4 기반 m8g.xlarge 2대를 서로 다른 AZ에 배치했습니다. 이 규모에서는 샤딩이 필요하지 않아 1 shard 2 replica로 복제합니다. ClickHouse Keeper는 t4g.small 3대를 AZ마다 하나씩 둡니다.
각 ClickHouse 노드에는 EBS gp3 1.5TB를 연결합니다. 최근 데이터를 EBS에 저장한 뒤 스토리지 정책에 따라 S3 콜드 티어로 옮기고, 보존 기간이 지나면 TTL로 삭제합니다.
| 구간 | 저장 위치 | 로그 | 트레이스 | 적용 방식 |
|---|---|---|---|---|
| 핫 티어 | EBS gp3 (노드당 1.5TB) | 0~7일 | 0~3일 | 적재 시 EBS에 저장 |
| 콜드 티어 | S3 Standard | 7~180일 | 3~30일 | 스토리지 정책 TTL(TO VOLUME 'cold')로 자동 이동 |
| 스토리지 클래스 전환 | S3 Standard-IA | 콜드 티어 객체 생성 30일 뒤 | Glacier Instant Retrieval은 읽기 요금 때문에 제외 | |
| 삭제 | – | 180일 | 30일 | TTL(DELETE)로 파트 단위 삭제 |
게임 서비스의 조회는 대부분 최근 7일에 몰렸습니다. 원문은 이 때문에 EBS를 작게 유지하고 나머지를 S3에 보관하는 방식이 효과적이었다고 설명합니다. Glacier Instant Retrieval도 사용해 봤지만, AI 에이전트가 MCP로 콜드 구간을 넓게 조회할 때 문제가 됐습니다. 읽기 요금이 Standard-IA의 3배여서 오히려 비용이 늘었고, 이후에는 Standard-IA까지만 사용합니다.
압축 후 크기는 로그가 원문의 약 7분의 1, 트레이스가 약 20분의 1입니다. 로그 테이블의 보존 정책은 다음과 같습니다.
-- 로그 테이블: 7일 뒤 S3 콜드 볼륨으로, 180일 뒤 삭제 (발췌)
ENGINE = ReplicatedMergeTree
PARTITION BY toDate(TimestampTime)
ORDER BY (ServiceName, TimestampTime, Timestamp)
TTL TimestampTime + INTERVAL 7 DAY TO VOLUME 'cold',
TimestampTime + INTERVAL 180 DAY DELETE
SETTINGS storage_policy = 'tiered', -- EBS(핫) + S3(콜드)
ttl_only_drop_parts = 1 -- 파트 단위로 통째 삭제게이트웨이가 S3에 기록한 원문은 이력 추적과 재처리에도 사용합니다. 로그 원문은 Lambda가 매일 전날분을 시간 단위 tar로 묶고, 체크섬과 함께 S3 Glacier Deep Archive에 보관합니다. 원문 객체가 하루 약 27만 개로 잘게 나뉘어 있어, 수명주기 규칙으로 스토리지 클래스를 바꾸면 객체 수에 비례하는 전환 요금이 보관 비용보다 커집니다. 이 때문에 묶어서 보관하는 처리는 직접 구현했습니다.
트레이스·메트릭·세션 원문은 장기 보관하지 않습니다. ClickHouse 장애 때 다시 적재할 수 있도록 14일만 유지한 뒤 삭제합니다.
HyperDX 검색 화면과 Grafana의 SQL 알람
HyperDX(ECS)는 개발팀이 일상적으로 사용하는 도구입니다. 로그 검색, 트레이스 워터폴, 세션 리플레이를 한곳에서 확인합니다. 마케팅팀·채팅팀·게임팀이 사용하는 검색 화면과 대시보드는 20여 개입니다. Grafana도 검색 UI로 검토했지만, 비개발자가 직관적으로 사용할 수 있는 HyperDX를 선택했습니다.
Grafana(ECS)는 ClickHouse 자체 상태와 수집 파이프라인을 감시하고, RDS·ElastiCache·ALB·EC2 같은 AWS 리소스의 메트릭과 CloudWatch 연동을 맡습니다. Grafana Alerting은 게임별·서비스별 Slack 채널로 알람을 보냅니다. 대시보드와 알람 규칙은 Terraform으로 관리합니다.
알람 수는 16개에서 170여 개로 늘었습니다. 원문은 이 증가를 기능보다 전환 시점의 영향으로 설명합니다. SaaS 에이전트를 제거하면서 기존 알람이 모두 멈췄고, 알람을 처음부터 다시 만들어야 했습니다. 이때 대상 범위를 표준화하고 사내 서비스의 AWS 리소스 알람과 직접 운영하는 파이프라인의 알람을 추가했습니다.
이전에는 장애가 나도 카나리 알람 하나만 울려 원인을 찾는 데 75분이 걸렸습니다. 지금은 스토리지 임계치 포화, ClickHouse 메모리 부족, 수집기 비정상 종료처럼 장애가 번지는 단계마다 알람이 있어, 어디서 막혔는지 5분 안에 파악한다고 합니다.
알람을 만들기 전에는 해당 조건이 평소 얼마나 발생하는지 SQL로 확인했습니다. 거의 발생하지 않는 프로세스 크래시나 결제·지급·환불 실패는 1건만 나와도 알리도록 하고, 5xx는 급증할 때 알리도록 구분했습니다.
조건을 SQL로 작성하므로 “이 태그가 붙은 로그가 분당 몇 건 이상"이라는 기준을 그대로 표현할 수 있습니다. 원문의 5xx 급증 알람은 1분 창에서 특정 서버의 http:serverError 태그 로그가 10건을 넘으면 울립니다. 결과에는 건수와 함께 서로 다른 오류 메시지를 최대 5개까지 묶어 반환합니다. Slack 알림만으로도 문제를 짐작할 수 있고, 링크를 누르면 같은 조건의 HyperDX 검색 화면이 열립니다.
카나리·데드맨·정합성 점검을 갖춘 수집 파이프라인
수집 경로의 유실 여부와 감시 기능 자체의 동작은 카나리와 데드맨 스위치로 확인합니다. S3 객체의 적재 누락·중복은 별도의 정합성 점검으로 다룹니다.
- 카나리: Fargate 태스크가 1초에 1건씩 순번을 붙인 로그를 보냅니다. 실제 게임 서버와 같은 경로(ALB, 게이트웨이, S3, Consumer)를 거친 로그를 ClickHouse에서 되읽고, 빠진 순번을 셉니다. 빠진 순번이 곧 유실 건수이며, 5초 넘게 비면 Slack으로 알립니다. 수집기나 ClickHouse가 멈춰도 감시하는 쪽까지 함께 멈추지 않도록, 카나리는 수집 계층과 분리된 Fargate에 배치합니다.
- 데드맨 스위치: 카나리는 ClickHouse에서 자기 로그를 되읽었을 때만 CloudWatch로 하트비트를 보냅니다. 5분간 하트비트가 없으면 알람이 울립니다. ClickHouse를 조회해서 알람을 판단하면 관측 스택이 통째로 멈췄을 때 알람도 멈추므로, 감시하는 쪽은 관측 스택과 분리된 관리형 서비스인 CloudWatch, SNS, Lambda로 구성했습니다.
- 정합성 점검: S3 이벤트 알림은 최소 1회 전달로 설계됐지만 드물게 누락·중복될 수 있습니다. Consumer는 적재를 마친 객체에 완료 태그를 붙입니다. Lambda는 매시간 태그 없이 15분 넘게 남아 있는 객체를 찾아 큐에 다시 넣습니다. 이미 적재된 객체는 Consumer가 건너뛰므로 중복 적재도 생기지 않습니다.
TTL 변경과 머지 예약에 막힌 ClickHouse 노드
전환은 기존 SaaS와 병행 운영하며 진행했습니다. 2025년 7월 Loki를 시도한 때부터는 1년 남짓, 2026년 4월 ClickStack을 구축한 때부터는 약 6개월이 걸렸습니다. 라이브 게임을 하나씩 옮기며 두 서비스를 나란히 운영한 기간은 8월 말부터 9월 말까지 한 달 남짓입니다.
각 게임 담당 개발자가 에이전트 설정을 배포에 포함하면 온보딩이 끝났으므로, 기술적인 작업보다 일정 조율에 시간이 더 들었습니다. 과거 로그는 옮기지 않았습니다. 필요한 경우 S3 Glacier Deep Archive에 남아 있는 기존 아카이브를 복원해 확인합니다.
초기 운영에서는 다음 네 가지 문제를 겪었습니다.
- TTL 변경: 운영 중인 로그 테이블의 TTL을 수정하자 두 노드가 모두 응답을 멈췄습니다. 기본 설정에서는 TTL 변경이 기존 파트 전체의 재작성으로 이어져, 82GiB를 다시 쓰기 시작한 것이 원인이었습니다. 이후에는
materialize_ttl_after_modify = 0으로 기존 파트를 건드리지 않고 머지할 때 천천히 적용합니다. - 낮 시간 백필: 밀린 데이터를 낮에 한꺼번에 적재했다가 당시 2 vCPU였던 노드가 30분 가까이 응답하지 않았습니다. 그 뒤로 백필과 의도적인 재기동은 트래픽이 적은 새벽부터 오전 사이에 진행합니다.
- 자동 컬럼 통계: 당시 사용하던 ClickHouse 26.4는 5분마다 모든 파트의 통계 파일을 다시 읽었습니다. S3의 콜드 파트를 읽는 동안 한 번에 4~5분씩 파트 잠금을 잡았고, INSERT 커밋이 2~5초씩 지연됐습니다. 통계 생성은 유지하고 주기 갱신만 꺼서 해결했습니다.
- 직접 INSERT 구조: 초기 게이트웨이는 ClickHouse에 직접 INSERT했습니다. 라이브 게임 이관과 신규 게임 오픈이 겹치며 일별 파티션이 며칠 새 세 배 가까이 커졌습니다. EBS가 차면서 ClickHouse가 S3로 파트를 옮기기 시작했고, 그 부하는 게이트웨이의 메모리 압박으로 번졌습니다. 카나리가 즉시 감지한 뒤 원인을 추적해 보니, 150GB가 넘는 머지 하나가 두 시간 넘게 디스크 공간을 예약하고 있었습니다. 실제 사용률은 78%였지만 예약분 때문에 여유 공간이 부족하다고 판단한 것입니다. 머지 최대 크기를 50GB로 낮춰 문제를 바로 막았습니다.
마지막 사건에서 얻은 첫 번째 교훈은 용량 산정에 관한 것이었습니다. SaaS 화면의 message 길이를 원문 크기로 착각해 저장량을 몇 배 낮게 잡았습니다. 이후에는 온보딩 전에 바이트 기준으로 용량을 측정합니다.
두 번째 교훈은 저장소 부하가 수집 경로의 가용성을 흔든다는 점이었습니다. 이를 계기로 앞서 설명한 S3·SQS 구조로 수집 경로를 다시 설계했습니다.
전환에 앞서 새 경로의 데이터를 별도 테이블에 병행 적재하고, 시간별 건수가 100% 일치하는지 확인했습니다. 카나리와 데드맨도 붙였습니다. S3 원문으로 ClickHouse를 다시 만드는 복구 테스트는 두 번 진행했습니다. AI 코딩 에이전트와 복구 테스트를 하루 만에 마친 뒤 다음 날 전환했습니다.
전환 후에는 비용을 줄이려고 하루에 여러 번 노드를 재기동하고, 다음 날 데이터 볼륨을 통째로 교체했습니다. 두 번 모두 카나리 누락은 0이었습니다. 이를 확인한 뒤 EBS를 더 작은 크기로 단계적으로 바꾸고 트레이스 압축을 켰습니다.
수집 범위를 넓히고도 절반 이하로 줄어든 관측 비용
원문이 밝힌 관측 비용은 기존의 절반 이하입니다. 기존 비용에는 실제 사용하던 호스트 모니터링과 로그만 포함됐지만, 전환 후 비용에는 트레이스·메트릭·세션 리플레이까지 들어 있습니다. 원문은 같은 범위로 비교하면 절감 폭이 더 크다고 설명합니다.
AWS 비용은 관측 스택만 운영하는 모니터링 계정의 청구서를 기준으로 계산했습니다. EC2, EBS, S3(보관·요청·회수), 데이터 전송, 로드밸런서, Fargate, NAT를 모두 합산한 값입니다. 현재 구조에서 EC2는 고정비에 가깝습니다. 로그가 늘면 최근 7일치를 담는 EBS, S3 저장·요청, Fargate 비용이 증가하지만, 원문은 증가 폭이 완만해 1년 뒤에도 현재의 1.2배 안쪽일 것으로 예상합니다.
| 항목 | 전환 전 | 전환 후 |
|---|---|---|
| 검색 가능 보존 | 15일 | 로그 180일, 트레이스 30일 |
| 분산 트레이싱 | 미사용(비용) | 주력 게임과 초기 프로젝트에 적용, 확대 중 |
| 수집 대상 | 라이브 게임만 | 샌드박스, 운영 도구, 오토스케일 서버 포함 |
| 서비스 수 | 라이브 게임 서버 위주 | 약 200개 |
| 알람 | 16개 | 170여 개 |
| 세션 리플레이 | 미사용 | 운영 콘솔 어드민 조작 리플레이 |
로그에 담긴 요청·응답 본문으로 엔드포인트별 집계나 문의한 이용자의 요청 흐름 재현을 SQL 한 번에 처리합니다. 각 팀은 라우트별 응답시간, 느린 요청 Top 100 같은 대시보드도 직접 만듭니다.
HyperDX가 제공하는 MCP 서버를 통해 AI 에이전트가 장애 때 로그와 트레이스를 직접 쿼리하고 원인을 좁혀 옵니다. 서창민 팀장은 이를 원인 추적에서 가장 큰 변화로 꼽았습니다.
운영에서 얻은 다섯 교훈과 남은 최적화
원문은 구축과 운영에서 얻은 교훈을 다섯 가지로 정리합니다.
- 관측 파이프라인은 첫날부터 카나리와 데드맨으로 스스로를 감시해야 합니다.
- 수집 경로와 저장소 사이에는 내구성 있는 버퍼를 둬야 합니다.
- 비용에 가장 큰 영향을 주는 요소는 인스턴스보다 로그 스키마입니다. 로그 용량의 70% 이상을 차지하는 API 요청·응답 본문을 어디까지 남길지 미리 정했다면, 인프라 최적화에 들인 시간을 줄였을 것이라고 합니다.
- 에이전트와 SDK가 압축을 켜고 보내는지 첫날 확인해야 합니다. 게임듀오는 애플리케이션 SDK가 트레이스를 비압축 JSON으로 보내고 있다는 사실을 뒤늦게 발견했습니다. gzip을 켜자 트레이스 유입량은 90% 넘게 줄었고, 로드밸런서 요금은 절반 아래로 내려갔습니다.
- 버전과 스키마 변경은 복제본 한 대에 먼저 적용하고 실제 쿼리 로그를 재생해 봐야 합니다. 큰 테이블의 TTL·스키마 변경은 머지할 때 천천히 적용하거나, 파티션 단위로 나눠 한산한 시간에 진행합니다.
운영 부담은 Terraform 전면 관리와 AI 코딩 에이전트로 상당 부분 덜었다고 합니다. main에 머지하면 GitHub Actions가 변경을 적용합니다. 알람 170여 개, 카나리, 데드맨, 매일 아침 오류 리포트, 콜드 티어 이동과 TTL, EBS 확장 시 파일시스템 확장까지 사람 손을 거치지 않습니다. SaaS의 자동 이상 탐지와 서비스 맵을 대신할 AI 봇과 대시보드도 별도로 만들었습니다.
AI 에이전트의 비용 예측을 그대로 받아들이지는 않습니다. 에이전트가 서브넷을 AZ로 착각해 존재하지 않는 절감분을 예측에 넣거나, 비용을 15% 넘게 낙관적으로 잡은 적이 있습니다. 이 경험 이후 “비용 예측은 청구서로 역검증한다"가 팀 규칙이 됐습니다.
다음 단계는 나머지 게임에도 트레이스를 켜고, 서버 에이전트를 거쳐 압축해 보내는 방식을 전 게임에 적용하는 것입니다. 호스트 메트릭 수집도 전 서버로 넓힙니다. 원문은 클러스터가 당분간 2노드로 충분하다고 보고, 확장보다 로그 최적화를 먼저 진행할 계획을 밝힙니다. 특히 요청·응답 본문 중 무엇을 남길지 게임팀과 협의하는 일을 우선합니다.
같은 저장 구조를 우리 설계 기준과 대조하려면 hot 스토리지 — EBS gp3, S3 콜드 티어링, 용량 산정 문서를 함께 보면 됩니다.