본문으로 건너뛰기
카카오 DBA가 약 1년을 기다려 살펴본 MongoDB 8.0
목차

카카오 DBA가 약 1년을 기다려 살펴본 MongoDB 8.0 (2025-12)

원문 정보

업그레이드 부담을 덜어 줄 지원 기간

새 버전이 늘 더 빠르지는 않습니다. 기능이 늘고 복잡도가 높아지면서 업그레이드 뒤 오히려 성능이 떨어지는 사례도 흔합니다. 카카오가 새 MongoDB GA 버전의 출시 후 약 1년을 안정화 기간으로 두고, 충분히 검증된 시점에 업그레이드를 검토하는 이유입니다.

MongoDB 8.0도 출시된 지 약 1년이 지난 시점에 검토했습니다. MongoDB는 그동안의 성능 관련 피드백을 반영해 이번 버전에서 성능과 안정성 개선에 투자했다고 강조했습니다. 카카오 DBA 팀도 성능 향상을 체감했고 운영 편의성이 높아졌다고 평가했습니다. 그렇다고 최신 버전이라는 이유만으로 도입을 서두르지는 않습니다. 업그레이드 시점은 팀 상황과 서비스 특성에 맞춰 고른다는 입장입니다.

장기 운영을 위한 여건도 달라졌습니다. 기존 메이저 버전의 지원 기간은 약 3년이었지만, 2024년 10월 출시된 8.0은 2029년 10월 31일까지 약 5년 지원이 예정되어 있습니다. 공식 명칭이 LTS인 것은 아니어도, 오래 유지할 기준 버전을 확보하고 업그레이드에 드는 자원을 줄일 수 있는 변화입니다. 8.2부터는 Atlas 전용이던 래피드 릴리스가 온프레미스에서도 마이너 릴리스로 제공됩니다. 서비스마다 안정성을 우선하거나 새 기능을 빠르게 검토할 선택지가 생겼습니다.

Apply를 기다리지 않는 majority 응답

Write Concern majority는 쓰기 내구성을 보장하기 위해 복제 멤버 과반수에 쓰기가 반영되어야 성공으로 판단하는 설정입니다. MongoDB 5.0부터 기본값이 됐지만, 쓰기 성능을 떨어뜨리는 주요 원인으로도 꼽혔습니다. 8.0은 성공을 판단하는 시점을 앞당겼습니다.

세컨더리의 복제는 oplog를 가져오는 Fetch, oplog.rs에 기록하는 Write, 실제 컬렉션에 적용하는 Apply 순서로 진행됩니다. 이전에는 Apply가 끝난 lastApplied를 기준으로 삼았습니다. 8.0은 Write가 끝난 lastWritten으로 기준을 바꿔, 데이터 파일에 적용될 때까지 기다리지 않고 응답합니다.

카카오가 YCSB, mongo-perf, 사내 벤치마크 도구로 측정한 쓰기 처리량은 7.0보다 약 30~47% 높았습니다. 배치가 클수록 개선 폭도 커졌고, MongoDB가 제시한 수치와도 대체로 일치했습니다. 대신 쓰기 성공 응답을 받은 직후 세컨더리에서 읽으면 아직 Apply를 마치지 않아 최신 변경이 보이지 않을 수 있습니다. 세컨더리의 지연 가능성은 이전 버전에도 있었던 특성이며, 쓰기와 뒤이은 읽기의 인과관계는 인과적 일관성 세션(Causally Consistent Session)으로 보완할 수 있습니다.

모니터링에도 변경이 있습니다. OplogWriter와 OplogApplier 사이에 버퍼가 추가되면서 metrics.repl.buffer.* 메트릭이 apply와 write로 나뉘었습니다.

여러 컬렉션의 작업을 묶는 Bulk Write

기존 bulkWrite()는 한 컬렉션의 여러 연산을 한 요청으로 묶었습니다. 8.0의 새 bulkWrite 데이터베이스 명령은 이 범위를 여러 컬렉션으로 넓혔습니다. 대상 컬렉션은 nsInfo 배열로 지정합니다.

복제할 기록도 묶습니다. 이전에는 insertMany()로 도큐먼트 100개를 넣어도 oplog 엔트리를 100개 만들고 각각 optime을 부여했습니다. WiredTiger는 이미 벌크 insert를 단일 트랜잭션으로 처리할 수 있는데, oplog에서는 다시 개별 작업으로 나누고 있었습니다. 8.0은 가능한 경우 여러 insert를 하나의 엔트리에 기록하며, 묶음 크기는 internalInsertMaxBatchSize의 기본값 500으로 제한합니다. 세컨더리의 동기화 효율을 높이고 복제 지연 가능성을 낮추는 변경으로, 대규모 쓰기가 많은 환경에서 효과를 기대할 수 있습니다.

세컨더리에서 사라진 PBWM

세컨더리의 읽기를 지연시키던 PBWM(Parallel Batch Writer Mode) 락도 제거됐습니다. 과거에는 oplog 배치를 병렬로 적용하는 동안 읽기가 대기했고, 해당 배치와 관계없는 데이터 조회도 이 글로벌 락의 영향을 받았습니다.

MongoDB 4.0의 lastApplied 기반 timestamp 조회와 5.0의 Lock-Free Operations가 읽기 지연을 상당 부분 해소했지만, 일부 내부 작업은 여전히 영향을 받았습니다. 7.1에서 락을 제거했고, 커뮤니티 바이너리 기준으로 8.0에서는 PBWM으로 인한 위험이 모두 사라졌습니다. 카카오는 대부분의 서비스가 직접 체감하기는 어려운 변경으로 보면서도, 이런 내부 개선이 성능 향상에 기여했다고 평가했습니다.

단순 조회의 준비 과정을 줄인 Express Plan

_id로 도큐먼트 하나를 찾는 쿼리에도 범용 쿼리 플래닝의 비용이 들었습니다. 이전부터 단일 문서 검색에 최적화된 IDHACK 스테이지가 있었지만, 그 스테이지를 선택하기 전까지의 준비 과정은 남아 있었습니다.

Express Plan은 실행 경로가 명확한 쿼리를 파싱 직후 실행합니다. 쿼리 플래닝과 플랜 캐시 조회, Executor 구성, Halloween Problem 검증 등을 생략하는 방식입니다. 적용 범위는 제한적입니다.

  • IdPointQueryEligible: _id 필드의 단일 값 조회
  • IndexedEqualityEligible: 인덱스를 사용하는 동등 조건 조회 중 유니크 인덱스나 limit: 1로 단건 조회가 보장되는 경우

여기에 hint, sort, skip, 범위 조건, 정규식이 없어야 합니다. projection도 최상위 필드를 단순히 선택하는 형태만 허용하며, 조건을 벗어나면 기존 실행 방식으로 돌아갑니다.

단일 스레드에서 같은 mongo-perf 워크로드를 실행한 결과, Express Plan이 적용되는 단순 쿼리는 7.0보다 처리량이 평균 45% 이상 높았고 응답 시간은 약 30% 줄었습니다. 복잡한 쿼리 전반의 개선 수치는 아닙니다. 실행할 일이 단순한 쿼리에서 준비 비용을 줄인 결과입니다.

클러스터 전체에 유지되는 Query Settings

옵티마이저가 비효율적인 인덱스를 고르면 운영자가 개입해야 합니다. 기존 cursor.hint()는 클라이언트에서 인덱스를 지정하므로 변경할 때 애플리케이션 코드를 고쳐야 했고, 삭제된 인덱스를 계속 지정하면 장애를 일으킬 수 있었습니다. 서버의 Index Filter도 불편했습니다. 노드마다 설정해야 하고 재시작하면 사라졌으며, 쿼리에 맞지 않는 인덱스를 지정해도 그대로 실행해 전체 컬렉션 스캔을 유발했습니다.

8.0은 쿼리의 형태를 식별하는 Query Shape과 형태별 실행 정책을 정하는 Query Settings를 도입하면서 Index Filter를 완전히 제거했습니다. setQuerySettings로 지정한 정책은 클러스터 전체에 적용되며 재시작 후에도 유지됩니다.

정책으로 지정할 수 있는 범위도 넓어졌습니다. indexHints는 옵티마이저가 고려할 인덱스를 제한하고, queryFramework는 classic 또는 sbe 엔진을 지정합니다. 위험한 형태의 쿼리는 reject로 차단하고, 설정 배경은 comment에 남길 수 있습니다. 단, Express Plan 대상 쿼리에 queryFramework를 지정하면 Express Plan은 비활성화됩니다.

사용할 수 없거나 삭제된 인덱스를 설정했을 때는 해당 설정을 무시하고 플래너를 다시 실행합니다. 잘못된 설정에서 벗어날 수는 있지만 비용이 없어지는 것은 아닙니다. 불필요한 설정을 계속 남겨 두면 플래너를 두 번 생성하는 오버헤드가 생깁니다.

Query Shape은 실제 값 대신 타입을 남겨 구분합니다. {a: 1}과 {a: 2}는 같은 형태지만 {a: "Apple"}은 다른 형태입니다. 식별자는 SHA256으로 만든 queryShapeHash이며, 플랜 캐시용 식별자였던 queryHash는 혼동을 줄이기 위해 planCacheShapeHash로 이름이 바뀌었습니다.

작게 시작해 확장하는 Config Shard

단일 샤드 클러스터에도 메타데이터 전용 컨피그 서버 3노드가 필요했습니다. 이 초기 비용 때문에 레플리카 셋으로 시작했다가 서비스가 커지면 샤드 클러스터로 전환하는 경우가 있었고, 전환 작업은 복잡했습니다. 7.0 이전에는 서비스 중단도 필요했습니다.

Config Shard는 컨피그 서버에 사용자 데이터도 저장하는 선택지입니다. 처음부터 단일 샤드 클러스터로 구성해 레플리카 셋처럼 쓰다가, 필요할 때 샤드를 추가할 수 있습니다. transitionFromDedicatedConfigServer와 transitionToDedicatedConfigServer 명령으로 전용 컨피그 서버와 Config Shard 사이를 전환합니다.

사용할 수 없는 조건도 있습니다. Queryable Encryption 컬렉션은 전환에 필요한 데이터 이동을 지원하지 않으며, 온프레미스 Queryable Backup은 Config Shard와 호환되지 않습니다. 메타데이터와 사용자 워크로드를 함께 처리한다는 점도 고려 대상입니다. 카카오는 테스트나 소규모 운영에 적합한 옵션으로 보고, 일정 규모 이상에서는 전용 컨피그 서버가 안정성에 유리하다고 평가했습니다.

샤드 재배치를 위해 만드는 임시 컬렉션

MongoDB 5.0에 Live Resharding이 도입되면서 샤드키를 바꿀 수 있게 됐지만, 카카오는 초기 버전의 성능과 안정성이 실무에 바로 적용하기에는 부족했다고 봤습니다. 8.0에서는 리샤딩이 크게 개선됐고, forceRedistribution으로 같은 샤드키를 유지한 채 데이터를 재분배하는 작업도 가능해졌습니다.

리샤딩은 기존 컬렉션을 그대로 두고 임시 컬렉션을 새로 구성합니다. 전체 과정을 조율하는 Coordinator, 기존 데이터를 제공하는 Donor, 새 데이터를 받는 Recipient가 각자의 상태 기계에 따라 움직입니다.

복제의 출발점부터 맞춥니다. Donor는 oplog에 새 샤드키 기준의 목적지를 나타내는 destinedRecipient를 붙이기 시작한 시점을 minFetchTimestamp로 전달합니다. Coordinator는 그중 가장 큰 값을 cloneTimestamp로 고릅니다. 그래야 이후 변경 사항을 어느 Recipient에 적용할지 모든 Donor의 oplog에서 알 수 있습니다.

Recipient는 이 시점의 데이터를 snapshot read로 읽어 임시 컬렉션에 복제합니다. 8.0부터는 인덱스 스캔 대신 $natural 정렬의 전체 조회를 사용하고, 인덱스 빌드는 데이터 복제가 끝난 뒤 수행하도록 분리해 성능을 높였습니다. 과거 변경 이력을 보관하는 History Store 덕분에 변경 이력을 모두 메모리에 유지하지 않고도 해당 시점의 데이터를 조회할 수 있습니다. 자세한 동작은 카카오의 이전 글에 있는 WiredTigerHS.wt 항목에서 다룹니다.

복제가 끝나면 oplog를 적용해 최신 상태를 따라잡습니다. 작업을 잠시 차단하는 구간에 진입할지를 판단하는 remainingReshardingOperationTimeThresholdMillis의 기본값은 2초에서 500ms로 줄었습니다. 조건을 충족하면 쓰기를 막고 남은 oplog를 반영한 뒤, 일관성을 확인하고 임시 컬렉션의 이름을 바꿔 전환합니다. 쓰기 차단 단계에서는 최대 2초의 중단이 발생하므로 서비스가 이를 허용할 수 있어야 합니다. 전체 데이터를 복제할 디스크 공간과 작업 중 늘어나는 자원 사용량도 고려해야 합니다.

forceRedistribution은 샤드 추가 뒤의 재배치에도 쓸 수 있습니다. 기존 백그라운드 밸런싱에서는 mongos가 오래된 메타데이터를 참조해 Stale Config 오류와 쿼리 지연을 일으키곤 했습니다. 임시 컬렉션에 전체 데이터를 다시 구성하고 교체하는 방식으로, 긴 밸런싱 대기와 이 문제를 해소할 수 있습니다.

이동과 샤딩 해제에 쓰이는 리샤딩

기존 movePrimary는 데이터베이스 단위로만 이동했고, 작업 중 해당 데이터베이스의 모든 요청을 막았습니다. 샤딩을 해제하는 명령도 없어 새 컬렉션으로 별도 마이그레이션해야 했습니다.

8.0의 moveCollection과 unshardCollection은 리샤딩을 활용해 컬렉션 이동과 샤딩 해제를 지원합니다. 결과 컬렉션은 unsplittable 플래그로 구분하며 샤딩된 컬렉션의 제약을 받지 않습니다. 자주 실행할 명령은 아니지만, 공용 클러스터에서 트래픽이 늘면 샤딩하고 줄면 다시 해제하거나 다른 샤드로 옮기는 운영을 검토할 수 있습니다.

코어마다 캐시를 두는 Per-CPU TCMalloc

MongoDB의 메모리 할당자인 TCMalloc은 스레드별 캐시를 사용해 왔습니다. 스레드가 적을 때는 효율적이지만, 많아지면 캐시가 분산되고 할당·해제 패턴의 차이로 파편화가 심해질 수 있었습니다.

8.0은 캐시 수가 CPU 코어 수에 비례하는 Per-CPU Cache를 적용했습니다. 각 코어가 재사용할 메모리를 보관하고, Linux Kernel 4.18에 도입된 rseq를 활용해 대부분의 요청을 코어 안에서 잠금 없이 처리합니다. usingPerCPUCaches 메트릭으로 활성화 여부를 확인할 수 있습니다.

THP 권장 설정도 달라졌습니다. 기존에는 큰 페이지의 일부만 쓰면서 생기는 메모리 낭비와, 연속된 페이지를 만들기 위한 커널 defrag 작업의 지연 때문에 대부분의 DBMS가 THP 비활성화를 권했습니다. 8.0의 TCMalloc에는 Hugepage-Aware PageHeap이 들어가 작은 객체들을 모아 2MB 단위로 메모리를 관리합니다. 이 변경에 따라 MongoDB 8.0부터는 THP 활성화를 권장합니다. TCMalloc의 새 기능에 의존하는 변경인 만큼, 세부 적용 조건은 공식 가이드를 기준으로 확인하도록 안내하고 있습니다.

Community Edition으로 넓어진 MongoDB Search

검색을 위해 Elasticsearch 같은 별도 시스템을 운영하면 두 시스템 사이의 데이터 동기화도 관리해야 합니다. MongoDB Search는 이 부담을 줄일 수 있는 선택지입니다. 8.0 자체의 기능은 아니며, 8.2부터 Atlas 전용이던 Lucene 기반 전문 검색과 Vector Search가 Community Edition에 공개됐습니다. 글이 나온 2025년 12월 당시에는 Public Preview였고 정식 릴리스는 이듬해로 예정되어 있었습니다.

검색은 mongod와 분리된 mongot 프로세스가 담당합니다. mongot가 Change Streams로 변경 사항을 받아 검색 인덱스를 만들고, $search 요청을 받은 mongod는 mongot가 반환한 _id 목록으로 도큐먼트를 조회해 결과를 돌려줍니다.

장애 대응에도 기존 복제 구성을 활용합니다. mongot의 syncSource를 레플리카 셋으로 지정하면 일부 mongod가 장애를 겪어도 정상 노드에서 동기화를 이어갈 수 있습니다. 검색 요청은 stateless하게 처리하므로 여러 mongot를 GSLB나 DNS 라우팅으로 묶어 부하 분산과 HA를 구성할 수 있습니다.

중단 뒤 복구 비용은 oplog 보관 기간에 달려 있습니다. 필요한 oplog가 남아 있으면 변경 사항을 따라잡지만, 보관 기간을 넘기면 Initial Sync로 인덱스를 처음부터 다시 만들어야 합니다. 대용량 컬렉션에서는 이 비용이 크므로 보관 기간을 여유 있게 잡아야 합니다. 검색을 MongoDB 안에서 통합 운영할 가능성은 열렸지만, 당시에는 Elasticsearch보다 기능 다양성과 커스터마이징에 부족한 부분이 있었습니다. 도입 여부는 서비스의 검색 요구사항을 충족하는지 확인한 뒤 판단할 사안입니다.

샤드키 없는 쓰기에 남은 쿼리 조건

8.0은 샤딩된 컬렉션의 쓰기 필터 제약도 완화했습니다. 이전에는 deleteOne()에 전체 샤드키 또는 _id가 필요했고, findAndModify는 단일 샤드를 특정해야 했습니다. upsert를 사용하는 updateOne에는 전체 샤드키가 필수였습니다.

이제 샤드키가 없어도 내부에서 대상 샤드를 찾습니다. _clusterQueryWithoutShardKey가 관련 샤드에 단건 조회를 보내 하나를 고른 뒤, _clusterWriteWithoutShardKey가 그 샤드에만 쓰는 Two-Phase Protocol입니다. 최종 쓰기가 단일 샤드에서 수행되는 트랜잭션이므로 2PC와는 다른 개념입니다. 최소 두 번의 왕복이 필요해 성능을 고려하면 여전히 필터에 샤드키를 포함하는 편을 권장합니다.

샤드 사이의 고유성을 가정하는 _id

카카오가 검토 중 제보한 문제는 이 동작의 예외에서 드러났습니다. _id가 샤드키가 아니면 샤드 간 고유성을 MongoDB가 보장하지 않지만, 내부 동작은 애플리케이션이 그 고유성을 지킨다고 가정합니다.

서로 다른 샤드에 _id: 10인 도큐먼트가 하나씩 있을 때, {_id: 10}으로 updateOne()을 실행하면 Two-Phase Protocol을 사용하지 않고 브로드캐스트합니다. 결과적으로 두 도큐먼트가 모두 갱신됩니다. 그런데 반환값의 matchedCount와 modifiedCount는 각각 1입니다.

갱신 건수의 불일치는 당시 패치 예정이었습니다. _id를 고유하다고 가정하는 동작 자체는 여러 부분과 얽혀 있어 해결에 시간이 걸릴 것으로 예상했습니다. deleteOne과 replaceOne()에도 관련 문제가 있으며, 카카오는 드라이버가 자동 생성하는 ObjectId를 사용하거나 필요하다면 _id를 샤드키로 지정하는 방식을 권장했습니다.

호환성 표시에 가려진 sort 옵션

8.0부터 updateOne()과 replaceOne()에 정렬 옵션을 지정할 수 있지만, 서버 호환성만 확인해서는 충분하지 않았습니다. Node.js 드라이버 6.16.0은 MongoDB 8.0 호환성을 충족하면서도 sort 옵션이 구현되어 있지 않아 이를 무시했습니다. 같은 드라이버를 쓰는 mongosh 2.5.6도 영향을 받았습니다.

이 문제는 Node.js 드라이버 6.17.0과 mongosh 2.5.7에서 해결됐습니다. 정렬을 지정했는데 예상과 다른 도큐먼트가 갱신된다면 드라이버 버전을 확인하고 업그레이드하도록 권장했습니다.

검토 과정에서는 변경된 동작과 파라미터가 공식 문서에 반영되지 않은 부분도 발견했습니다. 확인한 내용은 수정을 요청했으며, 대부분 사소한 차이로 서비스 운영에 문제가 될 정도는 아니었다고 밝혔습니다.

원문이 든 측정값과 설정값
항목값
지원 기간8.0은 2024년 10월 출시, 2029년 10월 31일까지 약 5년 (기존 약 3년)
majority 쓰기 처리량7.0 대비 약 30~47% 향상, 배치가 클수록 개선 폭 증가
majority 판단 기준lastApplied에서 lastWritten으로 변경
Bulk insert oplog 묶음 한도internalInsertMaxBatchSize 기본 500
Express Plan 개선평균 처리량 45% 이상 향상, 응답 시간 약 30% 감소
Queries.IntNonIdFindOne43,092에서 64,365 ops/s (+49.4%), 0.0232에서 0.0155 ms/op (-33.0%)
Queries.IdentityView.IntNonIdFindOne52,530에서 77,443 ops/s (+47.4%), 0.0190에서 0.0129 ms/op (-32.2%)
Queries.NonIdFindOne39,281에서 58,824 ops/s (+49.8%), 0.0255에서 0.0170 ms/op (-33.3%)
리샤딩 임계치 기본값remainingReshardingOperationTimeThresholdMillis 2초에서 500ms
리샤딩 쓰기 중단최대 2초
queryShapeHashSHA256, 64자리 16진수
planCacheShapeHash (구 queryHash)MurmurHash, 8자리 16진수
Per-CPU Cache 조건Linux Kernel 4.18 이상, rseq 사용 가능
sort 옵션 수정Node.js 드라이버 6.17.0, mongosh 2.5.7
마지막 수정 일자