목차
Oracle RAC 커밋을 늦춘 소켓 하나의 NIC 인터럽트 (2026-10)
원문 정보
- 원문: 평균 CPU는 여유로운데, 커밋은 왜 느릴까?
- 매체 · 게시일: 토스 기술 블로그 · 2026-10-19
- 저자: 조규범 (토스증권 DBA Team)
- 원문 내용을 바탕으로 재구성한 요약입니다.
커밋 지연이 되풀이된 28번 CPU
토스증권의 주문·체결 API 뒤에 있는 Oracle DB에서 커밋 대기가 0.1초 넘게 이어지는 일이 반복됐습니다. 거래가 몰리는 정규장에는 그냥 넘기기 어려운 지연입니다. 커밋을 기다리던 세션들이 함께 멈추면서 API 응답까지 늦어지기 때문입니다.
스토리지, OS, 네트워크, 애플리케이션, Oracle을 차례로 확인해도 평균 지표는 모두 정상 범위였습니다. 호스트 CPU에도 여유가 있었습니다. 팀은 간헐적인 지연이 평균에 묻혔을 가능성을 보고, 커밋 기록을 맡는 LGWR(log writer)를 더 잘게 들여다보기로 했습니다.
Oracle의 커밋은 변경 내용을 담은 리두 로그가 디스크에 기록돼야 끝납니다. 이 기록을 전담하는 백그라운드 프로세스가 LGWR이고, 세션이 기록 완료를 기다리는 시간은 log file sync 대기 이벤트로 나타납니다. 인스턴스의 모든 커밋 기록이 LGWR를 거칩니다. LGWR가 잠깐만 밀려도 그사이 커밋한 세션이 모두 함께 기다리는 이유입니다.
규칙은 실행 CPU에서 드러났습니다. pidstat으로 LGWR가 어디서 실행되는지 기록하자, 지연은 28번 CPU에서 실행될 때만 나타났습니다. 같은 프로세스가 같은 일을 하는데 CPU에 따라 결과가 달랐으니, 원인이 Oracle보다 아래인 OS나 하드웨어에 있을 가능성이 컸습니다.
평균 CPU만으로는 이 차이를 보기 어렵습니다. 호스트 CPU가 80% 놀고 있어도 특정 코어는 꽉 차 있을 수 있습니다. 간헐적인 지연을 겪는다면 pidstat -t -p <pid> 1로 프로세스가 어느 CPU에서 실행되는지까지 확인하는 편이 좋습니다.
활성 NIC 포트 하나에 몰린 인터럽트
28번 CPU에서 LGWR와 함께 처리되던 작업은 NIC 인터럽트였습니다. /proc/interrupts는 장치별로 각 CPU가 처리한 인터럽트 수를 누적해 보여 줍니다. 30초 간격으로 두 번 읽어 차이를 구하면, 그사이 어떤 NIC 큐의 인터럽트가 어느 CPU에 쌓였는지 보입니다. 별도 도구 없이 cat 두 번이면 확인할 수 있는 값입니다.
숫자는 일부 CPU 열에만 쌓여 있었습니다. NIC 인터럽트가 물리 코어 32개 중 8개, 논리 CPU로는 64개 중 16개에만 몰려 있었습니다. 이 서버는 소켓 4개에 물리 코어가 8개씩 있고 하이퍼스레딩을 켠 구성입니다. 인터럽트를 처리한 물리 코어 8개는 정확히 소켓 하나 분량입니다.
각 소켓과 그 소켓에 직접 연결된 메모리는 하나의 NUMA 노드를 이룹니다. 이 서버의 NIC 포트는 물리적으로 특정 소켓에 연결되므로, NIC를 어느 슬롯에 꽂았는지가 인터럽트를 처리할 소켓을 정합니다. 여기에 인터커넥트 NIC 2장이 Active-Standby 본딩으로 묶여 있었습니다. 이중화를 위해 두 장을 설치했어도 평소에는 활성 포트 하나만 쓰고 다른 포트는 대기하는 방식입니다. 인터커넥트 트래픽과 인터럽트가 활성 포트에 연결된 소켓 하나로 몰렸습니다.
인터럽트를 맡은 코어들은 저마다 특정 NIC 포트의 큐를 하나씩 처리했습니다. 그중에서도 Oracle RAC 인터커넥트 포트의 인터럽트가 몇몇 코어에 더 집중됐고, 28번 CPU도 그중 하나였습니다. RAC 인터커넥트는 두 노드가 캐시 블록을 주고받는, 클러스터에서 가장 바쁜 네트워크 경로입니다. DB에서 가장 바쁜 프로세스 중 하나인 LGWR가 이 경로의 인터럽트와 같은 코어를 두고 경합한 것입니다.
NIC 인터럽트는 일반 프로세스보다 먼저 처리됩니다. LGWR가 해당 코어에서 실행 중일 때 상대 노드의 패킷이 도착하면, 커널은 LGWR를 멈추고 NIC 인터럽트를 먼저 처리합니다. 그만큼 리두 로그 기록이 밀리고 커밋을 기다리던 세션도 멈춥니다.
한 번 밀리는 시간은 짧습니다. 하지만 트래픽이 몰리는 동안 이 과정이 반복되면 커밋 대기가 눈에 띄게 길어질 수 있습니다. 호스트 전체의 CPU에 여유가 있어도, 바쁜 코어에서 실행되는 LGWR는 기다려야 합니다.
두 소켓에 나눠 꽂은 인터커넥트 NIC
팀은 인터커넥트 NIC 2장을 서로 다른 소켓에 연결된 슬롯으로 옮기고 본딩을 Active-Active로 바꿨습니다. 두 포트를 함께 쓰도록 바꿔 인터럽트를 두 소켓으로 나누는 방법입니다. Oracle을 기동할 때마다 수동 설정을 챙기지 않아도 된다는 점도 이 선택의 이유였습니다.
설정으로 재분배하는 시도는 통하지 않았습니다. 앞서 irqbalance를 적용해 봤지만, 이 장비에서는 NIC 큐와 CPU의 매핑 제약 때문에 설정이 적용되지 않았습니다. 인터럽트는 여전히 같은 코어에 몰려 있었습니다.
taskset으로 LGWR를 다른 소켓의 CPU에 고정하는 방법도 검토했습니다. 인터럽트를 피해 프로세스를 옮기는 접근입니다. 하지만 Oracle을 기동할 때마다 수동으로 설정해야 하므로 운영 중 놓치기 쉽다고 판단했습니다.
본딩을 바꾸는 작업 자체는 어렵지 않았습니다. 오래 걸린 쪽은 이 변경이 왜 필요한지 알아내는 과정이었습니다. 스토리지, OS, 네트워크, Oracle은 각자 정상으로 동작했지만, NIC가 꽂힌 슬롯과 본딩 방식, LGWR가 스케줄된 코어가 맞물리자 커밋이 늦어졌습니다. 한 레이어의 지표만으로는 설명하기 어려운 문제였습니다.
이 사례에서 장착 슬롯도 성능 설계의 일부였습니다. 다중 소켓 서버에서는 NIC나 HBA 포트가 특정 NUMA 노드에 연결되므로, 장비를 도입하거나 증설할 때 소켓 분산을 고려해 슬롯을 정하는 편이 좋습니다. 핵심 트래픽이 지나는 경로라면 Active-Active 구성과 소켓을 나눈 장착을 함께 검토할 만합니다.
irqbalance가 모든 장비에서 같은 결과를 내는 것은 아닙니다. 장비와 드라이버에 따라 소프트웨어만으로 인터럽트를 재분배하지 못할 수 있으므로, 하드웨어와 드라이버의 제약부터 확인하는 편이 좋습니다.
부하가 늘어난 날에도 낮아진 CPU 사용률
처음 문제가 됐던 0.1초 이상의 log file sync 대기는 대부분 개선됐습니다. 인터럽트 분산도 수치로 확인했습니다. 같은 피크 시간대의 스냅샷에서 초당 1,000건 넘게 인터럽트를 처리하는 물리 코어가 8개에서 15개로 늘었고, 논리 CPU로는 16개에서 31개가 됐습니다. 소켓 하나가 맡던 처리가 두 소켓 가까이로 나뉜 것입니다.
소수 코어에 얼마나 집중됐는지는 Gini 계수로 확인했습니다. 1에 가까울수록 몇몇 코어에 몰렸다는 뜻인데, 이 값이 0.80에서 0.67로 낮아졌습니다. 처음 문제가 된 서버의 피크 15분 구간에서는 부하가 33% 더 높은 날에도 커널 CPU 사용률인 %system 평균이 7.77%에서 5.89%로 줄었습니다.
같은 조치를 적용한 다른 Oracle RAC에서도 CPU 사용률이 내려갔습니다. 앞선 서버와는 측정 대상과 시간대가 다른 운영 관측치입니다. 프로그램은 바뀌지 않았고 비교한 날의 동시접속자는 28% 더 많았지만, 개장 구간의 CPU 사용률은 모든 구간에서 절반 수준으로 낮아졌습니다. 개장 후 첫 10분 평균은 36.6%에서 17.4%로, 10분 구간의 최댓값은 42.5%에서 21.9%로 줄었습니다.
SQL 수행시간도 대체로 짧아졌습니다. Oracle 성능 분석 리포트인 AWR에서 개선 전후에 공통으로 잡힌 SQL 9건 중 8건의 1회당 수행시간이 줄었고, 주요 업무 SQL 6건은 10.5%에서 30.8%까지 빨라졌습니다. 실행 계획이나 데이터량 차이도 섞여 있어 팀은 이 수치를 보조 지표로만 봤습니다. 아래 표의 변화율은 반올림 전 값으로 계산했습니다.
팀은 이후 운영 중인 Oracle DB 서버 전체에 이 조치를 적용했습니다. 운영 모니터링에서는 CPU 사용률 개선이 특정 구간에 그치지 않고 이후 모든 시간대에서 유지되고 있습니다.
측정 조건과 SQL별 수행시간 변화
| 항목 | 내용 |
|---|---|
| 대상 | Oracle RAC 2노드 |
| 서버 | 4소켓(NUMA 노드 4개) × 물리 8코어 = 32코어, 하이퍼스레딩으로 논리 CPU 64개 |
| 도구 | /proc/interrupts, sar, vmstat, pidstat, iostat, Oracle AWR |
| 인터럽트 처리 코어(초당 1,000건 이상) | 물리 8개 → 15개 (논리 16개 → 31개) |
| 인터럽트 Gini 계수 | 0.80 → 0.67 |
| 다른 RAC 개장 후 10분 평균 CPU | 36.6% → 17.4% |
| 다른 RAC 10분 구간 최댓값 CPU | 42.5% → 21.9% |
| 피크 15분 %system 평균 | 7.77% → 5.89% |
| SQL | 실행 횟수 (전) | 실행 횟수 (후) | 1회당 수행시간 ㎲ (전) | 1회당 수행시간 ㎲ (후) | 변화 |
|---|---|---|---|---|---|
| SQL1 | 268,536 | 386,563 | 707.9 | 489.7 | -30.8% |
| SQL2 | 282,134 | 356,878 | 814.2 | 607.5 | -25.4% |
| SQL3 | 602,035 | 796,584 | 411.8 | 318.9 | -22.6% |
| SQL4 | 5,614,804 | 10,960,575 | 42.4 | 32.9 | -22.3% |
| SQL5 | 280,308 | 400,517 | 691.4 | 560 | -19.0% |
| SQL6 | 7,769,922 | 8,980,223 | 30.8 | 27.5 | -10.5% |