본문으로 건너뛰기
TCP 수신 버퍼의 과도한 증가를 멈춘 Cloudflare의 커널 패치
목차

TCP 수신 버퍼의 과도한 증가를 멈춘 Cloudflare의 커널 패치 (2023-05)

원문 정보

한 서버에서 558개나 발견된 TCP 세션

Cloudflare의 한 서버에서 수신 버퍼의 메모리 상한이 5MB를 넘는 TCP 세션이 558개나 발견됐습니다. 문제 세션 대부분의 왕복 지연 시간, 즉 RTT는 약 20ms였습니다. 이 정도면 BDP 계산상 2.5MB 윈도로 1Gbps까지 수용할 수 있습니다. 조사 기준으로 잡은 5MB도 그 윈도 크기의 두 배였습니다.

수신 버퍼는 네트워크에서 도착했지만 로컬 프로세스가 아직 읽지 않은 패킷을 담습니다. 대표적인 문제 세션에서는 실제 할당량인 skmem_r과 autotuning이 정한 상한 skmem_rb가 모두 256MiB에 이르렀습니다. 시스템에 설정된 세션당 최대치인 net.ipv4.tcp_rmem의 최댓값까지 찬 것입니다. 시간에 따른 변화를 보니 더 이상했습니다. 할당량이 상한을 넘을 때마다 상한도 따라 올라갔습니다.

영향은 그 세션에 머물지 않았습니다. 프로덕션 서버에 이런 연결이 여럿 모이면 TCP 메모리 총량이 서버 전체 한도인 net.ipv4.tcp_mem 임계값에 닿습니다. 그러면 커널은 모든 TCP 세션의 메모리 사용을 제한합니다. 메모리를 줄이려는 TCP collapse 처리, 순서가 어긋난 패킷을 담는 OFO 큐의 패킷 정리, 새로 도착한 패킷의 폐기가 일어나며 사용자가 겪는 처리량과 지연도 나빠집니다.

1ms마다 1B를 읽는 수신 프로그램

처음에는 프로덕션에서만 보이던 문제였습니다. 어느 세션이 이 상태에 빠질지 알 수 없으니, 시작부터 추적하려면 모든 TCP 세션의 데이터를 모아야 했습니다. Cloudflare 규모에서는 쉽지 않은 일입니다. 연구실에서 재현할 방법을 찾아야 했습니다.

여러 실험 끝에 재현에 성공했지만, 실험 장비에는 바꾼 설정이 잔뜩 남아 있었습니다. 무엇이 원인이고 무엇이 무관한지 다시 분리하는 과정이 이어졌습니다. 처음에는 중요하게 봤던 지연도 재현에 필수적인 요인이 아니었습니다. 끝에 남은 것은 각 호스트에서 단순한 동작을 무한 반복하는 프로그램이었습니다.

  • 송신 호스트: 1ms 간격으로 1500B 패킷 전송
  • 수신 호스트: 1ms 간격으로 1B 읽기

이것으로 충분했습니다. 수신 큐는 autotuning 한도를 지나 net.ipv4.tcp_rmem 최댓값까지 자랐습니다. 여러 패킷 크기와 전송·읽기 간격에서 같은 문제가 발생했으며, 이 구성은 버퍼가 빨리 커지도록 고른 조건입니다. 프로덕션의 속도와 간격을 그대로 옮긴 것은 아닙니다.

최댓값에 닿은 뒤에는 연결까지 망가졌습니다. 버퍼가 가득 차면 수신자는 윈도 크기가 0인 ZeroWindow를 보내 송신자에게 멈추라고 알려야 합니다. 그런데 ZeroWindow는 한 번도 나가지 않았습니다. 커널은 새 패킷을 버리고, 송신자는 지수 백오프로 재전송을 반복했습니다. 결국 시스템 설정에 따라 약 15분 뒤 Errno 110 Connection timed out과 함께 연결이 끊겼습니다.

버퍼가 차도 오른쪽으로 움직인 윈도 경계

송신자를 멈추지 못한 원인은 수신 윈도를 계산하는 방식에 있었습니다. 시험 중 늘어난 TCPWantZeroWindowAdv가 단서였습니다. 이 지표는 가용 메모리로 계산하면 ZeroWindow를 보내야 하는데 실제로는 보내지 않은 횟수를 나타냅니다.

TCP 수신자는 헤더에 수신 윈도 크기를 담아 송신자에게 알립니다. 송신자가 보낼 수 있는 데이터 범위의 오른쪽 끝은 ACK 번호에 이 윈도 크기를 더한 값입니다. ACK 번호가 앞으로 움직일 때 윈도 크기를 그만큼 줄이면, 오른쪽 끝을 같은 자리에 둘 수 있습니다.

문제는 윈도 크기를 표현하는 단위입니다. 초기 인터넷의 광역 링크에서는 TCP 헤더의 16비트로도 충분했지만, 대역폭이 커지면서 더 큰 윈도가 필요해졌습니다. 윈도 스케일링은 3-way 핸드셰이크에서 정한 배수를 헤더 값에 적용해 이 문제를 풀었습니다. 대신 윈도 크기를 바꾸는 단위가 거칠어졌습니다. 재현 시험의 윈도 스케일 계수 13에서는 그 단위가 8192바이트입니다.

ACK한 데이터 양이 스케일링 단위의 정확한 배수이고 윈도 크기도 같은 양만큼 줄어든다면 오른쪽 끝을 유지할 수 있습니다. 하지만 그런 경우는 드뭅니다. 대개 ACK를 보낼 때마다 오른쪽 끝을 왼쪽이나 오른쪽으로 옮겨야 합니다.

버퍼에 여유가 있을 때는 문제가 없습니다. 보통 윈도 크기를 유지하면서 ACK와 함께 오른쪽 끝도 오른쪽으로 옮깁니다. 버퍼가 가득 찰 무렵에는 선택이 달라져야 합니다. 오른쪽 끝을 더 밀면 이미 도달한 상한을 무시하게 되기 때문입니다. 그런데 당시 리눅스는 그 방향을 택했습니다. 스케일링 배수가 1보다 크면 발생할 수 있는 문제여서, Cloudflare의 큰 윈도에만 한정된 현상도 아니었습니다.

여기서 윈도를 닫는 동작과 줄이는 동작은 구분해야 합니다. ACK가 진행하며 왼쪽 끝이 오른쪽으로 움직이는 것이 닫기(closing), 오른쪽 끝이 오른쪽으로 움직이는 것이 열기(opening)입니다. 축소(shrinking)는 오른쪽 끝을 왼쪽으로 옮기는 동작이며, RFC 7323의 window retraction도 같은 뜻입니다. TCP 헤더의 윈도 숫자가 작아졌다는 사실만으로 윈도가 축소된 것은 아닙니다.

사용량을 뒤따라 올린 메모리 한도

윈도가 계속 열리는 문제는 커널 안에서 메모리 상한의 증가로 이어졌습니다. 수신 버퍼 상한을 담는 변수는 sk_rcvbuf입니다. 이 문제와 관련해 값을 바꾸는 곳은 tcp_clamp_window, tcp_rcv_space_adjust, tcp_set_rcvlowat이었습니다. Cloudflare는 tcp_set_rcvlowat을 호출하지 않았으므로 이를 제외하고, bpftrace로 나머지 경로를 좁혔습니다. 상한을 올린 함수는 tcp_clamp_window였습니다.

그 앞에서는 실제 사용량인 rmem_alloc이 이미 sk_rcvbuf를 넘고 있었습니다. tcp_try_rmem_schedule에서 tcp_prune_queue를 거쳐 tcp_clamp_window를 호출하면, 이 함수가 상한을 사용량에 맞춰 올렸습니다. 커널은 높아진 상한을 기준으로 윈도까지 키웠습니다.

사용량이 상한을 넘는 경로는 TCP coalescing에서 찾았습니다. 코드와 bpftrace, netstat 지표를 더 살핀 결과였습니다. TCP coalescing은 들어오는 패킷의 사용자 페이로드를 기존 패킷에 붙여 헤더 공간을 아끼는 L4 기능으로, GRO(Generic Receive Offload)와는 다릅니다. tcp_rcv_established가 tcp_queue_rcv를 거쳐 tcp_try_coalesce를 호출하고, 패킷을 합치면 늘어난 메모리만큼 rmem_alloc을 올립니다. 이 루틴에서는 사용량이 sk_rcvbuf를 넘을 수 있었습니다.

물론 상한을 넘으려면 사용량이 먼저 그 근처까지 올라와 있어야 합니다. Cloudflare의 tcp_adv_win_scale 설정은 -2여서 윈도는 가용 버퍼의 25%였습니다. 사용량이 상한에 가까워지는 것부터 예상 밖이었습니다. 버퍼가 찰 때 ZeroWindow가 나갔다면 사용량에 여유를 남길 수 있었지만, 윈도 계산은 송신자를 계속 허용했습니다. 그 결과 사용량이 상한을 넘고, 상한이 사용량을 따라 오르고, 다시 윈도가 커지는 과정이 반복됐습니다.

윈도 축소로 되찾은 ZeroWindow

윈도를 계속 키우는 방식은 net.ipv4.tcp_rmem 최댓값에 닿을 때까지 문제를 미룰 뿐입니다. 더 일찍, sk_rcvbuf에 닿자마자 패킷을 버리면 과도한 메모리 사용은 막을 수 있습니다. 그러나 가득 찬 버퍼를 다루는 동작으로는 여전히 잘못됐습니다. ZeroWindow 없이 패킷을 버리면 송신자는 수신 프로세스에 전달되지 못할 데이터를 재전송하느라 대역폭과 처리 자원을 쓰고, 수신자의 읽기 속도에 따라 연결이 타임아웃될 수도 있습니다.

Cloudflare가 택한 해법은 윈도의 오른쪽 끝을 왼쪽으로 옮기는 것이었습니다. 버퍼가 차면 윈도를 축소하고, 가득 차면 ZeroWindow를 보내 송신자를 멈춥니다. RFC도 이미 이 상황을 다루고 있었습니다. RFC 7323은 축소된 윈도를 알리는 경우가 있음을 명시하고, TCP 구현이 이를 반드시 처리하도록 요구합니다. 부록 F에서는 송신자가 윈도 스케일링 단위보다 적은 양을 쓸 때 언제든 발생할 수 있는 일반적인 문제라고 설명합니다.

Cloudflare는 윈도 축소를 허용하는 커널 패치를 작성했습니다. 글이 게시된 시점에는 상류 리눅스 커널에 병합됐으며, 커널 6.5 이상에 포함될 예정이었습니다.

같은 재현 시험에 패치를 적용하자 동작이 바뀌었습니다. 메모리 한도를 지켰고, ZeroWindow가 나갔으며, 재전송도 사라졌습니다. 15분 뒤에도 연결은 끊기지 않았습니다. 공개 인터넷에서 흔한 윈도 스케일 계수 8과 tcp_adv_win_scale 1 조합에서도 확인했습니다. 패치가 없으면 약 2,100초에 같은 문제가 나타났지만, 적용 후에는 정상 동작했습니다.

아예 읽지 않는 수신자도 시험했습니다. 프로덕션에서 411초 이후 L7 프로세스가 읽기를 완전히 멈췄는데도 처리량과 윈도 크기가 0이 되지 않는 세션을 발견했기 때문입니다. 실험에서는 송신자가 1ms마다 4바이트를 보내고 수신 프로그램은 소켓을 단 한 번도 읽지 않았습니다. 몇 패킷을 버퍼에 담은 뒤 멈출 것 같지만, 패치가 없으면 이때도 수신 큐는 tcp_rmem 최댓값까지 자랐습니다. 패치를 적용한 뒤에야 버퍼를 채우고 송신을 멈추게 하는 기대한 동작으로 돌아왔습니다.

읽기 속도가 바뀌어도 한도는 지켜졌습니다. 수신자가 240초마다 느린 읽기인 1ms당 1B와 빠른 읽기인 1ms당 3,300B를 오가는 시험입니다. 패치 적용 후에도 720초 시점에 skmem_rb가 늘기는 했지만, 약 20MB에서 멈췄습니다. 끝없이 커지지는 않았습니다. 이 세션에 20MB가 이상적인 값인지는 별도 글에서 다룰 문제로 남겼습니다.

프로덕션에서 사라진 TCP collapse 지연

실험실에서 확인한 변화는 프로덕션에서도 나타났습니다. Cloudflare는 4월 26일과 28일 일부 서버에서 패치를 켠 뒤, 5월 1일 22:00에 대부분의 서버로 확대했습니다. 메모리 제약 때문에 새로 들어온 패킷을 버리는 RcvPruned가 사라졌습니다.

TCP collapse 처리도 없어졌습니다. 이 처리는 메모리 한도에 닿았을 때 큐 안의 패킷을 합쳐 헤더 메타데이터를 줄이는 작업이며, TCPRcvCollapsed로 발생량을 확인합니다. 한 데이터센터의 측정에서는 처리 건수와 여기에 쓰던 시간이 모두 사라졌습니다. HTTP 요청 처리의 응답성에 영향을 줄 수 있던 TCP collapse 지연이 제거된 것입니다.

메모리 사용량도 줄었습니다. autotuning이 정한 한도가 실제로 지켜지기 시작한 결과입니다. 한 데이터센터의 TCP 버퍼 총할당량을 패치 전인 정확히 7일 전 같은 시각과 비교하자 차이가 뚜렷했습니다.

ZeroWindow 관련 지표는 서로 다른 의미로 움직였습니다. TCPWantZeroWindowAdv는 5월 1일부터 사라져, 메모리가 부족할 때 필요한 ZeroWindow가 실제로 나가고 있음을 보여 줬습니다. ZeroWindow 상태에서 도착한 데이터를 버리는 TCPZeroWindowDrop은 관측됐지만, 이는 정상적인 폐기입니다. 대개 한쪽으로 가던 ZeroWindow와 반대쪽으로 오던 데이터 패킷이 네트워크에서 엇갈린 결과이며, ZeroWindow 상태에서의 이런 폐기는 악영향을 주지 않습니다.

상대편 TCP 구현도 확인했습니다. 프로덕션에서 윈도 축소를 받아들이지 못하는 RFC 비준수 TCP 스택은 발견하지 못했습니다.

재현과 검증에 사용한 설정
시험설정
기본 재현커널 6.1.14 vanilla, tcp_rmem max 256 MiB (윈도 스케일 계수 13, 8192 바이트), tcp_adv_win_scale -2
스케일 계수 8커널 6.1.14 vanilla, tcp_rmem max 8 MiB (계수 8, 256 바이트), tcp_adv_win_scale 1
진동하는 수신자기본 재현과 같은 설정, 240초마다 느린 읽기(1ms당 1B)와 빠른 읽기(1ms당 3,300B) 교대
읽지 않는 수신자커널 6.1.14 vanilla, tcp_rmem max 8 MiB (계수 8), tcp_adv_win_scale -2, 송신 1ms당 4B
최소 재현송신 1ms 간격 1500B(페이로드 1448B), 수신 1ms 간격 1B 읽기
문제 세션 관측RTT 약 20ms, 2.5MB 윈도로 1Gbps 수용, skmem_rb 5MB 초과 세션 558개(한 서버), 최대 256MiB
연결 종료최댓값 도달 뒤 약 15분 후 타임아웃
패치 반영커널 6.5 이상, 프로덕션 대부분 서버 5/01 22:00
마지막 수정 일자