목차
Linux 업그레이드 뒤 절반으로 줄어든 TCP 수신 윈도우 (2024-04)
원문 정보
- 원문: Investigation of a Cross-regional Network Performance Issue
- 매체 · 게시일: Netflix TechBlog · 2024-04-24
- 저자: Hechao Li, Roger Cruz
- 원문 내용을 바탕으로 재구성한 요약입니다.
60초로 늘리자 사라진 읽기 오류
Netflix에서 리전 사이 데이터를 읽던 애플리케이션에 타임아웃이 발생했습니다. 읽기 제한 시간을 30초에서 60초로 늘리자 정상으로 돌아왔습니다. 더 기다리면 동작했습니다. 하지만 전에는 충분했던 30초가 왜 부족해졌는지는 여전히 풀리지 않은 문제였습니다.
Netflix는 SVOD, 라이브 스트리밍, 게임을 고객 가까이에서 제공하려고 AWS 여러 리전에 인프라를 두며, 일부 애플리케이션은 리전 사이에서 데이터를 동기화합니다. 이번 클라이언트는 us-east-1 내부 서브넷의 컨테이너, 서버는 유럽 리전 외부 서브넷의 EC2 인스턴스였습니다. 클라이언트가 서버에서 데이터를 읽어 자신과 같은 리전의 소비자에게 쓰는 흐름입니다. 쓰기는 멀쩡했지만, 리전을 건너 첫 데이터 묶음을 30초 안에 읽지 못하면 클라이언트가 오류를 냈습니다.
애플리케이션 담당자에게 서버가 더 느리게 보내거나 클라이언트가 더 느리게 받도록 바뀌었는지, 데이터 양이 30초 안에 처리하기 어려울 만큼 늘었는지 확인했습니다. 답은 모두 아니었습니다. 서버는 1년 넘게 그대로였으며 최근 클라이언트 배포에도 큰 변경은 없었습니다. 데이터 양도 일정했습니다.
클라이언트가 먼저 보낸 FIN
미국과 유럽을 잇는 긴 인터넷 경로는 의심을 받기 쉬웠습니다. 요청을 받은 Cloud Network Engineering 온콜 팀은 네트워크 탓이 아님을 입증하는 일부터 시작했습니다. 네트워크 엔지니어다운 반응입니다. 최근 네트워크 변경도, 다른 애플리케이션에 영향을 준 AWS 문제도 없었던 만큼, 팀은 Host Network Engineering 팀에 도움을 청해 같은 호스트의 이웃 컨테이너를 살폈습니다.
의심한 것은 다른 컨테이너가 네트워크 자원을 많이 차지하는 noisy neighbor 문제였습니다. 컨테이너마다 대역폭을 제한해도 초과 할당이 있으면 생길 수 있는 문제입니다. 그러나 같은 호스트의 컨테이너들은 대부분 같은 애플리케이션이었고, 문제 컨테이너를 포함해 모두 처리량이 한도에 한참 못 미쳤습니다. 대역폭 제한을 아예 풀어도 증상은 그대로였습니다.
패킷에서는 TCP RST 플래그가 눈에 띄었습니다. 빈도가 높지는 않았지만 확인할 만한 단서였습니다. 클라이언트에서 tcpdump로 잡은 한 스트림은 18:47:06에 SYN을 보내고 3-way handshake를 마친 뒤 정상적으로 데이터를 받다가, 18:47:36에 FIN을 보냈습니다. 정확히 30초입니다. 먼저 연결을 닫으려 한 쪽은 클라이언트였고, 서버가 전송을 이어 가자 그 뒤의 모든 데이터에 RST로 응답했습니다.
패킷 손실 때문에 클라이언트가 수신을 포기했을 가능성도 확인해야 했습니다. 서버에서도 패킷을 캡처했지만 주소만으로 양쪽 스트림을 맞추기는 어려웠습니다. 경로 중간에 NAT 게이트웨이가 있어 서버에는 클라이언트의 IP와 포트 대신 게이트웨이의 값이 보이기 때문입니다. 팀은 클라이언트 캡처에서 원시 TCP 시퀀스 번호를 얻어 서버 캡처의 필터로 썼습니다.
대조 결과, 서버가 보낸 패킷은 클라이언트가 FIN을 보내기 전에 모두 도착해 있었습니다. 데이터는 전달되고 있었습니다. 받기를 그만둔 쪽은 클라이언트였으며, 애플리케이션의 30초 제한이 FIN으로 나타난 것입니다.
약 1만 4천 개에서 찾아낸 TCP 커밋
실제로 바뀐 것은 Linux 커널이었습니다. 6.5.13에서 6.6.10으로 올린 뒤 문제가 생겼고, 업그레이드를 되돌리자 정상으로 돌아왔습니다. 필자는 처음에 커널의 TCP 구현에 버그가 있으리라고는 믿지 못했습니다. 하지만 커널을 되돌린 결과는 그 믿음과 어긋나는 증거였습니다.
두 버전 사이에는 약 1만 4천 개의 커밋이 있었습니다. 팀은 이분 탐색(bisect)으로 범위를 좁혔고, 후보가 몇 개 남았을 때 메시지에 “tcp”가 들어간 커밋을 발견했습니다. 마지막 이분 탐색에서 그 변경이 원인임을 확인했습니다. 해당 커밋의 메일 기록에는 같은 업그레이드 뒤 Python 테스트가 실패했다는 다른 사용자의 보고도 있었습니다. 그쪽 해결책은 이번 문제에 맞지 않았지만, 더 단순한 테스트로도 재현할 수 있겠다는 단서였습니다.
팀은 strace로 애플리케이션의 소켓 옵션을 확인하고, 같은 설정을 쓰는 작은 C 클라이언트·서버를 만들었습니다. IPV6_V6ONLY는 끄고 SO_KEEPALIVE와 TCP_NODELAY는 켰으며, SO_SNDBUF와 SO_RCVBUF는 각각 131072와 65536으로 맞췄습니다. 전송할 파일은 10MB였습니다. 문제가 난 연결에서 FIN이 나오기 전 30초 동안 보내던 양과 비슷한 크기입니다.
이 파일을 리전 사이에서 옮기는 데 이전 커널은 22초, 새 커널은 39초가 걸렸습니다. 작은 재현 프로그램에서도 전송 시간이 30초 제한을 넘었습니다.
초기 상한에 묶인 TCP 수신 윈도우
새 커널에서는 TCP 수신 윈도우가 절반으로 줄었고, 데이터를 받기 시작한 뒤에도 커지지 못했습니다. 수신 윈도우는 수신자가 송신자에게 ACK를 기다리지 않고 보낼 수 있는 데이터 양을 알려 주는 값입니다. 애플리케이션이 이 값을 직접 지정하지는 못합니다. 대신 SO_RCVBUF로 수신 버퍼에 쓸 메모리 크기를 정합니다.
버퍼에는 데이터 외에 관리 정보도 들어갑니다. man 7 socket에 따르면 커널은 이 관리용 오버헤드를 고려해 애플리케이션이 지정한 값을 두 배로 저장합니다. SO_RCVBUF에 X를 주면 sk->sk_rcvbuf에는 2X가 들어가는 방식입니다. 오버헤드가 데이터와 같은 크기, 즉 전체 버퍼의 50%라는 가정입니다.
실제 오버헤드는 MTU 등에 따라 달라집니다. 이 차이를 반영하도록 둔 설정이 sysctl_tcp_adv_win_scale이었습니다. 기본값 1에서는 수신 버퍼의 절반을 오버헤드로 계산했습니다. 필자는 자신을 포함해 99%는 이 값을 어떻게 정해야 할지 모를 것이라고 농담합니다.
이전 동작을 단순화하면, SO_RCVBUF에 65536을 주었을 때 rcvbuf는 131072가 됩니다. 여기서 오버헤드 65536을 빼면 수신 윈도우는 65536입니다. 업그레이드 전에는 이 윈도우로 30초 안에 10MB를 옮겼습니다.
문제의 커밋은 Linux 6.6부터 이 설정을 폐기하고, 오버헤드를 더 정확하게 계산하려고 scaling_ratio를 도입했습니다. 윈도우는 rcvbuf * scaling_ratio로 정하며, 비율은 실제 데이터 크기를 skb 전체 크기로 나눈 skb->len / skb->truesize에서 얻습니다. 그런데 handshake 중에는 아직 데이터가 없어 실측값을 알 수 없습니다. 그래서 초기 비율로 보수적인 값인 약 0.25를 썼습니다.
같은 버퍼로 계산하면 윈도우는 131072 × 0.25 = 32768입니다. 이전의 절반입니다. 이 사례에서는 윈도우가 줄면서 처리량도 절반으로 떨어지고 전송 시간이 두 배로 늘었습니다.
데이터를 받아 더 정확한 비율을 알게 된 뒤에도 문제가 남았습니다. 디버깅 중 확인한 scaling_ratio는 약 0.66으로 갱신됐습니다. 바뀌지 않은 값은 송신자에게 알릴 수 있는 최대 수신 윈도우인 window_clamp였습니다. 이 상한은 초기 비율 0.25로 계산한 0.25 * rcvbuf에 머물러 있었습니다. 비율을 다시 계산해도 윈도우는 처음 정한 크기보다 커질 수 없었습니다.
이전 윈도우 크기를 복원한 커널 패치
팀이 택한 수정은 초기 scaling_ratio를 25%에서 50%로 올리는 것이었습니다. 이론상으로는 scaling_ratio를 갱신할 때 window_clamp도 함께 바꾸면 됩니다. 하지만 팀은 부작용 없는 단순한 수정을 원했고, 기존 sysctl_tcp_adv_win_scale 기본값으로 계산하던 윈도우 크기와 호환되도록 초기 비율을 바꿨습니다. Linux 커널 네트워크 전문가 Eric Dumazet이 이 패치를 검토하고 적용했습니다.
이번 타임아웃에는 애플리케이션 설정도 관여했습니다. SO_RCVBUF를 직접 지정한 상태에서 첫 데이터 묶음을 30초 안에 읽어야 했습니다. 해당 애플리케이션은 Kafka Connect였습니다. 수신 버퍼를 지정하는 receive.buffer.bytes=64k와 타임아웃을 정하는 request.timeout.ms=30s는 모두 기본값입니다.
팀은 Linux가 수신 윈도우를 자동으로 조정하도록 receive.buffer.bytes를 -1로 바꾸자는 Kafka 티켓도 올렸습니다.
원문의 주요 수치와 설정값
| 항목 | 값 |
|---|---|
| 애플리케이션 읽기 타임아웃 | 30초 (60초로 올리면 정상) |
| 커널 버전 | 6.5.13(정상) → 6.6.10(문제) |
| 두 버전 사이 커밋 | 약 1만 4천 개 |
| 소켓 옵션 | SO_SNDBUF 131072, SO_RCVBUF 65536, SO_KEEPALIVE·TCP_NODELAY 켬 |
| 재현 시험(10MB 리전 간 전송) | 이전 커널 22초, 새 커널 39초 |
| 수신 윈도우(단순화한 계산) | 65536에서 32768로 절반 |
| 초기 scaling_ratio | 약 0.25 (수정 후 0.5) |
| 이후 측정된 scaling_ratio | 약 0.66 |
| Kafka Connect 기본값 | receive.buffer.bytes=64k, request.timeout.ms=30s |