목차
두 ADD 사이에서 드러난 Go arm64 컴파일러 버그 (2025-10)
원문 정보
- 원문: How we found a bug in Go’s arm64 compiler
- 매체 · 게시일: The Cloudflare Blog · 2025-10-08
- 저자: Thea Heinen
- 원문 내용을 바탕으로 재구성한 요약입니다.
오류 처리를 고친 뒤 돌아온 패닉
Cloudflare는 330개 도시의 데이터센터에서 초당 8,400만 건의 HTTP 요청을 받습니다. 이 규모에서는 아주 드문 버그도 자주 모습을 드러냅니다. 이번에 문제가 생긴 곳은 Magic Transit과 Magic WAN 같은 제품의 트래픽을 처리하도록 커널을 설정하는 서비스였습니다.
첫 단서는 arm64 머신에서 간헐적으로 발생한 치명적 오류, traceback did not unwind completely였습니다. 런타임이 호출 관계를 거슬러 올라가는 스택 순회를 끝내지 못했다는 뜻입니다. 팀은 드물게 발생하는 스택 메모리 손상을 의심했습니다. 대체로 유휴 상태인 컨트롤 플레인 서비스여서 예기치 않은 재시작도 영향이 미미했고, 계속 반복되지 않는 한 추적을 서두를 문제는 아니었습니다.
그런데 패닉이 계속 났습니다.
처음에는 복구된 패닉이 늘 때 치명적 패닉도 함께 늘었습니다. 오래된 코드가 오류 처리에 panic/recover를 쓰고 있었고, 패닉을 복구할 때는 deferred 함수를 호출하려고 고루틴의 스택을 순회합니다. Go 이슈 #73259에도 비슷한 arm64 스택 순회 크래시가 보고돼 있었습니다. 팀은 panic/recover를 오류 처리에 쓰지 않도록 코드를 바꾸고 업스트림 수정을 기다리기로 했습니다. 릴리스가 퍼지자 치명적 패닉이 사라졌습니다. 추정한 원인과 대응이 들어맞는 듯했습니다.
한 달 뒤, 같은 종류의 패닉이 하루 최대 30건으로 돌아왔습니다. 이번에는 복구된 패닉이 하나도 없었습니다. 릴리스나 인프라 변경과의 연관도 보이지 않았습니다. 화성의 위치 때문이었을까요? 닮은 증상을 찾고 해결됐기를 기대하는 것만으로는 더 나아갈 수 없었습니다.
모든 세그폴트가 가리킨 NetlinkSocket.Receive
크래시가 난 곳은 공통으로 (*unwinder).next였습니다. 런타임이 스택의 이상을 감지해 명시적으로 치명적 오류를 내거나, 스택을 순회하다 잘못된 메모리에 접근해 SIGSEGV가 발생했습니다. 팀은 순회 코드 자체보다 순회 대상인 스택이 잘못됐을 가능성에 무게를 뒀습니다. arm64에서 스택을 순회할 때마다 생기는 문제라면 훨씬 많은 서비스에서 장애가 났어야 합니다.
오류가 달랐던 이유도 설명할 수 있었습니다. 반환 주소가 null이면 finishInternal이 스택을 끝까지 순회하지 못했다며 실행을 중단합니다. 반환 주소가 0은 아닌데 함수 주소도 아니면, 순회 코드는 고루틴이 실행 중이라고 가정하고 스케줄러 구조체 m을 역참조합니다. Go 스케줄러에서 g는 고루틴, m은 커널 스레드, p는 실행 컨텍스트입니다. 실행 중이 아닌 g의 m 필드는 nil이므로, 이 상태에서 m.incgo를 읽으면 접근 오류가 납니다. 크래시 주소 0x118은 바로 struct m 안에서 incgo가 있는 오프셋이었습니다.
하지만 이것은 죽은 이유이지, 스택이 잘못된 이유는 아니었습니다. 서비스에는 수백~수천 개의 고루틴이 있었고, 원인에서 멀리 떨어진 스택 트레이스만으로는 조사가 진전되지 않았습니다. 그러다 공개 이슈에 첨부된 트레이스에서 익숙한 이름이 보였습니다. Cloudflare도 쓰는 Go Netlink의 옛 버전이었습니다. 자체 로그를 조회하자 더 뚜렷한 공통점이 나왔습니다. 관측한 모든 세그폴트가 NetlinkSocket.Receive를 선점하던 중에 발생한 것입니다.
처음에는 공개 이슈까지 있으니 Go 런타임 버그라는 생각에 자신이 붙었습니다. 같은 라이브러리의 같은 함수가 등장하자 오히려 확신이 흔들렸습니다. Go Netlink는 unsafe.Pointer를 쓰므로, arm64에서만 드러나는 메모리 손상도 가능한 설명이었습니다. 라이브러리와 런타임을 의심하며 코드를 검토했지만 답은 나오지 않았습니다.
두 ADD 사이에 멈춘 고루틴
Go 1.14부터 런타임은 비동기 선점을 사용합니다. 고루틴이 스스로 실행을 양보하기만 기다리지 않습니다. 원문 작성 시점에는 sysmon 스레드가 10ms 넘게 실행된 고루틴을 감지하면 해당 OS 스레드에 SIGURG를 보냈습니다. 시그널 핸들러는 프로그램 카운터와 스택을 바꿔 asyncPreempt를 호출한 것처럼 만듭니다.
돌파구는 프로덕션 크래시의 코어 덤프에서 나왔습니다. 디버거로 선점된 고루틴을 살펴보니, NetlinkSocket.Receive가 반환하기 직전인 함수 에필로그에서 멈춰 있었습니다. 정확한 위치는 ADD $80, RSP, RSP와 ADD $(16<<12), RSP, RSP 사이였습니다. 스택 포인터를 조정하는 작업이 절반만 끝난 순간입니다.
스택을 순회하려면 프레임이 일관된 상태여야 합니다. 그런데 그 상태를 바꾸는 도중에 고루틴을 멈춘 것입니다. 서비스 로그에서도 대부분의 스택 트레이스가 같은 명령 위치에서 선점된 흔적을 보였습니다. 이제 조사 대상은 라이브러리의 한 함수에서, 그 함수 끝에 있는 두 명령 사이로 좁혀졌습니다.
스택 중간을 가리킨 포인터
스택 포인터를 바꾸는 데 왜 ADD가 두 번 필요했을까요? arm64 명령어는 길이가 4바이트로 고정돼 있어 명령 안에 담을 즉시값의 크기가 제한됩니다. add는 12비트, mov는 16비트 즉시값을 받습니다. ADD에는 값을 12비트 왼쪽으로 시프트하는 비트도 있어, 24비트 덧셈을 두 명령으로 나눠 처리할 수 있습니다.
Go 컴파일러의 마지막 단계에서 쓰는 중간 표현 obj.Prog는 이 즉시값 길이 제한을 고려하지 않습니다. add x, rsp 하나를 내보내면 어셈블러의 asm7.go가 기계어로 바꾸면서 필요에 따라 명령을 늘립니다. 16비트에 들어가는 일부 덧셈에는 (mov, add) 조합을 쓰고, 그보다 큰 값에는 (add, add + lsl 12) 조합을 선호합니다. 예제에서 1<<15보다 조금 큰 스택 프레임은 MOVD로 상수를 레지스터에 넣은 뒤 스택 포인터에 한 번 더합니다. 1<<16 버퍼를 쓰는 경우에는 ADD $16, RSP, RSP와 ADD $(16<<12), RSP, RSP로 조정이 나뉩니다.
두 ADD 사이의 스택 포인터는 프레임 끝을 가리키지 않습니다. 팀은 처음에 비동기 선점이 스택에 함수 호출을 추가하면서 중간 데이터를 손상시킨다고 생각했습니다. 하지만 고루틴은 이미 에필로그에 들어와 있었습니다. 그 과정에서 덮어쓰는 데이터는 어차피 버리는 중인 데이터였습니다.
문제는 그 포인터로 호출 관계를 읽는 데 있었습니다. 런타임은 가비지 컬렉션에서 살아 있는 참조를 찾거나, 패닉의 defer 함수를 실행하거나, 스택 트레이스를 출력할 때 스택을 순회합니다. 이때 sp를 역참조해 호출한 함수를 찾습니다. 조정이 덜 끝난 sp로는 스택 중간의 데이터를 부모 프레임 정보로 읽게 됩니다.
여기에 비동기 선점과 GC가 겹치면 관측한 크래시가 만들어집니다. 두 ADD 사이에서 선점이 일어나 asyncPreempt 호출이 스택에 추가되고, 이후 GC가 그 고루틴의 스택을 순회합니다. 문제의 함수까지는 정상적으로 거슬러 올라갑니다. 그다음 부모 함수를 찾으려고 sp를 읽는 순간, 함수 주소일 가능성이 거의 없는 데이터를 만나게 됩니다. 처음 보았던 치명적 오류와 SIGSEGV는 이 잘못된 값을 따라간 결과였습니다.
표준 라이브러리만으로 재현한 크래시
명령어 위치까지 알게 되자 Go Netlink 없이도 가설을 시험할 수 있었습니다. 필요한 것은 스택 조정을 두 명령으로 나누게 만드는 함수와 반복적인 GC였습니다.
팀은 64KB(1<<16) 버퍼를 쓰는 big_stack 함수에 noinline을 지정하고 반복 호출했습니다. 버퍼가 최적화로 사라지지 않도록 값을 채우고 읽었으며, 다른 고루틴에서는 runtime.GC()를 계속 실행했습니다. 이 함수의 스택 프레임은 16비트로 표현할 수 있는 크기를 조금 넘습니다. 예상대로 arm64 컴파일러는 스택 포인터 조정을 두 명령으로 나눴고, Go 1.23.4에서 약 1분 29초 뒤 SIGSEGV가 발생했습니다. 표준 라이브러리만으로 같은 장애를 재현한 것입니다.
재현 코드는 그만큼 까다롭기도 했습니다. 프로덕션에서 쓰던 Go 1.23.9로 컴파일하면 같은 코드가 크래시를 내지 않았습니다. objdump로 확인한 바이너리에는 여전히 쪼개진 ADD가 남아 있었습니다. 한 명령어 길이의 경쟁 구간이라 작은 변화가 발생 확률에 큰 영향을 줄 수 있지만, 팀은 이 버전 차이를 명확히 설명하지 못했습니다. 버그의 존재와 그 버그를 실제로 밟을 확률 사이에는 아직 알지 못하는 변수가 남아 있었습니다.
스택 포인터를 한 번에 바꾸는 ADD
Cloudflare가 재현 코드와 함께 보고한 뒤 버그는 빠르게 고쳐졌습니다. 수정은 go1.23.12, go1.24.6, go1.25.0에 포함됐습니다.
수정된 컴파일러는 1<<12보다 큰 스택의 오프셋을 먼저 임시 레지스터에 만듭니다. 그런 다음 그 값을 rsp에 쪼갤 수 없는 단일 ADD로 더합니다. 어셈블러가 스택 포인터 조정을 여러 명령으로 나누도록 맡기던 동작을 바꾼 것입니다. 이제 고루틴은 스택 포인터를 바꾸기 전이나 후에만 선점될 수 있습니다. 조정 도중의 포인터로 스택을 읽던 경쟁 상태가 사라졌습니다.
원인을 찾는 데는 몇 주가 걸렸습니다. 팀은 평소 들여다볼 일이 드문 Go 런타임 내부까지 배워야 했습니다. 흔치 않게도, 이번에는 컴파일러를 탓할 근거가 분명했습니다.
증상과 재현 조건, 수정 버전
| 항목 | 값 |
|---|---|
| Cloudflare 요청 규모(원문 인용) | 초당 8,400만 HTTP 요청, 330개 도시 |
| 첫 대응 후 재발 빈도 | 하루 최대 30건의 치명적 패닉 |
| 크래시 오프셋 | struct m의 incgo, 0x118 |
| 재현 조건 | 스택 프레임이 16비트 즉시값을 넘는 함수 + 반복 GC |
| 재현 시간(Go 1.23.4) | 약 1분 29초 |
| 프로덕션 Go 버전 | 1.23.9(같은 재현 코드로는 크래시 안 함) |
| 수정 포함 버전 | go1.23.12, go1.24.6, go1.25.0 |
| 수정 적용 대상 | 1«12보다 큰 스택 |