목차
ARM64 Go 바이너리의 줄 정보를 빠뜨린 링커의 가정 (2023-02)
원문 정보
- 원문: Fixing Go’s Linker: An Unexpected Journey into ARM64, DWARF, and Linker Internals
- 매체 · 게시일: Uber Engineering Blog · 2023-02-16
- 저자: Jeremy Quirke(Senior Staff Engineer)
- 원문 내용을 바탕으로 재구성한 요약입니다.
M1 Mac에서 끊긴 소스 줄 정보
Apple Silicon으로 옮겨 간 우버 엔지니어들은 일부 Go 프로그램에 중단점을 걸거나 한 줄씩 실행할 수 없었습니다. IDE를 바꿔도 마찬가지였습니다. VSCode와 GoLand가 사용하는 Delve 디버거부터 소스 줄 정보를 얻지 못했기 때문입니다. 같은 fooService의 main.main을 열어도 AMD64 빌드에서는 소스와 명령어의 대응이 보였지만, ARM64 빌드에서는 소스를 찾을 수 없었습니다.
주소를 소스 파일과 줄 번호, 변수에 연결하는 정보는 DWARF 표준에 따라 바이너리에 들어갑니다. 맥에서는 Mach-O 파일 안에 있습니다. 그중 줄 정보를 담당하는 것은 스펙 6.2장의 Line Program Table(LPT)입니다. 작은 상태 기계가 실행하는 미세 명령어 목록으로 주소와 파일·줄 번호의 대응을 표현해, 정보의 크기를 줄입니다. 저자는 이를 덤프하는 dwarfmachodebug를 만들어 두 빌드를 비교했습니다. AMD64에서는 빠짐없이 읽히던 줄 정보가 ARM64에서는 일부 누락되고 오류도 났습니다. 조사할 대상이 디버거에서 바이너리 안의 LPT로 좁혀졌습니다.
180MB 너머의 fx.New
두 아키텍처의 main()을 디스어셈블하자 호출 목적지에서 차이가 보였습니다. 우버의 오픈소스 Go 의존성 주입 프레임워크 fx를 만드는 fx.New 호출이 ARM64에서는 fx.New+0-tramp0으로 향했습니다. 링커가 끼워 넣은 트램폴린입니다. 이곳에는 큰 PC 상대 주소를 다루는 ADRP를 포함해 명령어가 세 개 있었고, 디버거는 대응하는 소스를 찾지 못했습니다. 그래도 명령어 단위 실행인 si를 3+1번 수행하면 실제 fx.New에 도착했습니다.
이 우회가 필요한 이유는 호출 거리였습니다. Go의 ARM64 코드 생성기가 쓰는 BL imm26은 상대 호출에 26비트를 배정합니다. ARM64 명령어는 32비트로 크기가 고정되고 32비트 경계에 정렬되므로, 암묵적인 2비트를 더한 부호 있는 오프셋은 28비트입니다. 닿을 수 있는 범위는 ±128MB이며, 링커는 다른 구조에 쓸 공간을 남기려고 이를 ±124MB로 제한합니다. 가변 길이 명령어를 쓰는 AMD64에서는 5바이트짜리 CALL rel32로 ±2GB까지 호출할 수 있습니다.
fooService에서 main.main의 호출 지점은 0x10fe8afd0, 실제 fx.New는 0x104c99fc0에 있었습니다. 거리는 180MB였습니다. BL의 범위를 벗어나자 링커가 3명령어, 12바이트짜리 트램폴린을 넣어 ±4GB까지 뛸 수 있게 한 것입니다. 모든 호출에 이 형태를 쓰기에는 크기 부담이 큽니다. 컴파일러가 가장 긴 형태를 만들고 링커가 짧게 줄이는 linker relaxation도 있지만, 구현이 매우 어렵고 링크가 느려져 Go는 쓰지 않습니다.
DWARF가 합쳐지는 Go 빌드 경로
트램폴린을 넣는 곳도, 줄 정보를 합치는 곳도 Go 링커였습니다. Go의 컴파일 단위는 패키지입니다. 컴파일러는 패키지마다 플랫폼 독립 오브젝트 파일을 만들면서 DWARF 정보를 보조 심볼(AuxSyms)로 붙이고, 링커는 이를 코드와 함께 합쳐 Mach-O나 ELF 같은 플랫폼 바이너리를 만듭니다. 일부 플랫폼이나 CGo 등의 경우에는 외부 네이티브 링커도 필요합니다.
저자는 helloworld를 빌드하며 이 경로를 확인했습니다. -gcflags='all=-N -l'로 최적화와 인라이닝을 끄고, -x로 실행 명령을 출력했으며, -work로 작업 디렉터리를 보존하고 경로를 확인했습니다. 실제로 컴파일된 파일은 helloworld.go뿐이었습니다. fmt를 비롯한 나머지 패키지는 캐시된 빌드에서 가져왔습니다.
링크 전 오브젝트 파일에서 fmt.Println을 부르는 CALL의 오프셋은 0이었습니다. 여기서 CALL은 ARM64의 BL에 해당하는 Plan 9 표기입니다. 컴파일러는 함수의 최종 주소를 모르므로 [0:4]R_CALLARM64:fmt.Println이라는 재배치 정보를 남깁니다. 명령어 전체가 재배치 대상이고, 26비트 즉치값을 쓰는 호출이며, 목적지는 fmt.Println이라는 뜻입니다. 링크가 끝난 실행 파일에서는 링커가 예상대로 호출 명령어를 고쳐 놓았습니다. 이처럼 호출 대상을 결정하는 과정에서 트램폴린도 들어갑니다.
helloworld에서도 작동한 debugtramp
호출은 목적지에 도착하는데 줄 정보는 사라졌습니다. 저자는 정상 바이너리와 문제가 있는 바이너리를 링크하는 과정을 비교하고, 링커의 실행 흐름을 이분 탐색하는 차등 디버깅으로 원인을 좁혔습니다. 그러다 FlagDebugTramp라는 변수를 발견했습니다. 문서화가 잘 안 된 명령줄 플래그 debugtramp가 이 값을 설정했습니다.
Go 1.19의 링커는 처음부터 트램폴린을 고려하지 않습니다. 우선 트램폴린 없이 함수 주소를 배정하고, 이 방식으로 실패할 가능성이 있으면 트램폴린까지 고려하는 더 복잡한 전략으로 전환합니다. FlagDebugTramp는 트램폴린 삽입을 강제하는 것으로 보였습니다. 큰 바이너리에서 발견한 버그를 helloworld에서도 100% 재현할 수 있게 된 것입니다. 덕분에 자세한 재현 절차를 갖춘 이슈를 올릴 수 있는 상태가 됐습니다.
힙 복사 뒤의 external 표시
줄 정보가 빠지는 지점은 writelines에서 드러났습니다. 이 함수는 컴파일 단위마다 각 함수를 심볼 인덱스로 찾아 AuxSyms를 가져옵니다. 그런데 트램폴린이 들어간 함수에서는 IsExternal()이 참이었고, 보조 심볼을 요청해도 빈 결과가 돌아왔습니다. 그 결과 패키지의 LPT에는 일부 줄 정보만 남았습니다.
external 표시는 트램폴린을 넣는 과정에서 붙었습니다. 링커는 아키텍처별 코드에서 트램폴린 명령어를 만들고 fmt.Fprintln+0-tramp0 같은 심볼 이름을 부여합니다. 호출 대상도 새 트램폴린으로 고쳐야 합니다. 문제는 Go 링커가 다른 링커들처럼 입력 오브젝트 파일을 읽기 전용 mmap()으로 읽는다는 점입니다. 원래 심볼을 그대로 수정할 수는 없었습니다.
링커는 전역 함수 심볼 인덱스 symIdx로 찾은 심볼을 힙에 깊게 복사한 뒤 수정하고, 복사한 심볼에 external 표시를 붙였습니다. 일종의 copy-on-write입니다. 그런데 DWARF 생성 코드는 external로 표시된 심볼을 건너뛰었습니다. 호출 대상을 고치려고 복사한 함수도 이 조건에 걸렸습니다. 수정에 필요한 복사는 정상적으로 끝났지만, 줄 정보를 모으는 코드의 잘못된 가정 때문에 해당 함수의 정보가 최종 LPT에서 빠진 것입니다.
한 달 안에 백포트된 한 줄 수정
copy-on-write 설계는 유지해야 했습니다. 고칠 곳은 GetFuncDwarfAuxSyms의 가정이었습니다. 여기까지 추적한 버그의 수정은 한 줄이었고, 버그를 재현하고 수정 결과를 검증하는 테스트도 작성해야 한다고 저자는 짚었습니다. Go 팀은 수정을 받아들였으며, 한 달 안에 go1.19.1과 go1.18.6으로 백포트했습니다. 저자는 리뷰를 맡은 Google의 Cherry Mui와 Than McIntosh에게 감사를 전했습니다.
버그는 약 1년 동안 남아 있었습니다. 저자는 ARM64가 그동안 바이너리가 작은 임베디드 시스템에 주로 쓰였기 때문일 것으로 추정했습니다. 개인용 컴퓨터에 들어온 ARM64가 우버처럼 큰 Go 바이너리를 만나면서 문제가 드러났다는 가설입니다.
호출 거리를 늘리기 위한 트램폴린은 오래된 장치입니다. 32비트 이전 시절의 C에는 near와 far 키워드가 있었고, 8086에서 near 포인터는 64k를 넘지 못했습니다. 1MB까지 닿으려면 더 비싼 far 포인터가 필요했습니다. 명령어 크기가 고정된 RISC 시대에 호출 거리 문제가 다시 나타났습니다.
우버의 Go 바이너리가 그렇게 커진 이유도 남아 있습니다. 그 일부는 링커가 입력 오브젝트 파일에서 도달 가능한 내용을 판별하는 dead code analysis의 방식과 관련돼 있습니다. 저자는 시간이 되면 이 분석의 한계와 개선 방향을 후속 글에서 다루고 싶다고 밝혔습니다.
호출 명령어 비교와 수정 일정
| 항목 | 값 |
|---|---|
| ARM64 호출 명령어 | BL imm26, 오프셋 28비트(암묵적 2비트 포함), 호출 거리 ±128MB(링커 제한 ±124MB) |
| AMD64 호출 명령어 | CALL rel32, 5바이트, 호출 거리 ±2GB |
| ARM64 트램폴린 | 3명령어(12바이트), ±4GB(33비트) |
| 사례 호출 거리 | 0x10fe8afd0와 0x104c99fc0, 약 180MB |
| 재현 방법 | debugtramp 플래그로 트램폴린 삽입 강제, helloworld에서도 재현 |
| 버그 잔존 기간 | 약 1년 |
| 백포트 | 한 달 안에 go1.19.1, go1.18.6 |