본문으로 건너뛰기
끝나지 않는 Go 고루틴의 기다림을 찾는 LeakProf
목차

끝나지 않는 Go 고루틴의 기다림을 찾는 LeakProf (2022-11)

원문 정보

  • 원문: LeakProf: Featherlight In-Production Goroutine Leak Detection
  • 매체 · 게시일: Uber Engineering Blog · 2022-11-10
  • 저자: Georgian-Vlad Saioc(Programming Systems Research 팀 박사과정 인턴, 오르후스대 박사과정), Milind Chabbi(Programming Systems Research 팀 Staff Researcher)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

우버가 LeakProf를 운영에 적용한 초기에 찾아낸 심각한 고루틴 누수는 10건입니다. 오탐은 1건이었습니다. 그중 결함 2건을 고치자 서비스의 최대 메모리가 각각 2.5배와 5배 줄었고, 서비스 소유자는 컨테이너 메모리 요구량을 자발적으로 25% 낮췄습니다.

통신 상대가 사라진 Go 채널

우버의 Go 모노레포에는 비즈니스 로직과 라이브러리, 인프라 구성요소의 상당 부분이 들어 있습니다. 개발 플랫폼의 중심입니다. Go의 동시 실행을 맡는 고루틴은 가벼운 스레드로, 함수 호출 앞에 go를 붙이면 비동기로 실행되며 프로그램 하나에서 수십에서 수천 개씩 실행하는 일이 흔합니다.

고루틴끼리는 Hoare의 CSP에서 영감을 받은 채널로 메시지를 주고받습니다. 공유 메모리도 쓸 수 있지만, Go 개발팀은 올바르게 사용했을 때 데이터 레이스에 더 강한 채널을 권합니다. 채널 통신에는 만날 상대가 필요합니다. 버퍼가 없는 unbuffered 채널에서 송신자는 수신자가 올 때까지, 수신자는 송신자가 올 때까지 기다립니다.

그 상대가 끝내 오지 않으면 고루틴 누수입니다. 복잡한 제어 흐름이나 이른 반환, 타임아웃 때문에 통신할 상대가 사라져도 고루틴은 채널 연산에서 계속 기다립니다. 버퍼가 있는 채널도 안전을 보장하지는 않습니다. 버퍼가 가득 찬 뒤에는 송신자가 막힐 수 있습니다.

문제는 기다리는 고루틴 하나로 끝나지 않습니다. 가비지 컬렉터는 그 고루틴의 채널과 스택, 거기서 접근할 수 있는 모든 객체를 회수하지 못합니다. 작은 누수라도 오래 실행되는 서비스에서 되풀이되면 메모리가 계속 쌓입니다.

운영 코드에서 반복된 기다림

오류를 받기 전에 끝난 부모 함수

우버가 제시한 이른 반환 예제에서는 자식 고루틴이 채널 c로 오류를 보내고 부모가 받습니다. 그런데 부모 함수에는 수신보다 앞서 반환할 수 있는 if문들이 있습니다. 부모가 그 경로로 빠져나가면 자식은 어느 지점에서 오류를 보내든 영원히 막힙니다.

이 예제의 해법은 용량 1의 채널 버퍼입니다. 부모가 메시지를 받지 않아도 자식은 오류를 한 번 보내고 종료합니다. 부모의 모든 실행 경로가 수신에 참여한다고 기대하지 않아도 됩니다.

타임아웃 누수는 이른 반환의 특수한 경우로 볼 수도 있지만 특히 흔합니다. 자식은 버퍼가 없는 done 채널로 완료를 알리고, 부모는 select에서 done의 메시지와 ctx의 타임아웃 중 하나를 기다립니다. 타임아웃이 먼저면 부모는 반환합니다. 자식이 done에 메시지를 보낼 때는 이미 받을 고루틴이 없습니다.

이 코드도 done의 용량을 1로 바꾸면 해결됩니다. 부모가 타임아웃으로 먼저 종료하더라도 자식은 메시지를 버퍼에 보내고 실행을 마칩니다.

첫 결과 뒤에 남은 NCast 송신자

여러 자식 고루틴 중 가장 먼저 온 결과 하나만 쓰는 코드에서도 누수가 생깁니다. 예제의 부모는 반복문에서 자식들을 만들고 모두에게 dataChan을 넘깁니다. 그런 다음 채널에서 한 번만 읽고 반환하면서 채널 참조를 잃습니다.

dataChan에 버퍼가 없으면 첫 송신자만 풀립니다. 나머지 자식들은 영원히 막힙니다. 이 NCast 누수는 송신자 N개와 수신자 M개가 있고 N > M인 상황에서, 각 수신자가 한 번씩만 받는 경우로 일반화됩니다.

여기서는 버퍼를 결과 항목 수만큼 잡습니다. 부모가 첫 결과만 읽는 동작은 유지하면서도, 나머지 자식들이 각자 결과를 보내고 종료하도록 만드는 수정입니다.

마지막 메시지 뒤에도 기다리는 소비자

앞의 예제들에서는 송신자가 남았지만, 채널 순회에서는 소비자가 남습니다. 생산자 고루틴들이 queueJobs에 메시지를 하나씩 보내고 소비자가 range로 읽는 코드입니다. 채널을 닫지 않으면 모든 메시지를 읽은 뒤에도 순회가 끝나지 않습니다. 소비자는 더 오지 않을 메시지를 기다립니다.

이 예제에서는 부모가 WaitGroup으로 모든 메시지 전달을 기다립니다. wg.Wait() 뒤에 close(queueJobs)를 호출하면 소비자도 순회를 마치고 회수 대상이 됩니다. 채널을 만든 직후 defer로 close(queueJobs)를 예약해, 부모 함수가 끝날 때 닫도록 하는 방법도 있습니다.

반복되는 누수에 초점을 맞춘 LeakProf

이런 누수가 드러나는지는 고루틴의 실행 순서와 드문 런타임 조건에 달려 있습니다. 코드만으로 판단하기 어렵습니다. Go에는 컴파일 시점이나 실행 중에 누수를 찾아 주는 기본 기능이 없고, 정적 분석 기법에도 오탐과 미탐이 있습니다.

테스트에서 쓰는 goleak 같은 동적 분석 도구는 실행한 코드 경로와 스케줄을 얼마나 포괄하느냐에 효과가 달렸습니다. 운영 설정 플래그가 바꾸는 경로는 단위 테스트에서 실행되지 않을 수도 있습니다. 대규모에서 모든 경로와 실행 순서를 빠짐없이 시험하는 일은 불가능합니다.

운영 중에 찾으려면 탐지 비용부터 낮아야 합니다. 높은 오버헤드로 SLA를 해치거나 컴퓨팅 자원을 낭비해서는 안 되고, 잘못된 경보로 개발자의 시간을 빼앗아서도 안 됩니다.

LeakProf는 계속 쌓이는 누수에 초점을 맞췄습니다. 드물게 발생하는 누수는 비용이 작으므로 놓쳐도 된다는 선택입니다. 누수가 상당한 프로그램이라면 특정 채널 연산에 막힌 고루틴이 많이 모이고, 고루틴 수의 급증으로도 그 징후가 드러납니다.

많은 누수 고루틴을 만드는 소스 위치는 대개 몇 곳입니다. 눈에 띌 만큼 누수가 쌓이려면 같은 위치가 자주 실행돼야 하기 때문입니다. 여러 실행 경로에서 도달하는 채널 연산이나 반복문 안의 연산이 그 예입니다. 한 번 누수된 고루틴은 서비스 수명이 끝날 때까지 남으므로, 같은 누수 경로를 거듭 실행할수록 그 위치에 막힌 고루틴도 늘어납니다.

LeakProf는 pprof로 고루틴의 콜 스택을 주기적으로 수집합니다. Go 런타임의 알려진 블로킹 함수를 확인하면 채널 송신·수신이나 select에서 막힌 고루틴을 구별할 수 있습니다. 이를 채널 연산의 소스 위치별로 모아 세고, 한 위치의 수가 설정 가능한 임계값을 넘으면 잠재적 누수로 표시합니다.

우버에서는 임계값을 넘긴 연산 중에서도 우버 코드베이스에 속한 것만 서비스 소유자에게 자동으로 알립니다. 개발자가 확인할 대상은 고루틴이 많이 쌓인 소스 위치입니다.

의도된 대기에서 비롯된 오탐

많이 기다린다는 사실만으로 누수가 확정되지는 않습니다. 프로그램이 의도한 대기일 수 있습니다. 지연이 큰 하트비트 연산처럼 고루틴이 오래 막히는 동작도 임계값을 넘으면 오탐이 됩니다.

놓치는 누수도 있습니다. 운영 중 해당 경로를 실행하지 않았거나 누수된 고루틴 수가 임계값을 넘지 않았다면 LeakProf는 이를 보고하지 않습니다. 모든 누수를 빠짐없이 찾지도, 보고한 항목이 모두 실제 누수라고 보장하지도 않는 방식입니다.

우버는 오탐을 줄이려고 가벼운 정적 분석 휴리스틱을 개발하고 있습니다. 예를 들어 의심스러운 select의 추상 구문 트리(AST)를 검사해, case 가운데 표준 라이브러리의 ticker나 timer처럼 막히지 않는 것으로 알려진 연산을 기다리는 분기가 있는지 확인합니다. 그런 분기가 있으면 확실한 오탐으로 판단해 고루틴 수와 관계없이 보고에서 제외합니다. 알려진 오탐을 설정 목록으로 관리할 수도 있습니다.

더 작은 Go 프로그램에 맞출 임계값

한 위치에 막힌 고루틴 수를 세는 방식은 임계값 아래의 누수를 놓칩니다. 우버는 더 작은 프로그램에서도 누수를 찾도록, 프로파일별로 임계값을 정하는 휴리스틱을 개선할 계획입니다. 탐지 이후 의심 코드를 확인하는 정적 분석도 보강할 예정입니다.

운영에서 찾아낸 누수 코드는 린터를 만들 단서도 남겼습니다. 이른 반환이나 닫지 않은 채널 순회처럼 반복되는 형태를 코드에서 찾아, 누수를 보고하고 막는 린터로 이어질 가능성이 있습니다.

LeakProf 적용 결과와 패턴별 해법
항목값
초기 탐지 결과심각한 누수 10건, 오탐 1건
수정 효과2건 수정으로 최대 메모리 각각 2.5배, 5배 감소
서비스 소유자의 조치컨테이너 메모리 요구량 25% 하향
알림 조건막힌 고루틴 수가 임계값 초과, 우버 코드베이스 소속 연산
이른 함수 반환, 타임아웃 누수 해법채널 버퍼 1
NCast 누수 해법버퍼를 항목 수만큼 확대
채널 순회 오용 해법wg.Wait() 뒤 또는 defer로 close
마지막 수정 일자