본문으로 건너뛰기
사라진 Kubernetes 파드에 남긴 커널 패닉의 흔적
목차

사라진 Kubernetes 파드에 남긴 커널 패닉의 흔적 (2023-10)

원문 정보

  • 원문: Kubernetes And Kernel Panics
  • 매체 · 게시일: Netflix TechBlog · 2023-10-27
  • 저자: Kyle Anderson
  • 원문 내용을 바탕으로 재구성한 요약입니다.

종료 상태 없이 사라진 Titus의 파드

파드는 사라졌는데, 작업을 재시도해도 안전한지는 알 수 없습니다. 반환 코드가 없기 때문입니다. Netflix의 컨테이너 플랫폼 Titus에서 사내 엔지니어의 불편을 줄이던 Kyle Anderson은 이런 ‘고아 파드’를 조사했습니다. 끝까지 실행되지 못한 채 제대로 된 최종 상태도 없이 가비지 컬렉션(GC)으로 지워진 파드입니다.

ReplicaSet 같은 서비스 작업의 소유자는 이런 파드에 크게 신경 쓰지 않습니다. 배치 사용자에게는 사정이 다릅니다. 작업의 반환 코드를 모르면 안전하게 재시도할 수 있는지 판단하기 어렵습니다. 전체 파드에서 차지하는 비율이 작아도 그냥 넘길 수 없는 불편이었습니다.

파드가 사라지는 경로는 알고 있었습니다. 보통 클라우드 업체의 k8s cloud-controller가 실제 서버인 EC2 인스턴스가 없어진 것을 감지해 노드 객체를 삭제하고, 그 뒤 GC가 해당 노드의 파드를 지웁니다. Titus는 Pod와 Node 객체의 이력을 저장하는 커스텀 컨트롤러로 사용자에게 설명도 보여 주고 있었습니다. 하지만 노드를 잃었다는 기록에는 가장 알고 싶은 내용이 빠져 있었습니다. 노드는 왜 사라졌는지입니다.

목표는 사라진 인스턴스마다 이유를 남기고, 그 이유를 파드까지 전달하는 것이었습니다. 그중에서도 커널 패닉은 가장 까다로운 경우입니다.

패닉 중에도 UDP를 보내는 netconsole

커널이 패닉하면 할 수 있는 일이 별로 없습니다. 그래도 마지막 숨을 내쉬듯 UDP 패킷 하나를 보낼 수는 있습니다. 아이디어는 Google Spanner 논문에서 왔습니다. Spanner 노드는 lease와 lock을 해제하려고 “last gasp” UDP 패킷을 보냅니다. Titus에서 이 마지막 숨소리를 전하는 데 쓴 도구는 표준 Linux 모듈 netconsole입니다.

패닉에 빠진 커널이 ‘kernel panic’이라는 텍스트를 담아 보낸다는 것부터 뜻밖입니다. 가능한 이유는 전송 정보를 미리 준비해 두기 때문입니다. netconsole에는 IP 헤더의 거의 전부를 설정해야 합니다. 출발지와 목적지의 MAC·IP·UDP 포트를 모두 지정해 사실상 커널 대신 패킷을 만들어 두면, 커널은 미리 설정된 네트워크 인터페이스로 패킷을 내보냅니다.

설정은 netconsole-setup 명령이 도와줍니다. 모든 옵션을 동적으로 바꿀 수 있어 수신 지점의 IP가 달라져도 새 주소로 갱신할 수 있습니다. modprobe 직후부터 커널 메시지가 전송되기 시작합니다. 커널 공간에서 dmesg | netcat -u $destination 6666을 실행하는 것과 같습니다.

패킷 하나에 담기는 내용은 커널 메시지 한 줄입니다. 별도의 형식 없이 텍스트 그대로 보냅니다. 예시에서는 Kernel panic - not syncing: buffer overrun 뒤로 CPU, PID, 하드웨어 이름인 Amazon EC2 r5.2xlarge, 호출 스택이 줄마다 이어집니다.

파드 이력을 보존하는 종료 사유 annotation

커널의 마지막 메시지를 받았다면, 이제 파드를 잃은 사용자에게 그 이유를 전해야 합니다. Titus가 마련한 자리는 pod.titus.netflix.com/pod-termination-reason annotation입니다. 여기에 사람이 읽을 수 있는 종료 사유를 자유 형식 텍스트로 남깁니다.

status를 패치하지 않은 데는 이유가 있습니다. 파드의 나머지 정보를 그대로 두어 이력으로 보존하려는 선택입니다. 무엇이 파드를 종료시켰는지, 태깅에 쓸 짧은 사유 코드는 무엇인지도 별도의 annotation에 기록합니다.

기록할 이유는 커널 패닉에만 한정되지 않습니다.

  • 더 높은 우선순위 작업에 의한 선점
  • 하드웨어 장애에 따른 종료와 장애 유형
  • 사용자가 노드에서 실행한 sudo halt에 따른 종료
  • 노드의 커널 패닉으로 인한 예기치 않은 종료

값을 담을 자리만 만들어서는 충분하지 않습니다. GC 컨트롤러가 이 annotation을 읽어야 하고, 파드나 노드를 예기치 않게 사라지게 할 수 있는 모든 프로세스가 종료 사유를 채워야 합니다. 커널 패닉의 경우에는 netconsole 메시지를 받는 Kubernetes 컨트롤러가 그 기록을 담당합니다.

GC보다 먼저 파드를 정리하는 Kubernetes 컨트롤러

컨트롤러는 UDP 6666 포트에서 netconsole 패킷을 기다립니다. 원문의 Go 구현에서는 수신 버퍼를 정리한 뒤 커널 패닉처럼 보이는 줄을 찾습니다. 패닉 줄을 발견하면 카운터를 20으로 설정하고 고루틴으로 패닉 처리 함수를 실행하며, 카운터가 양수인 동안 뒤따르는 줄도 로그에 남깁니다. 패닉 이후의 커널 메시지까지 함께 기록하는 방식입니다.

어느 파드에 사유를 남길지 찾는 기준은 발신 IP입니다. 처리 함수는 informer에서 그 주소와 일치하는 노드를 찾고, 없으면 오류를 로그에 남깁니다. 노드를 찾으면 파드 informer에서 해당 노드에 묶인 파드를 모두 가져와 개수를 기록한 뒤, 패닉 메시지를 종료 사유 annotation에 넣고 파드를 삭제합니다. 이어서 노드에도 annotation을 달고 삭제하며, 처리 결과를 로그에 남깁니다.

이제 GC가 지워 주기를 기다리지 않습니다. 커널 패닉을 감지하는 즉시 파드와 노드를 삭제하고, 무슨 일이 있었는지는 annotation에 남깁니다. 글에 실린 화면도 실제 커널 패닉이 발생한 노드에서 사라진 파드의 기록입니다.

작업이 커널 패닉으로 실패했다는 설명만으로 사용자가 만족하지는 않을 수 있습니다. 그래도 Titus 팀은 이제 파드를 잃은 이유를 추적하고, 그 커널 패닉을 고치기 시작할 관측 수단을 갖췄습니다.

마지막 수정 일자