목차
상주 데몬 없이 수백만 IP의 연결을 배분하는 tubular (2022-02)
원문 정보
- 원문: Production ready eBPF, or how we fixed the BSD socket API
- 매체 · 게시일: The Cloudflare Blog · 2022-02-17
- 저자: Lorenz Bauer
- 원문 내용을 바탕으로 재구성한 요약입니다.
Cloudflare의 요구를 담지 못한 BSD 소켓 API
Cloudflare의 서비스는 수백만 개 IP에서 제공됩니다. 주소만 많은 것도 아닙니다. 1.1.1.1 리졸버와 권한 DNS처럼 서로 다른 주소에서 같은 포트를 쓰는 서비스들이 공존해야 하고, Spectrum은 2^16개 포트 전체를 수신해야 합니다. BSD 소켓 API만으로는 이런 요구를 충족할 수 없었습니다.
Cloudflare가 Linux 커널에 기여한 sk_lookup 훅과 그 위에 만든 도구 tubular는 이 제약을 넘기 위한 해법입니다. tubular는 이미 Cloudflare 프로덕션에서 Spectrum과 권한 DNS의 배포를 단순하게 만들었고, 이 글과 함께 오픈소스로 공개됐습니다.
서비스가 제공되는 주소도 운영 중에 바꿀 수 있습니다. Cloudflare는 이 변경을 전 세계 네트워크에 적용하는 자동화 도구까지 만들었습니다. 수천 대의 머신에서 수백만 개 IP를 추가로 수신하는 일도 HTTP POST 한 번으로 처리합니다.
몇 초 동안 실행하고 끝나는 tubectl
Cloudflare는 DDoS 완화, 로드 밸런서, 서버군 모니터링에도 eBPF를 써 왔습니다. 이런 소프트웨어는 대체로 커널에서 실행되는 작은 C 프로그램과, 이를 로드하고 수명 주기를 관리하는 더 큰 사용자 공간 코드로 나뉩니다. 둘의 코드량 차이는 10배 이상이었습니다.
tubular에서도 운영 조건은 까다로웠습니다. 서버가 종단점인 모든 연결을 검사해 받을 애플리케이션을 결정하므로, 여기서 실패하면 초당 수백 건의 연결이 끊기거나 엉뚱한 곳으로 갑니다. 수천 대에서 배포할 때마다 사람이 지켜보거나 서버를 운영에서 뺄 수는 없었습니다. 릴리스는 온라인에서 무인으로 진행하고, 실패해도 이전 버전이 계속 동작해야 했습니다. 사용자 공간 프로세스가 죽었을 때의 영향도 줄여야 합니다.
Cloudflare는 앞서 만든 sk_lookup 제어 평면의 개념 증명 도구 inet-tool에서 상주 서비스 없이 eBPF를 관리할 수 있음을 확인했습니다. tubular도 그 방식을 따릅니다. sk_lookup에 붙는 BPF 프로그램과 이를 관리하는 Go 코드를 단일 바이너리 tubectl로 묶고, 명령을 실행할 때 필요한 변경만 처리한 뒤 종료합니다. 상태는 eBPF 맵에 남겨 커널이 유지합니다. 사용자 공간 프로세스가 계속 살아 있어야만 상태를 보존할 수 있는 부담을 없앤 설계입니다.
주소와 소켓을 이어 주는 라벨
tubectl이 다루는 객체는 바인딩과 소켓입니다. 바인딩은 들어오는 패킷과 대조할 규칙이고, 소켓은 새 연결이나 패킷을 받을 TCP 또는 UDP 소켓의 참조입니다. 이 둘을 임의의 문자열인 라벨로 연결합니다. 바인딩이 트래픽에 라벨을 붙이면, 그 라벨로 연결을 받을 소켓을 찾습니다.
예를 들어 tubectl bind "foo" tcp 127.0.0.1 80은 127.0.0.1:80으로 오는 TCP 트래픽을 "foo" 라벨에 연결합니다. 주소 하나에 그치지 않습니다. tubectl bind "bar" tcp 127.0.0.0/24 80으로 대역 전체의 HTTP 연결을 한 소켓으로 보낼 수도 있습니다.
이렇게 만들면 127.0.0.1:80은 두 바인딩에 모두 해당합니다. tubular는 더 구체적인 규칙을 우선합니다. IP 접두사는 마스크가 긴 쪽이 우선하고, 포트는 전체 포트를 뜻하는 와일드카드 0보다 특정 포트를 지정한 쪽이 우선입니다. 따라서 이 예에서는 127.0.0.1의 HTTP 트래픽만 foo로 가고, 같은 대역의 나머지 주소로 들어온 HTTP 트래픽은 bar로 갑니다.
다른 프로세스에서 가져오는 소켓 참조
라벨을 붙였다고 연결을 보낼 준비가 끝나지는 않습니다. sk_lookup에는 실제 TCP 또는 UDP 소켓의 참조가 필요하지만, 소켓은 보통 이를 만든 프로세스만 접근할 수 있습니다. 익숙한 해법은 해당 프로세스가 SCM_RIGHTS 메시지로 소켓 파일 디스크립터를 tubular 데몬에 넘기는 방식입니다. 그러려면 애플리케이션을 고쳐야 하고, 충돌할 수 있는 데몬도 운영해야 합니다.
systemd 소켓 활성화를 쓰는 서비스라면 다른 길이 있습니다. Sockets 설정을 지정한 서비스 유닛을 추가해, 소켓 서비스가 생성될 때 oneshot 동작으로 tubectl register를 실행합니다. systemd가 필요한 시점에 명령을 실행하므로 별도 데몬은 필요 없습니다. 하지만 널리 쓰이는 소프트웨어 중에도 소켓 활성화를 쓰지 않는 경우가 많습니다. systemd 소켓을 다루는 일 자체도 복잡해 쉽게 실험하기 어려웠습니다.
tubular는 pidfd_getfd로도 소켓을 가져옵니다. 다른 프로세스의 파일 디스크립터를 호출한 프로세스에 복제하는 시스템 콜입니다. 대상 프로세스의 디스크립터를 훑으며 원하는 소켓을 고르면 됩니다. 예를 들어 tubectl register-pid로 httpd 프로세스에서 127.0.0.1:8080에 바인딩된 TCP 소켓을 찾아 "foo" 라벨로 등록할 수 있습니다. 필요하면 이 명령을 systemd의 ExecStartPost에 연결합니다.
바인딩의 우선순위를 담은 eBPF 맵
바인딩과 소켓 참조는 BPF의 키/값 자료구조인 맵에 저장하고, BPF_OBJ_PIN으로 /sys/fs/bpf에 고정해 유지합니다. 저장 형태는 명령줄에서 보던 모습과 다릅니다. 사람에게 편한 "foo" 같은 라벨은 길이가 가변적이어서 BPF에서 다루기 번거롭고 느립니다. BPF 프로그램에는 라벨 대신 숫자 ID를 넘깁니다.
사용자 공간 코드는 (label, domain, protocol) 튜플마다 ID를 할당합니다. 이 튜플을 내부에서는 destination이라고 부릅니다. 예를 들어 "foo"의 IPv4 TCP 바인딩을 추가하면 ("foo", AF_INET, TCP)에 해당하는 ID를 할당합니다. destinations 맵은 ID와 이를 참조하는 바인딩 수를 보관해, 더는 쓰지 않는 ID를 재활용하게 합니다. 목적지별 메트릭은 destination_metrics에 CPU별 카운터로 저장합니다.
겹치는 바인딩의 우선순위를 구현하는 방법도 골라야 했습니다. 구체적인 규칙부터 차례로 검사하는 BPF 코드를 생성할 수도 있습니다. Cloudflare가 l4drop에서 효과적으로 썼던 기법입니다. 하지만 바인딩이 늘수록 프로그램이 길어져 실행이 느려지고, 긴 코드를 들여다보거나 디버깅하기도 어려워집니다. tubular는 최장 접두사 일치(LPM) 맵을 선택했습니다. 사용자 공간에서 맵을 읽어 활성 바인딩을 확인할 수 있고, 내부의 트라이 덕분에 조회 비용은 바인딩 수가 아닌 키 길이에 비례합니다.
bindings 맵의 키는 (protocol, port, prefix), 값은 (ID, prefix length)입니다. 여기서 얻은 ID로 sockets 맵의 소켓 참조를 찾습니다. ID를 배열 인덱스로 쓰기 알맞게 할당하므로, 소켓 해시 테이블 대신 더 단순한 배열인 BPF sockmap을 사용할 수 있습니다. 접두사 길이를 값에도 보관하는 이유는 BPF API의 부족한 점을 우회하기 위해서입니다.
키에 우선순위를 담는 과정을 보려면 IPv6를 생략하고 ID 자리에 라벨을 넣은 단순화된 예가 도움이 됩니다. tcp 127.0.0.0/24 80에서 주소의 앞 24비트만 쓰고 마지막 바이트는 미지정 값 ??로 둡니다. TCP를 나타내도록 정한 0x01과 포트 80의 16진수 값 0x50을 앞에 붙이면 키는 0x01 50 7f 00 00 ??입니다. 더 구체적인 tcp 127.0.0.1/32 80은 0x01 50 7f 00 00 01이 됩니다.
127.0.0.1:80로 향하는 TCP 패킷을 조회하면 두 키가 모두 맞지만, 더 긴 접두사가 일치하는 foo가 선택됩니다. 목적지가 127.0.0.255:80이면 결과가 달라집니다. foo는 마지막 바이트가 맞지 않아 제외되고, 그 바이트를 지정하지 않은 bar가 유효한 일치 항목으로 남습니다.
커널에 오래 남은 BPF 프로그램의 교체
단일 바이너리로 배포해도 코드가 바뀌는 시점은 서로 다릅니다. BPF 프로그램은 명시적으로 교체할 때까지 몇 주나 몇 달 동안 커널에서 실행될 수 있습니다. 프로그램과 링크의 참조도 /sys/fs/bpf에 고정해 둡니다. 사용자 공간 코드는 몇 초씩 실행되고, 디스크의 바이너리가 바뀌면 다음 실행부터 새 코드가 됩니다. 새 tubectl이 커널에 남은 이전 BPF 프로그램을 만날 수 있다는 뜻입니다.
tubular는 먼저 버전을 확인합니다. 커널에 로드된 BPF 프로그램과 tubectl에 포함된 BPF 프로그램의 tag를 비교하고, 다르면 오류를 반환합니다. tag는 BPF 명령어의 해시를 잘라 만든 값으로, 커널이 로드된 프로그램마다 제공합니다. 이 비교로 사용자 공간 코드가 지원하는 BPF 프로그램인지 확인합니다.
오류를 내는 것만으로는 다시 변경 작업을 할 수 없습니다. tubectl upgrade로 커널 프로그램도 교체해야 합니다. BPF 프로그램을 커널에 로드하는 일과 훅에 붙이는 일은 별개입니다. 로드한 프로그램을 bpf_link로 훅에 연결하면 실행을 시작하므로, 링크를 갱신해 실행할 프로그램을 운영 중에 원자적으로 바꿀 수 있습니다.
실제 업그레이드에는 고정해 둔 프로그램 참조의 갱신도 포함됩니다. 새 프로그램을 program-upgrade라는 이름으로 먼저 고정하고, 링크를 갱신한 뒤 이 이름을 program으로 원자적으로 바꿔 기존 참조를 교체합니다. RENAME_EXCHANGE를 활용해 업그레이드를 더 안전하게 만드는 것은 당시 구현 이후의 가능성으로 남아 있었습니다.
맵 대신 잠금을 거는 디렉터리
짧게 실행되는 명령도 여러 개가 한꺼번에 상태를 바꾸면 문제가 됩니다. 각각의 tubectl이 /sys/fs/bpf를 수정할 때 어떤 일이 벌어질지 추론하기 어려우므로, 변경은 한 번에 하나만 허용하기로 했습니다.
흔히 쓰는 권고 파일 잠금부터 시도했지만, BPF 맵 파일에 flock을 걸자 입출력 오류가 났습니다. 잠시 막힌 듯했던 해법은 디렉터리에 있었습니다. 개별 맵에는 걸 수 없던 잠금이 그 맵들을 담은 디렉터리에는 걸렸습니다. 모든 tubectl 호출이 이 디렉터리에 flock()을 적용해, 한 번에 한 프로세스만 상태를 변경하도록 보장합니다.
읽기 전용으로 여는 tubular의 상태 파일
tubular가 연결을 배분하기 시작하면 ss 출력은 더 이상 정확한 상태를 보여 주지 못합니다. 실제 바인딩은 tubectl bindings로 확인합니다. 그런데 이 명령에는 슈퍼유저 권한이 필요합니다. 사람이 잠깐 실행하는 점검이라면 받아들일 만해도, Prometheus 같은 풀 기반 모니터링에서는 걸림돌입니다. 보통처럼 HTTP 서버로 메트릭을 노출하려면 그 서버를 높은 권한으로 실행하고 Prometheus에서도 접근할 수 있게 해야 하기 때문입니다.
tubular는 BPF 상태를 읽기 전용으로 열어 이 문제를 풉니다. BPF_OBJ_GET을 BPF_F_RDONLY 플래그와 함께 호출하면 open(O_RDONLY)처럼 상태를 읽기 전용으로 열 수 있습니다. 파일 권한도 맞아야 합니다. tubular는 소유자에게 전체 접근 권한을 주고, 그룹에는 읽기만 허용합니다. 예를 들어 sudo -u root -g tubular tubectl load로 로드하면 root가 소유하고 tubular 그룹이 읽을 수 있는 상태 파일을 만듭니다.
디렉터리 접근도 열어 줘야 합니다. systemd는 /sys/fs/bpf를 root만 접근할 수 있게 마운트하므로, 실행 비트를 추가해 모드를 0700에서 0701로 바꿉니다. 이렇게 파일과 디렉터리의 권한을 설정하면 nobody 사용자와 tubular 그룹으로 메트릭을 내보낼 수 있습니다.
완전히 특권 없는 접근에는 조건이 하나 더 있습니다. unprivileged BPF가 켜져 있어야 합니다. 많은 배포판은 unprivileged_bpf_disabled sysctl로 이 기능을 꺼 둡니다. 그 환경에서는 파일 권한을 조정해도 메트릭 수집에 CAP_BPF가 필요합니다.
바인딩 예시와 운영 상태의 세부 값
| 항목 | 값 |
|---|---|
| 우선순위 규칙 | 긴 접두사 우선, 구체적 포트가 포트 와일드카드(0)보다 우선 |
| 예시 바인딩 1 | tcp 127.0.0.1/32 80 -> foo |
| 예시 바인딩 2 | tcp 127.0.0.0/24 80 -> bar |
| LPM 키 예 | 0x01 50 7f 00 00 ?? (bar), 0x01 50 7f 00 00 01 (foo) |
| destination 키 | (Label, Domain, Protocol) -> (ID, Count) |
| 영속화 경로 | /sys/fs/bpf/ |
| 파일 모드 | 소유자 rw, 그룹 r (-rw-r—–), /sys/fs/bpf는 0701 |
| 업그레이드 | program-upgrade를 고정한 뒤 링크 갱신, program으로 rename |
| 잠금 | 디렉터리 단위 flock (맵 파일 flock은 미지원) |
| 요구 사항 | 서비스 수백만 IP, 포트 2^16개 전체 수신(Spectrum) |