본문으로 건너뛰기
Cloudflare의 4시간 대기를 줄인 UEFI 부팅 순서
목차

Cloudflare의 4시간 대기를 줄인 UEFI 부팅 순서 (2026-06)

원문 정보

하루짜리 롤아웃을 며칠로 늘린 재부팅

정기 펌웨어 업데이트 뒤 일부 Cloudflare 코어 서버가 다시 온라인으로 돌아오는 데 4시간이 걸렸습니다. 원래는 수 분이면 끝나던 작업입니다. 하루면 마칠 플릿 전체 롤아웃이 여러 날로 늘어났고, 엔지니어들은 사람 없이 돌아가야 할 업그레이드를 계속 지켜봐야 했습니다. 신규 노드도 첫 부팅부터 타임아웃을 하나하나 기다려야 했으니 유지보수 시간까지 길어졌습니다.

Cloudflare의 코어는 컨트롤 플레인과 빌링, 분석을 실행하는 중앙 데이터센터입니다. 사용자 트래픽을 처리하는 전 세계 엣지와는 역할이 다릅니다. 코어 서버는 베어메탈로 운영하며, 하드웨어를 초기화하고 운영체제에 제어를 넘기는 일은 UEFI 펌웨어가 맡습니다. 이 인계 과정의 작은 문제도 재부팅 중에는 빠르게 파급될 수 있습니다.

문제는 오랫동안 전원이 꺼져 있던 노드를 다시 켜면서 드러났습니다. 오래된 펌웨어를 갱신하려면 여러 차례 업데이트를 거쳐야 했는데, 일부 위치의 서버에서 최근 부팅 프로토콜까지 바뀐 상황이 겹쳤습니다. 그 결과 해당 노드의 부팅 시간이 감당하기 어려울 만큼 늘어났습니다.

IPv6 HTTPS에 닿기 전의 20분

모니터링에 보인 서버들은 OS가 시작되기 전 단계에 오래 머물러 있었습니다. 처음에는 새 펌웨어에 회귀 버그가 생겨 부팅을 멈춘 것은 아닌지 의심했습니다. 영향을 받은 서버의 시리얼 콘솔을 열고 부팅 과정을 지켜보니, POST 자체 검사는 정상적으로 끝났고 하드웨어 초기화에도 이상이 없어 보였습니다.

기다림은 그 뒤에 반복됐습니다. 서버는 IPv4 HTTPS 네트워크 부팅을 시도하다 수 분 뒤 타임아웃에 걸렸고, 이어 IPv4 iPXE를 시도하다 다시 타임아웃을 맞았습니다. 이 둘을 한 번씩 더 시도한 다음에야 실제로 부팅에 성공하는 IPv6 HTTPS 인터페이스에 도달했습니다.

이처럼 선택지가 여럿인 데는 배경이 있습니다. 네트워크 부팅은 로컬 스토리지 대신 네트워크에서 운영체제를 가져와 시작하는 방식으로, 서버의 환경과 용도에 따라 필요한 인터페이스가 다릅니다. Cloudflare는 재부팅 과정의 여러 자동화 작업을 위해 대체로 PXE(Preboot Execution Environment)를 거치며, HTTP·HTTPS를 지원하는 오픈소스 네트워크 부팅 펌웨어 iPXE를 사용합니다. 일부 하드웨어는 메인보드의 UEFI 펌웨어가 보안 연결로 OS 파일을 직접 내려받는 HTTPS 부팅도 지원합니다.

문제는 사용 가능한 인터페이스를 하나씩 시도하고, 실패가 확정돼야 다음으로 넘어가는 선형 탐색이었습니다. 실패한 시도 한 번에 약 5분, 네 번이면 약 20분입니다. 재부팅 한 번에도 긴 시간이지만 펌웨어 업그레이드 자동화에서는 더 크게 불어났습니다. 부품마다 업그레이드 후 순차적으로 재부팅해야 해서, 이 20분의 대기가 되풀이되며 서버당 거의 4시간을 기다리는 데 쓰고 있었습니다.

GUI를 열어야 보이던 UEFI 설정

응답하지 않을 인터페이스를 건너뛰려면 올바른 부팅 인터페이스를 미리 선언해야 했습니다. 그런데 자동화 도구에는 그 설정부터 보이지 않았습니다.

네트워크 부팅 설정은 내부적으로 EFI_IFR_REF3 자료 구조를 사용합니다. GUI 콜백으로 명시적으로 접근하기 전까지 이 자료 구조를 생성하지 않는 지연 로딩 방식이었습니다. BIOS 부팅을 빠르게 하려는 업계의 일반적인 관행이지만, 프로그램으로 설정을 스캔하는 Cloudflare의 자동화에는 장애물이 됐습니다. 아직 생성되지 않은 Network Boot Interface를 발견할 수 없으니 우선순위도 읽지 못했습니다.

Cloudflare는 벤더와 협력해 고정된 “Boot Order Module” 안의 특정 토큰을 활성화했습니다. 그러자 사람이 GUI를 조작하지 않아도 부팅 중에 Network Boot Interface를 찾을 수 있게 됐습니다. 설정을 발견한 뒤에도 제약은 남았습니다. 장비 제조사의 UEFI에 있던 Force Priority Httpv4 Httpv6 Pxev4 Pxev6라는 변경 불가 설정이 부팅 순서 수정을 막고 있었습니다. 이를 해결하려면 벤더의 새 BIOS 버전이 필요했고, 부팅 순서를 설정하는 과정에서 디버그 세션도 거쳐야 했습니다.

NIC 벤더마다 달랐던 인터페이스 이름

설정을 찾고 바꿀 수 있어도 이름이 맞지 않으면 원하는 인터페이스를 고를 수 없습니다. 네트워크 카드인 NIC의 벤더마다 인터페이스 문자열이 달라, iPXE에서 부팅 순서를 지정할 때 불일치가 생겼습니다. IPv4 HTTPS 인터페이스 이름만 해도 아래처럼 달랐습니다.

  • UEFI: HTTPS IPv4 Ethernet Network Adapter XXX-XXX-Y for OCP 3.0 P1
  • UEFI: HTTPS IPv4 Network Adapter - 50:00:E6:8F:4F:32 P1

Cloudflare는 CfHIIConfig_App에 전체 문자열을 몰라도 설정을 지정하는 기능을 추가했습니다. .*HTTP.*IPv4.*P1 같은 패턴을 허용된 설정 문자열과 대조해 올바른 부팅 순서를 고르는 방식입니다.

와일드카드는 우회책입니다. UEFI 벤더와는 프로토콜, 전송 유형, 포트 번호, 물리 슬롯 인덱스 같은 관련 정보만 이름에 남기도록 표준화 작업을 진행 중입니다. MAC 주소 같은 제품 세부 정보는 이름에서 빼고, 필요할 때 NIC에 내장된 VPD(vital product data)에서 읽을 수 있습니다. 이 표준화로 구성 드리프트와 와일드카드 사용을 함께 없애려는 계획입니다.

부팅 순서를 먼저 지정하는 PXE 프리부트

부팅 순서를 바꾸는 기능만큼 적용 시점도 문제였습니다. Cloudflare는 하드웨어와 용도에 맞는 네트워크 부팅 순서를 PXE 프리부트 초반에 선언하도록 자동화 흐름을 재배치했습니다. 이 변경만으로 총 소요 시간이 약 1시간 줄었습니다. 펌웨어를 업그레이드할 때마다 인터페이스를 탐색하며 20분씩 기다리지 않아도 됐기 때문입니다.

이 순서가 들어갈 자리는 부팅 흐름에서 정해집니다. 전원을 켜면 UEFI가 하드웨어와 주변 장치를 초기화하고, PXE 프리부트가 네트워크 카드를 설정한 뒤 부트로더라는 작은 프로그램을 실행해 커널을 시작합니다. 여러 네트워크 부팅 인터페이스를 탐색하는 곳이 이 PXE 단계이며, 첫 부팅 때는 자동화 흐름에 펌웨어 업그레이드도 포함됩니다. iPXE는 이 과정을 스크립트로 제어할 수 있게 합니다. 하드웨어 구성에 맞춘 서버 프로비저닝 같은 복잡한 배포도 자동화할 수 있는 도구입니다.

순서를 한 번 지정하는 것으로 끝나지는 않았습니다. 오래된 UEFI 버전은 부팅 순서 지정을 지원하지 않고, UEFI 펌웨어 업그레이드 뒤에는 설정이 초기화되는 일도 흔합니다. Cloudflare는 상태 검증 단계를 추가했습니다. 펌웨어 자동화가 변경 후 설정을 확인하고, 설정이 바뀌어 있으면 다시 적용한 뒤 재부팅하도록 했습니다.

이 검증 과정에도 iPXE의 특성이 영향을 줬습니다. iPXE가 설정 변수를 HEX로 읽어 문자열 출력도 HEX로 나타났습니다. Cloudflare는 설정 변경 여부를 나타내는 불리언 플래그 uefi-same-hex를 도입해, 값을 먼저 출력하지 않고도 변경 여부를 확인하도록 했습니다. show로 값을 출력해 비교한 뒤 원하는 상태가 아닐 때 set을 실행하던 절차가 set 한 번으로 줄었습니다. 설정 확인에 드는 부팅 시간도 줄이려는 변경입니다.

BIOS 이미지 하나로 운영하는 코어 서버

설정 검증과 재적용 때문에 첫 부팅은 조금 더 걸릴 수 있습니다. 이후의 단일 부팅은 약 20분에서 1분 미만으로 줄었습니다. 전체 펌웨어 업그레이드 자동화는 거의 4시간에서 3분으로 단축됐습니다.

부팅 순서는 이제 수동 BIOS 조작 없이 바꿉니다. 모든 SKU에 BIOS 펌웨어 이미지 하나를 사용하고, 구성 업데이트는 기존 릴리스 파이프라인으로 대규모 배포합니다. 전체 워크플로는 iPXE에서 실행됩니다. Cloudflare의 OpenBMC 팀은 코어 플릿의 부팅 과정을 계속 실험하며 최적화하고 있습니다.

부팅 시간과 단계별 개선 수치
항목개선 전개선 후
펌웨어 업그레이드 자동화거의 4시간3분
이후 단일 부팅약 20분1분 미만
실패한 네트워크 부팅 시도 1회약 5분 대기순서 선언으로 시도 생략
올바른 인터페이스(IPv6 HTTPS)에 닿기 전 실패 횟수4회(약 20분)선언으로 제거
순서 선언만 먼저 재배치했을 때 총 절감약 1시간
마지막 수정 일자