본문으로 건너뛰기
Spring Boot와 Kubernetes의 초기 지연을 줄인 웜업
목차

Spring Boot와 Kubernetes의 초기 지연을 줄인 웜업 (2023-06)

원문 정보

교체 직후 느려진 첫 응답

데마에칸의 가게 목록 API는 앱과 웹의 첫 화면을 맡습니다. LINE+ ABC Studio 팀은 비용과 성능을 개선하려고 기존 Elasticsearch 구성을 Spring Boot, MongoDB, Kubernetes 조합으로 바꾸고 있었습니다. 배포하거나 서비스 규모를 조정할 때도 빠르고 안정적으로 응답해야 하는 서비스입니다.

부하 테스트 중 요청 처리량이 순간적으로 떨어졌습니다. 의도치 않게 배포 프로세스가 작동하면서 새로 교체된 애플리케이션에서 지연이 나타났고, 그 시간은 평균 응답 속도의 약 6배에 달했습니다. 팀은 콜드 스타트의 영향으로 판단했습니다.

콜드 스타트는 빠르게 가동하려고 최소한의 기능만 로딩해 시작하는 방식입니다. 처음 접근한 사용자는 필요한 기능을 추가로 로딩하는 시간을 기다릴 수 있습니다. 팀은 자동차를 예열하듯 애플리케이션을 미리 준비하는 웜업을 적용했습니다. 트래픽을 받기 전에 가상의 사용자를 시뮬레이션해 필요한 기능과 라이브러리를 로딩하는 방법입니다.

차이는 재시작 테스트에서 확인했습니다. n개의 레플리카로 구성된 디플로이먼트를 재시작하며 평균 응답 시간을 비교했는데, 웜업을 제거했을 때는 새 애플리케이션의 초기 지연으로 평균 응답 시간이 비정상적으로 크게 올랐습니다. 웜업을 적용하자 이 현상이 크게 개선됐습니다.

첫 요청 전에 실행할 준비 작업

JVM은 시작할 때 모든 클래스를 로드하지 않습니다. 아직 로드하지 않은 클래스는 필요한 시점에 로딩하므로 첫 실행 시간에 영향을 줄 수 있습니다. 클래스 초기화에 Thread.sleep(100)을 넣고 ExampleClass.run()을 두 번 호출한 예제에서는 첫 실행에 104052250 ns, 두 번째에 12458 ns가 걸렸습니다. 의도적으로 초기화를 늦춘 극단적인 예제입니다. 첫 호출에 클래스 로딩과 클래스 수준의 코드 실행이 함께 일어나는 모습을 보여 줍니다.

JIT 컴파일러에도 실행 경험이 필요합니다. 바이트코드 실행에서 얻은 프로파일링 정보를 바탕으로 최적화한 네이티브 코드를 만들고 코드 캐시에 저장하기 때문입니다. 컴파일 전에는 인터프리터로 실행하므로 상대적으로 느립니다. 웜업에서 코드를 미리 실행해 프로파일링 정보를 만들면 네이티브 코드 컴파일을 유도해 초기 지연을 완화할 수 있습니다.

첫 I/O 연결을 설정하는 시간도 미리 쓸 수 있습니다. 이는 JVM만의 특징은 아닙니다. 일부 라이브러리는 애플리케이션 시작 중 연결을 설정하는 기능을 제공하지만, 그렇지 않다면 요구 사항에 맞는 최적화 수단을 찾아야 합니다. 웜업에서 오래 걸리는 최초 연결을 미리 진행하는 것도 한 방법입니다.

웜업 완료를 기다리는 준비성 프로브

웜업이 끝난 뒤에 트래픽을 받아야 했습니다. 이를 제어할 수단으로 Kubernetes의 준비성 프로브를 택했습니다. 준비성 프로브에 실패하면 엔드포인트 컨트롤러가 파드 IP를 연관된 모든 서비스의 엔드포인트에서 제거합니다. 여기에 웜업 완료 여부를 반영하면 준비를 마칠 때까지 트래픽을 차단할 수 있습니다.

활성 프로브는 역할이 다릅니다. 실패하면 kubelet이 컨테이너를 종료하고, 해당 컨테이너는 재시작 정책의 대상이 됩니다. 스타트업 프로브는 통과하기 전까지 다른 프로브를 활성화하지 않습니다. 스타트업 프로브도 웜업 전 트래픽 차단에 활용할 수 있지만, 이 구현에서는 준비성 프로브만 사용했습니다.

Spring Boot에는 연결할 기능이 이미 있었습니다. 애플리케이션 가용성을 진단하고 Kubernetes 환경을 감지해 프로브용 HTTP API를 노출합니다. 팀은 이 진단 기능에 웜업 상태를 통합하는 방향으로 구현했습니다.

Spring Actuator에 연결한 워머

웜업은 한 번만 실행하고 새 작업도 쉽게 추가할 수 있어야 했습니다. 플랫폼이 제공하는 기능이 원하는 수준에 미치지 않아 Warmer 인터페이스와 구현체를 직접 만들었습니다. 인터페이스에는 실행을 위한 run()과 완료 여부를 나타내는 isDone을 두었습니다. ExactlyOnceRunWarmer가 뮤텍스로 한 번만 실행하도록 제어하므로, 개별 구현체는 doRun()에 웜업 코드를 작성하면 됩니다.

여러 워머는 CompositeWarmer로 묶었습니다. @Primary로 등록한 이 구현체는 워머들을 병렬로 실행하며, 이미 실행한 워머는 취소하지 않습니다. 모든 워머가 끝나면 완료 상태로 바꿉니다.

상태 진단은 Spring Actuator에 연결했습니다. AbstractReactiveHealthIndicator를 상속한 WarmupHealthIndicator에서 편의상 워머 실행과 완료 검사를 함께 처리했습니다. 웜업이 끝났으면 UP, 아직 끝나지 않았으면 DOWN을 노출하는 방식입니다.

readiness 그룹에는 웜업 상태를 포함하고 liveness 그룹에서는 warmup을 제외했습니다. 따라서 /actuator/health/liveness는 웜업 상태를 진단에 사용하지 않습니다. /actuator/health/readiness에서는 components.warmup.status가 완료 전 DOWN에서 완료 후 UP으로 바뀌는 것을 확인했습니다.

Deployment의 활성·준비성 프로브는 각각 이 엔드포인트를 호출하도록 설정했습니다. Actuator 엔드포인트를 외부에 노출하지 않으려고 포트도 8081로 분리했습니다. 이 연결로 웜업 완료 후 트래픽을 받는 조건을 갖췄습니다. 로컬에서는 웜업을 생략할 수 있어야 한다는 요구도 있었는데, 이 서비스의 로컬 환경은 Kubernetes로 구동하지 않아 워머가 실행되지 않았습니다.

웜업 실패가 가로막을 수 있는 배포

실제 서비스 기능이 정상이더라도 웜업에 실패하면 배포가 진행되지 않을 수 있습니다. 웜업 역시 기능을 시뮬레이션하는 코드이므로 논리적 결함이 생길 수 있기 때문입니다. 시작 과정에서 발생할 예외를 미리 정의하고 대비하지 않으면 배포뿐 아니라 스케일아웃과 재실행도 방해받을 수 있습니다.

외부 시스템을 반복 호출하는 웜업이라면 재실행이 한꺼번에 몰리는 상황도 살펴야 합니다. 예를 들어 수십 대의 애플리케이션이 함께 재실행되며 외부 시스템을 호출하면, 스스로 DDoS 공격을 가하는 상황이 생길 수 있습니다. 평소에는 괜찮더라도 이런 상황에서 외부 시스템에 줄 영향은 미리 파악해야 합니다.

웜업에는 시간과 컴퓨터 자원도 듭니다. 애플리케이션 준비 시간은 보통 길어지므로, 웜업에 걸리는 시간을 파악하고 그에 맞는 운영 전략을 세워야 합니다.

측정과 설정값
항목값
교체 직후 지연 시간평균 응답 속도의 약 6배
클래스 로딩 예제, 첫 실행104052250 ns
클래스 로딩 예제, 두 번째 실행12458 ns
애플리케이션 포트 / Actuator 포트8080 / 8081
liveness 엔드포인트/actuator/health/liveness
readiness 엔드포인트/actuator/health/readiness
마지막 수정 일자