목차
100여 개 도메인의 운영을 통합한 Nginx와 Loki (2025-08)
원문 정보
- 원문: Nginx 설정 통합과 Loki 연동으로 설계한 유연한 멀티사이트 아키텍처
- 매체 · 게시일: LY Corporation Tech Blog · 2025-08-07
- 저자: 이동원 (LINE NEXT DevOps 팀)
- 원문 내용을 바탕으로 재구성한 요약입니다.
서비스마다 따로 준비하던 웹 서버
애플리케이션 환경을 구성하기 전에 웹 서버부터 준비해야 했습니다. LINE NEXT의 초기 인프라에서는 새 서버와 로드 밸런서를 발급받는 데만 최소 일주일이 걸렸습니다. 여기에 Nginx 설치와 설정, 배포, 앞단 로드 밸런서 설정을 마치는 시간까지 합하면 최소 2주입니다.
서비스가 늘어도 이 준비 과정은 그대로였습니다. 글로벌 브랜드와 서비스의 서브 도메인까지 합쳐 관리 대상이 약 100여 개에 이르면서, 매번 웹 서버를 수동으로 구성하는 방식으로는 잦아지는 론칭 요구에 대응하기 어려워졌습니다. 반복 구성을 줄이면서 실제 클라이언트 IP 수집, 로그 분석, 인증서 관리 같은 운영 기능도 함께 제공해야 했습니다.
실제 IP 확인에 제약이 남은 Ingress Nginx
서비스별 독립 구성은 처음에는 장점이었습니다. 각 팀이 Nginx를 자유롭게 설정할 수 있었지만, 서비스가 많아지자 개별 리포지터리의 설정도 서로 달라져 유지 보수가 어려워졌습니다. 새 서비스를 낼 때마다 서버 요청, Nginx 설치, 배포 설정을 되풀이해야 하는 부담도 있었습니다.
당시 배포를 맡은 사내 도구는 PMC(Project Management Console)입니다. 설정 파일과 대상 서버를 지정하면 rsync로 파일을 전송하는 방식이어서, 대상 서버에 SSH로 접근할 수 있도록 보안망에서 22번 포트를 열어야 했습니다. 이 역시 보안상 리스크였습니다.
애플리케이션을 이미 Kubernetes에서 운영하고 있던 LINE NEXT는 Nginx에도 Ingress Nginx를 도입했습니다. 프로덕션 기준 하드웨어 로드 밸런서 4개를 고정해 두고 NodePort로 연결한 뒤, 헬름 차트의 values.yaml에 도메인·인증서·대상 서비스 이름·포트를 정의하도록 바꿨습니다. 새 서버나 로드 밸런서 없이 설정만으로 도메인을 연결하게 되면서 론칭 속도가 크게 빨라졌습니다.
운영에 필요한 기능까지 모두 해결되지는 않았습니다. 이 환경에서는 프록시 모드의 로드 밸런서에서 NodePort를 거쳐 요청을 전달하면서 클라이언트의 실제 IP를 확인하기 어려웠고, GeoIP 모듈이나 정교한 location 설정을 활용하는 데도 제약이 있었습니다.
최종 선택은 네이티브 Nginx를 직접 운영하는 방식입니다. Ingress Nginx에서 얻은 설정 중심 운영은 유지하되, Nginx의 세부 기능과 공통 정책을 직접 다루도록 구성했습니다. PMC의 배포 역할은 LINE NEXT 인프라망에 별도로 마련한 Ansible 배포 서버가 맡았습니다.
환경에 맞는 설정을 배포하는 Ansible
설정을 합친다고 서비스별 차이까지 없앨 수는 없었습니다. 여러 서비스에서 반복하던 events와 http 블록의 timeout, keep-alive, log format 등은 마스터 설정으로 모으고, 가상 호스트를 담당하는 server 블록은 서비스와 환경별로 분리했습니다. 알파·베타·RC·프로덕션의 설정을 각각 관리하는 형태입니다.
파일 배치는 Apache 방식에서 가져왔습니다. 서버의 /etc/nginx/config에는 마스터 설정을 두고, 그 아래 sites-avaliable에는 서비스별 설정을 둡니다. Nginx 하나가 여러 사이트를 서빙하면서 공통 설정의 변경은 마스터 파일에서 관리할 수 있게 됐습니다.
수작업은 배포에도 남아 있었습니다. 제품별 Git 저장소를 기준으로 매번 직접 배포하다 보니 시간이 오래 걸렸고, 설정을 변경하거나 새로 배포할 때 오류가 생길 가능성도 높았습니다. 이를 Ansible로 자동화했습니다.
배포할 환경과 대상 서버 목록을 지정하면 Ansible 배포 서버가 최신 Nginx 설정 저장소를 클론하고, 환경에 맞는 마스터 설정과 서비스별 설정을 골라 복사합니다. 대상 서버에 배포한 뒤에는 설정 문법과 Nginx 프로세스의 정상 구동 여부를 확인합니다. 서버마다 순차로 진행하다가 문제가 생긴 시점에 중단하는 롤링 방식입니다.
Jenkins에서 Ansible 스크립트를 실행하도록 연결한 뒤, 수작업 대비 배포 시간은 80% 이상 줄었습니다. Git으로 설정 변경 이력을 추적하고 배포와 롤백을 수행하기도 수월해졌습니다. 신규 서비스는 Nginx 설정을 추가하면 기존 공통 설정과 함께 배포됩니다.
서비스 코드 밖에서 정책을 적용하는 Nginx
공통화의 효과는 도메인을 추가할 때 드러납니다. 별도의 서버나 로드 밸런서를 요청하지 않고도 SSL 인증서 설정, 점검 응답, GeoIP 기반 국가 차단, Loki 로그 수집을 함께 적용하게 됐습니다. 서비스 코드와 독립된 계층에서 정책을 처리하면서 개발 팀이 반복 구현하던 작업도 줄었습니다.
S3에서 각 서버로 배포하는 인증서
인증서 갱신은 같은 일을 여러 번 해야 하는 대표적인 작업이었습니다. 서비스별 Nginx에 SSH로 접속해 직접 교체했으므로, 같은 TLD 아래 여러 서브 도메인을 운영하면 서비스 수만큼 작업이 반복됐습니다. 사람이 실수할 위험도 따랐습니다.
통합 후에는 인증서를 /apps/cert/{도메인명-갱신날짜}/ 아래에 두고, Nginx 설정에서 이 경로를 참조하도록 표준화했습니다. 사내 인증서 관리 시스템 Voyager로 갱신한 인증서는 {도메인명-YYYYMMDD} 디렉터리로 구분해 S3에 올립니다. ansible-playbook을 실행하면 해당 도메인에 필요한 인증서만 대상 서버의 경로에 배포됩니다.
이후 ssl_certificate와 ssl_certificate_key의 참조 경로를 새 디렉터리로 바꾸고, Ansible로 변경된 설정을 배포합니다. 각 서버에서는 nginx -t && nginx -s reload를 순차로 실행해 무중단으로 다시 로드합니다. 서버마다 접속해 교체하던 작업을 없애고 경로를 일관되게 관리하면서 설정 실수도 줄였습니다.
백엔드 앞에서 응답하는 점검 모드
점검 중인 서비스에 요청이 들어와도 백엔드까지 보낼 이유는 없었습니다. 기존에는 백엔드의 API 응답을 직접 고쳐 점검 상태를 알렸기 때문에 불필요한 부하가 발생했고, 처리 방식도 서비스마다 달랐습니다. 이를 트래픽의 첫 진입점인 Nginx로 옮겼습니다.
점검 여부는 별도 include 파일로 제어합니다. 각 서비스의 location / 블록에서 이 파일을 참조하고, 점검을 시작할 때 Ansible이 deny all;을 넣습니다. 해제할 때는 파일 내용을 비우거나 주석 처리하는 방식입니다.
차단된 요청은 @maintenance로 보내 {"code": "5030", "message": "Service under maintenance."} 형태의 JSON과 403 응답을 반환합니다. 외부 시스템의 API 호출도 처리하므로 CORS 헤더를 포함하며, 응답 규약은 개발 팀과 미리 협의했습니다. 운영자는 서버에 직접 접속하지 않고 Jenkins와 Ansible로 점검을 켜고 끕니다.
차단 국가 목록을 모은 map 블록
국가별 접근 제한도 서비스마다 코드로 구현하던 기능입니다. 통합 구성에서는 GeoIP2 모듈이 클라이언트 IP에서 국가 코드를 파악하고, 마스터 설정의 map 블록이 차단 대상 국가에 대해 blocked_country 값을 1로 지정합니다.
서비스별 설정은 이 값을 확인해 403을 반환합니다. /api/ 요청에는 {"code": "4030", ...} 형태의 JSON을 보내고, 그 밖의 요청에는 기본 403 응답을 돌려줍니다. 차단 국가를 추가할 때는 공통 map 블록 한 곳만 수정하면 모든 서비스에 반영됩니다.
서비스 로그를 함께 수집하는 Promtail
공통 설정에는 접속 로그 형식도 포함됩니다. Nginx가 JSON으로 로그를 남기게 하고, 각 서버의 Promtail이 로컬 로그 파일을 읽어 라벨을 붙인 뒤 Loki로 전송하도록 구성했습니다. Grafana에서 같은 기준으로 필터링하고 분석할 수 있게 라벨 지정 방식도 통일했습니다.
로그에는 요청을 추적하는 데 필요한 정보를 담았습니다. 클라이언트 IP인 remote_addr, 국가·도시를 나타내는 geoip_country_code와 geoip_city_name, 요청 URI와 User-Agent, 요청 소요 시간과 업스트림 정보 등입니다. 특정 URI에 요청이 몰리는지, 특정 서비스에서 업스트림 타임아웃이 발생하는지 확인할 때 사용하는 데이터입니다.
국가·도시 정보에는 MaxMind GeoIP2 City DB를 사용합니다. 일주일에 한 번 최신 DB를 자동으로 내려받아 갱신하며, 국가별 접속 분포나 지역 기반 이상 탐지에 활용합니다. 신규 서비스도 통합 Nginx에 설정을 추가하면 Promtail 수집과 Loki 저장으로 이어집니다.
DApp Portal 오픈 뒤 가득 찬 Loki 디스크
로그 저장소는 처음부터 분산 구성이었던 것은 아닙니다. 서비스 규모가 크지 않을 것으로 예상해 운영 부담이 적은 Monolithic 모드를 선택했고, 공식 Loki 헬름 차트로 배포하면서 저장소는 로컬 디스크를 사용했습니다.
예상은 2025년 1월 DApp Portal 오픈 뒤 달라졌습니다. 하루 수만 건의 동시 접속 요청이 발생하면서 로그가 급증했고, 내부 디스크가 빠르게 가득 찼습니다. 파드를 쉽게 늘릴 수 없는 구성이라 로그 유실과 Loki 다운 위험에 놓였습니다.
저장소와 실행 구성을 함께 바꿔야 했습니다. Monolithic은 설치가 간단하지만 한 구성 요소의 병목이 전체에 영향을 줄 수 있고, 각 구성 요소를 완전히 분리하는 Microservices 모드는 유연한 대신 운영이 복잡해집니다. LINE NEXT가 전환한 Simple Scalable 모드는 그 사이에 있는 선택입니다.
Simple Scalable은 읽기·쓰기·백엔드 실행 경로를 나눠 각각 독립적으로 배포하고 확장합니다. 저장소도 S3 호환 오브젝트 스토리지(VOS)로 바꿨습니다. 이 구성으로 트래픽이 폭증해도 안정적으로 로그를 수집하고 분석할 수 있는 분산 환경을 갖췄습니다.
수집한 로그는 Grafana 실시간 대시보드에서 운영 지표로 확인합니다.
- 실시간 방문자 수(동시 접속 IP 수)
- 초당 HTTP 요청 수
- HTTP 상태 코드별 요청량
- 국가별 접속자 수
- 요청 시간 통계
- 상위 Referrer·IP·User Agent·페이지
문제가 발생했을 때는 쿼리로 요청을 좁혀 봅니다. 국가별 요청 수를 집계하거나 User-Agent별 요청 수 상위 5개, HTTP 상태 코드별 요청량을 조회하는 쿼리를 실제 대응에 활용하고 있습니다.
원문의 주요 수치와 구조 비교
| 항목 | 값 |
|---|---|
| 기존 리드 타임 | 서버·로드 밸런서 발급 최소 1주, 전체 최소 2주 |
| 관리 도메인 | 서브 도메인 포함 약 100여 개 |
| Ingress Nginx 구조의 로드 밸런서 | 프로덕션 기준 하드웨어 로드 밸런서 4개 |
| 배포 시간 단축 | 수작업 대비 80% 이상 |
| Loki 모드 전환 | Monolithic(로컬 디스크) → Simple Scalable(S3 호환 VOS) |
| Loki 병목 시점 | 2025년 1월 DApp Portal 오픈 뒤 |
| GeoIP2 DB 갱신 | 주 1회 자동 |
| 구조 | PMC 기반 | Ingress Nginx 기반 | 네이티브 Nginx 기반 |
|---|---|---|---|
| 배포 방식 | rsync + 파편화된 설정 템플릿 | 헬름 차트 기반 | Ansible + 공통 설정 템플릿 |
| 확장성 | 낮음 | 높음 | 높음 |
| 원격 주소 확인 | 가능 | 불가 | 가능 |
| 고급 기능(GeoIP, Loki) | 수동 구성 | 제약 있음 | 유연하게 가능 |
| 설정 자유도 | 높음 | 낮음 | 높음 |