본문으로 건너뛰기
AWS 리전처럼 쓰는 토스페이먼츠의 OpenStack
목차

AWS 리전처럼 쓰는 토스페이먼츠의 OpenStack (2026-01)

원문 정보

  • 원문: 레거시 인프라 작살내고 하이브리드 클라우드 만든 썰
  • 매체 · 게시일: 토스 기술 블로그 · 2026-01-20
  • 저자: 박명순 (DevOps Engineer), 정상현 (Infra Team Leader), 토스페이먼츠
  • 시리즈: 원문 주소가 payments-legacy-9이며 다음 글(payments-legacy-10)은 같은 환경의 보안 고도화 이야기입니다. 본문에 편 번호 표기는 없습니다.
  • 원문은 Toss Makers Conference 세션을 바탕으로 재구성한 글입니다.
  • 원문 내용을 바탕으로 재구성한 요약입니다.

서버 한 대에 쌓인 1997개의 라우팅

서버의 라우팅 테이블에 경로가 1997개 들어 있었습니다. 2020년 8월, 20년 넘게 운영되던 PG 사업을 인수하며 출범한 토스페이먼츠가 마주한 인프라의 한 장면입니다.

일반적인 구성이라면 서버가 보낸 패킷의 목적지를 네트워크 장비가 확인하고 알맞은 경로로 전달합니다. 그런데 이곳에서는 목적지별 경로를 서버가 모두 갖고 있었습니다. 서버가 자신의 라우팅 테이블에서 다음 목적지를 정하면 네트워크 장비는 전송 통로로만 쓰이는 방식입니다. 새 경로가 생길 때마다 관련 서버를 전부 고쳐야 했고, 오랫동안 누적된 라우팅은 서버마다 거의 2,000개에 이르렀습니다.

DNS도 없었습니다. 도메인 주소를 쓰려면 파일에 일일이 등록해야 했고, 장비 호스트네임에는 규칙이 없어 새 컨벤션을 만들어 전부 다시 이름을 붙여야 했습니다. 정확한 장비 현황 자료도 찾을 수 없었습니다. 처음부터 실사를 다시 해야 하는 상황에, 이중화한 장비끼리 설정이 다른 일마저 흔했습니다.

새 서비스를 올릴 기반으로 삼기는 어려웠습니다. 기존 서비스는 그 자리에 유지하되, 신규 제품을 빠르게 개발할 다른 인프라가 필요했습니다.

AWS를 쓰고도 남아 있던 온프레미스

첫 선택은 퍼블릭 클라우드였습니다. 새 제품을 AWS에 올리는 방식은 잘 동작했습니다. 필요한 인프라를 빠르게 준비할 수 있었고, 신규 제품은 현대화된 환경에서 서비스를 제공하게 됐습니다.

서비스가 커지자 다른 문제가 드러났습니다. 퍼블릭 클라우드 비용이 늘었고 환율 변화에도 크게 영향을 받았습니다. 기존 온프레미스와는 아키텍처가 달라 재해 복구를 위한 DR 구성이 쉽지 않았습니다. 전용회선처럼 퍼블릭 클라우드가 제공하지 않는 구성 요소도 있어 온프레미스 자체를 없앨 수는 없었습니다.

통제할 수 있는 범위도 아쉬웠습니다. 깊이 있는 트러블슈팅이나 세부 튜닝을 직접 수행하기 어려웠고, 인프라 내부를 들여다보는 데에도 한계가 있었습니다. 토스페이먼츠는 IDC의 낡은 인프라를 버리고 프라이빗 클라우드를 새로 만들기로 했습니다. 구성 요소를 거의 100% 통제할 수 있는 대신, 구축과 운영 역시 전부 직접 맡는 선택입니다.

목표는 AWS와 프라이빗 클라우드를 Active-Active로 운영하는 환경이었습니다. 빠르게 스케일 아웃하는 퍼블릭 클라우드와 세부 구성까지 제어하는 프라이빗 클라우드를 함께 쓰면서 필요한 자원을 효율적으로 배치하려 했습니다. 새 인프라는 개발 속도를 뒷받침하고, VM·컨테이너·K8S부터 로드밸런서·공유 스토리지까지 다양한 제품 요구를 받아낼 수 있어야 했습니다.

플랫폼은 OpenStack을 골랐습니다. 가장 널리 쓰이는 클라우드 플랫폼이면서 대규모 환경에서 검증됐고, 퍼블릭 클라우드에서 많이 쓰는 구성 요소도 갖추고 있었습니다. 상용 솔루션의 비용 부담을 줄이려는 이유도 있었지만, 오픈소스를 선택한 데에는 기술을 완전히 내재화하려는 뜻이 더 컸습니다.

장애 대응을 위해 분리한 Live 영역

가용성을 지키는 방법은 장애가 난 OpenStack 클러스터로 들어오는 트래픽을 빼는 것이었습니다. 서로 의존하지 않는 클러스터를 평소 Active-Active로 운영하면, 한쪽에 문제가 생겼을 때 빠르게 서비스 가용성을 유지할 수 있다고 판단했습니다.

기존 AWS에서도 EKS 클러스터 2개를 Active-Active로 운영하고 있었습니다. 특정 가용 영역의 장애가 전체 서비스로 번지는 것을 막고, 클러스터 업그레이드도 원활하게 진행하는 구성이었습니다. 이를 OpenStack까지 확장하려 했습니다. Active-Active는 Active-Standby보다 구성과 운영이 훨씬 어렵지만, Standby가 Active로 전환될 때 생길 오동작을 최소화한다는 장점이 있었습니다.

OpenStack에는 서비스용 Pod1과 Pod2를 만들었습니다. 여기서 Pod는 서버·네트워크·스토리지를 갖춘 하나의 완결된 인프라 서비스 단위이며, K8S의 pod와는 다른 개념입니다. Pod1과 Pod2에는 같은 서비스를 배포하되 상호 의존성을 없앴습니다. 퍼블릭 클라우드의 AZ를 떠올릴 만한 구성으로, 클러스터 단위 장애와 메인터넌스에 대비한 공간입니다.

관리용 Pod0도 따로 준비했습니다. Cluster API와 모니터링 시스템, 보안 툴, 가용성을 위한 쿼럼 노드 등이 이곳에 들어갑니다. 서비스용 클러스터 2개에 관리용 클러스터를 더해, 최종적으로 독립된 OpenStack 클러스터 3개를 구축했습니다.

애플리케이션 관점에서는 AWS의 별도 가용 존에 있던 서비스 영역 Live1·Live2에 OpenStack의 Live3·Live4가 추가됐습니다. Pod1의 서비스가 Live3, Pod2의 서비스가 Live4입니다. 퍼블릭 클라우드와 IDC 사이에 센터 단위 DR을 확보하고, 각 센터 안에도 독립된 서비스 영역을 두었습니다. 4개 영역은 모두 Active로 동작합니다. 고객은 어느 영역으로 들어와도 같은 서비스를 받고, 운영팀은 장애나 메인터넌스에 맞춰 센터 간 트래픽과 센터 내부 트래픽을 조정합니다.

운영 경험 없는 2명의 OpenStack 도전

이 구성을 만들 시스템 엔지니어는 2명뿐이었습니다. 둘 다 OpenStack 운영 경험이 없었습니다. 운영 난이도가 높기로 알려진 커뮤니티 버전을 프로덕션 기반 인프라로 쓰겠다는 계획에, 주변에서는 “용감하다”는 말과 “미쳤다”는 말이 함께 나왔습니다.

가능한지부터 직접 확인했습니다. 3가지 버전의 OpenStack을 각각 수십 번 설치하고 장애 시나리오를 재현하면서 아키텍처를 익혔습니다. 이해가 쌓인 뒤에는 필요한 부분을 고쳤습니다. 예를 들어 로드밸런서 Octavia의 기본 로그가 원하는 포맷과 달라, 소스를 수정해 필요한 로그를 남기도록 했습니다. 오픈소스를 선택한 이유가 실제 운영 요구와 만난 지점입니다.

적은 인력으로 대규모 시스템을 운영하려면 자원 관리도 코드로 옮겨야 했습니다. VM 인스턴스, 로드밸런서, 사용자 권한 등 모든 자원의 라이프사이클을 Ansible과 Terraform으로 자동화했습니다. 표준 골든 이미지로 신규 인스턴스를 만드는 데 걸리는 시간은 10초 이내입니다. 구성 정보는 CMDB에 모으고 봇으로 조회하도록 했습니다.

자동화 다음에는 장애 감지가 남았습니다. Zabbix, Prometheus, Mimir로 필요하다고 판단한 메트릭을 수집하고, Grafana에서 시각화하며 알람을 빠르게 확인하는 환경을 갖췄습니다. 원문은 장애 대응의 시작을 감지로 보았습니다.

클러스터부터 장비 설정까지 관리하는 코드

K8S에서도 제어권을 직접 갖되 빠르게 운영하고 싶었습니다. 퍼블릭 클라우드에는 컨트롤 플레인을 관리해 주는 PaaS가 있고 OpenStack에도 유사한 서비스인 Magnum이 있습니다. 하지만 프라이빗 클라우드를 만든 목적 중 하나가 모든 제어권을 확보하는 것이었으므로, 토스페이먼츠는 Cluster API를 선택했습니다.

Cluster API는 K8S 클러스터 자체를 K8S 리소스로 관리하는 툴킷입니다. 클러스터 구성을 선언하고 롤링 업데이트를 수행하는 등, 애플리케이션을 관리하던 방식을 클러스터의 라이프사이클에도 적용합니다. CAPO와 OCCM 같은 컴포넌트를 연동하면 VM 노드와 로드밸런서 등 필요한 OpenStack 자원도 자동으로 생성되고 동작합니다. 직접 관리하면서도 퍼블릭 클라우드 수준의 편의성을 확보한 방식입니다.

네트워크 장비에도 클라우드 수준의 변경 속도가 필요했습니다. 여러 역할을 맡긴 장비를 전통적인 방식으로 운영해서는 민첩성과 유연성을 확보하기 어렵다고 보고 NetDevOps를 적용했습니다. 예를 들어 Leaf-A 장비의 설정은 서비스별 모듈로 저장합니다. 서비스가 새로 열리면 모듈을 추가하고, 종료되면 해당 모듈만 제거하는 방식입니다.

장비마다 설정을 따로 관리하지도 않습니다. 파이썬 코드로 템플릿을 만들고, 네트워크 관리 시스템이 각 장비에 맞는 파라미터를 적용해 배포합니다. 네트워크 설정의 형상 관리도 애플리케이션 배포 파이프라인처럼 동작하도록 구성했습니다.

AWS 리전 하나가 늘어난 듯한 배포 환경

서버플랫폼팀이 개발자에게 제공하려던 경험은 익숙한 AWS 리전이나 계정이 하나 더 생긴 듯한 환경이었습니다. 클라우드가 달라져도 같은 역할의 구성 요소를 같은 계위에 배치해 아키텍처를 통일했습니다. AWS ALB의 HTTP 로드밸런싱은 IDC의 F5 BigIP가, NLB 역할은 OpenStack의 Octavia가 맡습니다. EKS에 대응하는 환경은 인프라팀이 Cluster API로 구성한 OKS(OpenStack Kubernetes Service)입니다.

배포 시스템도 양쪽을 함께 다루도록 확장했습니다. 빌드한 컨테이너 이미지를 ECR과 Harbor에 모두 올리고, EKS 클러스터 2개와 OKS 클러스터 2개에 함께 배포한 뒤 Istio와 Argo Rollout으로 트래픽을 점진적으로 전환합니다. 클라우드별 자동화 테스트도 배포 단계에 추가했습니다. 같은 애플리케이션이 AWS와 OpenStack에서 기능이나 동작의 차이를 보이지 않는지 지속적으로 검증합니다.

트래픽을 두 클라우드로 나누는 작업에는 인프라 밖의 제약도 있었습니다. 처음 계획은 Route53에 기존 AWS IP와 새 OpenStack IP를 함께 노출하는 DNS 기반 부하 분산이었습니다. 그러려면 고객사 방화벽에 새 IP를 미리 등록해야 했습니다. 이 작업은 오래 걸리고 등록 여부를 확인하기도 어려워 Active-Active 운영 시작이 지연됐습니다.

먼저 적용한 방법은 기존 Global Accelerator의 구성을 바꾸는 것이었습니다. AWS에서 사용하던 구성을 AWS와 OpenStack 사이의 부하 분산에 활용해, Active-Active 운영을 빠르게 시작했습니다.

AWS와 OpenStack의 리소스 대응과 Live 영역
항목AWSOpenStack(IDC)
가상 서버EC2Nova
L4 로드밸런서NLBOctavia
L7 로드밸런서ALBF5 BigIP (또는 L7 스위치)
컨테이너 레지스트리ECRHarbor
KubernetesEKSOKS (Cluster API 기반)
서비스 영역Live1, Live2Pod1 = Live3, Pod2 = Live4
관리 클러스터해당 없음Pod0 (Cluster API, 모니터링, 보안 툴, 쿼럼 노드)

전용선 병목 뒤에 나눠 둔 Elasticsearch

애플리케이션이 OpenStack으로 늘어나자 로그 수집 경로에서 병목이 생겼습니다. 토스페이먼츠는 CDN, 로드밸런서, Kubernetes, Istio 등 인프라와 애플리케이션에서 초당 약 10만~30만 개의 로그를 수집합니다. 로그는 Elasticsearch에 저장해 서비스 분석과 이상 탐지에 사용합니다.

초기에는 애플리케이션 대부분이 AWS에 있어 기존 AWS의 로그 저장·분석 인프라를 그대로 썼습니다. 그러나 OpenStack에서 동작하는 애플리케이션이 늘면서 두 클라우드를 연결하는 전용선 구간이 병목이 됐습니다.

저장 위치를 나눴습니다. Elasticsearch 클러스터를 AWS와 OpenStack에 각각 구성하고, Cross Cluster 기능으로 통합 검색과 이상 탐지, Kibana 기반 통합 뷰를 제공했습니다. 로그를 양쪽에 저장해 전용선 병목을 해결하면서도 서비스를 한곳에서 살펴보는 가시성은 유지했습니다.

허용된 네트워크에서만 쓰는 Roles Anywhere 임시 키

OpenStack에서 실행하는 애플리케이션도 S3 같은 AWS 리소스에 접근해야 했습니다. 기존에는 AWS VPC 외부에서 IAM Access Key를 발급받아 사용했지만, 키 누출로 인한 사고 위험이 계속 커지고 있었습니다. OpenStack에서는 처음부터 Access Key 없이 IAM Role로 접근하도록 AWS Roles Anywhere를 도입했습니다.

임시 토큰을 받는 경로는 실행 환경에 따라 나눴습니다. AWS SDK의 제약 때문에 가상 서버인 Nova와 OKS 컨테이너에 같은 방식을 적용할 수 없었습니다.

Nova에서는 SDK의 프로세서 보안 인증 제공자 방식을 사용합니다. Credential 프로세서가 Roles Anywhere Gateway에 권한을 요청하면, Gateway는 OpenStack Metadata를 조회해 유효한 요청인지와 어떤 AWS IAM Role이 할당됐는지 확인합니다. 확인을 마치면 Roles Anywhere에서 임시 토큰을 받아 전달합니다.

OKS Pod에는 컨테이너 보안 인증 제공자 방식을 적용했습니다. 애플리케이션 컨테이너가 Tosspayments Sidecar를 거쳐 Gateway에 권한을 요청합니다. 이때 Gateway가 확인하는 정보는 Kubernetes Service Account입니다. 요청의 유효성과 할당된 IAM Role을 확인한 뒤 임시 토큰을 받아 전달하는 과정은 같습니다.

토큰 발급만으로 끝나지는 않았습니다. OpenStack의 AWS 리소스 접근은 모두 AWS Private Link를 거쳐 전용선으로 이루어지지만, Roles Anywhere 자체는 퍼블릭 서비스입니다. OpenStack에서 발급한 임시 키가 공용 인터넷에서도 쓰이는 일을 막아야 했습니다. Roles Anywhere Profile의 Session Policy에 aws:VpcSourceIp 조건을 설정해, 발급된 임시 키를 허용된 네트워크에서만 사용하도록 제한했습니다.

마지막 수정 일자