목차
수백 개 Cloudflare 계정에 코드 리뷰를 들인 Terraform (2022-11)
원문 정보
- 원문: How Cloudflare uses Terraform to manage Cloudflare
- 매체 · 게시일: The Cloudflare Blog · 2022-11-17
- 저자: Michael Wolf, David Haynes
- 원문 내용을 바탕으로 재구성한 요약입니다.
화상 통화에 동료를 모으던 계정 관리자
프로덕션 서비스를 이전할 때면 화상 통화가 열렸습니다. Cloudflare 관리자는 동료들에게 IP 주소와 룰셋, 액세스 정책을 세 번 확인해 달라고 부탁하곤 했습니다. 서비스가 깨지고 나면 감사 로그를 뒤져 무엇이 잘못됐는지 찾았습니다.
처음에는 지정된 관리자가 몇 개 안 되는 계정을 맡아 동료 대신 설정을 바꿨습니다. 회사가 커지자 계정은 수백 개로 늘었고, 각 팀이 따로 관리하게 됐습니다. 독립 계정은 서비스 담당자가 다른 팀에 영향을 주지 않고 수정할 수 있다는 장점이 있습니다. 하지만 계정마다 보안 정책을 일관되게 적용하고, 멤버 목록을 최신으로 유지하며, 누가 무엇을 바꿨는지 파악하는 일이 부담이었습니다. 팀을 옮긴 사람이 이전 계정의 멤버로 남아 있는 사례도 여럿 있었습니다. 보안 사고로 이어지지는 않았지만 수작업의 한계는 드러났습니다.
관리할 설정도 적지 않았습니다. Cloudflare는 DNS, WAF, Zero Trust, Email Security, Workers부터 실험 기능까지 사내 서비스에 직접 사용합니다. 제품을 직접 쓰며 개선하는 동안, 그 설정의 복잡성과 중요성도 커졌습니다. 대시보드는 분석과 기능 탐색에 편리하지만, 사용자에게 영향을 줄 수 있는 변경에는 적용 전 코드 리뷰가 있어야 한다는 판단이었습니다.
승인 뒤에 변경을 적용하는 Atlantis
개발자가 관리자에게 부탁하지 않고 직접 변경안을 낼 수 있도록 설정을 Terraform 코드로 옮겼습니다. Cloudflare Terraform provider는 cloudflare-go 위에서 동작하며, 상태를 가진 리소스 선언으로 Cloudflare API를 다루게 해 줍니다. 고객에게 제공하는 provider를 사내에서도 쓰고 개선하는 방식입니다.
변경을 적용하는 창구는 Terraform CI/CD 도구인 Atlantis입니다. 예를 들어 계정에 사용자를 추가하는 PR을 열면 Bitbucket이 Atlantis에 웹훅을 보내고, Atlantis는 해당 브랜치에서 terraform plan을 실행해 설정 차이를 PR 코멘트로 남깁니다. 승인 전에는 적용도 머지도 막힙니다. 승인받은 뒤에는 atlantis apply를 코멘트로 달고, Atlantis가 남긴 실행 결과를 확인한 다음 PR을 머지합니다. provider 출력이 PR에 모이므로 사용자가 로컬에서 상태 파일을 다루거나 잠금이 어디서 생겼는지 걱정하지 않아도 됩니다.
검토는 해당 계정을 소유한 팀이 맡습니다. 각 변경에는 사용자, 커밋, 변경 이유를 설명하는 티켓이 연결됩니다. API 토큰은 서비스 계정에 연결해 사람의 팀 이동이나 퇴사 뒤에도 유지합니다. 사내 누구나 모든 계정의 멤버가 되지 않고도 현재 설정의 정확성과 보안을 살펴볼 수 있습니다.
큰 변경을 적용하는 방식도 달라졌습니다. 하드 키 사용을 의무화하는 작업을 PR 하나로 진행할 수 있고, 계정 사이에 설정을 복사해 재사용하기도 쉬워졌습니다.
5분 안에 plan을 끝내기 위한 tfstate
저장소의 기본 구성은 모노레포입니다. 내부 소유 Cloudflare 계정마다 디렉터리와 Terraform 상태 파일인 tfstate를 하나씩 두고, 설정 전체는 한곳에서 살펴봅니다. 계정이 대체로 팀과 잘 대응하므로 팀을 디렉터리의 CODEOWNERS로 지정하면 해당 계정의 PR에 그 팀이 태그됩니다. 여러 계정을 하나의 tfstate로 관리하는 기능은 원문 게시 당시 향후 릴리스에 예정돼 있었지만, Cloudflare에는 계정별로 나누는 방식이 잘 맞았습니다.
작은 state는 기다리는 시간도 줄여 줍니다. 팀마다 계정과 tfstate가 분리돼 있어 다른 PR의 state 잠금을 기다리는 일이 드물고, plan도 빠르게 끝납니다. 변경 검토에 걸리는 시간만의 문제는 아닙니다. plan에 30분이 걸린다면 장애가 났을 때 롤백에도 30분이 걸립니다.
계정 하나라는 경계를 고집하지는 않았습니다. 큰 zone에서 Cloudflare 엣지와 오리진 사이의 연결을 보호하는 AOP(Authenticated Origin Pulls) 인증서 설정이 많아져 느려지자, 그 코드를 별도 tfstate로 분리했습니다. AOP 설정이 비교적 독립적이어서 가능한 선택이었습니다. 두 state가 같은 설정을 두고 충돌하지 않도록 각 tfstate의 API 토큰 권한도 서로 겹치지 않게 했습니다. Atlantis의 Terraform plan은 보통 5분 안에 끝납니다.
tfstate의 보관에는 별도의 주의가 들어갑니다. provider용 API 키를 비롯한 시크릿이 들어 있는데, 기본 저장 위치는 현재 작업 디렉터리여서 실수로 소스 관리에 커밋하기 쉽습니다. 백엔드를 지정하면 클라우드 스토리지, 안전한 파일 시스템 위치, 데이터베이스, Cloudflare Workers 등에 보관할 수 있지만 어디에 두든 암호화해야 합니다.
Cloudflare는 내부 데이터 저장소에 암호화해 보관합니다. PR이 열리면 Atlantis가 미들웨어를 호출해 state를 가져오고 복호화하며, apply가 끝나면 다시 암호화해 저장합니다.
다음 날 되돌아온 대시보드 설정
모든 tfstate에는 하루 한 번 Terraform apply를 실행합니다. 의도하지 않은 설정 드리프트를 바로잡고 만료가 가까운 인증서를 갱신하는 작업입니다. 이렇게 해 두면 관련 없는 변경이 다른 사람의 PR diff에 끼어드는 혼란을 줄입니다. 더 자주 실행할 수도 있지만, 코드에 맞게 설정을 유지하는 일과 PR에서 plan을 실행하는 사용자의 state 잠금을 피하는 일 사이에서 하루 한 번을 택했습니다.
도입 과정에서는 대시보드 사용 습관이 남아 있었습니다. 사람들이 대시보드에서 직접 바꾼 설정이 다음 날 되돌아가는데, 정작 바꾼 사람은 이유를 모르는 일이 생겼습니다. 코드가 설정의 유일한 기준이 되지 못했던 것입니다.
이를 막으려고 사내 계정에 켜기 시작한 기능이 Zero Trust 대시보드의 API/Terraform 읽기 전용 모드입니다. 이 모드는 Zero Trust 설정의 수동 변경을 막으면서도 비상시에 직접 설정을 복구할 사용자의 권한은 유지합니다.
Factorio처럼 반복하기 어려운 실제 시스템
이 저장소는 엔지니어 2명이 사이드 프로젝트로 유지합니다. 운영 부담을 낮추는 데 도움이 된 기준 중 하나는, 코드를 재사용하더라도 사용자가 읽고 이해할 수 있어야 한다는 것이었습니다.
클라우드가 Factorio 같다면 A, C, F에 같은 장치 묶음을 배치하는 일을 모듈로 반복하면 좋을 것입니다. 실제 시스템에는 재정적·기술적·물리적 제약이 있습니다. 시간이 지나면 C의 장치 수는 줄이고 F의 네트워크 토폴로지는 바꿔야 하는 식으로 요구가 달라집니다. 그 차이를 처리하는 로직은 모듈 안으로 들어갑니다. Cloudflare는 HCL을 읽기 쉬운 조건문을 작성하기에 적합한 언어로 보지 않습니다. 모듈에 버전을 붙이면 모든 변경의 하위 호환성을 지킬 부담은 덜지만, 각 사용처의 모듈 버전을 최신으로 유지하는 일이 새로 생깁니다.
사용자가 설정 오류를 이해하기 어려워지면 운영 부담도 커집니다. 복잡한 모듈 대신 잘 설계한 for_each 몇 개로 반복을 줄이고, 인자 값이 제각각인 설정은 일반 리소스로 명확하게 쓰는 편을 권합니다. account_member는 반복문에 어울리지만 page_rule은 그렇지 않을 것이라는 예입니다. 모든 리소스를 같은 방식으로 묶으라는 규칙은 아닙니다.
계정 멤버십은 반복문이 잘 맞는 사례입니다. API에서 사람이 읽기 쉬운 역할 이름을 가져와 사용자 이메일과 권한을 연결하면, 복잡한 모듈이나 코드 중복 없이도 권한 배정을 한눈에 볼 수 있습니다. status 인자로 사용자에게 이메일을 보내지 않고 멤버를 추가할 수도 있어 SSO를 쓰는 조직에 잘 맞습니다.
만료일까지 여유를 남긴 Terraform 리소스
Access 서비스 토큰의 자동 갱신 기능도 사내 필요에서 출발했습니다. 그 요구가 GitHub 이슈와 provider 변경으로 이어졌습니다. Access로 보호한 호스트 이름에 접속해야 할 서비스를 집합으로 정의하고, 서비스마다 토큰을 만든 뒤 시크릿 키-값 저장소에 넣습니다. 대상 Access 정책은 토큰을 ID로 참조하고, 서비스 담당자나 서비스 자체가 저장소에서 자격 증명을 가져갑니다. 예시에서는 Vault를 쓰지만 다른 저장소 provider로 바꿔도 됩니다. 토큰의 갱신 기준은 min_days_for_renewal = 30입니다.
인증서 갱신도 Terraform 실행에 맞춰 처리합니다. Cloudflare는 심층 방어를 위해 내부 시스템에 mTLS를 확대하면서, AOP 인증서의 생성과 교체에도 provider를 사용했습니다. 예시의 적용 단위는 zone 전체가 아닌 호스트 이름입니다. 호스트 이름마다 Vault에서 만료 기간이 30일인 인증서를 만들고 자동 갱신을 설정합니다. 인증서 발급 백엔드 역시 Vault로 한정되지는 않습니다.
갱신에는 여유를 둡니다. 예시의 min_seconds_remaining은 864000초, 즉 10일입니다. 만료까지 남은 시간이 이 값과 같아지면 리소스가 자동으로 taint 처리돼 다음 Terraform 실행에서 교체됩니다. 휴가철에도 대응할 시간을 확보하고, 만료 7일 전 알림이 사람에게 도착하기 전에 자동화가 처리하도록 잡은 간격입니다.
발급한 인증서는 Cloudflare에 업로드하고, 그 ID를 해당 호스트 이름의 AOP 설정에 넣습니다. 교체 순서도 명시합니다. create_before_destroy를 지정해 새 인증서의 업로드가 성공한 뒤 기존 인증서를 제거하도록 했습니다.
Terraform 밖에 남겨 둔 DNS와 Workers
state를 나눠도 실행 시간을 합리적인 수준으로 줄이기 어렵다면 해당 설정에는 다른 도구를 고려할 만합니다. Cloudflare가 DNS 레코드를 보통 Terraform으로 관리하지 않는 이유도 여기에 있습니다. 레코드 수가 늘면 state 렌더링 시간이 길어지고, Terraform이 모르는 시스템에서 동적으로 생성되는 레코드도 많습니다. Cloudflare는 자체 인프라 자동화와 더 잘 맞는 OctoDNS를 사용합니다. 충돌을 피하려면 DNS 레코드에 변경을 반영하는 시스템은 하나여야 합니다.
Workers 스크립트도 Terraform 안에서 유지·관리할 만한 방법을 찾지 못했습니다. Terraform 디렉터리의 .js 스크립트가 바뀌어도 Terraform은 이를 알아차리지 못해, 다른 .tf 파일에 변경이 있어야 plan diff가 생겼습니다. 해결 불가능한 문제라고 단정한 것은 아닙니다. Wrangler처럼 Workers 관리에 더 잘 맞는 도구가 있는데 굳이 Terraform에 밀어 넣을 가치는 크지 않다고 봤습니다.
원문의 주요 운영 값
| 항목 | 값 |
|---|---|
| 저장소 구조 | 모노레포, 내부 소유 계정마다 디렉터리·tfstate 하나 |
| 전체 tfstate apply 주기 | 하루 한 번 |
| Atlantis Terraform plan 소요 | 보통 5분 이내 |
| 저장소 유지 인력 | 엔지니어 2명(사이드 프로젝트로) |
| 인증서 예시 만료 기간 | 30일, 남은 10일(864000초)에 갱신 |
| 서비스 토큰 갱신 예시 | min_days_for_renewal = 30 |
| 사람에게 가는 만료 알림 | 만료 7일 전 |
| DNS 관리 도구 | OctoDNS (Terraform 아님) |