본문으로 건너뛰기
롤백 뒤에 번진 Cloudflare 서비스 토큰 장애
목차

롤백 뒤에 번진 Cloudflare 서비스 토큰 장애 (2023-01)

원문 정보

쓰지 않는 토큰을 찾기 위한 변경

2023년 1월 24일, Cloudflare Access 팀은 서비스 토큰에 마지막 사용 시각을 보여 주는 “Last seen at” 기능을 배포했습니다. 관리자가 쓰지 않는 토큰을 안전하게 정리하도록 돕는, 요청이 많았던 기능이었습니다. 그런데 사용 시각을 기록하는 코드가 토큰의 Client Secret까지 빈 문자열로 바꿨습니다.

릴리스는 10분 만에 롤백됐는데요. 추가 덮어쓰기는 멈췄지만, 이미 손상된 값은 이후 네트워크에 반영되면서 인증 실패를 일으켰습니다. Workers 플랫폼 일부와 Zero Trust, CDN 컨트롤 플레인 기능까지 영향을 받은 장애는 121분 동안 이어졌습니다.

직접 영향을 받은 고객과 최종 사용자는 일부였습니다. Cloudflare는 네트워크와 서비스 전반에 미친 영향이 크지는 않았다고 설명하면서도, 피해를 겪은 고객에게는 고통스러운 장애였다고 인정했습니다.

항공사와 호텔에 인증하는 여행 앱

여행 일정을 한데 보여 주는 앱은 항공사에서 항공편 정보를, 호텔에서 예약 정보를 받아야 합니다. 항공사는 개별 여행 정보를 인터넷에 공개하거나 이 앱을 사설망으로 들이고 싶지 않습니다. 호텔도 승인한 외부 서비스에만 예약 정보를 내주려 합니다.

서비스 토큰은 이런 앱을 위한 사용자 이름과 비밀번호 역할을 합니다. Client ID와 Client Secret으로 구성되며, 인증 요청에는 두 값이 모두 있어야 합니다. 토큰에는 유효 기간도 있습니다. 기간이 지나면 무효가 되므로 교체해야 합니다. 상대 시스템이 토큰을 검증하면 여행 앱은 항공편과 호텔 정보를 받아 사용자에게 함께 보여 줄 수 있습니다.

Cloudflare에서는 관리자가 서비스 토큰을 만들 때 Client ID와 Client Secret 쌍을 발급합니다. 요청하는 서비스는 두 값을 HTTP 헤더에 담아 보내도록 설정합니다. 이 서비스가 Cloudflare의 Worker인지, 다른 퍼블릭 클라우드에서 실행되는 앱인지는 상관없습니다. 보호할 리소스는 Cloudflare 리버스 프록시 뒤에 있어야 합니다. Cloudflare 네트워크는 요청마다 헤더를 확인하고 토큰의 진위를 검증해 통과 여부를 결정하며, 인증 이벤트도 기록합니다.

사용 시각과 함께 지워진 Client Secret

새 기능은 계정의 로그인 이벤트 Kafka 큐에서 새 이벤트를 훑었습니다. 서비스 토큰으로 로그인한 이벤트가 있으면 해당 토큰의 마지막 사용 시각을 갱신하는 방식이었습니다.

갱신 코드는 읽기-쓰기 트랜잭션으로 해당 토큰의 정보를 가져왔습니다. 여기서 서비스 토큰 읽기 요청은 보안상 Client Secret을 기본으로 가립니다. 그런데 코드는 Client Secret이 빠진 읽기 결과를 다시 저장하면서 그 자리에 빈 문자열을 썼습니다. 마지막 사용 시각을 바꾸려다 인증에 쓰는 값까지 지운 것입니다.

데이터베이스에는 not null 검사도 있었습니다. 하지만 빈 문자열은 null이 아니어서 검사를 통과했습니다. 릴리스가 적용돼 있던 10분 동안 서비스 토큰으로 인증한 계정은 해당 토큰의 Client Secret이 빈 문자열로 바뀌었습니다. 이런 상태가 된 계정은 4개였고, 모두 Cloudflare 내부 계정이었습니다.

인증 실패는 곧바로 나타나지 않았습니다. 서비스 토큰 값은 토큰 자체를 수정해야 글로벌 네트워크에 반영됩니다. 데이터베이스에 빈 문자열이 저장된 뒤 토큰에 수정이 일어났을 때, 비로소 그 값이 인증에 쓰였습니다. 코드 롤백 뒤에도 제품마다 시차를 두고 장애가 시작된 이유입니다.

내부 계정 두 개에 의존하던 Cloudflare 서비스

Cloudflare도 Cloudflare 위에서 돌아갑니다. 영향을 받은 내부 계정 가운데 2개가 여러 Cloudflare 서비스를 구동하고 있었습니다. 이 계정의 토큰이 무효가 되자, 계정에 의존하던 서비스에서 요청 실패와 예상치 못한 오류가 발생했습니다.

등록과 재인증이 막힌 WARP·Zero Trust

개인용 Cloudflare WARP에서는 등록 서비스가 장치를 검증하는 네트워크 내부 시스템과 통신하지 못했습니다. 사용자는 새 장치를 등록하거나 새 장치에 앱을 설치할 수 없었습니다. 앱 업그레이드도 재등록을 일으키므로, 새 버전으로 올릴 때 문제가 생겼을 수 있습니다.

기업용 WARP 에이전트를 사용하는 Zero Trust도 장치 상태를 주고받을 때 장애를 겪었습니다. 영향을 받은 사용 사례는 3가지였습니다. 새 장치 등록과 기존 장치 해지, 등록된 장치의 설정 변경이 막혔고 사용자에게 오류가 표시됐습니다.

세션 지속 시간 정책에도 영향이 있었습니다. 이 정책은 오래된 세션이 내부 시스템에 계속 접근하지 못하도록 사용자에게 재인증을 요구합니다. 에이전트는 Cloudflare 컨트롤 플레인의 신호를 받아 재인증을 요청하는데, 장애 중에는 이 신호가 전달되지 않았고 사용자는 재인증을 마칠 수 없었습니다.

장치가 회사의 규정 준수 조건을 만족하는지 확인하는 디바이스 포스처 규칙은 더 넓은 범위의 접속을 막았습니다. Cloudflare의 Zero Trust 접근 제어 제품은 서비스 토큰으로 장치 상태 신호를 받아 다른 규칙과 함께 접근 여부를 판단합니다. 장애 중에는 이 규칙들이 기본 동작인 차단으로 넘어갔습니다. 일부 장치에서는 모든 인터넷 트래픽이 차단돼 아무것도 접속하지 못했습니다.

Gateway는 요청마다 장치 상태를 확인하지 않도록 포스처 상태를 5분마다 캐시합니다. 장애 중 적용된 규칙이 네트워크 정책이면 연결이 끊겼고, HTTP 정책이면 5XX 오류 페이지가 나타났습니다. 피크 때 5XX 오류는 평소보다 분당 5만 건 넘게 늘었습니다. 장애가 해결될 때까지 포스처 읽기 오류는 1,050만 건을 넘었습니다.

R2 오류에 원본으로 폴백한 Cache Reserve

R2는 Cloudflare 인프라의 다른 시스템으로 API 요청을 보내지 못했습니다. R2 사용자에게는 요청 실패율 상승으로 나타난 문제였습니다. R2에 데이터를 저장하는 다른 Cloudflare 제품도 영향을 받았습니다.

Cache Reserve에서는 읽기·쓰기 작업 대부분이 영향을 받아 캐시 항목을 넣고 꺼내는 작업이 실패했습니다. 그래도 사용자 트래픽은 계속 처리됐습니다. R2 오류가 발생하면 고객의 원본 서버로 폴백하기 때문입니다. 그 결과 기본 캐시에 없는 항목을 처리하는 원본 서버의 부하가 늘었습니다.

컨트롤 플레인에서 실패한 Cache Purge 요청

Cache Purge에 접근할 때도 서비스 토큰이 필요합니다. Cloudflare 컨트롤 플레인은 이 토큰으로 인증한 뒤 캐시 삭제를 요청하는데, 토큰이 무효인 동안 많은 요청이 실패했습니다. 실패한 퍼지 요청은 평균 초당 20건, 최대 초당 70건이었습니다.

19시 51분에 토큰 복원이 끝났다

시각은 모두 UTC 기준입니다. Access 팀은 16:55에 릴리스를 시작했고, 17:05에 별개의 문제를 발견해 롤백했습니다. 토큰 메타데이터를 추가로 덮어쓰는 동작은 여기서 멈췄습니다.

17:50에 WARP용 무효 토큰이 글로벌 네트워크에 처음 동기화됐습니다. WARP와 Zero Trust에 영향이 시작된 시점입니다. WARP 디바이스 포스처 업로드가 0으로 떨어지면서 내부 알림이 울렸고, 18:12에 인시던트를 선언했습니다.

18:19에는 Cloudflare API용 무효 토큰이 동기화됐습니다. Cache Purge, Cache Reserve, Images, R2의 알림이 울리면서 장애 범위가 더 넓다는 사실이 드러났습니다. 조사 중이던 팀은 18:21에 덮어쓰인 서비스 토큰을 발견했습니다. 18:28에는 영향을 받은 모든 제품을 포함하도록 인시던트를 격상했습니다.

당장 영향을 멈추려면 토큰을 원래 값으로 복원해야 했습니다. 18:51에 Cloudflare WARP 계정의 토큰을 수동으로 되돌리면서 WARP와 Zero Trust의 장애가 끝났습니다. 18:56에는 Cloudflare API 계정에 같은 조치를 적용해 Cache Purge, Cache Reserve, Images, R2의 영향도 멈췄습니다.

복구는 한 번에 끝나지 않았습니다. 19:00에 Cloudflare API 계정을 업데이트하는 과정에서 잘못된 덮어쓰기가 다시 일어나 같은 네 제품에 장애가 재개됐습니다. Cloudflare는 인시던트가 해결될 때까지 모든 내부 계정 변경을 잠갔습니다. 19:07에 올바른 서비스 토큰 값을 다시 적용한 뒤 이 제품들의 영향이 끝났습니다.

남은 복원은 데이터베이스 팀이 맡았습니다. 이전 데이터베이스 사본에서 영향을 받은 모든 계정의 서비스 토큰을 복원했고, 19:51에 인시던트를 종료했습니다.

서비스 토큰을 보호할 후속 조치

Cloudflare는 같은 오류를 막고 더 빨리 탐지·복구하기 위한 재발 방지 계획을 실행 중이라고 밝혔습니다. 발표한 계획에는 다음 작업이 포함됐습니다.

  • 새 기능 출시 전에 유사한 서비스 토큰 덮어쓰기 오류를 자동으로 잡는 단위 테스트 추가
  • 서비스 토큰 인증 실패가 급증하면 자동으로 알려, 배포가 완료되기 전에 문제를 탐지하는 알림 구현
  • 특정 데이터베이스 테이블을 더 빠르게 롤백하기 위한 절차 개선
  • 관련 데이터베이스 필드에 기존 not null 검사와 함께 빈 문자열 검사 추가
장애 시각과 주요 수치
항목값
서비스 중단 지속 시간121분
릴리스 시작2023-01-24 16:55 UTC
롤백17:05 UTC (릴리스가 나가 있던 시간 약 10분)
WARP 무효 토큰 첫 동기화17:50 UTC
인시던트 선언18:12 UTC
Cloudflare API 무효 토큰 첫 동기화18:19 UTC
덮어쓰인 토큰 발견18:21 UTC
모든 제품으로 인시던트 격상18:28 UTC
WARP·Zero Trust 영향 종료18:51 UTC
Cache Purge, Cache Reserve, Images, R2 1차 영향 종료18:56 UTC
잘못된 업데이트로 영향 재개19:00 UTC
영향 재종료19:07 UTC
백업 복원 및 인시던트 종료19:51 UTC
영향받은 계정 수4개 (모두 Cloudflare 내부 계정)
Gateway 5XX 오류 피크평소 대비 분당 5만 건 초과
디바이스 포스처 읽기 오류1,050만 건 초과
Cache Purge 실패평균 초당 20건, 최대 초당 70건
마지막 수정 일자