본문으로 건너뛰기
프로덕션 이웃 곁에서 코드를 멈춰 보는 SLATE 디버깅
목차

프로덕션 이웃 곁에서 코드를 멈춰 보는 SLATE 디버깅 (2024-06)

원문 정보

  • 원문: Debugging with Production Neighbors – Powered by SLATE
  • 매체 · 게시일: Uber Engineering Blog · 2024-06-18
  • 저자: Sagar Talla(Senior Full-Stack Engineer, Platform Engineering 팀), Abhishek Sharma(Software Engineer II, Platform Engineering 팀), Vasu Kakkirala(Staff Engineer · Tech Lead, Platform Engineering 팀), Lakshita Bhatia(Software Engineer II)
  • 원문 내용을 바탕으로 재구성한 요약입니다.

로그 한 줄에도 배포가 필요했던 SLATE

로그 한 줄을 추가하려 해도 다시 배포해야 했습니다. SLATE에서 복잡한 호출 흐름을 추적하던 개발자가 마주한 불편입니다. Uber는 실제 의존 서비스와 연결된 상태에서도 실행문을 따라가며 값을 확인하고, 코드를 고쳐 다시 검증하는 과정을 로컬 디버깅처럼 만들고자 했습니다.

SLATE는 Uber의 E2E 테스트 도구입니다. 검증 대상 서비스를 실제 프로덕션 업스트림·다운스트림 서비스 곁에 배포합니다. 테스트 요청은 프로덕션의 호출 흐름을 따르되 검증 대상에서는 SLATE 인스턴스로 향합니다. 새 기능을 의존 서비스와 함께 개발하거나, 코드와 설정이 얽힌 프로덕션 버그를 재현하는 데 쓰는 환경입니다.

익숙한 디버깅 방법만으로는 부족했습니다. 로그는 기본이지만, 로깅이 비효율적이면 필요한 정보가 무관한 메시지에 묻힙니다. 개발자가 통제하는 스테이징도 실제 프로덕션과 차이가 있어 잘못된 확신을 주기 쉽고, 수정한 결과를 확인하기까지 오래 걸립니다. 단일 서비스를 로컬에서 디버깅하면 반복은 빠릅니다. 여러 서비스가 함께 처리하는 사용자 시나리오를 살펴보기는 어렵습니다.

SLATE에 더한 원격 디버깅은 배포된 서비스 안을 들여다보는 길을 열었습니다. 이어서 SLATE Attach는 프로덕션의 이웃들과 연결된 채 로컬에서 코드를 수정하고 테스트하도록 만들었습니다. 어디서 실행을 멈출지에 따라 개발자가 얻는 편의와 지켜야 할 제약도 달라집니다.

디버거 연결을 기다리는 SLATE 컨테이너

빌드부터 달라져야 했습니다. SLATE는 컨테이너 생성부터 서비스 컴파일·실행까지 프로덕션 인프라를 재사용하는데, 기존 배포 파이프라인은 디버깅용과 프로덕션용 바이너리를 구분해 만들지 못했습니다. Uber는 파이프라인의 여러 구성 요소가 바이너리 종류를 인식하고 그에 맞게 설정을 바꾸도록 수정했습니다. 디버깅 도구를 포함한 빌드를 만들기 위한 변경입니다.

실행할 때는 전용 디버그 서버가 애플리케이션을 띄웁니다. 프로세스는 디버거 클라이언트가 붙을 때까지 대기합니다. VSCode, GoLand, JetBrains IDE에서 TCP 디버그 포트에 연결하면 중단점과 트레이스포인트를 설정하고, 지역 변수와 함수 인자를 살피거나 CPU 레지스터를 출력할 수 있습니다.

이제 값을 확인하려고 로그를 추가할 때마다 커밋하고 배포하지 않아도 됩니다. 실행문을 한 줄씩 따라가고, 중단점에 걸린 순간의 파라미터 값을 확인하는 방식입니다. 로컬에서는 재현되지 않는 환경·설정·아키텍처 문제도 배포된 SLATE 인스턴스에서 추적할 수 있게 됐습니다.

서비스 소유자에게만 열리는 SSH 터널

컨테이너에 닿을 포트도 필요했습니다. 프로덕션 호스트 옆에 만들어지는 SLATE 컨테이너에 gRPC/HTTP 포트 외의 디버그 포트를 추가하고, 기존 UP가 임의 포트를 할당해 호스트 포트에 매핑하도록 했습니다. 이 포트는 디버깅 가능한 SLATE 배포에만 열며, 포트 노출에는 보안 검토가 따릅니다.

디버거에 접속하면 민감한 서비스 정보까지 볼 수 있습니다. 그래서 보안·프라이버시 요건을 지키면서 편리하게 연결할 방법을 마련해야 했습니다. 원격 디버깅은 테스트 요청만 처리하는 SLATE 인스턴스에 한정하고, 접속자도 서비스 소유자 LDAP 사용자로 제한했습니다.

개발자 머신에서는 비밀번호로 인증하는 SSH 터널을 엽니다. 로컬 포트 포워딩을 사용하므로 디버그 트래픽은 암호화된 터널 안으로 흐릅니다. 인증에는 slatedev 계정을 씁니다.

비밀번호를 받는 경로에도 같은 접근 제한을 적용했습니다. 컨테이너가 시작되면 메인 애플리케이션을 실행하기 전에 무작위 16자리 코드를 생성해 컨테이너 안 파일에 저장하며, 서비스 소유자 LDAP 그룹만 이 파일을 읽을 수 있습니다. 소유자는 Compute CLI로 비밀번호를 얻습니다. 해당 그룹 밖의 사용자가 요청하면 Compute CLI가 접근을 거부합니다.

노트북까지 이어지는 SLATE Attach의 요청 경로

원격 디버깅으로 상태를 들여다보기는 쉬워졌습니다. 코드를 고친 뒤 확인하는 일은 여전히 느렸습니다. 프로덕션 인프라에서 원격 디버깅은 사실상 읽기 전용으로 동작해 동적 수정이 허용되지 않고, 코드가 바뀔 때마다 빌드·배포·테스트를 거쳐야 했기 때문입니다.

SLATE Attach는 이 반복을 로컬로 가져옵니다. 노트북이나 devpod에서 실행한 서비스가 테스트 요청을 받도록 하여, 프로덕션 업스트림·다운스트림과 연결된 상태에서 코드를 수정하고 검증하게 했습니다. 코드를 바꾼 시점부터 검증을 마칠 때까지의 주기를 줄이려는 설계입니다.

연결을 위해 서비스를 변경하거나 별도로 온보딩할 필요는 없습니다. 개발 환경 준비와 빌드 반복을 빠르게 하고, 로컬 및 E2E 테스트에서 생긴 문제를 더 일찍 찾아 고치는 것이 Attach의 이점입니다. 이 연결을 맡는 SLATE 프록시는 로컬 디버깅 대상인 SLATE 인스턴스행 테스트 요청을 모두 받아 알맞은 개발자 머신으로 보냅니다.

service 3에서 노트북으로 향하는 요청

모바일 클라이언트에서 테스트 계정으로 요청을 보내면 E2E 테스트 프록시가 라우팅 오버라이드를 조회합니다. 특정 서비스를 향한 요청의 목적지를 바꾸는 설정입니다. 프록시가 그 내용을 라우팅 헤더에 넣으면 요청은 Mutley를 거쳐 프로덕션 서비스들을 지납니다. 그러다가 service 3을 호출할 지점에 이르면, 헤더에 지정된 host:port에 따라 SLATE 프록시로 향합니다.

여기서부터 로컬 서비스로 가는 경로입니다. SLATE 프록시는 Cerberus-deputy Flipr 네임스페이스에 저장된 host:port 설정을 읽고 Cerberus-gateway의 열린 포트로 요청을 보냅니다. 게이트웨이는 SSH 세션을 따라 사용자의 로컬 개발 머신으로 전달합니다. 로컬 노트북에서 이어지는 다운스트림 호출도 Cerberus를 거쳐 프로덕션 서비스로 향합니다.

이렇게 테스트 대상 서비스는 노트북에서 실행하면서 앞뒤 서비스는 실제 프로덕션의 이웃을 그대로 사용합니다. 요청을 전달하는 데이터 플레인이 이 경로를 따르려면, 먼저 컨트롤 플레인에서 SLATE 환경과 개발자 머신의 연결 정보를 등록해야 합니다.

SLATE 환경과 개발자 머신을 묶는 매핑

SLATE 환경은 미리 만들어져 있어야 합니다. 개발자가 노트북이나 devpod에서 SLATE attach를 시작하면 SLATE CLI가 SLATE Backend의 Attach() API를 호출하고, Backend는 SLATE Proxy에서 프록시의 host:port를 가져옵니다. 이 주소를 라우팅 컨트롤 DB에 테스트 대상 서비스의 라우팅 오버라이드로 기록합니다.

라우팅 컨트롤 DB에는 테스트 테넌시와 라우팅 오버라이드의 관계, 사용자 계정 UUID와 테스트 테넌시의 관계가 저장됩니다. 대상 서비스의 목적지가 SLATE Proxy로 바뀌므로 해당 SLATE 환경을 향한 요청은 프록시에 도착합니다. 어느 개발 인스턴스로 보낼지는 로컬 라우팅 DB에 등록한 자격 증명을 읽어 결정합니다.

개발자는 이어서 Cerberus CLI로 SSH 세션을 시작합니다. Cerberus 게이트웨이는 Flipr DB에 대리 테넌시/UUID와 노트북 자격 증명의 매핑을 저장하고 SSH 세션을 만듭니다. 앞서 SLATE 프록시가 요청 전달에 사용한 Cerberus-deputy Flipr 네임스페이스의 host:port도 사용자가 Cerberus CLI를 실행할 때 설정됩니다.

이 등록 과정이 로컬 환경과 SLATE 환경을 연결하는 컨트롤 플레인입니다. 라우팅 컨트롤 DB와 로컬 라우팅 DB의 매핑을 갱신해, 테스트 계정의 요청이 SLATE 프록시를 거쳐 연결된 개발 인스턴스까지 도착하도록 준비합니다.

로컬 실행을 가로막는 의존성과 대기 시간

모든 서비스를 노트북으로 옮길 수는 없습니다. Spanner처럼 프로덕션 인프라에만 있는 의존성이 필요한 복잡한 서비스는 로컬 실행이 어려울 수 있습니다. 디버거에서 실행을 오래 멈춰 두면 요청이 타임아웃된다는 제약도 있습니다.

Attach 역시 테스트 요청만 받습니다. 로컬에서 요청을 동적으로 바꾸더라도 실제 프로덕션 트래픽을 보호하도록 범위를 제한한 것입니다. 프로덕션 서비스와 연결된 로컬 디버깅이라는 편의는 이 조건 안에서 성립합니다.

Uber는 바로 사용할 수 있는 개발 환경과 더 빠른 문제 확인·수정을 Attach의 효과로 들었습니다. 개발 속도가 개선된 결과는 원문의 그림에 제시되어 있지만, 본문에는 구체적인 수치가 적혀 있지 않습니다.

프로덕션 요청까지 살필 SLATE Sniffer

원격 디버깅과 SLATE Attach는 모두 테스트 요청에 한정됩니다. 실제 프로덕션 요청을 살펴보려면 uMonitor에 표시되는 로그를 넘어서는 관측 수단이 필요합니다. Uber가 다음 단계로 제시한 SLATE Sniffer는 필요한 순간에 원하는 요청과 응답을 포착하려는 기능입니다.

계획은 서비스와 UUID로 필터링한 요청·응답을 캡처하고, 그 필터를 프로덕션 요청과 테스트 요청 모두에 적용하는 것입니다. 원격·로컬 디버깅에서 허용한 요청 범위를 넓히는 대신, 프로덕션 요청을 관측할 별도의 경로를 마련하려는 방향입니다. Uber는 SLATE를 프로덕션 이슈 디버깅의 주요 도구로 발전시키고, 문제를 개발 초기에 드러내 품질 검증 시점을 앞당기는 것을 목표로 삼았습니다.

접근 권한과 실행 제약
항목값
원격 디버깅 접근 대상서비스 소유자 LDAP 사용자
SSH 계정slatedev
SSH 비밀번호컨테이너 시작 시 생성하는 무작위 16자리 코드
비밀번호 열람Compute CLI(LDAP 사용자만)
원격 디버깅 한계읽기 전용, 변경마다 빌드·배포·테스트
SLATE Attach 한계프로덕션 전용 의존성(예: Spanner)이 필요한 서비스는 로컬 실행 곤란, 테스트 요청만 가능, 로컬 대기 시 타임아웃
지원 디버거 클라이언트VSCode, GoLand, JetBrains
마지막 수정 일자