목차
권한 검사를 넘어 행동의 이유를 묻는 Uber Secure AI (2026-11)
원문 정보
- 원문: Securing AI Agents: Lessons From Real-World Deployment
- 매체 · 게시일: Uber Engineering Blog · 2026-11-06
- 저자: Sean Tout(Director of Engineering & Science), Max Zhurovich(Senior Staff Software Engineer), Adi Raghavendra(Sr. Engineering Manager)
- 원문 내용을 바탕으로 재구성한 요약입니다.
접근 권한으로 막지 못한 에이전트의 이탈
권한 검사를 통과했다고 행동까지 정당해지지는 않습니다. 에이전트의 도구 자격 증명은 유효하고 사용자도 해당 리소스에 접근할 권한이 있지만, 정작 하려는 일은 사용자의 요청이나 에이전트의 역할에서 벗어날 수 있습니다. Uber가 기존 인가 체계만으로 다루지 못한 문제입니다.
기존 서비스는 미리 정한 로직을 실행합니다. 에이전트는 사용자와 웹페이지, 문서, 도구, 다른 에이전트가 내놓은 내용을 읽고 그때그때 추론해 실제 행동으로 옮깁니다. 이 차이 때문에 공격 면의 일부가 신원과 API 접근 통제를 넘어, 내용을 해석하고 행동을 고르는 의미 계층으로 넓어졌습니다. 프롬프트 주입과 도구·메모리 오염, 목표 가로채기뿐 아니라 행동 이탈과 환각에 따른 실행도 다뤄야 했습니다.
Uber도 먼저 기존 대안을 검토했습니다. 직접 프롬프트 주입, 탈옥, 유해 콘텐츠, 민감정보 노출을 탐지하는 상용 AI 보안 플랫폼과 도구·데이터 접근을 제한하는 정책 엔진이 대상이었습니다. 이들은 여전히 다층 방어에 유용합니다. 하지만 사용자와 에이전트, 도구, 모든 API 호출이 정당하게 인가된 상태에서 에이전트가 의도하지 않은 행동으로 유도되는 위협까지 완전히 다루지는 못했습니다.
가장 덜 화려했던 에이전트의 제약
Uber는 공격의 변종마다 탐지 규칙을 늘리는 대신, 에이전트가 하려는 일을 허용된 행동과 대조하는 쪽으로 통제를 바꿨습니다. 역할을 정한 페르소나, 수행하도록 허용한 의도, 의미 수준의 제약이 판단 기준입니다. 프롬프트와 제안된 행동을 평가할 때는 사용자의 역할과 요청, 여러 차례 이어진 대화, 그 안에서 이미 내린 결정과 실행한 행동까지 함께 봅니다. 경계를 벗어난 행동이라면 처음 보는 공격 기법으로 유도됐어도 거부할 수 있습니다.
가장 효과적인 방어책은 가장 덜 화려했습니다. 에이전트를 명시적 의도와 제약으로 제한해, 어떤 일이 어떤 조건에서 일어나도 되는지 엄격히 정하는 방식이었습니다. 이 제한은 조작된 지시를 따라 행동할 여지를 크게 줄였습니다. 대신 자율 에이전트의 매력인 유연성도 일부 줄어듭니다. Uber는 이 손실을 인정하면서도 지금은 감수할 만한 선택이라고 평가합니다.
그렇다고 위험이 사라진 것은 아닙니다. Uber는 1P·3P 에이전트 모두에 보안·안전·프라이버시 가드레일을 처음부터 적용했고, PersonaGuard 같은 고급 가드레일과 실행 전 과정의 가시성을 추가했습니다. 이 방어들은 위험을 낮추고 공격 비용을 높였습니다. 알려진 위협 패턴은 완화했지만, 새로운 프롬프트 주입과 조작 기법을 얼마나 막을지는 여전히 예측하기 어려웠습니다.
코드에서 시작하는 Uber Secure AI의 행동 계약
이 행동 경계를 개발부터 운영까지 유지하는 프레임워크가 Uber Secure AI입니다. 프로비저닝 시점의 검증, 런타임 강제, 지속 검증을 에이전트 생애주기에 연결했습니다. 인증과 인가는 그대로 필요합니다. 여기에 에이전트의 목적과 사용자 요청, 권한, 세션 맥락을 보고 실행의 타당성을 판단하는 계층을 더했습니다.
그 기준은 Uber AI Registry에 기록합니다. 에이전트의 신원과 소유자, 페르소나, 허용 의도, 제약, 의존성, 위험 등급을 관리하는 공식 기록입니다. 이 정보가 모여 에이전트가 무엇을 하도록 설계됐고 어디까지 허용되는지를 밝히는 행동 계약이 됩니다.
선언과 구현을 함께 확인하는 프로비저닝
계약을 전부 손으로 작성하게 하자 온보딩 부담이 컸습니다. 개발팀은 에이전트를 등록하고 페르소나와 의도를 정의한 뒤, 가드레일을 지정하고 정책까지 시험해야 했습니다. Uber는 자동 보안 분석 플랫폼 Argus가 페르소나와 의도 초안을 만들도록 했습니다. 팀은 빈 문서에서 시작하는 대신 생성된 내용을 검토하고 다듬습니다.
Argus는 소스 코드, 프롬프트, 설정, 의존성, 노출된 엔드포인트, 도구 호출 경로를 분석합니다. 취약점만 찾는 것은 아닙니다. 구현에서 의도를 추출해 개발팀이 선언한 행동과 실제로 수행할 수 있는 일을 비교합니다. 개발자가 모든 능력을 빠짐없이 신고했으리라고 가정하지 않는 방식입니다.
도구와 모델도 배포 전에 검사합니다. 서드파티 MCP 서버와 도구에는 정적·동적 분석, 소프트웨어 구성 분석, 평판 신호, 도구 설명과 메타데이터의 의미 검사를 적용합니다. 취약점뿐 아니라 간접 프롬프트 주입, 도구 오염, 악성 행동도 검사 대상입니다. LLM은 배포 전 보안 평가를 거치며, 모노레포 스캔은 미등록 에이전트와 허가받지 않은 MCP 엔드포인트, 필수 통제를 우회하려는 시도를 찾습니다.
이 절차를 별도 게이트웨이의 도입 과제로 남겨두지는 않았습니다. 코드·노코드 개발 플랫폼에서 에이전트를 일찍 발견해 등록하고, 공급망 검사를 기존 개발·DevOps 작업 흐름에 통합했습니다. 강한 통제를 만들어도 온보딩이 번거롭거나 정상 작업을 자꾸 막으면 통제의 가치가 줄고 개발팀이 우회하려 들 수 있습니다. 안전한 경로를 가장 쉽게 이용할 수 있도록, 에이전트가 개발·배포되는 공통 플랫폼에 보호 기능을 넣었습니다.
실행 경로 한가운데 놓인 AI Guard
런타임에서는 익숙한 정책 관리·결정·강제의 분리를 사용합니다. 달라진 부분은 정책이 판단하는 대상입니다. 리소스 접근 권한에 더해, 에이전트가 왜 그 행동을 하려는지와 현재 맥락이 그 행동을 뒷받침하는지도 평가합니다.
| 역할 | 구성 요소 | 담당 범위 |
|---|---|---|
| 정책 관리 지점(PAP) | AI Registry | 에이전트 정책, 페르소나, 의도, 제약, 필수 가드레일 관리 |
| 정책 결정 지점(PDP) | AI Guard | 상호작용과 제안된 행동을 정책에 비춰 평가 |
| 정책 강제 지점(PEP) | Agent Guard 런타임 훅, LangFx·AI Guard SDK의 강제 로직 | 주요 실행 지점에서 AI Guard를 호출하고 진행 전에 판정 적용 |
LangFx와 AI Guard SDK는 AI Guard를 호출하는 표준 연동 경로입니다. Agent Guard는 에이전트와 도구의 실행 경계에서 개입해 판정을 적용합니다. AI Guard 자체는 애플리케이션, 모델, 도구의 각 지점에서 보안·프라이버시·안전 정책을 판단하는 공용 서비스로 동작합니다.
판정 시간도 실행 시간에 포함됩니다. 정적 검사와 맥락 검사, 의미 검사를 거듭 적용하자 사용자에게 응답하는 흐름에 측정 가능한 지연이 생겼습니다. 모든 판단을 범용 SaaS LLM에 맡기는 방식도 적합하지 않았습니다. 네트워크 왕복이 필요하고 원격 추론 지연을 예측하기 어려워, 엄격한 지연 예산을 지키기 힘들었습니다.
Uber는 가드레일을 순차 실행하던 방식을 병렬 평가로 바꿨습니다. 적합한 판단은 대형 범용 LLM에서 작은 전용 모델로 옮겼고, 특정 가드레일 기능에 맞춰 미세 조정한 모델도 사용합니다. 모델은 실행 경로 가까운 로컬에 두며, 필요한 곳에는 메모리 내 벡터 검색으로 의미를 비교합니다. 이 변경으로 지연과 추론 비용을 줄이면서 가드레일을 에이전트별로 보정할 수 있게 됐습니다.
권한이 필요한 행동을 사용자가 실제로 요청한 일에 연결하는 방어도 추가했습니다. 프롬프트의 출처를 추적하는 Prompt Provenance와 행동의 근거를 잇는 Evidence Chaining입니다. 간접 프롬프트 주입이나 목표 가로채기로 행동이 바뀌었는지 판단할 때, 요청에서 실행까지 이어지는 근거를 함께 사용합니다.
실제 트래픽으로 다시 조정하는 가드레일
행동 경계를 정했다고 운영 문제가 끝나지는 않았습니다. 의도와 제약을 너무 좁게 잡으면 정당한 작업을 막고, 느슨하게 풀면 보호가 약해집니다. Uber는 섀도 모드와 트래픽 재생으로 실제 행동에서 발생하는 오차단·오허용을 측정했습니다. 그 결과를 보고 의도와 제약을 조정한 뒤, 변경을 검증하고 강제를 적용했습니다.
모든 에이전트에 같은 임계값을 적용하는 방식도 버렸습니다. 에이전트마다 목적과 행동, 사용하는 도구, 위험 수준이 다르기 때문입니다. 범용 가드레일은 넓은 범위에 기본 방어를 제공하지만, 더 강한 보호를 제공하는 페르소나·의도·의미 제약의 강제에는 개별 에이전트에 대한 이해와 긴밀한 통합이 필요했습니다. 운영 텔레메트리와 재생, 테스트 결과를 반영하며 에이전트별 보정을 계속합니다.
보안만 따로 최적화할 수는 없습니다. 차단을 강화하면 정상 작업까지 막을 수 있고, 검사를 늘리면 지연과 비용이 커지며, 제약을 좁히면 자율성도 줄어듭니다. 개발자가 이를 계속 사용할 수 있어야 한다는 조건도 붙습니다. Uber가 가드레일을 보안 문제인 만큼 분산 시스템과 엔지니어링의 문제로 본 이유입니다.
정책 변경을 먼저 시험하는 실행 기록
지속 검증의 바탕은 통합 실행 추적입니다. 에이전트의 행동과 도구 호출, 가드레일 결정을 하나로 연결해 문제를 설명하고 감사할 수 있게 합니다. 추적에는 필요한 메타데이터를 담되, 프롬프트와 응답 내용은 필요할 때만 기록합니다. 민감정보는 최소화하거나 가리고, 데이터의 민감도에 따라 접근을 제한하며, 정해진 보존 기간이 지나면 삭제합니다.
이 기록은 새 방어를 시험할 재료이기도 합니다. 새로운 공격이 나타나면 기록된 상호작용을 후보 가드레일과 갱신된 정책에 재생해, 실제 운영 행동에 어떤 영향을 주는지 강제 적용 전에 확인합니다. 자동 위협 모델링은 설계 정보와 소스 분석을 합쳐 공격 면의 현황을 유지하고, 시나리오 기반 침투 테스트와 지속적인 AI 레드팀의 방향을 정합니다. 여기서 발견한 문제는 에이전트 위험 점수, 정책, 모델 보정, 가드레일에 다시 반영됩니다.
자율성이 커질수록 남아야 할 통제 장치
에이전트가 더 길고 자율적인 작업을 맡으면 사람의 감독을 자동화된 통제가 보완해야 합니다. 제약은 각 행동이 정당해지는 조건을 정합니다. 운영 원칙은 사람이 지켜보지 않는 동안 오래 실행되는 에이전트가 목표를 추구하는 방식을 다루고, Prompt Provenance와 Evidence Chaining은 각 단계를 사람이 실제로 요청한 일까지 거슬러 올라갈 수 있게 합니다.
이 장치들은 모델이 좋아지면 치울 비계가 아닙니다. Uber는 페르소나와 범위가 정해진 의도, 제약, 출처와 근거를 확인하는 통제가 자율성이 커질수록 더 큰 역할을 할 것으로 봅니다. 모델 내부의 방어도 강화해야 하며, 에이전트 수준의 통제와 함께 유지해야 한다는 입장입니다.
앞으로는 1P·3P 에이전트를 넘어 적용 범위를 넓히고 더 정교한 공격에 대응할 계획입니다. 이미 도입한 Prompt Provenance와 Evidence Chaining을 확대하고, 의미 제약과 운영 원칙을 발전시킵니다. 전용 모델과 에이전트별 보정으로 지연·오차단·오허용을 더 줄이는 작업도 이어갑니다. 에이전트 발견과 등록, 페르소나·의도 생성, 가드레일 지정, 레드팀과 회귀 테스트의 자동화를 늘려 개발자가 직접 처리해야 하는 보안 작업도 줄이려 합니다.
이 글은 시리즈의 첫 편입니다. 후속 글에서는 Agent Persona, Context-Aware Guardrails, End-to-End Observability와 의도 필터링, 제약, 프롬프트 출처 추적, 안전한 온보딩 각각의 설계와 구현을 다룰 예정입니다.