목차
망분리 안에서 지난 분석을 이어가는 Agent Platform (2026-11)
원문 정보
- 원문: 실행은 격리하고, 세션은 이어간다: 망분리 환경의 Agent Platform 설계기
- 매체 · 게시일: 토스 기술 블로그 · 2026-11-10
- 저자: AI Platform Team
- 시리즈: 이전 글(GenAI Gateway와 MCP Gateway)에 이어지는 글이며, 다음 편에서 터미널과 팀 업무 도구 연결을 다룬다고 예고합니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
밖으로 옮길 수 없는 내부망 데이터
“지난달과 같은 기준으로 이번 달 데이터도 비교해줘.”
기간만 바꾸면 끝나는 요청은 아닙니다. 지난번 쿼리를 찾아 실행하고 결과를 비교하는 동안, 빠진 데이터가 없는지와 집계 기준이 그대로인지도 확인해야 합니다. 토스 AI Platform 팀이 에이전트에게 맡기려던 일은 이런 반복이었습니다.
데이터부터 제약이 있었습니다. 토스는 「전자금융감독규정」의 망분리 요건에 따라 금융 업무를 처리하는 내부망과 인터넷 업무 환경을 분리해 운영합니다. 분석 데이터는 내부망에 있었고 밖으로 옮길 수 없었습니다. 에이전트가 사람 대신 조회하고 가공하려면 내부망에서 코드를 실행해야 했습니다.
그렇다고 모델이 만든 코드에 내부망 전체를 열어줄 수는 없습니다. 작업과 관계없는 데이터를 읽거나 파일을 잘못 고치는 일을 프롬프트의 주의사항만으로 막기는 어려웠습니다. 팀은 코드를 샌드박스에서 실행하고, 필요한 파일과 시스템에만 접근하도록 제한했습니다.
지난 작업도 남아 있어야 합니다. 매번 빈 환경에서 출발한다면 사용자가 코드를 다시 준비하고 분석 기준을 설명해야 합니다. 실행할 수 있는 범위를 좁히면서도 이전 분석을 이어가도록, 작업 파일과 대화 상태를 보관하는 설계가 필요했습니다.
새 대화에서도 다시 쓰는 compare.py
한 사용자가 분석 Agent와 문서 작성 Agent를 함께 쓰고, 분석 Agent 안에서도 월별로 대화를 나눌 수 있습니다. 플랫폼은 이 관계를 구분합니다.
- Workspace: 사용자마다 제공하는 개인 작업 공간
- Agent: 업무 지침과 사용할 도구를 설정한 에이전트
- Session: 각 Agent와 나누는 개별 대화
대화를 나눌 때마다 작업 폴더까지 따로 만들면 파일 충돌은 줄어듭니다. 대신 지난달에 만든 코드를 이번 달 대화로 복사해야 합니다. 사본이 늘어나면 어느 파일이 최신인지도 사용자가 관리해야 했습니다.
그래서 같은 Agent의 Session들은 작업 파일을 함께 쓰도록 했습니다. 지난달 분석에서 만든 compare.py를 새 대화에서도 그대로 읽고 실행합니다. 한 대화에서 파일을 고치면 다른 대화도 수정된 파일을 사용하므로, 월별 대화를 나누기 위해 코드를 복사할 필요가 없습니다.
대화 상태까지 공유하지는 않습니다. 상태는 Session마다 따로 보관하며, 기존 대화를 다시 열면 그 상태로 작업을 이어갑니다. 새 대화에는 이전 대화에서 정한 분석 조건이 자동으로 전달되지 않습니다. 필요한 조건이나 작업 요약은 별도로 알려줘야 합니다.
파일 공유에는 그에 따른 제약도 있습니다. 이전 대화를 열어도 파일이 그때의 버전으로 돌아가지는 않으며, 여러 대화의 파일 수정 시점이 겹치면 충돌할 수 있습니다. 대화를 나누는 것과 파일의 버전을 나누는 것은 다른 동작입니다.
Workspace마다 재사용하는 Pod
파일을 공유하는 단위를 정했다면, 코드를 실행할 환경도 정해야 합니다. Agent나 Session마다 환경을 새로 만들면 준비 작업과 저장소 연결을 반복하게 됩니다. 팀은 사용자마다 Kubernetes Pod를 만들고 Workspace의 실행 환경으로 재사용했습니다. Pod를 만들고 종료하는 일은 오픈소스 OpenSandbox가 맡습니다.
Pod 안에서 모델의 결정을 실행으로 옮기는 프로그램은 하네스(harness)입니다. 모델은 실행할 코드를 정할 뿐, 직접 프로세스를 띄우거나 파일을 고치지는 않습니다. 하네스가 모델의 응답에 따라 도구를 실행하고 결과를 돌려줍니다. 분석 코드에 오류가 나면 오류 내용을 모델에 전달하고, 수정한 코드를 다시 실행하는 일도 이 과정에 포함됩니다.
모델과 도구를 반복 호출하는 일은 기존 하네스에 맡겼습니다. 플랫폼은 요청자를 확인하고 실행 환경과 접근 권한을 준비합니다. 하네스를 교체해도 사용자 관리와 저장소 연결을 다시 구현하지 않도록 역할을 나눈 것입니다.
사용자가 분석을 요청하면 Server가 사용자와 리소스 접근 권한을 확인합니다. Runner는 해당 Workspace의 실행 환경을 준비해 Runtime에 실행 설정을 전달합니다. Runtime은 곧바로 하네스를 띄우지 않습니다. bubblewrap으로 허용된 폴더와 통신 경로만 연결한 환경을 만든 뒤, 그 안에서 하네스와 도구를 실행합니다.
Server와 Runner는 Workspace Pod 밖에 있습니다. 하네스에는 업무에 필요한 입력과 도구를 제공하지만 플랫폼 DB의 인증정보는 넘기지 않습니다. 분석 코드를 실행하는 데 다른 사용자의 설정이나 플랫폼 관리 기능까지 열어줄 이유는 없기 때문입니다.
셸 명령에도 접근 제한을 적용하는 bubblewrap
같은 Pod를 쓰더라도 분석 Agent가 문서 작성 Agent의 작업 파일까지 고쳐서는 안 됩니다. 도구 목록을 화면에서 숨기는 것으로는 부족합니다. 파일 읽기 도구가 권한을 검사하더라도, 하네스가 셸 명령이나 직접 작성한 프로그램으로 같은 파일을 열 수 있기 때문입니다.
제한을 적용할 곳은 코드를 실행하는 프로세스였습니다. Runtime은 bubblewrap으로 하네스마다 별도의 Linux namespace를 구성합니다. namespace는 파일시스템의 마운트 구성과 프로세스 목록, 네트워크 등을 프로세스별로 격리하는 Linux 기능입니다.
실행에 필요한 기본 파일 외에는 Agent의 작업 폴더, 사용자가 추가로 허용한 폴더, 현재 Session의 상태 경로만 연결합니다. 실제 디렉터리를 실행 환경 안의 경로에 연결하는 마운트 방식입니다. 다른 Agent의 작업 폴더와 다른 Session의 상태 경로는 기본적으로 연결하지 않습니다.
참고 자료처럼 읽기만 하면 되는 폴더는 읽기 전용으로 연결합니다. Python 코드나 셸 명령으로 수정을 시도해도 파일시스템이 거부합니다. 새 도구를 추가하더라도 같은 격리 환경에서 실행한다면 이 제한을 그대로 받습니다.
프로세스 목록은 PID namespace로 격리합니다. 네트워크도 별도의 namespace로 구성하므로 하네스가 Pod의 네트워크를 직접 사용할 수 없으며, 필요한 HTTP(S) 요청은 Runtime 프록시로 전달합니다.
하네스 자체의 권한도 낮춥니다. 권한을 낮춘 사용자로 실행하고, 프로세스에 부여하는 특수 권한인 Linux capability를 제거해 격리 설정을 바꾸지 못하게 합니다. 격리 환경 준비에 실패하면 실행을 중단합니다. 설정에 문제가 있다고 격리 없이 실행해서는 접근 제한을 지킬 수 없기 때문입니다.
Agent마다 별도 VM을 두는 선택지도 있었습니다. 게스트 커널까지 나눌 수 있지만, VM별 이미지와 작업 볼륨을 준비하고 생성·종료를 플랫폼의 실행 흐름에 연결해야 합니다. 팀이 원한 것은 기존 Workspace를 재사용하면서 하네스마다 파일과 통신 범위를 다르게 정하는 방식이었습니다. Kubernetes와 OpenSandbox 안에서 bubblewrap을 사용하면 별도 게스트 운영체제를 관리하지 않고도 이 요구를 충족합니다. 호스트 커널은 공유하므로 VM과 같은 커널 격리를 제공하지는 않습니다.
Agent별 VM과 Workspace Pod 안 namespace 비교
| 방식 | 장점 | 플랫폼에서 준비하고 관리할 것 |
|---|---|---|
| Agent마다 별도 VM 사용 | Agent마다 게스트 커널을 따로 쓰는 격리 환경 구성 가능 | VM 생성과 종료, 이미지 준비, 작업 볼륨 연결을 플랫폼 실행 흐름과 연동 |
| Workspace Pod 안에서 namespace 사용 | 기존 Workspace 안에서 하네스마다 파일과 네트워크 접근 범위 설정 가능 | 기존 Kubernetes/OpenSandbox 구성을 활용하되, 하네스별 파일·네트워크·실행 권한을 설정하고 격리 동작을 검증 |
접근을 제한해도 작업 결과까지 보장되지는 않습니다. 쓰기를 허용한 폴더에서 파일을 잘못 고치거나 삭제하는 일은 막지 못합니다. 분석 결과가 정확한지도 별도로 확인해야 합니다.
실제 키를 대신 넣는 OpenSandbox 인증 프록시
업무 시스템에서 데이터를 조회하려면 인증정보가 필요합니다. 실제 API 키를 하네스의 환경변수에 넣으면 실행 중인 코드도 그 값을 읽을 수 있습니다. 디버깅하려고 환경변수를 출력했다가 로그나 결과 파일에 키가 섞일 수도 있습니다. 서비스 호출에 키는 필요하지만, 하네스가 그 값을 직접 알 필요는 없었습니다.
팀은 OpenSandbox 인증 프록시가 지원하는 HTTP(S) 연동에 대체값을 사용했습니다. 하네스가 요청 헤더에 실제 키 대신 대체값을 넣으면 Runtime HTTP 프록시가 목적지를 검사하고 요청을 중계합니다. OpenSandbox 인증 프록시는 미리 정한 목적지로 요청을 보낼 때 지정된 헤더의 대체값을 실제 인증정보로 바꿉니다. 하네스에 실제 키를 전달하지 않고 서비스를 호출하는 방식입니다. 모든 CLI나 개인 구독의 인증정보를 이렇게 처리하는 것은 아닙니다.
프록시까지 가는 경로도 제한되어 있습니다. 격리된 하네스의 HTTP(S) 요청은 IP 네트워크를 거치지 않고 같은 호스트의 프로세스를 잇는 전용 Unix 도메인 소켓으로 Runtime HTTP 프록시에 전달됩니다. Pod 네트워크를 열어줄 필요가 없습니다. 하네스가 프록시 환경변수를 무시해도, 별도 네트워크 namespace 안에 있으므로 Pod 네트워크로 직접 통신할 수는 없습니다.
이 내부망 구성에서 Runtime HTTP 프록시는 Pod 자신의 주소처럼 하네스가 접근해서는 안 되는 목적지를 차단합니다. 업무 서비스 등으로 나가는 통신의 허용 목적지는 OpenSandbox의 egress 정책이 정합니다. 접속을 허용할 서비스는 환경마다 다릅니다. 프록시를 거친다는 사실만으로 정책이 같아지는 것은 아니므로 egress 정책도 해당 환경에 맞게 설정해야 합니다.
모델 호출은 GenAI Gateway를, 업무 도구 호출은 MCP Gateway를 거칩니다. 여기서도 키를 숨기는 것과 권한을 제한하는 일은 구분해야 합니다. 하네스는 프록시를 거쳐 그 키에 허용된 기능을 그대로 사용할 수 있습니다. Gateway는 모델과 도구의 사용 권한을 확인하고, 업무 서비스는 해당 계정의 데이터 접근 권한을 확인해야 합니다. 문서 검색 서비스를 사용할 권한이 있다고 개별 문서를 모두 읽을 수 있는 것은 아닙니다.
데이터를 보낼 곳도 남아 있습니다. 에이전트가 읽은 데이터를 접속이 허용된 서비스로 전송하는 일까지 이 설계만으로 막지는 못합니다. 읽을 수 있는 파일, 연결할 수 있는 서비스, 그 서비스에서 수행할 수 있는 작업을 함께 정해야 합니다.
Pod 교체 뒤 다시 읽는 하네스 상태
대화를 이어가는 데는 화면의 질문과 최종 답변만으로 부족합니다. 모델이 조회 도구를 여러 번 호출했다면 각 결과가 어떤 호출에서 나왔는지도 알아야 합니다. 긴 대화를 압축한 내용처럼 하네스가 내부에서 관리하는 정보도 다음 요청을 처리하는 데 필요합니다.
처음에는 플랫폼에 저장한 대화 기록을 하네스 형식으로 변환했습니다. 플랫폼의 기록만으로 세션을 복원할 수 있었지만, 변환 코드가 하네스의 저장 형식과 처리 규칙을 따라가야 했습니다. 도구 호출과 결과를 연결하는 방식이 바뀌면 변환 코드도 고쳐야 했습니다.
팀은 같은 하네스에서 대화를 이어갈 때 그 하네스가 저장한 상태와 세션 ID를 다시 쓰도록 바꿨습니다. 플랫폼은 상태 경로를 기록해 두었다가 다음 실행에 연결하고, 하네스가 자신의 상태를 읽게 합니다. 내부 상태를 플랫폼이 재구성하는 부담을 줄인 선택입니다. 하네스 버전이 바뀌었을 때 기존 상태를 읽을 수 있는지 확인하는 일은 여전히 남습니다.
상태가 없으면 오류를 반환합니다. 이전 상태를 읽지 못했는데도 대화를 계속하면, 사용자는 앞서 정한 분석 조건이 이번 요청에도 반영됐다고 오해할 수 있기 때문입니다.
이 상태와 작업 파일은 영속 볼륨(PV)에 저장합니다. PV는 Pod와 별도로 유지되는 저장소입니다. 배포나 장애로 Pod를 교체하면 새 Pod에 볼륨을 다시 연결하고, Runtime이 작업 폴더와 Session 상태 경로를 연결해 하네스가 기존 파일과 상태를 읽도록 합니다.
복구되지 않는 것도 있습니다. 파일로 저장한 분석 결과는 다시 읽지만, 종료된 프로세스의 메모리는 돌아오지 않습니다. 메모리에만 있던 중간 계산값은 다시 계산해야 합니다.
세션 재개는 저장된 파일과 대화 상태로 다음 요청을 처리하는 기능입니다. 실패한 작업을 멈춘 지점부터 다시 실행하거나, 수정한 파일을 이전 버전으로 되돌리거나, 외부 서비스에서 이미 처리한 작업을 되돌리는 기능까지 제공하지는 않습니다. 데이터 백업과 외부 작업의 중복 실행 방지는 별도로 다뤄야 합니다.
조회와 인계에 쓰는 공통 실행 기록
하네스가 저장한 상태는 대화를 이어갈 때 사용합니다. 지난 대화를 화면에 보여줄 때까지 이 파일을 직접 읽으면, 조회 기능도 하네스마다 다른 저장 형식과 그 변화를 따라가야 합니다. 팀은 조회용 기록을 따로 남겼습니다.
하네스가 실행되는 동안 사용자 입력과 도구 호출, 실행 결과를 공통 형식으로 저장한 것이 공통 실행 기록입니다. 메시지와 도구 호출 결과에는 모델 응답과 도구 호출을 일관된 형태로 표현하는 공개 규격인 OpenResponses를 사용합니다. 하네스가 남긴 원본 이벤트도 함께 보관합니다. 지난 대화는 이 기록에서 읽으므로 하네스를 다시 실행하지 않아도 됩니다.
다른 하네스로 작업을 넘길 때도 공통 실행 기록을 사용합니다. 기존 하네스의 상태 파일을 그대로 읽을 수 없으므로, 별도의 인계 요청을 받으면 기록을 요약해 새 Session에 전달합니다. 예를 들어 지난 분석의 집계 조건과 결과 파일의 위치를 넘기면, 새 하네스는 이 설명과 접근이 허용된 작업 파일을 참고해 작업을 시작합니다.
이때 시작하는 것은 새 대화입니다. 기존 세션을 복원한 것처럼 취급하지 않습니다. 요약에서 빠진 내용을 확인하도록 원문 기록을 보관하고, 기록을 읽지 못하면 요약을 만들지 않고 오류를 반환합니다.
복원 실패를 인계로 바꾸지도 않습니다. 저장된 상태로 기존 대화를 이어갈지, 요약을 전달해 새 대화를 시작할지는 요청할 때 구분합니다. 기록을 나누어 관리하는 부담은 있지만, 대화 조회와 요약 기능을 하네스별 저장 형식에 맞춰 구현하지 않아도 됩니다.
대화 재개·조회·인계에 사용하는 기록
| 사용 목적 | 사용하는 기록 | 처리 방식 |
|---|---|---|
| 같은 하네스에서 대화 이어가기 | 하네스 고유 상태와 세션 ID | 하네스가 저장된 상태를 읽어 다음 요청을 처리 |
| 화면에서 지난 대화 조회하기 | 공통 실행 기록 | 하네스를 실행하지 않고 메시지와 도구 실행 결과를 조회 |
| 다른 하네스로 작업 넘기기 | 공통 실행 기록과 허용된 작업 파일 | 별도 인계 요청에 따라 요약을 전달한 새 세션에서 시작 |
팀은 현재 사용자가 에이전트와 같은 작업 공간에서 직접 파일을 고치고, 팀원들과 에이전트를 함께 쓰도록 기능을 넓혀 가고 있습니다. 다음 편에서는 대화창 밖에서도 에이전트를 사용하도록 터미널과 팀의 업무 도구를 어떻게 연결했는지 소개할 예정입니다.