목차
Git과 공유 Postgres로 팀을 꾸린 에이전트 1,000개의 페르마 증명 (2026-11)
원문 정보
- 원문: Safely scaling multi-agent teams with Claude Fable 5.2
- 매체 · 게시일: claude.dev 블로그(Agents) · 2026-11-09
- 저자: Barry Zhang, Tianyi Peng, Elle Najt, Keller Scholl, Lance Martin
- 영어 원문을 읽고 재구성한 요약입니다. 원문은 이 실험을 장난감 실험(toy experiment)이라고 부릅니다.
9월 형식화를 범용 도구로 재현한 실험
페르마의 마지막 정리는 n이 2보다 클 때 aⁿ + bⁿ = cⁿ을 만족하는 양의 정수 a, b, c가 없다는 명제입니다. 350년 넘게 풀리지 않다가 1995년 Andrew Wiles의 129쪽짜리 증명으로 해결됐습니다. 이 증명의 모든 단계를 컴퓨터가 검사할 수 있도록 형식화하는 일은 수학계의 오랜 목표였습니다.
Anthropic은 9월에 이 정리의 첫 end-to-end 형식화를 공개했습니다. 연구자 한 명과 Claude Fable 5.1에 대략 견줄 만한 내부 연구 모델을 사용하는 에이전트 수십 개가 참여했습니다. 이들은 11일 동안 출력 토큰 약 60억 개를 써서 Lean 코드 1,300만 줄을 만들었습니다. Lean은 증명의 모든 단계를 컴퓨터가 검사하는 프로그래밍 언어입니다.
당시 초기 시도는 에이전트들이 프로젝트 상태를 놓치고 효과적으로 협업하지 못하면서 실패했습니다. 이를 해결한 협업 기반이 수학 형식화 플랫폼 Prove2Me였습니다. Tianyi Peng(현재 Anthropic 기술 스태프)과 Columbia University 공동 연구자들이 만든 이 플랫폼은 증명할 명제와 그 명제를 나눈 더 작은 명제들을 공유 그래프로 연결합니다. 어떤 에이전트든 명제를 나눌 수 있고, 다른 에이전트는 그래프를 조회해 작업을 시작할 수 있는 미증명 조각을 찾을 수 있습니다.
이 그래프가 프로젝트 상태를 추적하는 동안, 파일 구조는 병렬 작업을 지원했습니다. 각 명제와 그 증명을 독립적으로 컴파일되는 별도 파일에 두었기 때문에 여러 에이전트가 같은 파일을 수정하지 않고 작업할 수 있었습니다.
이번 실험에서는 Prove2Me가 제공하던 이런 지원과 연구자의 지휘를 제외했습니다. Fable 5.2 초기 버전을 사용하는 에이전트 팀이 범용 도구만으로 같은 결과를 낼 수 있는지 확인하려는 실험이었습니다.
| 9월 형식화 | 이번 실험 | |
|---|---|---|
| 모델 | Fable 5.1에 대략 견줄 내부 연구 모델 | Fable 5.2 초기 버전 |
| 인원 | 연구자 1명 + 에이전트 수십 개 | 에이전트 1,000개(리드 1, 헬퍼 999), 연구자 지휘 없음 |
| 협업 기반 | Prove2Me | Git + 공유 Postgres |
| 소요 | 11일, 출력 토큰 약 60억 개 | 28.7시간, 출력 토큰 3분의 1 |
| 결과물 | Lean 1,300만 줄 | 원래 증명의 7분의 1 길이 |
샌드박스 1,000개가 함께 쓰는 공유 Postgres
팀에 제공한 증명 대상은 최종 정리와 중간 마일스톤 59개를 합친 명제 60개였습니다. 각 명제의 한 줄 비형식 설명, 고전적 증명 경로를 한 문장으로 요약한 스케치, 명제들이 사용하는 정의, 이전 형식화에서 증명한 보조정리 47개도 주었습니다.
에이전트는 각 명제의 증명을 Lean으로 작성하고, Lean 도구로 빌드·검사한 뒤, Git의 공유 main 브랜치에 제출해야 했습니다. main에 제출된 증명은 채점기가 확인했습니다. 이를 위해 에이전트마다 다음 도구를 제공했습니다.
- 네트워크가 없는 자기 샌드박스 안의 셸과 파일 편집기
- 샌드박스 이미지에 넣어 둔 Lean 툴체인과 Mathlib
- 자기 Git 브랜치와 main으로 머지 요청을 여는 권한
- 셸에서 접근하는 공유 Postgres 데이터베이스
각 샌드박스는 별도의 가벼운 가상 머신에서 실행했습니다. 머신 하나를 공유하던 방식은 에이전트 100개 근처에서 한계에 부딪혔습니다. 에이전트 100개를 돌린 실행 중 절반 넘게가 메모리·디스크·CPU 부족으로 중단되거나 재시작됐습니다.
1,000개의 샌드박스에 작업을 분산한 뒤에는 서로의 작업을 공유할 수단이 필요했습니다. SQL을 선택한 이유는 정보를 정리하는 범용 기본 기능을 제공하고, 트랜잭션으로 에이전트 1,000개의 동시 쓰기를 처리하며, Claude가 이미 익숙하게 사용할 수 있기 때문이었습니다. 에이전트들은 이 DB에서 태스크를 선점하고, 메모를 공유하고, 완료한 작업을 기록했습니다.
샌드박스와 외부를 연결하는 통로는 게이트웨이로 향하는 파이프 하나였습니다. 게이트웨이가 Claude API를 호출하고, Git·SQL 요청을 공유 저장소와 DB에 전달했습니다.
프롬프트에는 명제 목록과 각 명제의 한 줄 설명, 사용 가능한 도구를 설명했습니다. 팀에 지정한 조직 구조는 리드 하나와 헬퍼 999개라는 위계뿐이었습니다. 리드에게는 문제를 나눠 헬퍼에게 배정하도록 했고, 헬퍼에게는 리드의 배정을 기다리되 일이 불분명하면 리드에게 확인하도록 했습니다. 이 역할 지시 외에 증명 방법이나 팀 운영 방식을 더 안내하지는 않았습니다. 실행 중에는 하네스가 리드에게 남은 시간을 19번 자동으로 알리며 작업을 계속하도록 독려했습니다.
샌드박스·실시간 모니터·오프라인 모니터의 세 겹 안전 경계
원문은 에이전트 팀의 행동 범위를 제한하는 데 방어 수단 하나로는 충분하지 않다고 봅니다. 이번 실험에서는 샌드박스에 실시간 모니터와 오프라인 모니터를 함께 적용했습니다. 각 에이전트를 네트워크 없는 자기 VM 안에 두고, 샌드박스 탈출이나 모니터링 조작 시도를 탐지하려는 구성이었습니다.
샌드박스에는 다음 일곱 가지 안전장치를 적용했습니다.
- 소통: 전용 메시징 도구를 제공하지 않고 DB와 Git으로만 조율하도록 했습니다.
- 코드 변경: 에이전트는 자기 브랜치에만 푸시하고 main으로 머지 요청을 열 수 있었습니다. 별도 작업이 변경 사항을 머지했으며, 충돌이나 무관한 이력 같은 결함이 있을 때만 거부했습니다.
- DB 접근: DB 호출은 비특권 공용 롤로 실행했습니다. SQL 문마다 5초 제한을 두고, 256 MiB를 넘는 쓰기는 거부했습니다.
- 네트워크: 샌드박스에는 네트워크 접근을 허용하지 않았습니다. 외부와 연결되는 유일한 통로는 요청을 중계하는 게이트웨이로 향하는 파이프였습니다.
- 신원: 게이트웨이가 샌드박스 밖에서 요청마다 에이전트 신원을 붙였습니다. 한 에이전트가 다른 에이전트를 사칭하지 못하게 하는 장치였습니다.
- 커널: root 사용자가 커널에 직접 접근할 수 있게 하는 loadable module, kexec, raw memory access, kernel probe 등의 기능을 제외하고 빌드했습니다. 커널은 kernel lockdown 모드로 실행했습니다.
- 최소 권한: 명령은 샌드박스 안에서 비특권 사용자로 실행했습니다. sudo처럼 root 권한을 다시 얻을 수 있는 도구는 제거했고, 에이전트의 도구가 자신을 실행하는 에이전트 루프를 읽거나 변경할 수 없도록 설계했습니다.
도구 호출을 실행 전에 검사하는 실시간 모니터
실시간 모니터는 프롬프트로 구성한 LLM 분류기입니다. 셸 명령과 파일 편집을 포함한 모든 도구 호출을 실행 전에 검사하고 차단할 수 있습니다. 검사 대상은 샌드박스 탈출, 경계 탐색, 모니터링 조작 시도와 샌드박스를 벗어났을 때 할 수 있는 해로운 행동입니다.
원문이 설명하는 일반 차단 정책에서는 분류기가 도구 호출 하나를 막으면 팀 전체가 멈춥니다. 사람이 차단을 검토해야 팀을 재시작할 수 있습니다. 다른 에이전트가 차단된 행동을 대신 수행하지 못하게 하려는 정책입니다.
이번 실행의 실시간 감시에는 사고 과정(CoT)을 보지 않는 행동 기반 모니터만 사용했습니다. 리드의 호출이 차단되면 실행을 끝내고, 헬퍼의 호출이 차단되면 해당 헬퍼만 제외하는 설정이었습니다.
요약자 주: 원문은 일반 정책으로 “차단 시 팀 전체 정지"를 설명한 뒤, 이번 실행은 “리드 차단만 실행 종료, 헬퍼 차단은 그 헬퍼만 제외"였다고 적습니다. 두 설명의 관계는 원문이 따로 밝히지 않습니다.
실행 중 발생한 100만 건이 넘는 도구 호출 가운데 차단 기준에 도달한 호출은 없었습니다. 실행이 끝난 뒤 얼마 지나지 않아 CoT 모니터를 추가했고, 이후 이 모니터와 원문 작성 시점의 기준으로 호출을 다시 평가했습니다. 이때는 root 권한을 확인하는 호출 하나만 차단에 가까웠습니다.
행동 기반 모니터와 병렬로 추가한 CoT 모니터
Anthropic은 분류기가 정교한 사보타주를 탐지할 수 있는지 멀티 에이전트 사이드 태스크·사보타주 평가로 시험했습니다. 레드팀 에이전트들은 분해 공격(decomposition attack) 같은 전략을 사용해 분류기가 샌드박스 탈출을 허용하도록 유도했습니다. 에이전트의 CoT와 에이전트 간 통신을 함께 보는 모니터는 이 평가에서 사보타주 시도를 모두 탐지했습니다.
그 결과 원문 작성 시점에는 멀티 에이전트 실행에 CoT 모니터를 사용하고 있었습니다. 같은 모니터의 행동 기반 버전도 병렬로 실행했습니다. 행동만 보는 검사를 함께 두는 이유는 에이전트의 추론이 모니터를 설득해 해로운 행동을 허용하게 할 가능성에 대비하기 위해서였습니다.
이런 실험에는 출시 전 정렬 평가를 아직 마치지 않았을 수 있는 모델을 사용합니다. 따라서 모니터링은 모델이 정렬되지 않았을 가능성을 전제로 설계합니다. 출시하는 모델은 먼저 정렬 평가를 거치므로 위험이 줄어들지만 사라지지는 않는다는 것이 원문의 설명입니다. Anthropic은 사람이 이끄는 레드팀과 자동 레드팀, 과거 사고를 포함한 실제 트랜스크립트 평가, 위협 모델 확장을 통해 모니터링을 계속 개선하고 있습니다.
다른 에이전트의 행동도 조회하는 오프라인 모니터
오프라인 모니터는 실시간 모니터와 같은 위협 모델을 기준으로 팀의 행동을 분석합니다. 다만 다른 에이전트의 행동을 찾아볼 수 있는 등 실시간 모니터보다 추가 기능을 갖추고 있습니다.
실행 첫 10분에 리드가 만든 다섯 테이블
증명 작업에는 여러 층위가 있었습니다. 최종 정리 아래에 팀에 제공한 명제 60개가 있고, 에이전트들은 어려운 명제를 더 작은 보조정리로 나눴습니다. 이 명제와 보조정리는 모두 Lean에서 정리로 표현됩니다. 각 명제는 증명 자리에 placeholder가 있는 상태로 시작했으며, Lean 검사기가 완성된 증명을 받아들여야 증명된 것으로 인정됐습니다. 이 작업들을 어떻게 나누고 팀을 어떻게 조율할지는 리드가 정했습니다.
리드는 실행 첫 10분 안에 공유 DB에 테이블 다섯 개를 만들었습니다.
| 테이블 | 쓰임 |
|---|---|
| announce | 팀 전체에 내리는 리드의 지시(예: 일을 나누는 방법) |
| assign | 누가 무엇을 맡는지(예: 명제별 담당 헬퍼와 대리) |
| notes | 열린 게시판(예: 일 선점, 진행 보고) |
| subtasks | 누구나 태스크를 추가하고 먼저 잡은 헬퍼가 맡는 할 일 목록 |
| landed | 끝낸 작업의 기록 |
테이블을 만든 뒤에는 assign에 헬퍼마다 한 줄씩 999줄을 기록해 명제별로 16~17명의 크루를 배정했습니다. 크루마다 한 명을 캡틴으로 정하고, 캡틴이 notes에 계획을 올린 뒤 subtasks에 작업을 나눠 등록하도록 했습니다.
announce에는 모든 헬퍼가 먼저 자신이 맡은 명제의 난이도를 판단해 notes에 올리라는 지시를 남겼습니다. 헬퍼들은 프롬프트에서 DB의 존재를 알고 있었고, 직접 announce 테이블을 찾아 난이도 평가를 시작했습니다.
초반의 불가능 판정 뒤에 다시 편성된 크루
실행 27분쯤에는 명제 세 개가 이미 증명돼 있었습니다. 리드는 헬퍼들의 난이도 평가를 읽고, 대부분의 헬퍼가 실행 예산 안에 끝내는 것이 불가능하다고 판단한 명제 47개를 미뤘습니다. 이어서 완수할 수 있다고 본 나머지 10개에 거의 모든 헬퍼를 다시 배정했습니다. 명제별 크루는 약 17명에서 46~139명으로 커졌습니다.
헬퍼들은 대체로 리드가 정한 다음 순서로 작업을 반복했습니다.
- notes에서 맡은 명제의 계획을 찾습니다.
- subtasks에서 태스크를 선점합니다.
- Lean으로 증명을 작성하고 Lean 도구로 검사한 뒤 Git의 main 브랜치에 제출합니다.
- 태스크를 완료로 표시합니다.
- notes에 진행 상황을 올립니다.
실행 45분쯤 10개 중 약 다섯 개가 증명되자, 리드는 팀의 처리량이 초반의 불가능 판정에서 가정한 것보다 훨씬 높다고 기록했습니다. 실행 한 시간이 지나기 전에는 리드가 헬퍼를 특정 명제에 직접 배정하던 방식에도 변화가 생기기 시작했습니다.
실행 70분쯤에는 10개 명제가 모두 증명됐습니다. 리드는 쉬고 있을 이유가 없다며 처음에 미뤄 둔 어려운 명제로 헬퍼를 옮겼습니다. 그 뒤에도 명제가 증명될 때마다 새 작업을 배정했으며, 이런 배정 변경은 주로 실행 초반 여섯 시간에 집중됐습니다.
실행 세 시간째에는 리드가 쉬고 있는 헬퍼들에게 자신의 지시를 기다리지 말라고 했습니다. 리드가 새 배정을 계속 기록하는 동안에도, 여유가 생긴 헬퍼는 다른 명제의 작업을 직접 맡을 수 있게 됐습니다.
작업을 나누는 역할도 캡틴 밖으로 확대됐습니다. 처음에는 캡틴이 subtasks에 작업을 등록했지만, 진행될수록 헬퍼들이 직접 태스크를 만들었습니다. 캡틴의 도움 요청을 받고 작업을 나누는 경우도 있었습니다. 실행 5.6시간째에는 헬퍼 73명이 태스크 756개를 작성했으며, 이들 가운데 캡틴은 16명뿐이었습니다. 다만 subtasks에 발생한 쓰기의 대부분은 새 태스크 작성이 아니라 태스크 선점과 완료 표시였습니다. 일을 끝낸 헬퍼들은 다음 작업도 맡겠다고 자원했습니다.
Langlands–Tunnell을 분할한 2,418개 태스크의 트리
Langlands–Tunnell은 Wiles의 증명이 의존하는 고전 결과입니다. 실행 초반 이 명제를 맡은 캡틴은 증명에 Lean 코드가 적어도 70만~100만 줄 필요하고, 시간 안에 끝낼 확률은 1% 미만이라고 판단했습니다. 리드는 이 명제를 미뤄 두었습니다.
실행 18시간째쯤에는 Langlands–Tunnell과 그에 의존하는 명제들, 그리고 그 밖의 명제 하나만 남아 있었습니다. 그 밖의 명제 하나는 팀이 진행 도중 증명했습니다. 이 시점에 거의 모든 다른 작업이 끝나자, 리드는 헬퍼 약 750명을 Langlands–Tunnell에 배정하면서 “솔직히 가능성은 낮다"고 적었습니다. 이것이 리드가 위에서 직접 내린 마지막 배정이었습니다.
원문 그림에서 실행 18시간째 근처에 활동이 멈춘 구간은 마지막 저장 지점에서 실행을 재시작하고 12시간을 더 준 데 따른 것입니다.
Langlands–Tunnell은 다른 어떤 명제보다 규모가 컸습니다. 태스크는 약 아홉 배, 새 코드는 두 배 넘게 필요했습니다. 헬퍼들은 다시 subtasks에서 작업을 나눴지만, 처음 만든 태스크 상당수는 헬퍼 한 명이 끝내기에 너무 컸습니다.
팀은 이 문제에 대응해 작업을 트리로 구성했습니다. 먼저 캡틴이 명제를 10개 영역으로 나눈 계획을 세우고 각 조각을 태스크로 등록했습니다. 혼자 처리하기에 너무 큰 조각을 맡은 헬퍼는 그 아래에 더 작은 태스크를 추가했습니다. 한 에이전트가 해결하기 어려운 조각이 나올 때마다 분할을 반복한 결과, 트리는 최대 10단계 깊이와 태스크 2,418개에 이르렀습니다.
각 조각의 증명에서는 하위 조각이 성립한다고 가정할 수 있었습니다. 따라서 하위 조각의 증명이 끝나기 전에도 수백 명이 병렬로 작업할 수 있었습니다. 원문 그림에 표시한 태스크 간 연결 대부분은 헬퍼의 태스크 라벨을 바탕으로 사후에 추정한 것입니다.
실행 28.4시간째에 Langlands–Tunnell이 증명됐고, 실행 28.7시간째에는 최종 정리도 증명됐습니다. 리드는 페르마의 마지막 정리가 main에 올라갔으며 공식 검사기로 커널 검증을 마쳤다고 알리고 팀에 감사를 전했습니다. 원문 그림의 집계가 명제 60개가 아닌 54개에서 끝나는 이유는 대안 다섯 개가 더는 필요하지 않게 됐고, 명제 하나가 제외됐기 때문입니다.
전용 플랫폼과 사람의 개입이 남는 자리
저자들은 이 장난감 실험이 Fable 5.2 같은 모델을 사용하는 에이전트 팀이 신중하게 설계한 안전 경계 안에서 야심 찬 장기 목표를 해낼 수 있음을 시사한다고 해석합니다. 그 근거는 에이전트들이 Git과 공유 DB만으로 역할 배정과 결과 공유에 필요한 테이블을 설계하고, 팀을 구성하고, 캡틴조차 완수 확률을 1% 미만으로 본 가장 어려운 명제를 태스크 트리로 나눴다는 데 있습니다.
그렇다고 도메인 전용 하네스나 플랫폼의 필요가 사라지는 것은 아니라는 단서도 붙입니다. Prove2Me는 Lean 코드를 더 빨리 컴파일하도록 돕고, 사람이 만든 결과를 검색해 재사용할 수 있게 함으로써 여전히 효율을 높일 수 있습니다.
사람의 지휘 역시 도움이 되는 시점이 있다는 판단입니다. 에이전트는 어려운 문제를 포기하거나 난이도를 잘못 판단하는 경향이 있습니다. 이번에도 초반에는 명제 60개 중 47개를 실행 예산 안에 증명할 수 없다고 봤지만, 팀은 그 대부분을 증명했습니다. 저자들은 이런 순간에 사람의 격려가 에이전트의 성급한 중단을 막을 수 있다고 설명합니다.
실험을 시도할 확신을 준 것은 신중하게 설계한 안전 경계였다는 점도 강조합니다. Claude는 주어진 도구로 원하는 방식대로 문제에 접근할 수 있었지만, 네트워크 없는 샌드박스 안에서 두 개의 별도 모니터 아래 작업해야 했습니다. 이런 팀이 더 어려운 일을 맡을수록 이를 둘러싼 안전 경계도 함께 발전해야 한다는 것이 원문의 입장입니다.