목차
긴 작업의 컨텍스트 부패를 막는 시맨틱 컨텍스트 OS (2026-06)
원문 정보
- 원문: 시멘틱 컨텍스트 OS 설계: 에이전트 시스템의 토큰 스터핑을 넘어
- 매체 · 게시일: LY Corporation Tech Blog (Tech-Verse 2026 공식 기사) · 2026-06-24
- 저자: Vo Yoda, Pham Robert
- 원문 내용을 바탕으로 재구성한 요약입니다.
오래전에 지나간 터미널 오류가 지금 작업의 제약이 되고, 이전 단계의 지시가 새 계획과 충돌합니다. 자동 리팩토링이나 지속적인 코드 리뷰를 맡은 에이전트에게는 입력을 얼마나 많이 담느냐만큼, 쌓인 정보 중 무엇을 남기느냐가 문제가 됩니다. 수백만 토큰을 담는 창에도 낡은 오류와 무관한 코드는 남습니다.
시맨틱 컨텍스트 OS는 이 문제를 모델 호출 앞에서 다루려고 설계한 사내 런타임입니다. 저자들은 컨텍스트 창을 계속 이어 붙이는 텍스트에서, 생애 주기와 접근 경계를 관리하는 시스템 자원으로 바꾸려 했습니다. 여기서 쓰는 이름은 저자들이 자체 설계한 런타임만 가리키며, ElixirData Context OS 같은 상용 플랫폼과는 관계가 없습니다.
전송 전에 충돌을 푸는 AI 커널
전역 규칙 파일 /global_rules.md가 모든 인터페이스 메서드에 snake_case를 요구한다고 가정합니다. 그런데 /src/modules/billing/rules.md는 해당 모듈의 API 직렬화에 camelCase를 강제합니다. 두 파일을 같은 가중치로 컨텍스트 창에 넣으면 토큰 한도를 지켜도 규칙 충돌은 남습니다. 저자들이 에이전트가 멈추거나 두 패턴 사이를 오가며 잘못된 인터페이스를 만드는 사례로 든 상황입니다.
Claude Code, GitHub Copilot, Codex에는 이미 토큰 관리와 프롬프트 캐싱이 있습니다. 저자들은 이런 네이티브 기능을 토큰 수를 세고 FIFO로 내용을 잘라 400 Bad Request나 429 Rate Limit 오류를 피하는 정량적 방어책으로 봅니다. API 경계를 지키는 기능만으로는 어느 지시가 현재 작업에 맞는지 판별하지 못한다는 설명입니다.
시맨틱 컨텍스트 OS는 애플리케이션 로직과 파운데이션 모델 API 사이의 localhost:8080에서 인터셉팅 루프백 프록시로 동작합니다. 요청을 가로챈 AI 커널이 활성 디렉터리를 가상 파일 시스템(VFS)에 등록하면, PathAlign 엔진이 규칙 파일의 계층을 파싱합니다. 이 사례에서는 더 깊은 경로에 있는 billing 규칙에 높은 우선순위를 부여하고, 해당 작업 범위에서 충돌하는 전역 지시를 제거합니다. 정리한 지시는 읽기 전용 /rules로 옮겨집니다.
모델에 도착하기 전에 충돌을 푸는 방식입니다. 커널은 토큰 생애 주기와 상태 접근을 관리하고 전송 전 격리 정책도 적용합니다. 저자들이 추론 능력과 컨텍스트 창 크기, 가격 구조가 점차 범용화되는 환경에서 경쟁 우위로 보는 대상 역시 이렇게 입력 환경을 관리하는 오케스트레이션 계층입니다.
커진 창에서 무뎌지는 어텐션 피크
규칙 충돌은 긴 작업에서 나타나는 컨텍스트 부패의 한 모습입니다. 저자들은 런타임 추적에서 과거 로그와 터미널 오류가 현재 판단을 오염시키는 현상도 관찰했습니다. 한때의 실패를 계속 보관하다 보니 모델이 이를 현재 작업에도 유효한 제약으로 취급하는 것입니다.
모노레포에서는 비슷한 코드가 문제를 더합니다. 같은 명명 규칙과 오버로드된 메서드, 중복 유틸리티가 여러 모듈에 흩어져 있을 때, 검색 결과가 이들을 한꺼번에 넣으면 에이전트는 모양은 비슷해도 논리적으로 무관한 코드에 산만해집니다. 여기에 이전 단계의 지시까지 남으면 실행 계획도 꼬입니다. 가령 ‘핵심 DB 인터페이스를 분리하라’는 지시와 뒤 단계의 ‘구체적인 구현체를 병합하라’는 지시가 함께 남아 정지, 타임아웃, 환각으로 이어지는 상태입니다.
창을 넓히는 것만으로는 이런 문제를 풀지 못합니다. Karpathy의 은유는 대규모 언어 모델(LLM)을 CPU에, 컨텍스트 창을 램에 대응시키지만, 저자들은 이 비유가 깨지는 경계를 짚습니다. 램은 0x7FFF 같은 주소를 주면 O(1) 시간에 정확한 바이트를 돌려줍니다. LLM의 검색은 주소 조회와 다릅니다. Q·K·V 행렬의 어텐션이 만드는 확률적이고 비선형적인 가중치 분포에 의존합니다.
따라서 창을 32K에서 1M이나 2M 토큰으로 늘려도 접근 정밀도가 선형으로 높아지지는 않습니다. 보일러플레이트와 참조되지 않는 import, 중복 구문이 늘면 쿼리와 낮은 진폭으로 비슷한 배경 벡터가 키 행렬을 채웁니다. 내적 행렬에 잡음이 쌓이고 어텐션 로짓 분포가 균일해지면서, 정확한 검색에 필요한 뾰족한 어텐션 피크가 무뎌집니다. 저자들이 설명하는 ‘어텐션 희석’입니다.
이 설명은 Vaswani 등(2017)의 크기 조정 내적 어텐션을 기반으로 하며, Liu 등(2023)이 분석한 ‘중간 정보 유실’ 현상과 연결됩니다. 앞과 끝의 정보는 비교적 안정적으로 찾지만 중간 구간에서는 검색 정확도가 떨어진다는 문제입니다. 저자들의 통계적 텔레메트리 역시 능동적인 관리가 없으면 실패율이 컨텍스트 깊이에 따라 비선형적으로 늘고, 깊게 중첩된 코드베이스에서는 약 40%에 달할 수 있음을 시사합니다.
실행 경로를 추리는 MVC와 PathAlign
커널이 적용하는 입력 정책은 MVC(minimum viable context)입니다. 현재 추론 단계를 수행하는 데 필요한, 정제된 정보의 절대 최소량만 모델에 보냅니다. 토큰을 한도 안에 담는 데서 더 나아가 어떤 내용을 보낼지 결정하는 정책입니다.
입구에서는 소스 파일과 의존성 트리, 런타임 로그를 수집하고 cl100k_base, o200k_base 같은 모델 토크나이저로 토큰 가중치를 계산합니다. 이어 정적 분석과 규칙으로 컴파일러 코멘트, 참조되지 않는 import, 무관한 유틸리티를 제거합니다. 남은 정보는 시맨틱 벡터 유사도와 추상 구문 트리(AST)의 의존성 점수를 함께 사용해 순위를 매깁니다. 마지막에는 일관된 스키마의 JSON 또는 XML로 구성해 모델 경계에서 형식 때문에 생기는 환각을 줄입니다.
코드를 추리는 PathAlign은 실행 경로에 집중합니다. 저자들이 표준 RAG의 고정 길이 청킹을 문제 삼는 이유는 코드를 일정한 문자 수로 자르면 구문 트리뿐 아니라 import 그래프와 부모·자식 의존성까지 끊어지기 때문입니다. 건초 더미 같은 저장소에서 바늘을 찾으려면, 코드의 연결 관계가 남아 있어야 한다는 접근입니다.
PathAlign은 벡터 거리 조회를 AST 기반 격리로 대체합니다. 대상 파일을 구문 트리로 파싱해 클래스, 인터페이스 구현, 함수 호출, 변수 참조를 식별하고, 대상 함수에서 바깥으로 향하는 실행 경로를 추적합니다. 그렇게 의존성과 호출 관계를 매핑한 뒤 코드 경로를 이해하는 데 필요한 서브그래프만 남깁니다. 무관한 주석과 보조 함수, 연결되지 않은 코드를 제거한 결과는 VFS에 직접 배치됩니다.
로그를 지워도 규칙이 남는 VFS
입력을 한 번 정제해도 다음 턴에는 새 로그와 실행 결과가 들어옵니다. 시맨틱 컨텍스트 OS는 이를 한 덩어리 문자열로 관리하지 않고, POSIX 스타일의 디렉터리 구조를 본뜬 VFS에 나눠 둡니다. 정보마다 남겨야 할 이유와 지워도 되는 시점이 다르기 때문입니다.
/memory: 수행 단계, 반환 로그, 완료한 하위 작업을 담는 단기 실행 이력. 엄격한 가지치기 대상/rules: 아키텍처 제약, 코딩 표준, 보안 정책, 작업 완료 정의를 보관하고 최대 어텐션 가중치로 보호하는 영역/scratchpad: 계획·계산·코드 초안을 다루는 임시 작업 공간. 결론에 도달하면 초안은 폐기하고 최적화된 결과만 영구 핵심 메모리로 승격/environment: 외부 환경 메타데이터, 스키마, 실시간 API 사양, 활성 서비스 간 경계를 관리하는 영역
이렇게 나누면 /memory/logs의 휘발성 로그를 지워도 /rules/security의 규칙은 남습니다. 서드파티 서비스의 스키마가 바뀌었을 때도 /environment를 갱신하면 됩니다. /memory나 /rules의 논리 상태까지 오염시키거나 재설정하지 않고 필요한 부분만 바꾸는 설계입니다.
쌓였다가 줄어드는 톱니 메모리 모델
에이전트가 외부 환경과 상호작용하는 동안 활성 토큰 수는 선형으로 늘어납니다. 톱니 메모리 모델은 이 수를 계속 추적하다가 포화 임계값에 도달하면 압축을 시작합니다. 원문의 개념 의사 코드에서는 임계값 기본값을 0.70으로 두고, 클라이언트의 스트리밍 입출력을 막지 않도록 비동기 작업자에게 압축을 맡깁니다.
압축에서는 먼저 /memory의 교차 어텐션 가중치 이력을 평가해 특정 표준편차 아래로 가중치가 떨어진 토큰을 제거합니다. 남은 미가공 대화 이력은 유틸리티 모델로 전달해 고밀도 시맨틱 상태 벡터로 통합합니다. 압축이 끝나면 토큰 수가 안전한 수준으로 떨어지고, 다음 실행에서 다시 늘어납니다. 이 반복이 텔레메트리 그래프에 톱니 모양을 만듭니다.
압축 중에도 지켜야 할 정보는 별도로 보호합니다. 의사 코드는 /rules에 쓰기 잠금을 걸고, 이력 통합 시 엔티티 이름과 함수 시그니처, 오류 코드, 컴플라이언스 제약을 보존하도록 정책을 명시합니다. 과거 실행 기록을 줄이는 과정에서 작업의 기준까지 사라지지 않게 하려는 장치입니다.
초기 테스트 뒤에 남은 재현성 검증
프로토타입의 초기 소규모 테스트에서는 표준 문자열 집계를 쓰는 1.1.0 베이스라인과 능동 메모리 아키텍처를 적용한 2.0.0을 비교했습니다. 압축 메커니즘이 토큰 할당량을 낮추는 추세는 관찰됐습니다. 그러나 제시된 개선 수치는 아키텍처의 설계 목표와 예상 추세이며, 프로덕션에서 재현성을 확인한 성과로 제시되지는 않았습니다.
평가 프레임워크도 그 검증을 위한 설계입니다. 모든 VFS 파티션 교체 경계에 Langfuse 추적 ID를 부여하고, 압축 중 어텐션 헤드의 반응을 분포 맵으로 기록하도록 설계했습니다. 여러 파일의 교차 의존성과 복잡한 코드 분기를 포함한 풀 리퀘스트 30개로 골든 데이터셋의 베이스라인도 설계했습니다.
목표와 메커니즘은 연결돼 있습니다. 과거 노드를 제거하는 톱니 압축으로 토큰 오버헤드를 20~25% 줄이는 것이 목표입니다. PathAlign은 필요한 구문 그래프만 모델에 보내 신호 대 잡음비를 약 15~20% 개선할 것으로 추정하며, 2.0.0의 기술적 정확도는 80점 이상 구간에 이를 것으로 기대합니다. 읽기 전용 /rules에 정책을 고정하는 설계는 장기 추론 중 규칙 이탈을 막고 위험·영향 평가 지표를 높이려는 접근입니다.
평가 하네스는 아직 보정 중입니다. 저자들은 엔터프라이즈 프로덕션 워크로드에 배포하기 전에 통계적 재현성을 확보하려고 방법론을 계속 조정하고 있다고 밝힙니다.
원문에 제시된 수치와 조건
| 항목 | 목표·추정 |
|---|---|
| 토큰 오버헤드 | 베이스라인 대비 20~25% 감소 목표 |
| 기술적 정확도 점수 | 2.0.0에서 80점 이상 구간 기대 |
| 신호 대 잡음비 | PathAlign으로 약 15~20% 개선 추정 |
| 위험·영향 평가 지표 | 85~90점 이상 기대 |
| 톱니 압축 포화 임계값(의사 코드 기본값) | 0.70 |
| 컨텍스트 깊이가 깊은 코드베이스의 실패율 | 약 40%에 달할 수 있음 |