AI 에이전트 이그레스 테스트 및 검증을 위한 전문화된 벤치마크
agent-egress-bench는 LuckyPipewrench에 의해 만들어진 오픈 소스 벤치마크 및 공격 데이터 세트로, 자율 에이전트의 아웃바운드 제어를 검증하는 데 사용됩니다. 이 도구는 방화벽, 프록시 또는 MCP 래퍼가 데이터 유출, 프롬프트 주입 및 도구 기반 공격을 얼마나 잘 차단하는지를 측정하기 위해 구조화된 테스트 모음을 실행합니다. 주요 요소로는 250개 이상의 테스트 케이스 데이터 세트, 도구 중립 실행기 및 자동 점수 매기기 접근 방식이 포함됩니다. 대상 사용자는 증거 기반 아웃바운드 보증을 찾는 AI 보안 연구원, 방화벽 개발자 및 기업 보안 아키텍트입니다.
실제로 어떤 작업에 사용할 수 있나요?
벤치마크는 명확한 작업을 정의합니다: 자율 에이전트의 이탈 보호를 측정합니다. 이 프로젝트는 대규모 공격 데이터 집합과 러너를 결합하여 여러 카테고리에서 어댑터를 실행하며, DLP 회피, 프롬프트 주입, SSRF, 쉘 난독화 및 도구 오염 및 스키마 주입과 같은 MCP 특정 벡터를 명시적으로 다룹니다. 사용자는 벤치마크를 사용하여 에이전트의 아웃바운드 정책이 실제 적대적 패턴에 어떻게 반응하는지를 반영하는 재현 가능한 공격 실행 및 성능 데이터를 생성할 수 있습니다.
정확도를 어떻게 보고하며 한계는 어디에 있나요?
이 프로젝트에는 공격 차단 및 오탐지 비율을 보고하는 자동 점수 매기기 방법론이 포함되어 있어 의사 결정을 위한 정량적 지표를 제공합니다. 러너는 각 사례에서 결정을 기록하므로 팀은 어떤 입력이 탐지를 유발했는지 검사할 수 있습니다. 정확도는 테스트된 어댑터의 통합 품질에 따라 달라지며, 벤치마크 자체는 결과를 보고하지만 제품의 내부 탐지 논리를 변경하지 않으므로 결과는 보안 팀의 해석이 필요합니다.
어떤 입력, 프로토콜 및 환경이 필요합니까?
러너는 Go로 작성되었으며 Linux에서 실행되도록 설계되었고, 데이터 집합은 MCP, HTTP 및 WebSocket 트래픽을 실행합니다. 호환성은 기능 프로필 또는 어댑터를 통해 달성되므로 어댑터 인터페이스를 제공하는 모든 보안 도구를 테스트할 수 있습니다. 코드베이스와 데이터는 Apache-2.0 라이센스가 적용되어 있어 조직의 테스트 환경 내에서 검사 및 로컬 배포가 가능합니다.
일반적인 보안 워크플로우에 실용적입니까?
벤치마크는 기술적으로 숙련된 팀을 목표로 합니다: AI 보안 연구원, AI 방화벽 및 프록시 개발자, 기업 아키텍트 등, 명시된 목표 청중에 맞추어져 있습니다. 도구 중립적인 설계와 어댑터 모델은 보안 팀이 공급업체 종속 없이 여러 제품을 평가할 수 있게 합니다. 실용적인 한계에는 전체 스택 취약성 스캐닝이 아닌 아웃바운드 에이전트 행동에 엄격히 초점을 맞추고, 팀이 기존 CI 또는 감사 워크플로우에 러너를 통합할 것이라는 기대가 포함됩니다.
전문 보안 팀을 위한 실용적이고 증거 중심의 도구
벤치마크는 검증 가능한 이그레스 테스트가 필요한 팀을 위한 실용적인 옵션이며, 감사 워크플로에 명령줄 실행기를 통합할 준비가 되어 있습니다. 그 증거 지향성은 규율 있는 보안 보증을 지원하며, GUI 우선 또는 일반 목적의 네트워크 스캐너를 찾는 조직은 더 가파른 통합 노력을 예상해야 합니다. 자율 에이전트 아웃바운드 위험에 집중하는 그룹을 위해, 이는 운영 테스트의 엄격함을 신뢰성 있게 높입니다.
