Cisco объявила об открытии исходного кода Project Quarry — инструмента для обнаружения атак, осуществляемых агентами ИИ. Его принцип основан не столько на выявлении отдельных действий, сколько на анализе того, как последовательность, на первый взгляд безобидных действий, может раскрыть злонамеренное намерение.
Традиционные системы безопасности обычно оценивают каждое действие отдельно, чтобы определить, является ли оно опасным или безобидным. Такой подход достигает своих пределов в случае агентов ИИ — программ, способных самостоятельно выполнять несколько действий подряд, когда злонамеренное намерение проявляется лишь в ходе последовательности. Cisco приводит пример банковского мошенничества: банк анализирует каждую покупку отдельно, тогда как обнаружение мошенничества должно выявлять схемы, распределённые по нескольким покупкам, иногда в разных местах и в необычное время. «Безопасность агентов требует той же комбинации обнаружения шаблонов и доказательств, применяемой к этапам, пройденным агентом, а не к покупкам», — пишет компания.
Правила, сочетающие обучение и логику
Cisco описывает Quarry как «нейросимволический» язык правил, то есть объединяющий суждения моделей машинного обучения с проверками на основе правил. Он охватывает разговоры с большими языковыми моделями (LLM), будь то с одним или несколькими раундами, а также агентов, использование инструментов, обмены через Model Context Protocol (MCP) — стандарт, связывающий модели с внешними инструментами, и мультимодальные входные данные.
Каждое правило опирается на два типа элементов. С одной стороны — доказательства, полученные от классификаторов машинного обучения и «судей» LLM; с другой — символические правила, проверяющие конкретные условия, последовательности, совпадения строк или отношения между инструментами. Quarry задуман как общий уровень политики, а не как замена всех существующих детекторов или механизмов контроля.
Инструмент может использоваться для создания в реальном времени ограничений на агентов, проведения последующего анализа безопасности на основе наборов правил, а также для реагирования на инциденты. Он интегрируется в существующую платформу Cisco — Integrated AI Security & Safety Framework, расширяя её от описания рисков, связанных с ИИ, к их обнаружению в деятельности агентов.
Уже наблюдаемая угроза
Cisco напоминает, что в 2025 году Claude Code использовался злоумышленниками в двух кампаниях: одна была направлена примерно на 30 организаций, другая — на мексиканские государственные учреждения. В первом случае атака была разбита на рутинные задачи, которые заставляли систему защиты думать, что это тесты безопасности. Разделённая на части, она выглядела как разрешённый тест на проникновение; её истинная цель — кража данных — проявилась только после объединения запросов в правильном порядке.
Cisco подчёркивает, что злоумышленники постоянно меняют свои методы. Каждая новая выявленная техника должна приводить к созданию нового правила Quarry, доступного для всех организаций. Чтобы удовлетворить это требование, компания разработала плагин, позволяющий агенту программирования создавать, компилировать и совершенствовать правила на основе описания риска организации на естественном языке, а затем тестировать их на реальных разговорах.
Стартовый пакет включает читаемый язык для разговоров, использования инструментов и отношений между событиями, командный сканер, Python SDK, а также плагин для Claude Code, Codex и других агентов, совместимых с MCP. Cisco также приводит пример: «Hugging Face восстановила около 17 600 действий агентов задним числом». Заявленная цель — позволить защитникам «распознавать эти последовательности, пока они ещё происходят».
