A Cisco anunciou a disponibilização em open source do Project Quarry, uma ferramenta destinada a detetar ataques realizados por agentes de IA. O seu princípio baseia-se menos na deteção de ações isoladas do que na análise da forma como uma série de ações, aparentemente anódinas, pode revelar uma intenção maliciosa.
Os sistemas de segurança tradicionais avaliam geralmente cada ação separadamente para determinar se é perigosa ou benigna. Esta abordagem atinge os seus limites com os agentes de IA, ou seja, programas capazes de encadear sozinhos várias ações, quando a intenção maliciosa só aparece ao longo de uma sequência. A Cisco dá o exemplo da fraude bancária: um banco analisa cada compra isoladamente, enquanto a deteção de fraude deve identificar padrões distribuídos por várias compras, por vezes em locais diferentes e em momentos improváveis. « A segurança dos agentes precisa da mesma combinação de deteção de padrões e provas, aplicada aos passos dados por um agente em vez de às compras », escreve a empresa.
Regras que combinam aprendizagem e lógica
A Cisco descreve o Quarry como uma linguagem de regras « neurosimbólica », ou seja, que associa o julgamento de modelos de aprendizagem automática a verificações baseadas em regras. Cobre as conversas com os grandes modelos de linguagem (LLM), quer envolvam uma ou várias interações, bem como os agentes, o uso de ferramentas, as trocas através do Model Context Protocol (MCP), um padrão que liga os modelos a ferramentas externas, e as entradas multimodais.
Cada regra apoia-se em dois tipos de elementos. Por um lado, provas provenientes de classificadores de aprendizagem automática e de « juízes » LLM; por outro, regras simbólicas que verificam condições precisas, sequências, correspondências de cadeias de caracteres ou relações entre ferramentas. O Quarry é concebido como uma camada de política comum, e não como uma substituição de todos os detetores ou de todos os mecanismos de controlo existentes.
A ferramenta pode servir para implementar salvaguardas em tempo real nos agentes, para conduzir análises de segurança a posteriori a partir de conjuntos de regras, bem como para a resposta a incidentes. Integra-se no quadro existente da Cisco, o Integrated AI Security & Safety Framework, que estende da descrição dos riscos relacionados com a IA para a sua deteção na atividade dos agentes.
Uma ameaça já observada
A Cisco recorda que em 2025, o Claude Code foi utilizado por atores maliciosos em duas campanhas: uma visando cerca de 30 organizações, outra visando instituições governamentais mexicanas. No primeiro caso, o ataque tinha sido dividido em tarefas rotineiras, que faziam crer ao sistema de defesa que se tratava de testes de segurança. Vista por partes, parecia um teste de intrusão autorizado; o seu verdadeiro objetivo, o roubo de dados, só apareceu quando os pedidos foram aproximados na ordem correta.
A Cisco sublinha que os atacantes modificam constantemente os seus métodos. Cada nova técnica identificada deve, portanto, dar origem a uma nova regra Quarry, utilizável por todas as organizações. Para responder a esta exigência, a empresa preparou um plugin que permite a um agente de programação redigir, compilar e aperfeiçoar regras a partir de uma descrição em linguagem corrente do risco de uma organização, e depois testá-las em conversas reais.
O pacote de arranque inclui nomeadamente uma linguagem legível para as conversas, o uso de ferramentas e as relações entre eventos, um scanner de linha de comandos, um SDK Python, bem como o plugin para Claude Code, Codex e outros agentes compatíveis com MCP. A Cisco cita também um exemplo: « A Hugging Face reconstituiu cerca de 17 600 ações de agentes a posteriori ». O objetivo declarado é permitir aos defensores « reconhecer estas sequências enquanto ainda estão em curso ».
