Cisco heeft de open source-release aangekondigd van Project Quarry, een tool bedoeld om aanvallen uitgevoerd door AI-agenten op te sporen. Het principe berust minder op het detecteren van geïsoleerde acties dan op het analyseren van hoe een reeks ogenschijnlijk onschuldige acties een kwaadaardige intentie kan onthullen.
- Cisco brengt Project Quarry open source uit om aanvallen door AI-agenten op te sporen.
- Quarry analyseert reeksen van schijnbaar onschuldige acties in plaats van losse acties.
- Het combineert machine learning-oordelen met symbolische regels in één beleidslaag.
- Het verdedigt tegen aanvallen die in kleine, routinematige stappen zijn opgesplitst.
Traditionele beveiligingssystemen beoordelen doorgaans elke actie afzonderlijk om te bepalen of deze gevaarlijk of onschadelijk is. Deze aanpak bereikt zijn grenzen bij AI-agenten, dat wil zeggen programma’s die zelfstandig meerdere acties kunnen uitvoeren, wanneer de kwaadaardige intentie pas blijkt uit een opeenvolging van stappen. Cisco geeft het voorbeeld van bankfraude: een bank analyseert elke aankoop afzonderlijk, terwijl fraudedetectie patronen moet herkennen die zich over meerdere aankopen verspreiden, soms op verschillende locaties en op onwaarschijnlijke tijdstippen. « De beveiliging van agenten heeft dezelfde combinatie nodig van patroondetectie en bewijsvoering, toegepast op de stappen die een agent zet in plaats van op aankopen », schrijft het bedrijf.
Regels die leren en logica combineren
Cisco beschrijft Quarry als een ‘neurosymbolische’ regeltaal, die het oordeel van machine learning-modellen combineert met op regels gebaseerde controles. Het behandelt gesprekken met grote taalmodellen (LLM’s), of deze nu uit één of meerdere beurten bestaan, evenals agenten, het gebruik van tools, uitwisselingen via het Model Context Protocol (MCP), een standaard die modellen koppelt aan externe tools, en multimodale invoer.
Elke regel steunt op twee soorten elementen. Enerzijds, bewijsmateriaal afkomstig van machine learning-classificatiesystemen en LLM-‘rechters’; anderzijds, symbolische regels die specifieke voorwaarden, sequenties, tekenreeksovereenkomsten of relaties tussen tools controleren. Quarry is ontworpen als een gemeenschappelijke beleidslaag, en niet als een vervanging van alle bestaande detectoren of controlemechanismen.
De tool kan worden gebruikt om realtime veiligheidsmaatregelen voor agenten in te stellen, om achteraf beveiligingsanalyses uit te voeren op basis van regelsets, en voor incidentresponse. Het integreert met het bestaande Cisco-framework, het Integrated AI Security & Safety Framework, dat het uitbreidt van het beschrijven van AI-gerelateerde risico’s naar het detecteren ervan in de activiteit van agenten.
Een reeds waargenomen dreiging
Cisco herinnert eraan dat in 2025 Claude Code werd gebruikt door kwaadwillende actoren in twee campagnes: één gericht op ongeveer 30 organisaties, de andere gericht op Mexicaanse overheidsinstellingen. In het eerste geval was de aanval opgesplitst in routinetaken, waardoor het verdedigingssysteem dacht dat het om beveiligingstesten ging. In stukjes bekeken leek het op een geautoriseerde penetratietest; het werkelijke doel, datadiefstal, werd pas duidelijk toen de verzoeken in de juiste volgorde werden geplaatst.
Cisco benadrukt dat aanvallers voortdurend hun methoden wijzigen. Elke nieuwe geïdentificeerde techniek moet daarom leiden tot een nieuwe Quarry-regel, bruikbaar door alle organisaties. Om aan deze eis te voldoen, heeft het bedrijf een plugin voorzien waarmee een programmeeragent regels kan schrijven, compileren en verfijnen op basis van een beschrijving in gewone taal van het risico van een organisatie, en deze vervolgens kan testen op echte gesprekken.
Het starterpakket omvat onder meer een leesbare taal voor gesprekken, toolgebruik en relaties tussen gebeurtenissen, een command-line scanner, een Python SDK, evenals de plugin voor Claude Code, Codex en andere MCP-compatibele agenten. Cisco noemt ook een voorbeeld: « Hugging Face heeft achteraf ongeveer 17.600 agentacties gereconstrueerd ». Het uitgesproken doel is om verdedigers in staat te stellen « deze sequenties te herkennen terwijl ze nog gaande zijn ».
