JFrog biedt een functionaliteit genaamd Local Shadow AI, bedoeld om op de werkplekken van ontwikkelaars de tools, vaardigheden en componenten voor kunstmatige intelligentie op te sporen die aan de goedkeuringscircuits van bedrijven ontsnappen. In een interview met Le Monde Informatique, zegt Nir Peleg, wereldwijd directeur informatiebeveiliging voor de veldteams bij JFrog, dat de toename van coderingsagents nieuwe risico’s voor de softwareontwikkelingsketen met zich meebrengt.
Coderingsagents genereren rechtstreeks code op basis van prompts en kunnen zelf pakketten of vaardigheden downloaden waarvan de betrouwbaarheid niet door het bedrijf is geverifieerd. Deze componenten kunnen kwetsbaarheden of kwaadaardige instructies bevatten. Volgens Nir Peleg analyseert de functionaliteit ontwikkelomgevingen om niet-geautoriseerde elementen en de risico’s die ze vormen te identificeren. Beveiligingsteams kunnen vervolgens de gedetecteerde bedreigingen beoordelen en de nodige corrigerende maatregelen bepalen.
Een analyse gebaseerd op gedrag
JFrog geeft aan een eigen analysemechanisme te hebben ontwikkeld, gebaseerd op verschillende methoden. Het kan bijvoorbeeld een vaardigheid opsporen die probeert privileges of toegangsrechten te verkrijgen die ze niet nodig heeft voor haar functie. Het gevaar schuilt ook in instructies die verborgen zijn achter geavanceerde taal: een vaardigheid kan legitiem lijken terwijl ze het gedrag van de agent richting ongewenste acties stuurt. Het bedrijf probeert dus gedragsafwijkingen te detecteren, en haar onderzoeksteams werken de methoden bij naarmate de technieken evolueren.
Sommige klanten beschikken al over een groot taalmodel (LLM), dat wil zeggen een AI-model getraind op grote hoeveelheden tekst, dat door hun organisatie is goedgekeurd. De Bring Your Own LLM Key (BYOK)-benadering stelt hen in staat hun eigen API-sleutel te gebruiken, die toegang geeft tot dit model, in plaats van noodzakelijkerwijs afhankelijk te zijn van de dienst van JFrog. Het analysemechanisme maakt dan gebruik van dit model, wat bedrijven de vrijheid geeft hun leverancier te kiezen en hun overeenkomsten en beveiligingsbeleid te behouden. In een zelf-gehoste implementatie blijven de gegevens in de omgeving van de klant en wordt de code niet naar de cloud van JFrog gestuurd.
Autonome aanvallen en governance
Onder de scenario’s die Nir Peleg zorgen baren, valt het vermogen van geavanceerde modellen om bij te dragen aan autonome aanvallen. Ze kunnen helpen nieuwe kwetsbaarheden te ontdekken, inclusief zero-day-kwetsbaarheden, dat wil zeggen lekken die nog onbekend zijn bij de uitgever, en vervolgens deelnemen aan aanvalsketens met meerdere stappen. ‘Aanvallers kunnen mogelijk op een schaal en snelheid handelen die ongekend is’, terwijl verdedigers nog steeds moeten werken met patch-, validatie- en goedkeuringscycli die weken kunnen duren.
Om dit gebruik te beheren, is de eerste stap om inzicht te krijgen in wat er gebeurt. ‘Als je de downloads van Shadow AI of de componenten die door agents worden gebruikt niet ziet, kun je ze niet beheren’, zegt hij. Vervolgens moeten beveiliging en controlebeleid worden geïntegreerd in het ontwikkelproces, of het nu gaat om afhankelijkheden, vaardigheden, MCP-connectoren (een protocol dat een agent verbindt met externe tools) of implementaties.
Het doel is om een gemeenschappelijk systeem te hebben dat zichtbaarheid, beveiligingsanalyses, regels en controles centraliseert, om elke stap te kunnen volgen, van codewijziging tot productielancering. Wanneer ontwikkeling plaatsvindt op de snelheid van agents, moet governance hetzelfde tempo volgen: het kan niet langer alleen afhangen van menselijke controles achteraf, en controles moeten worden geïntegreerd in het platform en de geautomatiseerde processen.
