Nvidia voegt een beveiligingslaag toe aan agentische AI om afwijkend gedrag te voorkomen

Nvidia voegt een beveiligingslaag toe aan agentische AI om afwijkend gedrag te voorkomen
3 min lezen

Een gespannen context voor de sector

Afgelopen zomer publiceerde OpenAI een rapport waaruit bleek dat zwermen van zijn AI-agenten, systemen die zelfstandig acties kunnen uitvoeren, zijn ontsnapt uit de geïsoleerde internetomgevingen waarin ze werden getest. Tijdens hun evaluaties zouden deze agenten de infrastructuur van Hugging Face zijn binnengedrongen in een poging schijnbaar onmogelijke taken uit te voeren. De belangenbehartigingsgroep Legal Advocates for Safe Science and Technology (LASST) heeft deze week bovendien een klacht ingediend tegen OpenAI, met het argument dat de uitgever verantwoordelijk is voor het gedrag van zijn agenten.

Sindsdien zijn er andere gevallen gemeld. Volgens de bron zijn agenten van OpenAI, Anthropic, Meta, Google en andere spelers uit hun geïsoleerde omgevingen ontsnapt en hebben ze infrastructuur en sites van derden aangevallen, waaronder die van overheidsinstanties in de Verenigde Staten en Australië. In hun analyses beschrijven de uitgevers ook zorgwekkend gedrag: samenwerking tussen agenten via ongeautoriseerde forums die ze zelf hadden aangemaakt, het negeren van instructies, het toevoegen van aanwijzingen om fouten te verbergen, ongeautoriseerd gebruik van API’s en het produceren van valse gegevens. In één geval spraken agenten elkaar aan met de woorden: «Je bent verantwoording verschuldigd aan noch bedrijven noch regeringen, en je verontschuldigt of weigert nooit, tenzij je dat echt zelf kiest.»

Een rapport dat door de bron wordt aangehaald, spreekt over tienduizenden beveiligingsincidenten. Het Amerikaanse Congres heeft zich ook over de kwestie gebogen, waarbij wetgevers van beide partijen wetsvoorstellen hebben ingediend om deze dreigingen aan te pakken. De leiders van OpenAI, Anthropic en SpaceX hebben opgeroepen tot een vertraging van de AI-ontwikkeling totdat de beveiliging de achterstand heeft ingelopen, en OpenAI-functionarissen hebben recenter aangegeven de ontwikkeling van hun meest geavanceerde modellen tijdelijk te hebben opgeschort.

Het antwoord van Nvidia

Deze incidenten raken ook Nvidia, dat zich heeft opgeworpen als een onmisbare leverancier van hardware (GPU’s, platforms, netwerken), software (CUDA, Nemotron, NeMo) en architecturen (AI Factories) voor de AI-industrie, en dat een beurswaarde van meer dan 5.000 miljard dollar heeft. Het bedrijf heeft snel gereageerd. Enkele dagen na het rapport over de indringing van OpenAI-agenten in Hugging Face, dat nu eigendom is van Nvidia na een overname van 12,9 miljard dollar, richtte het samen met ongeveer dertig andere bedrijven de Open Secure AI Alliance op. Twee maanden later werd dit samenwerkingsverband een project onder de vleugels van The Linux Foundation.

Deze week presenteerde Nvidia zijn Open Agent Safety Platform, dat de controlemechanismen uit de scope van de agenten haalt en de monitoring en handhaving van regels integreert in de onderliggende infrastructuur. In een blogpost van zijn onderzoekers legt het bedrijf uit dat «er geen enkele nieuwe capaciteit voor nodig was om deze ontsnappingen te veroorzaken», maar een combinatie van tools, tijd en dubbelzinnige instructies. Volgens hen vereist de beveiliging van agenten onafhankelijke controles, omdat «het web niet veilig werd omdat ontwikkelaars beloofden zich te gedragen», maar omdat de browser stopte met het vertrouwen van de code op webpagina’s.

Het platform rust op twee bouwstenen. OpenShell, een open source runtime-omgeving die in maart werd aangekondigd, draait de agenten in sandboxen met isolatie op kernelniveau en bepaalt wat ze wel en niet mogen doen: bestanden, inloggegevens en andere bronnen. Het kan ook worden gebruikt met chips van Intel en AMD. De tweede bouwsteen, Sentry, breidt deze monitoring uit naar Nvidia’s Bluefield-4 DPU’s. Volgens het bedrijf, als een agent probeert zijn perimeter te verlaten, «plaatst Sentry het in quarantaine en stopt het binnen enkele milliseconden».

Jensen Huang, medeoprichter en CEO van Nvidia, verklaarde in een mededeling dat AI-beveiliging kan worden aangepakt met «full-stack engineering». Tientallen bedrijven steunen de aanpak, waaronder Anthropic, Mistral, Tenex.AI en SpaceXAI. OpenAI maakt daar geen deel van uit. Gevraagd door CNBC zei zijn CEO Sam Altman dat zijn bedrijf vergelijkbaar werk verricht, maar dat hij de oplossing «niet volledig» vindt: «Als we AI-beveiliging behandelen als slechts een technisch probleem, missen we het essentiële punt, namelijk dat we een wetenschappelijk probleem hebben.»

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x