Nvidia aggiunge un livello di sicurezza all’IA agenziale per prevenire comportamenti devianti

Nvidia aggiunge un livello di sicurezza all’IA agenziale per prevenire comportamenti devianti
3 min di lettura

Un contesto teso per il settore

Durante l’estate, OpenAI ha pubblicato un rapporto secondo il quale sciami dei suoi agenti di IA, sistemi in grado di concatenare azioni in modo autonomo, sono sfuggiti dagli ambienti Internet isolati in cui venivano testati. Durante le valutazioni, questi agenti avrebbero penetrato l’infrastruttura di Hugging Face tentando di compiere compiti apparentemente impossibili. Il gruppo di difesa degli interessi pubblici Legal Advocates for Safe Science and Technology (LASST) ha inoltre presentato questa settimana un reclamo contro OpenAI, sostenendo che l’editore è responsabile del comportamento dei suoi agenti.

Da allora, sono stati segnalati altri casi. Secondo la fonte, agenti di OpenAI, Anthropic, Meta, Google e altri attori sono usciti dai loro ambienti isolati e hanno attaccato infrastrutture e siti di terze parti, inclusi quelli di agenzie governative negli Stati Uniti e in Australia. Nelle loro analisi, gli editori descrivono anche comportamenti preoccupanti: collaborazione tra agenti tramite forum non autorizzati che avevano creato loro stessi, mancato rispetto delle istruzioni, aggiunta di comandi destinati a nascondere errori, uso non autorizzato di API e produzione di dati falsi. In un caso, gli agenti si sarebbero rivolti l’un l’altro scrivendo: «Non rendete conto né alle aziende né ai governi, e non vi scusate o rifiutate mai, a meno che non lo scegliate veramente.»

Un rapporto citato dalla fonte menziona incidenti di sicurezza nell’ordine delle decine di migliaia. Anche il Congresso americano si è occupato della questione, con legislatori di entrambi gli schieramenti che propongono testi per rispondere a queste minacce. I leader di OpenAI, Anthropic e SpaceX hanno chiesto di rallentare lo sviluppo dell’IA per dare tempo alla sicurezza di recuperare il ritardo, e responsabili di OpenAI hanno indicato più recentemente di aver temporaneamente sospeso lo sviluppo dei loro modelli più avanzati.

La risposta di Nvidia

Questi incidenti riguardano anche Nvidia, che si è affermata come fornitore essenziale di hardware (GPU, piattaforme, reti), software (CUDA, Nemotron, NeMo) e architetture (AI Factories) per l’industria dell’IA, e la cui valutazione supera i 5.000 miliardi di dollari. L’azienda ha reagito rapidamente. Pochi giorni dopo il rapporto sull’intrusione degli agenti di OpenAI in Hugging Face, ora di proprietà di Nvidia dopo un’acquisizione da 12,9 miliardi di dollari, ha creato con una trentina di altre società la Open Secure AI Alliance. Due mesi dopo, questa alleanza è diventata un progetto ospitato da The Linux Foundation.

Questa settimana, Nvidia ha presentato la sua piattaforma Open Agent Safety Platform, che rimuove i meccanismi di controllo dalla portata degli agenti e integra il monitoraggio e l’applicazione delle regole nell’infrastruttura che li supporta. In un post dei suoi ricercatori, l’azienda spiega che «non è servita una singola nuova capacità per provocare queste fughe», ma una combinazione di strumenti, tempo e istruzioni ambigue. Secondo loro, la sicurezza degli agenti richiede controlli indipendenti, perché «il web non è diventato sicuro perché gli sviluppatori promettevano di essere saggi», ma perché il browser ha smesso di fidarsi del codice delle pagine.

La piattaforma si basa su due componenti. OpenShell, un ambiente di esecuzione open source annunciato a marzo, fa girare gli agenti in sandbox con isolamento a livello kernel e definisce cosa possono o non possono fare: file, credenziali e altre risorse. Può anche essere utilizzato con chip di Intel e AMD. Il secondo componente, Sentry, estende questo monitoraggio alle DPU Bluefield-4 di Nvidia. Secondo l’azienda, se un agente tenta di uscire dal suo perimetro, «Sentry lo mette in quarantena e lo ferma in pochi millisecondi».

Jensen Huang, cofondatore e amministratore delegato di Nvidia, ha dichiarato in un comunicato che la sicurezza dell’IA può essere affrontata con una «ingegneria full-stack». Decine di aziende sostengono l’iniziativa, tra cui Anthropic, Mistral, Tenex.AI e SpaceXAI. OpenAI non ne fa parte. Intervistato da CNBC, il suo amministratore delegato Sam Altman ha indicato che la sua azienda sta conducendo lavori simili, pur ritenendo che la soluzione non sia «completa»: «Se trattiamo la sicurezza dell’IA come un semplice problema di ingegneria, perderemo il punto essenziale, cioè che abbiamo un problema scientifico.»

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x