Gli agenti di intelligenza artificiale pongono problemi che l’IA generativa da sola non pone, e la loro osservazione mentre lavorano diventa quindi sia più difficile che più importante. Ricercatori provenienti dal mondo accademico, dalla società civile e dall’industria hanno esaminato i segnali emessi dai quattro framework di agenti più utilizzati, e vi hanno rilevato lacune significative.
- Gli agenti IA devono essere monitorati in tempo reale, perché eseguono catene di compiti imprevedibili.
- I quattro framework analizzati non permettono di capire facilmente quale agente ha agito e se lo ha fatto senza autorizzazione.
- Servono due tipi di tracce : quelle sull’esecuzione e quelle sulle decisioni dell’agente.
- OpenTelemetry può supportare questa tracciatura, ma i formati comuni per gli agenti non sono ancora finalizzati.
A differenza di un sistema di IA generativa, che produce una singola risposta che un essere umano deve poi utilizzare, un agente esegue catene di compiti più lunghi: pianifica, sceglie strumenti, crea sotto-agenti ed esegue azioni. Inoltre, un agente si basa su grandi modelli linguistici (LLM), dai quali eredita l’imprevedibilità. Il suo svolgimento può quindi assumere forme molto varie, e nessun test effettuato prima del lancio permette di anticipare pienamente i rischi.
Secondo gli autori, questi framework non permettono di individuare facilmente violazioni di regole, azioni non autorizzate o carenze nella supervisione umana. Diversi elementi indispensabili per l’osservazione mancano, come identificativi degli agenti persistenti nel tempo, o registrazioni che indichino quali esseri umani abbiano approvato un determinato compito. In queste condizioni, diventa difficile sapere quale agente ha fatto cosa e verificare se ha agito senza autorizzazione.
Due tipi di tracce
I ricercatori ritengono che queste lacune possano essere colmate, a condizione di iniziare registrando due tipi di tracce. Le prime descrivono ciò che è accaduto durante l’esecuzione: identificano l’agente preservando la privacy, registrano gli interventi umani e indicano se i permessi dell’agente o la sua «memoria» sono cambiati. Le seconde riguardano le decisioni: ricostruiscono il ragionamento dell’agente e il suo livello di fiducia nelle azioni che ha intrapreso.
Gli autori prendono l’esempio di agenti incaricati di trattare le richieste di prestiti immobiliari di una banca. Il sistema esamina un dossier e raccomanda di rifiutarlo, poi un consulente umano convalida la decisione. Durante un audit successivo, o addirittura in tempo reale, la banca o un regolatore deve poter ricostruire quale agente ha preso la decisione, quale consulente l’ha approvata e quanto tempo ci è voluto. La banca deve anche analizzare come l’agente sia giunto al suo rifiuto, per assicurarsi che non abbia utilizzato informazioni vietate, come dati sul quartiere di origine del candidato.
Secondo l’articolo, registrare «ciò che è accaduto» e «come l’agente ha deciso» presuppone approcci diversi, ma entrambi sono realizzabili. L’attuale assenza di tracce del primo tipo riguarda soprattutto l’infrastruttura software. Può essere affrontata grazie a OpenTelemetry, uno standard aperto di osservabilità, mantenuto da ingegneri di tutta l’industria e adottato progressivamente dai framework degli agenti.
Uno standard ancora in lavorazione
OpenTelemetry ha lanciato un gruppo di lavoro incaricato di redigere formati comuni per la tracciatura degli agenti, ma questi formati non sono ancora finalizzati. Secondo gli autori, questo gruppo dovrebbe integrare urgentemente norme per la persistenza dell’identità degli agenti, così come per la registrazione degli interventi umani e dei cambiamenti di permessi o di memoria. Questo lavoro dovrebbe essere completato prima che questi sistemi vengano distribuiti su larga scala. Dovrà anche tenere conto delle implicazioni per la privacy di un identificativo dell’agente collegato a persone reali.
