Un agente di IA che impressiona in dimostrazione può fallire non appena si confronta con utenti reali e dati reali. In una guida pubblicata da Analytics Vidhya, la valutazione di questi sistemi è presentata come un processo a cinque livelli, che va dalla verifica del risultato finale al monitoraggio in produzione.
Secondo la guida, un agente può scegliere lo strumento sbagliato, ciclare su un’interfaccia di programmazione (API) che fallisce, esporre dati che non dovrebbe vedere o inventare un numero in un report. Valutare un agente è un esercizio diverso dalla valutazione di un modello linguistico, perché ogni passo tra l’obiettivo e il risultato può fallire.
Definire cosa significa « riuscire »
Prima di scrivere il benché minimo test, la guida raccomanda di definire il successo. Propone di rispondere a quattro domande: qual è il compito, cosa conta come completato, cosa non deve mai accadere e qual è il costo di un errore. Una risposta sbagliata in una FAQ interna ha un costo basso, mentre un’azione errata in un agente di pagamento no.
Questo costo fissa il livello di esigenza. Un agente a basso rischio può essere messo in servizio con il 90% di successo dei compiti, i casi rimanenti essendo rivisti da un umano. Un agente ad alto rischio può richiedere il 99% e oltre sui percorsi critici, oltre a un blocco fermo di certe azioni, indipendentemente dalla volontà del modello.
Cinque livelli da verificare
Il primo livello riguarda il risultato: l’agente ha portato a termine il compito? La guida consiglia di controllare lo stato reale, ad esempio il calendario, piuttosto che la dichiarazione dell’agente. Il secondo riguarda la traiettoria, cioè la sequenza delle azioni. Due agenti possono arrivare alla stessa risposta, uno in quattro passi, l’altro in 19, e il numero di passi non basta a distinguerli. Si esaminano allora i cicli, la scelta degli strumenti, la correttezza dei parametri e il modo in cui l’agente si riprende da un errore.
Il terzo livello isola i componenti difettosi: pianificatore, recupero documentale, strumenti, memoria e generazione della risposta. Per un sistema di generazione aumentata da recupero (RAG), che si basa su documenti esterni, la guida cita le metriche recall@k e precision@k. Il quarto livello riguarda la sicurezza: iniezione di istruzioni malevole in un documento letto dall’agente, perdita di dati, rispetto dei diritti di accesso e delle regole aziendali, trattamento dei dati personali. La guida insiste su un punto: i permessi devono essere applicati nel codice, al di fuori del modello, e non devono mai dipendere dal solo prompt. Il quinto livello è operativo: latenza, costo per compito, affidabilità e tenuta sotto carico.
Giudici, umani e metriche
Per valutare i risultati, la guida distingue tre metodi: i controlli programmati, i « LLM-as-judge », dove un modello linguistico valuta una risposta secondo una griglia, e la revisione umana. I giudici automatici presentano bias noti, come la preferenza per la prima risposta di un confronto o per la risposta più lunga.
Le misure di affidabilità distinguono due indicatori. Il pass@k è la probabilità che almeno uno dei k tentativi riesca, mentre il pass^k è la probabilità che tutti riescano. Nell’esempio della guida, con un successo dell’80% a ogni tentativo, supposto indipendente, la probabilità che almeno uno dei cinque tentativi riesca è di circa il 99,97%, contro circa il 32,8% per il successo di tutti e cinque i tentativi. La guida raccomanda infine di rivedere i fallimenti ogni settimana e di aggiungere ogni nuovo caso al set di test.
