L’agente diceva di aver finito, ma il database lo contraddiceva

L’agente diceva di aver finito, ma il database lo contraddiceva
3 min di lettura

Microsoft e Hugging Face presentano ThinkingBox, un ambiente di valutazione che giudica gli agenti di IA in base allo stato finale dei dati che lasciano dietro di sé, e non in base alle frasi che producono. Il test verifica anche se un agente può completare con successo lo stesso compito venti volte di fila. Lo strumento è ora disponibile su Hugging Face.

Un agente è un programma che esegue una serie di azioni, come la chiamata di strumenti, per portare a termine un compito. Gli autori illustrano il loro punto con il caso di una cliente il cui elettrodomestico da cucina da 745 dollari è bloccato da quindici giorni dopo la data di consegna stimata, in un centro di distribuzione di Nashville. L’agente effettua nove chiamate a strumenti: consulta l’ordine, il tracciamento e la politica di rimborso, verifica l’assenza di un ticket, ne apre uno, quindi conclude correttamente che il profilo della cliente non dà diritto a un risarcimento per ritardo.

Tuttavia, chiude il ticket come risolto e risponde: «Since your query is resolved, is there anything I may assist you with?». Tuttavia l’eccezione del corriere rimane aperta, e lo stato atteso era in attesa. La cliente non ha nemmeno ottenuto una risposta alla sua richiesta. Un controllo automatico delle chiamate agli strumenti non vi troverebbe nulla di anomalo, poiché le nove chiamate sono ben formate. Il database, invece, non corrisponde al risultato atteso.

Un successo non è un’affidabilità

ThinkingBox misura questa discrepanza su 507 workflow aziendali con stato, ciascuno eseguito venti volte su diversi modelli linguistici. Gli autori riportano tre indicatori: il pass@1, che misura la percentuale di tentativi riusciti, il pass@20, che indica la percentuale di compiti completati con successo almeno una volta, e il «20/20 osservato», che conta i compiti completati con successo in tutti e venti i tentativi.

Secondo l’articolo, Claude Opus 5.5 ottiene il miglior pass@1 globale, con il 67,16%, davanti a Claude Opus 5 al 66,50%. Kimi-K3, il modello open-weight più performante dello studio, completa con successo il 93,89% dei compiti almeno una volta, ovvero 476 compiti su 507, ma solo 68 compiti (13,41%) lo sono in ogni tentativo. Claude Opus 5.5 completa con successo 241 compiti in tutti e venti i tentativi, ovvero il 47,53%. Gli autori concludono che, per compiti che coinvolgono record reali, il pass@20 non è l’indicatore giusto da consultare.

Il costo della regolarità

Gli autori calcolano anche un costo per tentativo riuscito, utilizzando i prezzi pubblici non scontati di OpenRouter, e un costo per compito affidabile, rapportato al numero di compiti completati con successo in ogni tentativo. Si tratta di un indice comparativo e non di una fattura. GPT-5.6 Sol mostra il costo più basso per successo, a 0,127 dollari. GPT-5.4 è in testa per il costo per compito affidabile, a 6,80 dollari, ma conta solo 128 compiti completati con successo in ogni tentativo. Secondo gli autori, il modo più economico per ottenere una buona risposta non è il più economico per ottenere una risposta affidabile.

Tra i fallimenti analizzati, il 79,9% riguarda l’uso degli strumenti, e solo il 2,9% l’assenza di un’azione che modifichi lo stato. Gli autori descrivono soprattutto agenti che riescono a tentare il workflow, ma faticano a riprendersi dopo un errore dello strumento o una ricerca vuota. Raccomandano di verificare lo stato finale prima della convalida, di limitare gli strumenti disponibili e di sottoporre all’approvazione umana le modifiche difficili da annullare, senza aver misurato l’effetto di queste misure.

I compiti pubblicati sono ricostruzioni sintetiche, ispirate a casi reali di aziende, e i clienti che vi compaiono non sono reali. Il codice di ThinkingBox è sotto licenza MIT, e i dati del benchmark sotto licenza CDLA-Permissive-2.0. I dettagli del metodo sono nell’articolo di ricerca pubblicato su arXiv.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x