ServiceNow CoreAI ha presentato AutoSynthData, uno strumento che produce dati di addestramento sintetici per migliorare gli agenti di IA negli ambienti aziendali. Secondo l’editore, lo strumento parte dai fallimenti di un modello target e dai successi di un modello più potente, detto « insegnante », per decidere cosa il modello debba apprendere successivamente. Test condotti sull’ambiente EnterpriseOps Gym (Malay et al., 2026) forniscono risultati su due domini.
Un agente di IA opera secondo gli strumenti, le regole e i dati dell’organizzazione che lo utilizza. Un modello può essere ampiamente capace e rimanere in difficoltà in un dato ambiente, ad esempio su una sequenza di passaggi mal gestita, una combinazione di strumenti utilizzata male o un vincolo non rispettato. La sfida consiste nel trasformare queste debolezze in dati di addestramento, perché un fallimento isolato non basta: servono numerosi nuovi compiti che sollecitino la stessa capacità in situazioni diverse.
Un compito deve essere realizzabile, realistico e difficile
Nel metodo descritto da ServiceNow, un compito è composto da una specifica del sistema, da un’istruzione dell’utente e da un verificatore, incaricato di dire se l’agente ha avuto successo. Il compito deve innanzitutto essere realizzabile: deve esistere almeno una sequenza di azioni che risponda alla richiesta nell’ambiente, senza violare le regole. Deve poi essere realistico, cioè assomigliare a una richiesta che un utente potrebbe formulare. Infine, deve essere difficile: un compito già risolto in modo affidabile apporta poche informazioni all’addestramento.
Anche il verificatore deve soddisfare delle condizioni. Deve essere coerente con l’istruzione e lo stato dell’ambiente, rifiutare i percorsi che falliscono e accettare le soluzioni valide piuttosto che la sola traiettoria di riferimento. Un verificatore troppo permissivo può premiare comportamenti errati, e un verificatore troppo severo può penalizzare risposte corrette.
Prima di essere accettato, ogni compito passa attraverso una serie di controlli. Un test positivo verifica che la soluzione di riferimento riesca effettivamente nell’ambiente. Un test negativo modifica una parte del risultato atteso per assicurarsi che gli stati incorretti falliscano. I candidati rifiutati vengono esaminati da un modulo di critica, poi riparati entro un numero fisso di tentativi. A livello del lotto, una meta-revisione individua le famiglie di compiti sovrarappresentate e le capacità assenti.
Risultati su due domini
I test riguardano i domini Hybrid e ITSM di EnterpriseOps Gym. Nel dominio Hybrid, il modello target è Gemma-4-26B-A4B-it e l’insegnante Qwen3.8-27B. AutoSynthData ha prodotto 2.000 campioni di addestramento in circa 18 ore, poi il modello è stato affinato su questi dati, un processo chiamato « fine-tuning ». Il miglior punto di controllo è quello dell’epoca 5. Secondo ServiceNow, il punteggio medio Pass@1 progredisce di 7,2 punti percentuali, cioè un miglioramento relativo del 35%, e il tasso di successo del verificatore passa dal 63,01% al 68,55%. L’azienda indica che il modello colma così il 59% del divario iniziale con il modello di riferimento.
Nel dominio ITSM, il modello target è sempre Gemma-4-26B-A4B-it, e l’insegnante DeepSeek-V4.1-Flash. La generazione ha prodotto 1.994 campioni in 66 ore. Secondo l’azienda, questo tempo più lungo si spiega soprattutto con l’uso di un insegnante più voluminoso e con una versione precedente della pipeline, ottimizzata in seguito. Il punteggio Pass@1 passa quindi dal 18,77% al 27,18%.
ServiceNow indica che i compiti di addestramento sono stati generati a partire dalle specifiche delle capacità, senza accesso ai compiti di valutazione originali. L’azienda prevede inoltre di testare questa logica di difficoltà calibrata nell’apprendimento per rinforzo, oltre al solo affinamento supervisionato.
