AutoSynthData : een tool om trainingsdata te genereren voor bedrijfsagents

AutoSynthData : een tool om trainingsdata te genereren voor bedrijfsagents
3 min lezen

ServiceNow CoreAI heeft AutoSynthData gepresenteerd, een tool die synthetische trainingsdata fabriceert om AI-agents in bedrijfsomgevingen te verbeteren. Volgens de uitgever gaat de tool uit van de mislukkingen van een doelmodel en de successen van een krachtiger model, het zogenaamde ‘leraar’-model, om te beslissen wat het model vervolgens moet leren. Tests uitgevoerd in de testomgeving EnterpriseOps Gym (Malay et al., 2026) leveren resultaten op voor twee domeinen.

Een AI-agent werkt volgens de tools, regels en data van de organisatie die hem gebruikt. Een model kan over het algemeen capabel zijn en toch moeilijkheden ondervinden in een bepaalde omgeving, bijvoorbeeld bij een slecht beheerde reeks stappen, een verkeerd gebruikte combinatie van tools of een niet-nageleefde beperking. De uitdaging bestaat erin deze zwaktes om te zetten in trainingsdata, want een geïsoleerde mislukking volstaat niet: er zijn veel nieuwe taken nodig die dezelfde vaardigheid in verschillende situaties aanspreken.

Een taak moet uitvoerbaar, realistisch en moeilijk zijn

In de door ServiceNow beschreven methode bestaat een taak uit een systeemspecificatie, een gebruikersinstructie en een verifier, die moet zeggen of de agent geslaagd is. De taak moet eerst uitvoerbaar zijn: er moet minstens één reeks acties bestaan die aan de vraag voldoet binnen de omgeving, zonder de regels te overtreden. Vervolgens moet ze realistisch zijn, dat wil zeggen lijken op een vraag die een gebruiker zou kunnen stellen. Ten slotte moet ze moeilijk zijn: een taak die al betrouwbaar is opgelost, levert weinig informatie op voor de training.

Ook de verifier moet aan voorwaarden voldoen. Hij moet consistent zijn met de instructie en de toestand van de omgeving, routes die falen afwijzen, en geldige oplossingen accepteren in plaats van alleen het referentietraject. Een te soepele verifier kan slecht gedrag belonen, en een te strenge verifier kan goede antwoorden bestraffen.

Voordat een taak wordt behouden, ondergaat ze een reeks controles. Een positieve test controleert of de referentie-oplossing inderdaad slaagt in de omgeving. Een negatieve test wijzigt een deel van het verwachte resultaat om ervoor te zorgen dat incorrecte toestanden falen. Afgewezen kandidaten worden onderzocht door een kritiekmodule en vervolgens gerepareerd binnen een vast aantal pogingen. Op batchniveau detecteert een meta-review oververtegenwoordigde taakfamilies en ontbrekende capaciteiten.

Resultaten voor twee domeinen

De tests hebben betrekking op de Hybrid- en ITSM-domeinen van EnterpriseOps Gym. In het Hybrid-domein is het doelmodel Gemma-4-26B-A4B-it en de leraar Qwen3.8-27B. AutoSynthData produceerde ongeveer 2.000 trainingsmonsters in ongeveer 18 uur, waarna het model werd verfijnd op deze data, een proces genaamd ‘fine-tuning’. Het beste checkpoint is dat van epoch 5. Volgens ServiceNow stijgt de gemiddelde Pass@1-score met 7,2 procentpunten, een relatieve verbetering van 35%, en stijgt het slagingspercentage van de verifier van 63,01% naar 68,55%. Het bedrijf geeft aan dat het model zo 59% van de initiële kloof met het referentiemodel dicht.

In het ITSM-domein is het doelmodel nog steeds Gemma-4-26B-A4B-it, en de leraar DeepSeek-V4.1-Flash. De generatie produceerde 1.994 monsters in 66 uur. Volgens het bedrijf wordt deze langere tijd vooral verklaard door het gebruik van een grotere leraar en door een eerdere versie van de pipeline, die sindsdien is geoptimaliseerd. De Pass@1-score stijgt dan van 18,77% naar 27,18%.

ServiceNow geeft aan dat de trainingstaken gegenereerd zijn vanuit de specificaties van capaciteiten, zonder toegang tot de originele evaluatietaken. Het bedrijf is van plan om deze logica van gekalibreerde moeilijkheidsgraad ook te testen in reinforcement learning, verder dan alleen gesuperviseerde fine-tuning.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x