ServiceNow CoreAI a présenté AutoSynthData, un outil qui fabrique des données d’entraînement synthétiques pour améliorer les agents d’IA dans les environnements des entreprises. Selon l’éditeur, l’outil part des échecs d’un modèle cible et des réussites d’un modèle plus puissant, dit « enseignant », pour décider ce que le modèle doit apprendre ensuite. Des essais menés sur l’environnement de test EnterpriseOps Gym (Malay et al., 2026) donnent des résultats sur deux domaines.
Un agent d’IA travaille selon les outils, les règles et les données de l’organisation qui l’utilise. Un modèle peut être largement capable et rester en difficulté dans un environnement donné, par exemple sur un enchaînement d’étapes mal géré, une combinaison d’outils mal utilisée ou une contrainte non respectée. Le défi consiste à transformer ces faiblesses en données d’entraînement, car un échec isolé ne suffit pas : il faut de nombreuses nouvelles tâches qui sollicitent la même capacité dans des situations différentes.
Une tâche doit être réalisable, réaliste et difficile
Dans la méthode décrite par ServiceNow, une tâche se compose d’une spécification du système, d’une consigne de l’utilisateur et d’un vérificateur, chargé de dire si l’agent a réussi. La tâche doit d’abord être réalisable : il doit exister au moins une suite d’actions qui répond à la demande dans l’environnement, sans enfreindre les règles. Elle doit ensuite être réaliste, c’est-à-dire ressembler à une demande qu’un utilisateur pourrait formuler. Enfin, elle doit être difficile : une tâche déjà résolue de façon fiable apporte peu d’information à l’entraînement.
Le vérificateur doit lui aussi remplir des conditions. Il doit être cohérent avec la consigne et l’état de l’environnement, rejeter les parcours qui échouent, et accepter les solutions valides plutôt que la seule trajectoire de référence. Un vérificateur trop souple peut récompenser de mauvais comportements, et un vérificateur trop strict peut pénaliser de bonnes réponses.
Avant d’être retenue, chaque tâche passe par une série de contrôles. Un test positif vérifie que la solution de référence réussit bien dans l’environnement. Un test négatif modifie une partie du résultat attendu pour s’assurer que les états incorrects échouent. Les candidats refusés sont examinés par un module de critique, puis réparés dans la limite d’un nombre fixe de tentatives. Au niveau du lot, une méta-revue repère les familles de tâches surreprésentées et les capacités absentes.
Des résultats sur deux domaines
Les essais portent sur les domaines Hybrid et ITSM d’EnterpriseOps Gym. Dans le domaine Hybrid, le modèle cible est Gemma-4-26B-A4B-it et l’enseignant Qwen3.8-27B. AutoSynthData a produit 2 000 échantillons d’entraînement en environ 18 heures, puis le modèle a été affiné sur ces données, un processus appelé « fine-tuning ». Le meilleur point de contrôle est celui de l’époque 5. Selon ServiceNow, le score moyen Pass@1 progresse de 7,2 points de pourcentage, soit une amélioration relative de 35 %, et le taux de réussite du vérificateur passe de 63,01 % à 68,55 %. L’entreprise indique que le modèle comble ainsi 59 % de l’écart initial avec le modèle de référence.
Dans le domaine ITSM, le modèle cible est toujours Gemma-4-26B-A4B-it, et l’enseignant DeepSeek-V4.1-Flash. La génération a produit 1 994 échantillons en 66 heures. Selon l’entreprise, ce temps plus long s’explique surtout par l’usage d’un enseignant plus volumineux et par une version antérieure du pipeline, optimisée depuis. Le score Pass@1 passe alors de 18,77 % à 27,18 %.
ServiceNow indique que les tâches d’entraînement ont été générées à partir des spécifications de capacités, sans accès aux tâches d’évaluation d’origine. L’entreprise prévoit par ailleurs de tester cette logique de difficulté calibrée dans l’apprentissage par renforcement, au-delà du seul affinage supervisé.
