AutoSynthData : una herramienta para generar datos de entrenamiento para agentes empresariales

AutoSynthData : una herramienta para generar datos de entrenamiento para agentes empresariales
3 min de lectura

ServiceNow CoreAI presentó AutoSynthData, una herramienta que fabrica datos de entrenamiento sintéticos para mejorar los agentes de IA en los entornos empresariales. Según el editor, la herramienta parte de los fallos de un modelo objetivo y de los éxitos de un modelo más potente, denominado « maestro », para decidir qué debe aprender el modelo a continuación. Las pruebas realizadas en el entorno de evaluación EnterpriseOps Gym (Malay et al., 2026) arrojan resultados en dos dominios.

Un agente de IA trabaja según las herramientas, las reglas y los datos de la organización que lo utiliza. Un modelo puede ser ampliamente capaz y seguir teniendo dificultades en un entorno determinado, por ejemplo, en una secuencia de pasos mal gestionada, una combinación de herramientas mal utilizada o una restricción no respetada. El desafío consiste en transformar estas debilidades en datos de entrenamiento, porque un fallo aislado no basta: se necesitan muchas tareas nuevas que soliciten la misma capacidad en situaciones diferentes.

Una tarea debe ser realizable, realista y difícil

En el método descrito por ServiceNow, una tarea se compone de una especificación del sistema, una instrucción del usuario y un verificador, encargado de decir si el agente ha tenido éxito. La tarea debe ser primero realizable: debe existir al menos una secuencia de acciones que responda a la demanda en el entorno, sin infringir las reglas. Debe ser luego realista, es decir, parecerse a una demanda que un usuario podría formular. Por último, debe ser difícil: una tarea ya resuelta de forma fiable aporta poca información al entrenamiento.

El verificador también debe cumplir condiciones. Debe ser coherente con la instrucción y el estado del entorno, rechazar los recorridos que fracasan y aceptar las soluciones válidas en lugar de la única trayectoria de referencia. Un verificador demasiado flexible puede recompensar malos comportamientos, y uno demasiado estricto puede penalizar buenas respuestas.

Antes de ser retenida, cada tarea pasa por una serie de controles. Una prueba positiva verifica que la solución de referencia tiene éxito en el entorno. Una prueba negativa modifica una parte del resultado esperado para asegurarse de que los estados incorrectos fracasan. Los candidatos rechazados son examinados por un módulo de crítica y luego reparados dentro de un número fijo de intentos. A nivel del lote, una meta-revisión identifica las familias de tareas sobrerrepresentadas y las capacidades ausentes.

Resultados en dos dominios

Las pruebas se centran en los dominios Hybrid e ITSM de EnterpriseOps Gym. En el dominio Hybrid, el modelo objetivo es Gemma-4-26B-A4B-it y el maestro Qwen3.8-27B. AutoSynthData produjo 2.000 muestras de entrenamiento en aproximadamente 18 horas, luego el modelo fue afinado con estos datos, un proceso llamado « fine-tuning ». El mejor punto de control es el de la época 5. Según ServiceNow, la puntuación media Pass@1 progresa 7,2 puntos porcentuales, es decir, una mejora relativa del 35 %, y la tasa de éxito del verificador pasa del 63,01 % al 68,55 %. La empresa indica que el modelo cubre así el 59 % de la brecha inicial con el modelo de referencia.

En el dominio ITSM, el modelo objetivo sigue siendo Gemma-4-26B-A4B-it, y el maestro DeepSeek-V4.1-Flash. La generación produjo 1.994 muestras en 66 horas. Según la empresa, este tiempo más largo se explica sobre todo por el uso de un maestro de mayor tamaño y por una versión anterior del pipeline, optimizada desde entonces. La puntuación Pass@1 pasa entonces del 18,77 % al 27,18 %.

ServiceNow indica que las tareas de entrenamiento se generaron a partir de las especificaciones de capacidades, sin acceso a las tareas de evaluación originales. La empresa planea además probar esta lógica de dificultad calibrada en el aprendizaje por refuerzo, más allá del solo afinado supervisado.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x