AutoSynthData : uma ferramenta para gerar dados de treino para agentes empresariais

AutoSynthData : uma ferramenta para gerar dados de treino para agentes empresariais
3 min de leitura

A ServiceNow CoreAI apresentou o AutoSynthData, uma ferramenta que fabrica dados de treino sintéticos para melhorar os agentes de IA nos ambientes empresariais. Segundo o editor, a ferramenta parte das falhas de um modelo-alvo e dos sucessos de um modelo mais poderoso, designado « professor », para decidir o que o modelo deve aprender a seguir. Ensaios realizados no ambiente de testes EnterpriseOps Gym (Malay et al., 2026) fornecem resultados em duas áreas.

Um agente de IA trabalha de acordo com as ferramentas, as regras e os dados da organização que o utiliza. Um modelo pode ser amplamente capaz e continuar com dificuldades num determinado ambiente, por exemplo, numa sequência de etapas mal gerida, numa combinação de ferramentas mal utilizada ou numa restrição não respeitada. O desafio consiste em transformar estas fraquezas em dados de treino, pois uma falha isolada não basta: são necessárias muitas novas tarefas que solicitem a mesma capacidade em situações diferentes.

Uma tarefa deve ser realizável, realista e difícil

No método descrito pela ServiceNow, uma tarefa compõe-se de uma especificação do sistema, de uma instrução do utilizador e de um verificador, encarregado de dizer se o agente teve sucesso. A tarefa deve primeiro ser realizável: deve existir pelo menos uma sequência de ações que responda ao pedido no ambiente, sem infringir as regras. Deve depois ser realista, ou seja, assemelhar-se a um pedido que um utilizador poderia formular. Por fim, deve ser difícil: uma tarefa já resolvida de forma fiável traz pouca informação ao treino.

O verificador também deve preencher condições. Deve ser coerente com a instrução e o estado do ambiente, rejeitar os percursos que falham e aceitar as soluções válidas em vez da única trajetória de referência. Um verificador demasiado flexível pode recompensar maus comportamentos, e um verificador demasiado rigoroso pode penalizar boas respostas.

Antes de ser retida, cada tarefa passa por uma série de controlos. Um teste positivo verifica que a solução de referência tem sucesso no ambiente. Um teste negativo modifica uma parte do resultado esperado para garantir que os estados incorretos falham. Os candidatos recusados são examinados por um módulo de crítica e depois reparados dentro de um número fixo de tentativas. Ao nível do lote, uma meta-análise identifica as famílias de tarefas sobre-representadas e as capacidades ausentes.

Resultados em duas áreas

Os ensaios incidem sobre as áreas Hybrid e ITSM do EnterpriseOps Gym. Na área Hybrid, o modelo-alvo é o Gemma-4-26B-A4B-it e o professor é o Qwen3.8-27B. O AutoSynthData produziu 2 000 amostras de treino em cerca de 18 horas, depois o modelo foi afinado com esses dados, um processo chamado « fine-tuning ». O melhor ponto de controlo é o da época 5. Segundo a ServiceNow, a pontuação média Pass@1 progride 7,2 pontos percentuais, ou seja, uma melhoria relativa de 35 %, e a taxa de sucesso do verificador passa de 63,01 % para 68,55 %. A empresa indica que o modelo preenche assim 59 % do desfasamento inicial com o modelo de referência.

Na área ITSM, o modelo-alvo continua a ser o Gemma-4-26B-A4B-it, e o professor é o DeepSeek-V4.1-Flash. A geração produziu 1 994 amostras em 66 horas. Segundo a empresa, este tempo mais longo explica-se sobretudo pelo uso de um professor mais volumoso e por uma versão anterior do pipeline, otimizada entretanto. A pontuação Pass@1 passa então de 18,77 % para 27,18 %.

A ServiceNow indica que as tarefas de treino foram geradas a partir das especificações de capacidades, sem acesso às tarefas de avaliação originais. A empresa prevê ainda testar esta lógica de dificuldade calibrada na aprendizagem por reforço, para além do mero afinamento supervisionado.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x