ServiceNow CoreAI представила AutoSynthData — инструмент, который создаёт синтетические тренировочные данные для улучшения агентов ИИ в корпоративных средах. По словам разработчика, инструмент исходит из неудач целевой модели и успехов более мощной модели, называемой «учителем», чтобы определить, что модель должна изучить дальше. Тесты, проведённые на тестовой среде EnterpriseOps Gym (Malay et al., 2026), дали результаты в двух областях.
Агент ИИ работает в соответствии с инструментами, правилами и данными организации, которая его использует. Модель может быть в целом способной, но испытывать трудности в конкретной среде, например, из-за плохо управляемой последовательности шагов, неправильно используемой комбинации инструментов или несоблюдения ограничения. Задача состоит в том, чтобы превратить эти слабости в тренировочные данные, поскольку одного изолированного провала недостаточно: требуется множество новых задач, которые проверяют ту же способность в разных ситуациях.
Задача должна быть выполнимой, реалистичной и сложной
В методе, описанном ServiceNow, задача состоит из спецификации системы, инструкции пользователя и верификатора, отвечающего за определение успешности действий агента. Задача должна быть, во-первых, выполнимой: должна существовать хотя бы одна последовательность действий, удовлетворяющая запросу в среде без нарушения правил. Затем она должна быть реалистичной, то есть похожей на запрос, который мог бы сформулировать пользователь. Наконец, она должна быть сложной: задача, уже надёжно решённая, приносит мало информации для обучения.
Верификатор также должен соответствовать условиям. Он должен быть согласован с инструкцией и состоянием среды, отклонять неудачные траектории и принимать допустимые решения, а не только эталонный путь. Слишком мягкий верификатор может поощрять плохое поведение, а слишком строгий — наказывать хорошие ответы.
Прежде чем быть принятой, каждая задача проходит серию проверок. Позитивный тест проверяет, что эталонное решение действительно успешно в среде. Негативный тест изменяет часть ожидаемого результата, чтобы убедиться, что некорректные состояния завершаются неудачей. Отклонённые кандидаты анализируются модулем критики, а затем исправляются в пределах фиксированного числа попыток. На уровне пакета мета-обзор выявляет перепредставленные семейства задач и отсутствующие способности.
Результаты в двух областях
Тесты касаются областей Hybrid и ITSM в EnterpriseOps Gym. В области Hybrid целевой моделью является Gemma-4-26B-A4B-it, а учителем — Qwen3.8-27B. AutoSynthData создала 2000 обучающих образцов примерно за 18 часов, после чего модель была дообучена на этих данных — процесс, называемый «fine-tuning». Лучшая контрольная точка соответствует эпохе 5. По данным ServiceNow, средний показатель Pass@1 увеличивается на 7,2 процентных пункта, что составляет относительное улучшение на 35%, а уровень успешности верификатора возрастает с 63,01% до 68,55%. Компания сообщает, что модель таким образом сокращает 59% первоначального разрыва с эталонной моделью.
В области ITSM целевой моделью по-прежнему является Gemma-4-26B-A4B-it, а учителем — DeepSeek-V4.1-Flash. Генерация дала 1994 образца за 66 часов. По словам компании, большее время объясняется в основном использованием более крупного учителя и более ранней версией конвейера, оптимизированной с тех пор. Показатель Pass@1 при этом вырос с 18,77% до 27,18%.
ServiceNow сообщает, что тренировочные задачи были сгенерированы на основе спецификаций способностей без доступа к исходным оценочным задачам. Компания также планирует протестировать эту логику калиброванной сложности в обучении с подкреплением, выходя за рамки только контролируемого дообучения.
