Microsoft и Hugging Face представляют ThinkingBox-Training — метод, который использует конечное состояние базы данных как сигнал вознаграждения для обучения агентов искусственного интеллекта. Примененный к модели Qwen3.8-27B, он повысил средний процент успешных выполнений с 51,70% до 60,78%, по словам авторов, а количество задач, успешно выполняемых при каждой попытке, выросло с 38 до 107. Код доступен на GitHub.
ThinkingBox сначала служит для оценки работы агента, сравнивая конечное состояние базы данных с ожидаемым результатом. Каждая из 507 задач ThinkingBox-Bench запускает реальный бэкенд и набор инструментов, позволяет агенту поработать, а затем проверяет, что действительно изменилось. Такая проверка возвращает 1 или 0 на основе конечного состояния, что также может служить вознаграждением для обучения.
Основная сложность заключается в выборе обучающих задач. При использовании метода GRPO группа из восьми попыток, которые все терпят неудачу или все успешны, не дает контраста для обучения. Поэтому авторы один раз оценили вероятность успеха каждой задачи для исходной модели и сохранили задачи, которые время от времени выполняются успешно. Они обозначают эту концепцию термином «относительная сложность для офлайн-политики», где под политикой понимается обученная модель. Итоговый обучающий набор включает 187 задач.
Улучшение стабильности успешных выполнений
После 50 шагов GRPO модель была оценена на 507 задачах ThinkingBox-Bench, которые она никогда не видела во время обучения. Каждая задача повторяется 20 раз, что составляет в общей сложности 10 140 попыток. Количество задач, успешно выполняемых при каждой попытке, выросло с 38 (7,50%) до 107 (21,10%), в то время как количество задач, успешно выполненных хотя бы один раз, немного снизилось — с 453 (89,35%) до 446 (87,97%).
Авторы делают из этого точный вывод: модель не стала шире в охвате, она стала стабильнее. Они приводят пример запроса на понижение категории номера в отеле, который требует предварительного согласия менеджера. До обучения агент изменял бронирование и оформлял возвраты без такого согласия в 15 случаях из 20. После обучения он сохранял состояние бронирования и платежа во всех 20 попытках.
Ориентировочная стоимость на одну надежную задачу
Авторы также оценивают стоимость этой стабильности. По их оценкам, стоимость кампании из 20 проходов снизилась с 925,80 долларов до 855,58 долларов, то есть на 7,6%. В пересчете на задачи, успешно выполняемые при каждой попытке, стоимость одной надежной задачи упала с 24,36 долларов до 8,00 долларов. Эти суммы являются сравнительным сервисным ориентиром, а не реальным счетом, поскольку они не учитывают стоимость обучения.
Базовое обучение проводилось на 24 GPU H100, с 18 группами по 8 попыток на одно обновление, то есть 144 эпизода. Авторы подчеркивают, что оценка и обучение должны интерпретировать выходные данные модели одинаково, иначе вознаграждение измеряет агента, отличного от оцениваемого. Опубликованный репозиторий на GitHub содержит инструменты для отбора данных, генерации попыток, расчета вознаграждения и интеграции с Verl.
