Microsoft et Hugging Face présentent ThinkingBox-Training, une méthode qui utilise l’état final d’une base de données comme signal de récompense pour entraîner des agents d’intelligence artificielle. Appliquée au modèle Qwen3.8-27B, elle fait passer le taux de réussite moyen de 51,70 % à 60,78 %, selon les auteurs, et le nombre de tâches réussies à chaque tentative de 38 à 107. Le code est disponible sur GitHub.
- ThinkingBox-Training utilise l’état final d’une base de données comme récompense pour entraîner des agents d’IA.
- Sur Qwen3.8-27B, le taux de réussite moyen passe de 51,70 % à 60,78 %.
- Le modèle gagne en régularité, car les tâches réussies à chaque tentative passent de 38 à 107.
- Le coût par tâche fiable baisse de 24,36 à 8,00 dollars, selon les auteurs.
ThinkingBox sert d’abord à évaluer le travail d’un agent en comparant l’état final de la base de données avec le résultat attendu. Chacune des 507 tâches de ThinkingBox-Bench lance un vrai backend et un ensemble d’outils, laisse l’agent travailler, puis vérifie ce qui a réellement changé. Une vérification de ce type renvoie 1 ou 0 à partir de l’état final, ce qui peut aussi servir de récompense pour l’entraînement.
Le principal enjeu consiste à choisir les tâches d’entraînement. Avec la méthode GRPO, un groupe de huit essais qui échouent tous, ou qui réussissent tous, ne fournit aucun contraste à apprendre. Les auteurs ont donc estimé, une fois, la probabilité de réussite de chaque tâche avec le modèle de départ, puis ont conservé les tâches réussies de temps en temps. Ils désignent cette notion par l’expression « difficulté relative à la politique hors ligne », la politique désignant ici le modèle entraîné. Le jeu d’entraînement final compte 187 tâches.
Des gains sur la régularité des réussites
Après 50 étapes de GRPO, le modèle a été évalué sur les 507 tâches de ThinkingBox-Bench, qu’il n’avait jamais vues pendant l’entraînement. Chaque tâche est répétée 20 fois, soit 10 140 tentatives au total. Le nombre de tâches réussies à chaque tentative passe de 38 (7,50 %) à 107 (21,10 %), tandis que le nombre de tâches réussies au moins une fois recule légèrement, de 453 (89,35 %) à 446 (87,97 %).
Les auteurs en tirent une lecture précise : le modèle n’est pas devenu plus large, il est devenu plus régulier. Ils citent l’exemple d’une demande de déclassement de chambre d’hôtel, qui exige l’accord préalable d’un responsable. Avant l’entraînement, l’agent a modifié la réservation et émis des remboursements sans cet accord dans 15 essais sur 20. Après l’entraînement, il a préservé l’état de la réservation et du paiement dans les 20 essais.
Un coût estimé par tâche fiable
Les auteurs chiffrent aussi le coût de cette régularité. Selon leur estimation, le coût de la campagne de 20 passes passe de 925,80 dollars à 855,58 dollars, soit une baisse de 7,6 %. Rapporté aux tâches réussies à chaque tentative, le coût par tâche fiable tombe de 24,36 dollars à 8,00 dollars. Ces montants sont un indice de service comparatif, et non une facture réelle, car ils ne tiennent pas compte du coût de l’entraînement.
L’entraînement de référence a été mené sur 24 GPU H100, avec 18 groupes de 8 essais par mise à jour, soit 144 épisodes. Les auteurs soulignent que l’évaluation et l’entraînement doivent interpréter les sorties du modèle de la même façon, faute de quoi la récompense mesure un agent différent de celui qui est évalué. Le dépôt publié sur GitHub contient les outils de sélection des données, de génération des essais, de calcul de la récompense et d’intégration avec Verl.
