MicrosoftとHugging Faceは、データベースの最終状態を報酬信号として使用してAIエージェントを訓練する手法「ThinkingBox-Training」を発表しました。Qwen3.8-27Bモデルに適用した結果、著者によると平均成功率が51.70%から60.78%に向上し、毎試行で成功するタスク数が38から107に増加しました。コードはGitHubで公開されています。
ThinkingBoxはまず、データベースの最終状態と期待される結果を比較することでエージェントの作業を評価します。ThinkingBox-Benchの507の各タスクは、実際のバックエンドとツールセットを起動し、エージェントに作業させた後、実際に何が変更されたかを検証します。このような検証は最終状態から1または0を返し、これは訓練の報酬としても使用できます。
主な課題は訓練タスクの選択です。GRPO法では、8試行すべてが失敗する、またはすべて成功するグループは、学習するための対照を提供しません。そこで著者らは、初期モデルで各タスクの成功確率を一度推定し、時折成功するタスクを保持しました。彼らはこの概念を「オフラインポリシーに対する相対的難易度」と表現しており、ここでのポリシーは訓練済みモデルを指します。最終的な訓練セットは187のタスクで構成されています。
成功の一貫性における向上
50ステップのGRPOの後、モデルは訓練中に見たことのないThinkingBox-Benchの507タスクで評価されました。各タスクは20回繰り返され、総試行数は10,140回です。毎試行で成功するタスク数は38（7.50%）から107（21.10%）に増加し、少なくとも一度は成功するタスク数はわずかに減少し、453（89.35%）から446（87.97%）となりました。
著者らはこれから明確な解釈を導き出しています：モデルはより広範になったのではなく、より一貫性を持つようになったのです。彼らは、事前に管理者の承認が必要なホテル客室のダウングレード依頼の例を挙げています。訓練前、エージェントは20試行中15回で、その承認なしに予約を変更し返金を発行していました。訓練後は、20回すべての試行で予約と支払いの状態を維持しました。
信頼できるタスクあたりの推定コスト
著者らはまた、この一貫性のコストも数値化しています。彼らの推定によると、20パスキャンペーンのコストは925.80ドルから855.58ドルに減少し、7.6%の低下です。毎試行で成功するタスクあたりのコストに換算すると、信頼できるタスクあたりのコストは24.36ドルから8.00ドルに低下します。これらの金額は実際の請求書ではなく、訓練コストを考慮していない比較的サービス指標です。
参照訓練は24個のGPU H100で実施され、更新ごとに8試行のグループが18組、つまり144エピソードでした。著者らは、評価と訓練がモデルの出力を同じ方法で解釈する必要があると強調しており、そうでないと報酬は評価対象とは異なるエージェントを測定することになると指摘しています。GitHubに公開されたリポジトリには、データ選択、試行生成、報酬計算、およびVerlとの統合ツールが含まれています。
