AutoSynthData:企業向けAIエージェントのトレーニングデータを生成するツール

AutoSynthData:企業向けAIエージェントのトレーニングデータを生成するツール
1 分の読書

ServiceNow CoreAIは、企業環境におけるAIエージェントを改善するための合成トレーニングデータを作成するツール「AutoSynthData」を発表した。同社によると、このツールはターゲットモデルの失敗と、より強力な「教師」モデルの成功例から出発し、モデルが次に何を学ぶべきかを決定する。テスト環境「EnterpriseOps Gym」(Malay et al., 2026)で実施された試験では、2つの領域で結果が得られている。

AIエージェントは、それを利用する組織のツール、ルール、データに基づいて動作する。モデルは広範な能力を持っていても、特定の環境では苦戦することがある。例えば、適切に管理されていない一連のステップ、誤って使用されたツールの組み合わせ、守られていない制約などが原因となる。課題は、これらの弱点をトレーニングデータに変換することにある。単一の失敗例では不十分であり、同じ能力を異なる状況で要求する多数の新規タスクが必要となる。

タスクは「実現可能」「現実的」「困難」でなければならない

ServiceNowが説明する手法では、タスクはシステム仕様、ユーザー指示、およびエージェントが成功したかどうかを判断する「検証器」で構成される。タスクはまず実現可能でなければならない:環境内で要求を満たし、ルールに違反しない少なくとも一連のアクションが存在する必要がある。次に、現実的、つまりユーザーが実際に要求しそうなものに似ている必要がある。最後に、困難でなければならない:既に確実に解決されているタスクは、トレーニングにほとんど情報をもたらさない。

検証器もまた条件を満たす必要がある。指示と環境の状態と一致し、失敗した経路を拒否し、有効な解決策を(唯一の参照経路だけでなく)受け入れるものでなければならない。検証器が寛容すぎると不適切な行動を報いてしまい、厳格すぎると適切な回答を不当に低く評価する可能性がある。

採用される前に、各タスクは一連のチェックを通過する。ポジティブテストでは、参照解決策が環境内で確実に成功することを確認する。ネガティブテストでは、期待される結果の一部を変更し、不正な状態が失敗することを保証する。拒否された候補は批判モジュールで検討され、所定の試行回数の範囲内で修正される。バッチレベルでは、メタレビューが過剰に表現されているタスク群や欠落している能力を特定する。

2つの領域での結果

試験はEnterpriseOps Gymの「Hybrid」および「ITSM」領域で実施された。Hybrid領域では、ターゲットモデルはGemma-4-26B-A4B-it、教師モデルはQwen3.8-27Bである。AutoSynthDataは約18時間で2,000のトレーニングサンプルを生成し、その後モデルはこれらのデータで「ファインチューニング」と呼ばれるプロセスで調整された。最良のチェックポイントはエポック5である。ServiceNowによると、平均Pass@1スコアは7.2パーセントポイント上昇し、相対的な改善率は35%となり、検証器の成功率は63.01%から68.55%に向上した。同社は、これによりモデルがベースラインモデルとの初期ギャップの59%を埋めたと述べている。

ITSM領域では、ターゲットモデルは引き続きGemma-4-26B-A4B-it、教師モデルはDeepSeek-V4.1-Flashである。生成プロセスは66時間で1,994のサンプルを生成した。同社によると、このより長い時間は主に、より大規模な教師モデルの使用と、その後最適化されたパイプラインの以前のバージョンによるものである。Pass@1スコアは18.77%から27.18%に上昇した。

ServiceNowは、トレーニングタスクが能力仕様から生成され、元の評価タスクにはアクセスしていないと説明している。また同社は、この調整された難易度のロジックを、教師ありファインチューニングだけでなく、強化学習でもテストする計画である。

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x