ServiceNow CoreAI hat AutoSynthData vorgestellt, ein Tool, das synthetische Trainingsdaten erzeugt, um KI-Agenten in Unternehmensumgebungen zu verbessern. Laut dem Anbieter nutzt das Tool die Fehler eines Zielmodells und die Erfolge eines leistungsfähigeren, sogenannten „Lehrer »-Modells, um zu entscheiden, was das Modell als Nächstes lernen soll. Tests in der Testumgebung EnterpriseOps Gym (Malay et al., 2026) liefern Ergebnisse in zwei Bereichen.
Ein KI-Agent arbeitet gemäß den Werkzeugen, Regeln und Daten der Organisation, die ihn einsetzt. Ein Modell kann weitgehend fähig sein und dennoch in einer bestimmten Umgebung Schwierigkeiten haben, etwa bei einer schlecht gehandhabten Abfolge von Schritten, einer falsch genutzten Kombination von Werkzeugen oder einer nicht eingehaltenen Einschränkung. Die Herausforderung besteht darin, diese Schwächen in Trainingsdaten zu überführen, denn ein einzelner Fehlschlag reicht nicht aus: Es braucht viele neue Aufgaben, die dieselbe Fähigkeit in unterschiedlichen Situationen abverlangen.
Eine Aufgabe muss machbar, realistisch und schwierig sein
In der von ServiceNow beschriebenen Methode besteht eine Aufgabe aus einer Systemspezifikation, einer Benutzeranweisung und einem Prüfer, der feststellt, ob der Agent erfolgreich war. Die Aufgabe muss zunächst machbar sein: Es muss mindestens eine Abfolge von Aktionen geben, die die Anfrage in der Umgebung erfüllt, ohne gegen Regeln zu verstoßen. Sie muss dann realistisch sein, also einer Anfrage ähneln, die ein Nutzer stellen könnte. Schließlich muss sie schwierig sein: Eine bereits zuverlässig gelöste Aufgabe bringt dem Training wenig Information.
Auch der Prüfer muss Bedingungen erfüllen. Er muss mit der Anweisung und dem Zustand der Umgebung konsistent sein, fehlerhafte Abläufe ablehnen und gültige Lösungen akzeptieren, nicht nur den einzigen Referenzpfad. Ein zu nachsichtiger Prüfer kann schlechtes Verhalten belohnen, ein zu strenger Prüfer kann gute Antworten bestrafen.
Bevor eine Aufgabe übernommen wird, durchläuft sie eine Reihe von Kontrollen. Ein positiver Test prüft, ob die Referenzlösung in der Umgebung tatsächlich erfolgreich ist. Ein negativer Test verändert einen Teil des erwarteten Ergebnisses, um sicherzustellen, dass inkorrekte Zustände scheitern. Abgelehnte Kandidaten werden von einem Kritikmodul untersucht und dann innerhalb einer festgelegten Anzahl von Versuchen repariert. Auf Batchebene erkennt eine Meta-Überprüfung überrepräsentierte Aufgabenfamilien und fehlende Fähigkeiten.
Ergebnisse in zwei Bereichen
Die Tests beziehen sich auf die Bereiche Hybrid und ITSM von EnterpriseOps Gym. Im Bereich Hybrid ist das Zielmodell Gemma-4-26B-A4B-it und der Lehrer Qwen3.8-27B. AutoSynthData erzeugte in etwa 18 Stunden 2.000 Trainingsbeispiele, dann wurde das Modell auf diesen Daten verfeinert, ein Prozess namens „Fine-Tuning ». Der beste Checkpoint ist der der Epoche 5. Laut ServiceNow steigt der durchschnittliche Pass@1-Score um 7,2 Prozentpunkte, was einer relativen Verbesserung von 35 % entspricht, und die Erfolgsrate des Prüfers steigt von 63,01 % auf 68,55 %. Das Unternehmen gibt an, dass das Modell damit 59 % der anfänglichen Lücke zum Referenzmodell schließt.
Im Bereich ITSM ist das Zielmodell weiterhin Gemma-4-26B-A4B-it und der Lehrer DeepSeek-V4.1-Flash. Die Generierung produzierte in 66 Stunden 1.994 Beispiele. Laut dem Unternehmen erklärt sich die längere Zeit hauptsächlich durch die Verwendung eines größeren Lehrer-Modells und eine frühere, seitdem optimierte Version der Pipeline. Der Pass@1-Score steigt dabei von 18,77 % auf 27,18 %.
ServiceNow gibt an, dass die Trainingsaufgaben aus den Spezifikationen der Fähigkeiten generiert wurden, ohne Zugriff auf die ursprünglichen Evaluierungsaufgaben. Das Unternehmen plant zudem, diese Logik kalibrierter Schwierigkeit im Reinforcement Learning zu testen, über das rein überwachte Fine-Tuning hinaus.
