AutoSynthData : narzędzie do generowania danych treningowych dla agentów korporacyjnych

AutoSynthData : narzędzie do generowania danych treningowych dla agentów korporacyjnych
3 min czytania

ServiceNow CoreAI przedstawił AutoSynthData, narzędzie wytwarzające syntetyczne dane treningowe w celu poprawy działania agentów AI w środowiskach korporacyjnych. Według wydawcy, narzędzie wychodzi z porażek modelu docelowego i sukcesów potężniejszego modelu, zwanego « nauczycielem », aby zdecydować, co model powinien nauczyć się dalej. Testy przeprowadzone w środowisku testowym EnterpriseOps Gym (Malay i in., 2026) dają wyniki w dwóch domenach.

Agent AI działa zgodnie z narzędziami, zasadami i danymi organizacji, która go używa. Model może być ogólnie zdolny, a mimo to mieć trudności w danym środowisku, np. z powodu źle zarządzanej sekwencji kroków, niewłaściwie użytej kombinacji narzędzi lub niespełnionego ograniczenia. Wyzwaniem jest przekształcenie tych słabości w dane treningowe, ponieważ pojedyncza porażka nie wystarczy: potrzeba wielu nowych zadań, które sprawdzają tę samą umiejętność w różnych sytuacjach.

Zadanie musi być wykonalne, realistyczne i trudne

W metodzie opisanej przez ServiceNow, zadanie składa się ze specyfikacji systemu, instrukcji użytkownika i weryfikatora, odpowiedzialnego za stwierdzenie, czy agent odniósł sukces. Zadanie musi najpierw być wykonalne: musi istnieć co najmniej jedna sekwencja działań, która spełnia żądanie w środowisku, bez naruszania zasad. Następnie musi być realistyczne, czyli przypominać żądanie, które mógłby sformułować użytkownik. Wreszcie musi być trudne: zadanie już niezawodnie rozwiązane wnosi niewiele informacji do treningu.

Weryfikator również musi spełniać warunki. Musi być zgodny z instrukcją i stanem środowiska, odrzucać ścieżki, które kończą się niepowodzeniem, i akceptować poprawne rozwiązania, a nie tylko jedną ścieżkę referencyjną. Zbyt pobłażliwy weryfikator może nagradzać złe zachowania, a zbyt surowy może karać dobre odpowiedzi.

Zanim zostanie zatwierdzone, każde zadanie przechodzi serię kontroli. Test pozytywny sprawdza, czy rozwiązanie referencyjne rzeczywiście kończy się sukcesem w środowisku. Test negatywny modyfikuje część oczekiwanego wyniku, aby upewnić się, że niepoprawne stany kończą się niepowodzeniem. Odrzucone kandydaty są analizowane przez moduł krytyki, a następnie naprawiane w granicach ustalonej liczby prób. Na poziomie partii, meta-przegląd wykrywa nadreprezentowane rodziny zadań i brakujące umiejętności.

Wyniki w dwóch domenach

Testy dotyczą domen Hybrid i ITSM w EnterpriseOps Gym. W domenie Hybrid modelem docelowym jest Gemma-4-26B-A4B-it, a nauczycielem Qwen3.8-27B. AutoSynthData wygenerował około 2000 próbek treningowych w około 18 godzin, następnie model został dostrojony na tych danych, w procesie zwanym « fine-tuning ». Najlepszy punkt kontrolny pochodzi z epoki 5. Według ServiceNow, średni wynik Pass@1 wzrasta o 7,2 punktu procentowego, co oznacza względną poprawę o 35%, a wskaźnik sukcesu weryfikatora wzrasta z 63,01% do 68,55%. Firma wskazuje, że model w ten sposób wypełnia 59% początkowej luki w stosunku do modelu referencyjnego.

W domenie ITSM modelem docelowym nadal jest Gemma-4-26B-A4B-it, a nauczycielem DeepSeek-V4.1-Flash. Generacja wyprodukowała 1994 próbek w 66 godzin. Według firmy, dłuższy czas tłumaczy się głównie użyciem większego modelu nauczyciela oraz wcześniejszą, mniej zoptymalizowaną wersją potoku, od tamtej pory ulepszoną. Wynik Pass@1 wzrasta wtedy z 18,77% do 27,18%.

ServiceNow wskazuje, że zadania treningowe zostały wygenerowane na podstawie specyfikacji umiejętności, bez dostępu do oryginalnych zadań ewaluacyjnych. Firma planuje ponadto przetestować tę logikę kalibrowanej trudności w uczeniu ze wzmocnieniem, wykraczając poza samo nadzorowane dostrajanie.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x