Hugging Face prezentuje modele decyzyjne, rodzinę modeli, które nie piszą odpowiedzi, lecz oceniają zdefiniowane opcje i zwracają rozkład prawdopodobieństwa na tych opcjach. Firma stara się zdefiniować wspólny interfejs dla tych modeli, nie narzucając jednej architektury.
Duże modele językowe (LLM), które generują odpowiedź token po tokenie, czyli fragment tekstu po fragmencie, są bardzo skuteczne w pisaniu, programowaniu czy rozumowaniu. Ale nie wszystkie problemy wymagają generowania tekstu. Weźmy system wsparcia klienta, który otrzymuje wiadomość: „Zostałem obciążony dwukrotnie za moją subskrypcję. Potrzebuję zwrotu pieniędzy jeszcze dziś ». Musi określić, który zespół powinien zająć się zgłoszeniem, jaki jest jego stopień pilności i czy klient żąda zwrotu.
Można poprosić LLM o zwrócenie tych odpowiedzi w formacie JSON. Takie podejście jest już powszechne w klasyfikacji i kierowaniu, ale ma kilka ograniczeń. Model nie ma gwarancji przestrzegania żądanego schematu: może wygenerować nieprawidłowy JSON, dodać nieoczekiwane klucze lub odpowiedzieć poza dozwolonymi opcjami. Biblioteki dekodowania z ograniczeniami, takie jak Outlines i XGrammar, zmniejszają to ryzyko, ograniczając dozwolone tokeny na każdym etapie, ale dodają dodatkową pracę. Wreszcie, gdy aplikacja ma tylko wybrać spośród znanych odpowiedzi, pełne generowanie tekstu może być zbędne.
Interfejs oparty na prawdopodobieństwie
Model decyzyjny otrzymuje stan, czyli informację do oceny, oraz listę pytań. Zwraca decyzje wraz z prawdopodobieństwami. Źródło wyróżnia trzy typy pytań. Typ choice wybiera jedną opcję spośród wielu. Typ score ocenia coś na uporządkowanej skali. Typ noul odpowiada na pytanie tak/nie w formie probabilistycznej.
W przedstawionym przykładzie model autotrust/GEV-26B-Decide przypisuje pytaniu o usługę następujące prawdopodobieństwa: Billing 0,998, Technical support 0,001 i Sales 0,001. Dla pilności poziomy low, medium i high otrzymują odpowiednio 0,10, 0,26 i 0,72. Zwrócony wynik odpowiada wartości oczekiwanej tego rozkładu, czyli 1,7, a nie wybranemu poziomowi w połowie drogi. Dla pytania „Czy klient żąda zwrotu pieniędzy? » model zwraca bezpośrednio prawdopodobieństwo odpowiedzi pozytywnej, tutaj 0,92.
Pojęcie pewności, obliczane dla pytań typu choice i score, podsumowuje koncentrację tych prawdopodobieństw. Koncept nie jest całkowicie nowy: firma TypeSafe AI przedstawiła Jev, określanego jako model „System One ». Termin „model decyzyjny » został ostatecznie przyjęty przez społeczność, ponieważ opisuje obliczeniową rolę modelu bez odwoływania się do konkretnej teorii poznania.
Ekosystem w budowie
Nowy format jest już obsługiwany przez kilka narzędzi. Biblioteka Transformers oferuje DecisionPipeline, klasę AutoModelForDecision i klasę DecisionConfig, a także punkt końcowy /v1/systemone po uruchomieniu lokalnego serwera. Silnik inferencyjny llama.cpp również akceptuje te modele przez to samo API. Źródło cytuje model ggml-org/Kev-4B-GGUF, serwowany na porcie 9931. Hub oferuje dedykowany tag decision-model, ponieważ te modele niekoniecznie współdzielą tę samą architekturę: niektóre opierają się na enkoderach jak ModernBERT, inne na większych modelach generatywnych.
Po ustaleniu inferencji, źródło porusza temat szkolenia. Przykład demonstracyjny dostraja model autotrust/JEV-9B do kierowania zgłoszeń wsparcia, przy użyciu API Trainer. Natywne wsparcie szkolenia w TRL jest przedmiotem wniosku o scalenie, PR #8040, wciąż otwartego w momencie pisania artykułu. Ponadto, Unsloth oferuje przepis na przekształcenie generatywnego LLM, takiego jak Qwen, w model decyzyjny, dzięki LoRA i głowicy oceniającej.
