Samaya AI zaprezentowała Samaya Sterling, model dostrojony do agentycznych badań finansowych, czyli zdolny do samodzielnego łączenia kroków badawczych i wywołań narzędzi. Według firmy osiąga on 58,9% w benchmarku FrontierFinance, w porównaniu do 55,9% dla Claude Fable 5.1, przy koszcie na pytanie wynoszącym 0,61 dolara wobec 6,89 dolarów.
Sterling opiera się na NVIDIA Nemotron 3.5 Lightning, modelu o 30B parametrach z mieszanką ekspertów (MoE, architektura aktywująca tylko część parametrów na każde żądanie). Aktywnych jest tylko 3B parametrów. Zgodnie z ogłoszeniem Maithry Raghu na X, projekt rozpoczął się jako dwuosobowy wysiłek nad efektywnością orkiestracji agentowej.
Harness dostosowany do małego modelu
Harness oznacza zestaw instrukcji, narzędzi i mechanizmów, które otaczają model. Samaya dostosowała swój finansowy harness, używany w produkcji, do tego mniejszego modelu. Szczegółowe wytyczne usunięto z promptu systemowego i opisów narzędzi, a niektóre narzędzia połączono, aby skrócić prompt. Dwa modele pomocnicze zarządzają kontekstem: kondensor skraca długie wyniki narzędzi, podczas gdy kompaktor podsumowuje ślad pracy w miarę jego wydłużania.
Budżet badawczy ostatecznie ogranicza czas pracy agenta. Redaktor raportu następnie odpowiada na podstawie znalezionych elementów.
Trening w czterech etapach
Trening wykorzystał technikę LoRA, która lekko dostosowuje istniejący model, na Tinker, API do treningu od Thinking Machines Lab. Pierwszy etap to dostrajanie nadzorowane (SFT) na 968 syntetycznych pytań analityków. Nauczyciel, Kimi K3, odpowiedział dwukrotnie na każde pytanie, a sędzia oparty na LLM wybrał najlepszą odpowiedź. Model nauczył się wywoływać 37 narzędzi z poprawnymi argumentami.
Drugi etap wykorzystuje 1819 pytań napisanych przez ekspertów, przetworzonych z ośmioma strategiami badawczymi. Najlepsza odpowiedź na pytanie posłużyła jako dane treningowe, a po filtracji zachowano 1157 pytań. Według Samayi, ten wybór pokrywa 80% kluczowych kryteriów siatki, w porównaniu do około 66% dla najlepszej pojedynczej strategii. Trzeci i czwarty etap to dwie fazy uczenia przez wzmocnienie metodą GRPO: pierwsza, offline, porównuje ze sobą osiem odpowiedzi nauczyciela, druga, online, każe modelowi odpowiedzieć osiem razy na każde pytanie.
Samodeklarowane wyniki na FrontierFinance
Benchmark FrontierFinance zawiera 220 publicznych zapytań, ocenianych według siatek napisanych przez ekspertów, przy użyciu panelu trzech modeli-sędziów. Samaya wskazuje, że żadne pytanie z benchmarku nie zostało użyte w treningu, a punkty kontrolne wybrano na podstawie 100 wewnętrznych pytań walidacyjnych.
Sterling osiąga 58,9% przy 282 sekundach na pytanie, w porównaniu do 268 sekund dla Claude Fable 5.1. System Samaya w trybie « high effort » osiąga 56,0%, przy 1,81 dolara na pytanie. Wynik poprawia się na każdym etapie, z 42,5% dla modelu bazowego do 51,4%, 54,8%, 57,5%, a następnie 58,9%. Mediana liczby wywołań narzędzi wzrasta z 3 do 17. W przypadku najtrudniejszej jednej trzeciej pytań wynik wzrasta z 31,8% do 45,2%. W trybie « high effort » Sterling osiąga 60,6% za 1,83 dolara i 372 sekundy. Sam model kosztuje 0,04 dolara na pytanie, reszta kosztów pochodzi od narzędzi i modeli pomocniczych. Model bazowy, według źródła, mieści się na pojedynczym GPU H100 80 GB w BF16, z kontekstem 256K tokenów. Jego okno kontekstu może osiągnąć 1M tokenów. Samaya nie podaje ani okna kontekstu, ani sprzętu do serwowania Sterlinga, i nie ogłoszono publicznych wag ani API dla tego ostatniego. Wszystkie wyniki są samodeklarowane i opublikowane na benchmarku Samayi.
