Samaya AI ha presentato Samaya Sterling, un modello post-addestrato per la ricerca finanziaria agenziale, cioè capace di concatenare autonomamente fasi di ricerca e chiamate a strumenti. Secondo l’azienda, ottiene 58,9 % sul benchmark FrontierFinance, contro 55,9 % di Claude Fable 5.1, per un costo per domanda di 0,61 dollari contro 6,89 dollari.
Sterling si basa su NVIDIA Nemotron 3.5 Lightning, un modello da 30B parametri a mistura di esperti (MoE, un’architettura che attiva solo una parte dei suoi parametri per ogni richiesta). Solo 3B parametri sono attivi. Secondo l’annuncio di Maithra Raghu su X, il progetto è partito da uno sforzo di due persone sull’efficienza dell’orchestrazione agenziale.
Un’imbracatura adattata a un modello piccolo
L’imbracatura designa l’insieme di istruzioni, strumenti e meccanismi che incorniciano il modello. Samaya ha adattato la sua imbracatura finanziaria, usata in produzione, a questo modello più piccolo. Le istruzioni dettagliate sono state rimosse dal prompt di sistema e dalle descrizioni degli strumenti, e alcuni strumenti sono stati fusi per accorciare il prompt. Due modelli ausiliari gestiscono il contesto: un condensatore accorcia i lunghi risultati degli strumenti, mentre un compattatore riassume la traccia di lavoro man mano che si allunga.
Un budget di ricerca limita infine la durata del lavoro dell’agente. Il redattore del rapporto risponde poi a partire dagli elementi trovati.
Un addestramento in quattro fasi
L’addestramento ha utilizzato la tecnica LoRA, che adatta leggermente un modello esistente, su Tinker, l’API di addestramento di Thinking Machines Lab. La prima fase consiste in una messa a punto supervisionata (SFT) su 968 domande di analisti sintetici. L’insegnante, Kimi K3, ha risposto due volte a ogni domanda, e un giudice basato su un LLM ha trattenuto la risposta migliore. Il modello ha imparato a chiamare 37 strumenti con argomenti validi.
La seconda fase riprende 1.819 domande redatte da esperti, trattate con otto strategie di ricerca. La migliore risposta per domanda è servita come dati di addestramento, e 1.157 domande sono state trattenute dopo il filtraggio. Secondo Samaya, questa selezione copre l’80% dei criteri essenziali della griglia, contro circa il 66% per la migliore strategia presa da sola. La terza e quarta fase sono due fasi di apprendimento per rinforzo con il metodo GRPO: la prima, offline, confronta tra loro le otto risposte dell’insegnante, la seconda, online, fa rispondere il modello otto volte a ogni domanda.
Risultati auto-dichiarati su FrontierFinance
Il benchmark FrontierFinance conta 220 richieste pubbliche, valutate secondo griglie redatte da esperti, con l’aiuto di un panel di tre modelli giudici. Samaya indica che nessuna domanda del benchmark è servita per l’addestramento, e che i checkpoint sono stati scelti su 100 domande di validazione interne.
Sterling raggiunge il 58,9% per 282 secondi per domanda, contro 268 secondi per Claude Fable 5.1. Il sistema Samaya in modalità « high effort » ottiene il 56,0%, a 1,81 dollari per domanda. Il punteggio progredisce a ogni fase, dal 42,5% per il modello di base al 51,4%, 54,8%, 57,5%, poi 58,9%. Il numero mediano di chiamate a strumenti passa da 3 a 17. Sul terzo più difficile delle domande, il punteggio passa dal 31,8% al 45,2%. In modalità « high effort », Sterling raggiunge il 60,6% per 1,83 dollari e 372 secondi. Il modello stesso costa 0,04 dollari per domanda, il resto del costo provenendo dagli strumenti e dai modelli ausiliari. Il modello di base, secondo la fonte, sta su una singola GPU H100 da 80 GB in BF16, con un contesto di 256K token. La sua finestra di contesto può raggiungere 1M token. Samaya non comunica né la finestra di contesto, né l’hardware di servizio di Sterling, e nessun peso pubblico né API sono stati annunciati per quest’ultimo. Tutti i risultati sono auto-dichiarati e pubblicati sul benchmark di Samaya.
