Samaya AI a présenté Samaya Sterling, un modèle post-entraîné pour la recherche financière agentique, c’est-à-dire capable d’enchaîner seul des étapes de recherche et des appels d’outils. Selon l’entreprise, il obtient 58,9 % au benchmark FrontierFinance, contre 55,9 % pour Claude Fable 5.1, pour un coût par question de 0,61 dollar contre 6,89 dollars.
- Samaya AI présente Sterling, un modèle de recherche financière agentique qui n’active que 3 milliards de paramètres.
- Il obtient 58,9 % sur FrontierFinance, contre 55,9 % pour Claude Fable 5.1, pour 0,61 dollar par question au lieu de 6,89 dollars.
- Le modèle repose sur NVIDIA Nemotron 3.5 Lightning et suit un entraînement en quatre étapes, avec LoRA, SFT et GRPO.
- Les résultats sont auto-déclarés, et Samaya ne publie ni poids ni API pour Sterling.
Sterling repose sur NVIDIA Nemotron 3.5 Lightning, un modèle de 30B paramètres à mélange d’experts (MoE, une architecture qui n’active qu’une partie de ses paramètres à chaque requête). Seuls 3B paramètres sont actifs. D’après l’annonce de Maithra Raghu sur X, le projet est parti d’un effort à deux personnes sur l’efficacité de l’orchestration agentique.
Un harnais adapté à un petit modèle
Le harnais désigne l’ensemble des instructions, outils et mécanismes qui encadrent le modèle. Samaya a adapté son harnais de finance, utilisé en production, à ce modèle plus petit. Les consignes détaillées ont été retirées du prompt système et des descriptions d’outils, et certains outils ont été fusionnés pour raccourcir le prompt. Deux modèles auxiliaires gèrent le contexte : un condenseur raccourcit les longs résultats d’outils, tandis qu’un compacteur résume la trace de travail à mesure qu’elle s’allonge.
Un budget de recherche limite enfin la durée de travail de l’agent. Le rédacteur de rapport répond ensuite à partir des éléments trouvés.
Un entraînement en quatre étapes
L’entraînement a utilisé la technique LoRA, qui adapte légèrement un modèle existant, sur Tinker, l’API d’entraînement de Thinking Machines Lab. La première étape consiste en un réglage supervisé (SFT) sur 968 questions d’analystes synthétiques. L’enseignant, Kimi K3, a répondu deux fois à chaque question, et un juge fondé sur un LLM a retenu la meilleure réponse. Le modèle a appris à appeler 37 outils avec des arguments valides.
La deuxième étape reprend 1 819 questions rédigées par des experts, traitées avec huit stratégies de recherche. La meilleure réponse par question a servi de données d’entraînement, et 1 157 questions ont été retenues après filtrage. Selon Samaya, cette sélection couvre 80 % des critères essentiels de la grille, contre environ 66 % pour la meilleure stratégie prise seule. Les troisième et quatrième étapes sont deux phases d’apprentissage par renforcement avec la méthode GRPO : la première, hors ligne, compare entre elles les huit réponses de l’enseignant, la seconde, en ligne, fait répondre le modèle huit fois à chaque question.
Des résultats auto-déclarés sur FrontierFinance
Le benchmark FrontierFinance compte 220 requêtes publiques, notées selon des grilles rédigées par des experts, à l’aide d’un panel de trois modèles juges. Samaya indique qu’aucune question du benchmark n’a servi à l’entraînement, et que les points de contrôle ont été choisis sur 100 questions de validation internes.
Sterling atteint 58,9 % pour 282 secondes par question, contre 268 secondes pour Claude Fable 5.1. Le système Samaya en mode « high effort » obtient 56,0 %, à 1,81 dollar par question. Le score progresse à chaque étape, de 42,5 % pour le modèle de base à 51,4 %, 54,8 %, 57,5 %, puis 58,9 %. Le nombre médian d’appels d’outils passe de 3 à 17. Sur le tiers le plus difficile des questions, le score passe de 31,8 % à 45,2 %. En mode « high effort », Sterling atteint 60,6 % pour 1,83 dollar et 372 secondes. Le modèle lui-même coûte 0,04 dollar par question, le reste du coût provenant des outils et des modèles auxiliaires. Le modèle de base, selon la source, tient sur un seul GPU H100 de 80 Go en BF16, avec un contexte de 256K tokens. Sa fenêtre de contexte peut atteindre 1M tokens. Samaya ne communique ni la fenêtre de contexte, ni le matériel de service de Sterling, et aucun poids public ni API n’ont été annoncés pour ce dernier. Tous les résultats sont auto-déclarés et publiés sur le benchmark de Samaya.
